<<
>>

8.2. Метод экспертного оценивания

Метод экспертного оценивания относится к инструментарию количественной оценки качества альтернатив в условиях слабо- формализуемой проблемной ситуации.

Сущность метода экспертных оценок заключается в логико-ин- туитивном анализе внутренней и внешней среды организации, разработке альтернатив и количественной оценке их качества.

Обобщенное мнение экспертов служит основанием для осуществления выбора.

Комплексное использование интуитивного и логического мышления, а также формальной обработки количественно выраженных суждений экспертов позволяют получить показатели качества альтернатив при решении слабоформализуемых задач выбора. Эксперты при этом выступают в роли «измерительных приборов», позволяющих определить их относительную погрешность (по разбросу суждений) и оценки, интерпретация которых дает требуемый результат.

Экспертные суждения — это содержательные высказывания (определяющие состав, структуру, функциональность исследуемой системы, сущностей и их атрибутов), количественная или качественная оценка какой-либо сущности (т.е. определение количественных и качественных атрибутов и их значений).

Типовые задачи, решаемые методом экспертного оценивания, следующие: ?

определение состава возможных событий в какой-либо системе в конкретном интервале времени; ?

установление вероятностей событий и временных интервалов в множестве событий; ?

структурирование проблемного поля организации и определение приоритетности решения проблем; ?

дифференциация целей управления до задач и определение приоритетности их решения; ?

генерирование альтернатив; фильтрация множества альтернатив и оценка их предпочтительности.

Этапы экспертизы. Процесс экспертизы в общем случае условно может быть разбит на следующие этапы, последовательность и содержание которых могут варьироваться в зависимости от реальных условий и ограничений: 1)

определение задач экспертизы; 2)

формирование аналитической группы; 3)

отбор экспертов и формирование эксперт-группы; 4)

организация и проведение опроса; 5)

анализ и обработка эксперт-информации; 6)

интерпретация полученных результатов и представление их и форме, пригодной для осуществления выбора ЛПР-

Первые три этапа относятся к подготовке экспертизы.

При подготовке экспертизы важно сформулировать ее задачи, т.е., основываясь на информации о проблемной ситуации, определить, какие проблемы требуется решить и какой ожидается результат. На основе сформулированных задач формируется аналитическая I руппа, в задачи которой входит: ?

разработка методов опроса; ?

отбор экспертов и формирование эксперт-группы; ?

проведение опроса экспертов; ?

анализ результатов опроса и их интерпретация.

Аналитическая группа, в зависимости от сложности и специфики проблемной ситуации, может быть сформирована на первом папе. В этом случае помимо перечисленных задач на нее возлага- пся также определение задач экспертизы.

В случаях особенной сложности проблемной ситуации, неопределенности среды и большого масштаба требуемых изменений, *мо характерно при решении стратегических проблем, может потребоваться привлечение к организации процесса экспертизы внешних консультантов по управлению.

Субъекты и объекты экспертизы. Модель «черного ящика» процесса экспертной оценки представлена на рис. 8.3. На входе промесса экспертного оценивания в случае, когда принимается стра- нчическое решение, кроме параметров внутренней среды, харак- юризующих проблемную ситуацию и ресурсы организации, также нключаются параметры внешней среды. Необходимость включения параметров внешней среды в таком случае объясняется спецификой стратегических управленческих решений. 11араметры внутренней и внешней среды Процесс

экспертного 11ерсонал организации Подготовл с иные к интерпрешции результаты оценки оценивания

(включая

подготовку с' горонние эксперты экспертизы) Консультанты но управлению Гис. 8.3. Модель «черного ящика» процесса экспертного оценивания

Персонал организации — ее важнейший ресурс, представляющий ее стержневые компетенции, — основной источник субъектного состава процесса оценивания. В случаях, когда кадровый потенциал не позволяет привлечь к процессу оценйвания работников организации (либо по причине низкого интеллектуального потенциала, либо в силу занятости в производственных и иных процессах), можно воспользоваться услугами сторонних экспертов, что сопряжено, впрочем, с рядом барьеров.

Тем не вденее привлечение сторонних экспертов — единственный выход для обеспечения проведения экспертизы в случаях, когда работники предприятия не могут быть привлечены к процессу оценивания. Кроме того, привлечение сторонних экспертов (при обеспечении их информированности) позволяет значительно повысить объективность оценок. Тут возникает противоречие: с одной стороны, кто, как не работники организации обладают требуемой для проведения оценки информацией, а с другой, независимые сторонние эксперты способны наиболее объективно проводить экспертную оценку.

Данное противоречие решается путем привлечения к процессу оценивания консультантов по управлению, одна из задач которых — организация взаимодействия участников процесса, в ре-, зультате которого происходит взаимное информирование сторонних и внутренних экспертов.

Субъектный состав экспертизы. Как система процесса оценки он может быть получен из круга решаемых задач и условий, в которых происходит процесс РУР.

В общем случае субъектный состав процесса экспертной оценки следующий (рис. 8.4): ?

субъект (лицо или группа лиц), принимающий решение. — в этом случае в данное понятие включается не только лицо или группа, осуществляющая выбор, но и участники активной группы, т.е, лица, заинтересованные в решении; ?

информаторы — это все те люди — источники информации, непосредственно связанные с процессами переработки ресурсов или управления; ?

эксперты — это специалисты в конкретных областях функционирования организации (владеющие технологией переработки ресурсов) или в области управления ею (владеющие технологией управления), обладающие необходимыми процедуральными знаниями и способные на основе вновь поступившей информации выносить суждения, рекомендации и заключение по объекту экспертизы в пределах своей компетенции;

• Определение целей и критериев, формулирование задач экспертного оценивания. Интерпретация полученных результатов и принятие решения •

Обеспечение исходной информацией, требуемой для проведения оценки •

Генерация альтернатив, их фильтрация и оценка •

Организация процессов: определение целей, критериев, формулирование задач экспертного оценивания; сбор информации, ее структуризация; генерация альтернатив, их фильтрация и оценка (организация экспертизы) •

Разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации, подготовка информации к интерпретации ? консультанты по управлению — специалисты в области организации процессов выявления проблем, определения видения, миссии, целей, разработки критериев, генерирования альтернатив и их оценки, владеющие специальными инструментами и технологией разработки управленческих решений; ?

аналитики — специалисты в какой-либо узкой области знаний, способные проводить анализ в областях решаемых проблем и владеющие специальными инструментами анализа и технологией их применения.

Объектный состав процесса экспертного оценивания. Представляет собой информационные модели действительного и желаемого состояний организации, а также условий среды, в которых она функционирует (рис. 8.5). Кроме этого в объектном составе могут присутствовать базы знаний, образованные путем анализа и систематизации как внутреннего опыта организации, так и внешнего (опыта других организаций).

В качестве объектов оценивания обычно выступают альтернативы решения проблем, генерируемые на основе контекста, в котором происходит разработка решения. При этом в функции экс- перт-группы входит как генерация альтернатив, так и их оценка с выработкой рекомендаций по решению проблем.

Рассмотрим подробнее методы формирования эксперт-групп, методы сбора и обработки информации, получаемой от экспертов, и расширения метода экспертных оценок.

По объекту исследования экспертная информация может быть разделена на следующую информацию о: ?

миссии и целях системы (в том числе рангах целей); ?

функциях системы; ?

составе системы; ?

связях между элементами системы; ?

тенденциях развития системы (прогнозе развития при различных факторах среды); ?

возможных вариантах изменения системы (альтернативах); ?

весах (рангах, значимости) элементов системы и их функциях.

Методы формирования эксперт-групп

На точность результатов экспертизы существенно влияет состав эксперт-группы. Одна из задач процедуры отбора — формирование системы характеристик эксперта. A.C. Малинин и В.И. Мухин предлагают для описания экспертов, с точки зрения оценки Инструменты Объектный

формирования состав

• Противоречие, определяющее необходимость развития системы,

и, в частности, ситуация несоответствия желаемого и действительного состояний системы •

Цели системы - совокупность качественных характеристик, определяющих ее желаемое состояние, или, другими словами, состояние, к которому она стремится. Система критериев - совокупность взаимосвязанных показателей, однозначно характеризующих цели системы •

Описание, охватывающее и отображающее атрибуты (свойства, показатели, параметры, принимаемые формы) сущностей внешней среды, связанных как непосредственными, так и опосредованными косвенными отношениями с организацией, определяющих возможности и угрозы (препятствия) для ее развития •

Описание, охватывающее и отображающее атрибуты (свойства, показатели, параметры, принимаемые формы) сущностей внутренней среды организации. Как правило, под сущностями организации понимают управляющую систему (менеджмент) и управляемую систему — для производственной организации это подсистема трансформации ресурсов •

Систематизированный опыт решения типовых, повторяющихся задач, применение которых (альтернатив) в прошлом дало требуемый результат, и, таким образом, они являются знанием организации в части разработки управленческих решений, разработанных и систематизированных на основе внутреннего опыта организации •

Сформированы на основе анализа и систематизации опыта других организаций (в том числе конкурентов и компаньонов), применение которого в прошлом дало требуемый результат применительно

к другим организациям, но возможно в схожих ситуациях качества решения проблемы, использовать следующие характеристики: компетентность, креативность, конформность, аналитичность, широту и глубину мышления, самокритичность и др.

Под компетентностью понимают степень квалификации эксперта в определенной области знаний, обладание компетенцией (компетенция — круг вопросов, для решения которых лицо обладает необходимыми знаниями и умениями).

Креативность (англ. create — создавать) — это способность видеть контекст (существенные по отношению к данной проблеме обстоятельства) и создавать на его основе модели необходимых изменений, т.е. разрабатывать альтернативы.

Конформность — с одной стороны, способность личности к действительному преобразованию индивидуальных установок в результате внутреннего принятия позиции окружающих, которая оценивается как более объективная и обоснованная (обычно играет положительную роль), а с другой стороны, неустойчивость мнения, подверженность влиянию более авторитетных членов группы (играет отрицательную роль).

Аналитичность — в широком смысле способность эксперта к анализу и самоанализу, в узком смысле — способность анализировать проблемную ситуацию, т.е. выделять в ней элементы, определять связи между ними и функциональные зависимости, что позволяет находить место рассогласования в системе и разрабатывать модели требуемых изменений.

Широта мышления — это способность эксперта представлять исследуемую сущность не только в общем контексте, но и в других контекстах, формирующих новый аспект исследуемой сущности.

Глубина мышления — это способность эксперта представлять максимально возможное множество аспектов исследуемой сущности именно в данном контексте.

Самокритичность — способность эксперта абстрагироваться от эмоционального контекста и объективно оценивать собственную позицию.

Определение компетентности эксперта методом самооценки

Компетентность экспертов оценивается определением коэффициента компетентности к по простой и полной методике. Коэффициент компетентности к вычисляется на основе суждений эксперта о степени своей информированности по решаемой проблеме с указанием источников ар|ументации своих суждений: к =^(.ки + ка),

где ки — коэффициент информированности, получаемый на основе самооценки эксперта по 10-балльной шкале, умножаемый на 0,1; ка — коэффициент аргументации, получаемый в результате суммирования баллов по табл. 8.1.

Эксперт заполняет таблицу без значений степеней влияния, оценивая влияние источников по качественной шкале: высокая — средняя — низкая. Затем качественные оценки заменяются их количественными показателями и подсчитывается (суммированием значений) количество баллов по всем источникам.

При этом должны выполняться условия: 0 < ^ 1, 0 < < 1 и соответственно 0 < к < 1.

Таблица 8.1

Эталонные весовые коэффициенты источников аргументации Источник Степень влияния источника на мнение эксперта аргументации высокая средняя низкая Проведенный теоретический анализ 0,3 0,2 0,1 Производственный опыт 0,5 0,4 0,2 Обобщение работ отечественных авторов 0,05 0,05 0,05 Обобщение работ зарубежных авторов 0,05 0,05 0,05 Личное знакомство с состоянием проблемы за рубежом 0,05 0,05 0,05 Процедуральное знание эксперта (интуиция) 0,05 0,05 0,05 Источник: Малин A.C., Мухин В.И. Исследование систем управления: Учебник для вузов. — Изд. 2-е. М.: ГУ ВШЭ, 2004. — С. 340

Методы сбора экспертной информации

Анкетирование считается наиболее эффективным и самым распространенным видом опроса и заключается в заполнении экспертами опросных листов-анкет.

«Анкета — это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа»30.

По мнению Т. Гавриловой, анкетирование — наиболее жесткий метод сбора экспертной информации, поскольку он наиболее стандартизирован — аналитик заранее составляет вопросник или анкету, размножает ее и использует для опроса нескольких работников компании31.

Типы анкет и типы применяемых вопросов по кругу решаемых задач

В зависимости от того, какие задачи ставятся перед экспертами и, соответственно, какую информацию требуется собрать в результате проведения анкетирования, целесообразно рассмотреть следующие типы анкет.

Фактографические анкеты позволяют собрать объективную информацию об анализируемом объекте и получить, таким образом, систематизированную информационную модель объекта анализа (например, информационную модель внешней среды).

Тематические анкеты — анкеты, позволяющие собрать информацию по определенной тематике (например, о работе кадровой подсистемы, подсистемы маркетинга или управления).

Анкеты альтернатив — анкеты, предназначенные для разработки альтернатив.

Оценочные анкеты — анкеты, предназначенные для оценки объектов экспертизы или элементов оцениваемой системы, в том числе альтернатив. Другими словами, все перечисленные выше типы анкет могут быть оценочными помимо обозначенных особенностей в случае, когда в анкете предусмотрены поля для вынесения суждений.

Вопросному составу анкеты и структуре вопросов следует уделять пристальное внимание, результаты анкетирования должны обеспечивать ЛПР максимально полной и достоверной информацией, необходимой для принятия решения.

Типология вопросов, применяемых при составлении анкет, представлена в табл. 8.2.

Таблица 8.2 Вид вопроса Тип вопроса Пример Вопрос, ответ на который содержит ко- шчественную оценку Оценивающий: время наступления некоторого события, вероятность осуществления события количественное значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале Когда будет создан первый опытный образец объекта? Какова вероятность того, что к 2002 г. будет создан объект с заданными характеристиками? Каково будет максимальное значение прогнозируемой характеристики объекта к 2002 г.? Оцените по 10-балльной шкале вклад каждой из рассматриваемых теорий в решение проблемы Вопрос, требующий содержательного ответа в сжатой форме Вариантный (выбирается альтернатива) Какой принцип использования объекта является наиболее эффективным для решения поставленной задачи в период с 2002 по 2010 г.: А, или В, или С, или ...? Какие из перечисленных ниже методов будут применяться в период с 2002 по 2010 г.: А или В, или С, или ...? Какие из перечисленных ниже изменений в структуре объекта произойдут, если будет осуществлен принцип А, или В, или С, или ...? Вопрос, требующий со- держательно- I о ответа в развернутой форме Требующий ответа в виде:

перечня сведений об объекте;

перечня аргументов, которые подтверждают тезис, содержащийся в вопросе Каковы характерные особенности объекта? Каковы ваши доводы в пользу целесообразности развития объекта? Виды и типы вопросов

Источник: Малин A.C., Мухин В.И. Исследование систем управления. — С. 343

Окончательный вопросный состав анкеты формируется после ее пилотажа, т.е. апробации опроса экспертов с целью выявления некорректных, неясных вопросов, вызывающих дополнительные (со стороны экспертов) вопросы, и т.п. Кроме анкет-опросников экспертам предоставляется пояснительная чаписка, объясняющая исходные условия (цель и задачи опроса, объект экспертизы, сведения о проблемной ситуации, т.е. ее модель) и правила по заполнению анкет .

Анкетирование как процесс сбора информации может быть оч- н ым и заочным.

Очное анкетирование — это непосредственный контакт опрашивающего и опрашиваемого, предполагающий разъяснения по ходу опроса со стороны первого (недостаток — субъективное влияние опрашивающего на ответы опрашиваемого, достоинство — возможность уточнения и разъяснения вопросов).

Заочное анкетирование не требует непосредственного контакта опрашиваемого и опрашивающего и позволяет привлекать к процессу оценивания территориально разделенных экспертов (например, из разных городов или структурных подразделений организации) без их отрыва от выполняемых функций (недостаток — невозможность уточнения вопросов, проблемной ситуации и правил по заполнению анкет).

Методы обработки экспертной информации

Экспертное ранжирование. Рангом называется степень отличия по какому-либо признаку, а ранжированием — процесс определе-т ния рангов, относительных количественных оценок степеней отличий по качественным признакам (например, расположение факторов в порядке их существенности, значимости в данном исследовательском контексте).

Ранжирование применяется в случаях, когда невозможна или нецелесообразна непосредственная оценка. При этом «ранжирование объектов содержит лишь информацию о том, какой из объектов более предпочтителен, и не содержит информацию о том, насколько или во сколько раз один объект предпочтительнее другого. Объект, расположенный в ранжировании эксперта, скажем, на третьем месте, может превосходить объект, расположенный на четвертом месте, в 1,01 раза, а может превосходить и в 101 раз»32.

Метод простой ранжировки33 заключается в том, что эксперть! располагают объекты ранжирования (например, критерии) в порядке убывания их значимости (для альтернатив это убывание предпочтительности). Ранги обозначаются цифрами от 1 до п, где п — количество рангов. Сумма рангов при этом будет равна сумме чисел натурального ряда:

е _п(п +1)

" ~ 2 Так, при л = 6 последовательность рангов альтернатив Ап может выглядеть следующим образом: 2, 4, 1, 3, 6, 5, что означает, что ранг альтернативы А3 равен единице (Д43 = 1) и она наиболее предпочтительна из всех шести альтернатив (наименее предпочтительна альтернатива Л5, так как ЯА5 = 6).

При ранжировании п объектов т экспертами ранжирование проводят следующим образом. 1.

Каждый эксперт выносит суждения о рангах объектов. 2.

Для каждого объекта подсчитывают сумму рангов, полученных от всех экспертов, т.е.

1де — представляет собой результирующий ранг п-то объекта; ЯА — суждение т-то эксперта о ранге п-то объекта.

Апт 3.

Определяют ранги объектов (от 1-го до я), начиная от наименьшего до наибольшего результирующего рангов.

Метод непосредственной оценки заключается в отнесении объекта оценки к определенному значению по оценочной шкале (т.е. в присвоении объекту оценки балла в определенном интервале). Например, оценка от 0 до 10 в соответствии с предпочтением по какому-либо признаку или их группе (например, альтернативы, по предпочтению, критерии — по значимости, факторы внешней среды — по оказываемому влиянию, проблемы — по приоритетности решения).

Для дальнейшей обработки полученные оценки могут быть пронормированы, т.е. их сумма может быть приведена к единице путем деления каждой оценки на их общую сумму.

Для наглядности и удобства обработки (например, осуществление выбора ЛПР) оценки могут быть переведены в ранги. Максимальной оценке при этом соответствует наивысший ранг, т.е. 1, а минимальной — п (при п — количестве объектов оценки).

При оценке объекта по нескольким параметрам (например, при оценке альтернатив по нескольким критериям) суммарная оценка объекта проводится следующим образом. 1.

Эксперты выносят суждения о весах параметров (например, о весах критериев) и оценках объекта по множеству параметров (например, оценки альтернатив по критериям). 2.

Аналитики обрабатывают полученные оценки: вычисляют нормализованные веса параметров (например, критериев) по формулам арифметического среднего, геометрического среднего или средневзвешенного. Так, методом вычисления средних арифметических веса находятся следующим образом: ?

нормализуют оценки весов параметров отдельно по каждому эксперту (табл. 8.3, стр. 2—4)

Таблица 8.3

Вычисление усредненных весов параметров > Номер

строгая Эксперт Параметр Рг Рг Рз РА Р5 1 Эксперт 1 5 6 2 8 3 2 Нормальная оценка 0,21 0,25 0,08 0,33 0,125 3 Эксперт 2 4 7 3 7 2 4 Нормальная оценка 0,17 0,3 0,13 0,3 0,09 5

(стр. 2 + + стр. 4)/2 Средняя оценка (&у, у = 1... т, где т — число параметров) 0,19 0,275 0,105 0,315 0,107 ? находят средние арифметические весов параметров (см. стр. 5 табл. 8.3); ?

подсчитывают оценки объектов по параметрам, вычисляемым аналогично вычислению весов параметров, и определяют комплексные оценки объектов по следующей формуле:

=^kj 'г9>

/=1

где Д — комплексная оценка /-го объекта (/ = 1 ...п, где п — количество объектов оценки); кI — нормализованный весовой коэффициент у-го параметра;

Гу — нормализованная оценка /-го объекта по у-му параметру; т — количество параметров.

Затем комплексные оценки нормализуют.

Метод парных сравнений. Метод парных сравнений заключается в определении предпочтений элементов, расположенных в левом столбце, над элементами, расположенными в верхней строке. При этом составляется матрица, по строкам и столбцам которой располагают сравниваемые объекты (табл. 8.4).

Таблица 8.4

Матрица парных сравнений для четырех объектов А і А2 Аз А 4 Ранг АХ - 1 (Ап) 0 1 2 а2 о Ш - 0 1 1 Аз і 1 - 1 3 A4 0 0 0 - 0 В табл. 8.4 в ячейке Ап вписана единица, это означает, что элемент А\ получает бблымую оценку, чем элемент А2, соответственно п ячейке А2\ пишут 0, а затем, суммируя значения по строкам, поучают ранги объектов.

<< | >>
Источник: Лапыгин Д.Ю. Управленческие решения : учеб. пособие. — М.: Эксмо. — 448 с. — (Высшее экономическое образование).. 2009

Еще по теме 8.2. Метод экспертного оценивания:

  1. Оценивание Особенности оценивания
  2. КАКОВЫ ОСОБЕННОСТИ МЕТОДОВ, СОСТАВЛЯЮЩИХ ЭКСПЕРТНЫЕ МЕТОДЫ?
  3. 11.6. Экспертный метод
  4. 3.4.2 Методы экспертных оценок
  5. 3.4.2. Методы экспертной оценки
  6. 2. Сущность метода экспертных оценок.
  7. 3.2. ЭКСПЕРТНЫЕ МЕТОДЫ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ
  8. Предметная область экспертного метода
  9. 3.4. Групповые очные методы экспертных оценок
  10. 7.2.5. Краткая характеристика экспертных методов
  11. Средства и методы предварительного и экспертного исследования
  12. 3.5. Групповые заочные методы экспертных оценок