3.4.2. Методы экспертной оценки

Для широкого круга неформализуемых проблем (в политической, идеологической, экономической, социальной, военной и других сферах человеческой деятельности) экспертные процедуры наиболее эффективны, а в ряде случаев могут оказаться единственным средством их решения.

Метод экспертной оценки основывается на построении высококвалифицированным специалистом (экспертом) рациональной процедуры интуитивно-логического анализа в сочетании с количественной оценкой и обработкой результатов.

Область применения методов экспертных оценок весьма широка. Типовые задачи, решаемые методами экспертной оценки, следующие: ?

составление перечня свершения возможных событий в различных областях деятельности организации за определенный промежуток времени; ?

определение целей и задач управления с упорядочением их по степени важности (ранжирование в дереве целей); ?

определение альтернативных вариантов решения задачи с оценкой их предпочтения; ?

альтернативное распределение ресурсов для решения задачи с оценкой их предпочтительности, и т.д.

При выполнении своей роли в процессе управления эксперты выполняют две основные функции [22]: ?

формируют объекты экспертизы (альтернативные ситуации, цели, решения и т.д.); ?

производят измерение характеристик сформированных объектов (вероятности свершения события, коэффициентов значимости целей, предпочтений решений и т.п.).

Формирование оценочной системы. Ключевой момент применения методов экспертной оценки — формирование оценочной системы. Оценочная система включает такие важные составляющие, как: ?

перечень критериев, характеризующих объект принятия управленческого решения; ?

оценку сравнительной важности критериев; ?

шкалу для оценки проектов по критериям; ?

формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие либо недостаточное качество какой-либо из перечисленных выше составляющих делает невозможным получение адекватной оценки проекта и, как следствие, затрудняют процесс выработки и принятия эффективных решений.

Остановимся подробнее на каждой из составляющих оценочной системы.

Формирование перечня критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого решения, должен удовлетворять ряду требований, перечисленных в предыдущей теме: ?

критерии, используемые при формировании оценочной системы, должны быть измеримыми, т.е. должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждому из критериев; ?

критерий может быть оценен объективно (например, с точки зрения прибыли) и субъективно (сточки зрения имиджа фирмы); ?

для субъективных критериев необходима разработка специальных вербально-числовых шкал; ?

при формировании совокупности критериев необходимо четкое понимание смысла каждого из критериев лицом, принимающим решение, и экспертами.

Иногда целесообразно агрегирование критериев. Этим может быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и уменьшение общего количества критериев, что важно для снижения трудоемкости работы с оценочной системой.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.

Определение сравнительной важности критериев — какие критерии и в какой степени влияют на оценку альтернатив при выработке и принятии управленческих решений как при сравнительных оценках альтернатив, имеющих явно выраженный количественный характер, так и при их качественных оценках. После выявления критериев, определяющих оценки альтернатив, часто возникает необходимость сформировать обобщенный критерий, с помощью которого можно рассчитать оценки альтернатив по значениям частных критериев.

Для этих целей существуют методы формирования линейных обобщенных критериев и обобщенных критериев более сложного вида. В их основе лежат различные предположения о природе обобщенных критериев и характере анализируемой информации.

Шкалы для оценки по критериям — это могут быть и количественные измерения в привычном для нас понимании, и качественные оценки, позволяющие судить о происходящих изменениях, об их динамике.

Если критерии, по которым оцениваются проекты, носят экономический характер и измеряются в рублях (долларах), годах (месяцах), процентах и т.д., то мы, как правило, пользуемся соответствующими общеизвестными шкалами.

Однако нередко при оценивании проектов возникает необходимость в использовании критериев, оценки по которым могут быть получены лишь с помощью специально разрабатываемых вербально-числовых шкал.

Вербально-числовые шкалы применяются преимущественно в тех случаях, когда оценки по критерию носят субъективный характер. Например, субъективный характер, в основе которого лежат опыт и знания эксперта, носят оценки степени риска, ожидаемой конкурентоспособности продукции, сравнительной значимости того или иного фактора и многие другие. Смысл вербально-числовых шкал в том, что они позволяют измерить степень интенсивности критериального свойства, имеющего субъективный характер.

В состав вербально-числовых шкал входят, как правило, содержательное описание градаций шкалы и числовые значения, соответствующие каждой из этих градаций.

В качестве примера вербально-числовой шкалы, имеющей достаточно широкое применение, приведем шкалу Харрингтона, характеризующую степень выраженности критериального свойства и имеющую универсальный характер (табл. 3.8).

Таблица 3.8

Вербально-числовая шкала Харриигтона Описание градаций Численное значение Очень высокая 0,8-1,0 Высокая 0,64-0,8 Средняя 0,37-0,64 Низкая 0,2-0,37 Очень низкая 0,0-0,2 Отметим, что числовые значения градаций шкалы Харрингтона получены на основе анализа и обработки большого массива статистических данных.

При оценке объектов принятия управленческих решений по критериям, допускающим лишь субъективную оценку специалистов, целесообразны разработка и использование специальных шкал, отражающих специфику того или иного критерия, той или иной группы объектов.

Можно использовать следующую процедуру для формирования вербально-числовых шкал, специально предназначенных для оценки проектов по критериям, для которых отсутствуют общепринятые вербально-числовые шкалы: сначала выбирают градации (деления) шкалы, а затем определяют численные значения этих градаций.

При определении набора градаций шкалы очень важно выбрать такие, содержательные интерпретации которых одинаково или почти одинаково (с незначительными разногласиями, не превышающими заданного порога) принимаются всеми экспертами, участвующими в выработке управленческих решений.

Для получения численных значений, соответствующих описанным градациям шкалы, могут быть использованы специальные методы.

Формирование принципа выбора, на основании которого по значениям критериев устанавливается сравнительная предпочтительность оцененных альтернативных вариантов решений.

Типовой процесс реализации методов экспертной оценки включает три этапа: ?

формирование экспертных групп; ?

проведение опроса экспертов; ?

обработка экспертных оценок.

Методы получения количественных экспертных оценок. Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, измеряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объектов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Это может быть конкретное значение, например стоимость аренды помещения; цена единицы продукции, при которой она может иметь конкурентоспособный спрос; предполагаемая емкость рынка; оптимальный объем производства и т.д. Если эксперт затрудняется указать конкретное значение показателя, он может указать диапазон, в котором лежит значение оцениваемого показателя.

Во втором случае (когда оценивается сравнительная предпочтительность объектов по тому или иному показателю) количественная оценка, указываемая экспертом, определяет степень их сравнительной предпочтительности.

Метод средней точки — используется, когда альтернативных вариантов достаточно много. Если через /(а^ обозначить оценку первого альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через/(а^ — оценку второго альтернативного варианта, то далее необходимо подобрать третий альтернативный вариант аъ, оценка которого/(а^ равна (/(а{) +Даъ)) /2. При этом в качестве первого и второго альтернативных вариантов целесообразно выбирать наименее и наиболее предпочтительные альтернативные варианты.

Далее эксперт указывает альтернативный варианту, значение которого Даф) расположено посередине между/(а^ и/(аи альтернативный варианту, значение которого/^я^ расположено посередине между значениями/(а{) и/(а^).

Процедура завершается, когда определена сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

Этот метод может быть использован также при экспертной оценке численных значений показателей, имеющих количественный характер.

Метод Черчмена — Акофа — используется при количественной оценке сравнительной предпочтительности альтернативных вариантов и допускает корректировку оценок, даваемых экспертами [25].

В методе предполагается, что оценки альтернативных вариантов — неотрицательные числа, что если альтернативный вариант я, предпочтительнее альтернативного варианта а2,то /(а{) больше, чем Да2), а оценка одновременной реализации альтернативных вариантов а{ и а2 равняется /(а^+Да^.

Все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт назначает количественные оценки, как правило, в долях единицы.

Далее эксперт сопоставляет по предпочтительности альтернативный вариант ах и сумму остальных альтернативных вариантов.

Если эти соотношения не выполняются, оценки должны быть соответствующим образом скорректированы. Если а{ менее предпочтите- /

лен, чем сумма остальных альтернативных вариантов, то он сравнивается с суммой остальных альтернативных вариантов, за исключением последнего, и т.д. Если альтернативный вариант а{ на каком-то ш&ге оказался предпочтительнее суммы остальных альтернативных вариантов и для оценок это соотношение подтверждается, то а{ из дальнейших рассмотрений исключается.

Этот процесс продолжается до тех пор, пока последовательно не будут просмотрены все альтернативные варианты.

При практическом применении в случае достаточно большого числа сравниваемых альтернативных вариантов в метод могут быть внесены некоторые коррективы, снижающие его трудоемкость. Так, например, сразу может определяться сумма наибольшего числа альтернативных вариантов с отбрасыванием менее предпочтительных вариантов, которая меньше, чем /(а{), и т.д.

Метод лотерей — для любой тройки альтернативных вариантов а{, а2, аъ, упорядоченных в порядке убывания предпочтительности, эксперт указывает такую вероятность/?, при которой альтернативный вариант а2 равноценен лотерее, при которой альтернативный вариант а1 встречается с вероятностьюр и альтернативный вариант аъ — с вероятностью (1 -/?).

На основании последовательной оценки сравнительной предпочтительности некоторого числа троек альтернативных вариантов рассчитываются числа их, и2,..., ип, с помощью которых формируется линейная функция полезности:

и1р1+и2р2 + ... + ипРп,

глор{,р2, -,Рп — вероятности, с которыми рассматриваются альтернативные варианты аи а2,..., ап. Эта формула позволяет сравнивать по предпочтительности различные лотереи, характеризующиеся различными вероятностями реализации альтернативных вариантов а{, а2,..., ап.

Методы получения качественных экспертных оценок. И ногда специфика объектов экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

В таких случаях могут использоваться методы получения качественных оценок объектов или показателей, их характеризующих.

Метод экспертной классификации — используется, когда необходимо определить принадлежность оцениваемых вариантов решений к ус-

тановленным и принятым к использованию классам, категориям, уровням, сортам и т.д. (далее — классы).

Он может быть применен и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации.

Если эксперту необходимо отнести каждый из вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъявления эксперту вариантов. В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит. После завершения процедуры эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им вариантов по классам. На этом этапе эксперту, как правило, предоставляется возможность исходя из общего результата классификации внести коррективы в данные им оценки.

Если проводится коллективная экспертиза, то результаты экспертной классификации, полученные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки. В зависимости от целей экспертизы может возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.

Отметим, что отнести оцениваемые объекты к соответствующим категориям необходимо так, чтобы более предпочтительные объекты были отнесены к более предпочтительным категориям. Естественно, это отражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно понимал поставленную перед ним задачу.

Если число классов, на которое должны быть разбиты альтернативные варианты, заранее не оговаривается, то целесообразно использование следующей процедуры. Эксперту предъявляется пара вариантов и предлагается определить, к одному или к разным классам они относятся. После этого эксперту последовательно предлагаются оцениваемые варианты с тем, чтобы выяснить, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного варианта образовать новый класс.

Процедура завершается после того, как эксперту предъявлены все варианты решений.

Метод парных сравнений — эксперту последовательно предлагаются пары вариантов, из которых он должен указать более предпочтительный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравниваемые варианты решений равноценными либо несравнимыми.

После последовательного предъявления эксперту всех пар вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцёниваемые варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству. Если эксперт признал некоторые варианты несопоставимыми, то в результате будет получено лишь частичное их упорядочение.

В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта. В этих случаях необходимо проведение специального анализа результатов экспертизы.

Отметим также, что при достаточно большом числе оцениваемых вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений. Например, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявления каждого варианта решения в паре с каким-либо другим.

Ранжирование вариантов решений — эксперту предъявляются отобранные для сравнительной оценки варианты, но желательно не более 20-30 для их упорядочения по предпочтительности. Если вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования. В частности, ранжированию вариантов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Например, эксперту предъявляется весь набор вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный вариант среди оставшихся и так до тех пор, пока все оцениваемые варианты не будут им проран- жированы. При другом способе эксперту первоначально предъявляются два варианта или больше, которые ему предлагается упорядочить по предпочтениям. На этом этапе он может воспользоваться первым способом ранжирования. После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им варианты решений, чтобы он определите место каждого предъявленного варианта среди проранжированных ранее. Процедура завершается после предъявления и оценки последнего варианта решения.

Метод векторов предпочтений —* чаше используется при необходимости получения коллективного экспертного ранжирования. Эксперту предъявляется весь набор оцениваемых вариантов решений и предлагается для каждого варианта указать, сколько, по его мнению, других вариантов превосходит данный.

Эта информация представляется в виде вектора, первая компонента которого — число вариантов, которые превосходят первый, вторая компонента — число вариантов, которые превосходят второй, и т.д.

Если оценивается 10 вариантов решений, то вектор предпочтений может выглядеть так: (3, 7,0,4, 8, 6,1, 9, 5, 2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование вариантов по предпочтениям. В противном случае полученный результат отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных вариантов.

Метод векторов предпочтений отличается сравнительной нетрудо- емкостью и может использоваться с учетом характера экспертизы. Этот метод может быть применен и в случае, когда у эксперта имеются затруднения при использовании других методов оценки сравнительной предпочтительности вариантов. При коллективной экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчитать результирующее коллективное ранжирование, отражающее коллективную точку зрения всех экспертов [25].

Метод дискретных экспертных кривых—используется вслучаях, когда разрабатываются прогнозы или анализируется динамика изменения показателей, характеризующих объект выработки и принятия управленческого решения. При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается или ожидается смена тенденции изменения показателя от рассматриваемого параметра, а также значения показателя в характерных точках. Предполагается, что на участках между характерными точками значения показателя изменяются линейно, т.е. две соседние характерные точки кривой могут быть соединены отрезками прямой линии.

Если есть достаточно веские основания для того, чтобы определить нелинейные изменения на участках кривой между соседними характерными точками, имеет смысл от дискретных экспертных кривых перейти к экспертным кривым. При построении экспертных кривых отрезки прямых линий могут быть заменены отрезками нелинейных кривых либо кривых, построенных непосредственно экспертами. Заметим, однако, что далеко не всегда возможно располагать информацией, позволяющей надежно судить о поведении кривой на участках между характерными точками. К тому же обработка результатов экспертных оценок, и в частности определение результирующей коллективной экспертной оценки, более надежна для дискретных экспертных кривых.

Использование экспертных кривых позволяет более наглядно и надежно представить различные сценарии развития ситуации, что часто бывает необходимым при разработке прогнозов. Экспертные кривые могут эффективно использоваться как при анализе ситуации принятия решения, так и непосредственно при выработке и принятии управленческих решений.