Вставка 3.4 Социология и маркетинг: эффективное взаимодействие Основные проблемы экспертных оценок

Цель — сбор информации для ЛПР.

Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов “за” и “против” определенных вариантов решений. В этом случае полезен метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему эксперту... Процедура заканчивается, когда иссякает поток новых соображений. Эксперты в рассматриваемом методе только “поставляют” информацию, но не вырабатывают согласованного проекта решения. При подобной постановке задачи наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

Цель — подготовка проекта решения для ЛПР. 1.

Проблема согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому из экспертной группы исключают тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертов по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

ьывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели.

С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.

Мягкий способ борьбы с диссидентами состоит в применении устойчивых статистических процедур. Например, в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается идущей от них информации, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с экспертов и рабочей группы и перекладывает ее на плечи ЛПР. 2.

Проблема одномерности. Каждый объект можно оценивать по многим показателям качества. Но далеко не всегда можно свести эти оценки вместе. Поэтому не стоит заставлять экспертов делать то, что они выполнить не в состоянии — указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов.

Источник: Орлов А. Современна.' этап развития теории экспертных оценок (http://www.i-u.ru/biblio/archive/orlov_sovereo/).

При анализе мнений экспертов активно применяются различные статистические методы, при помощи которых определяются согласованность и достоверность мнений. Модели поведения экспертов обычно базируются на гипотезе, что эксперт оценивает параметр с некоторыми ошибками. “Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы... Чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные, и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели”57.

А. Орлов обращает внимание на то, что ответы экспертов чаще всего носят нечисловой характер: “Эксперт может сравнить два объекта, дать им оценки типа «хороший», «приемлемый», «плохой», упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами”. Это связано с тем, что человеку свойственно оперировать скорее словами и образами, чем числами. К тому же постановка многих маркетинговых задач часто не предполагает математически точных ответов.

Распространенной ошибкой является попытка свести все ответы экспертов к числам, приписывая их мнениям различные баллы и обрабатывая их с помощью методов прикладной статистики как результаты обычных измерений. Для того чтобы у исследователя не возникало искушения так поступить, рекомендуется при составлении инструментария экспертного опроса использовать: •

парные сравнения (а не ранжирование); •

интервальные оценки (при которых эксперт в качестве оценки рассматриваемого параметра называет не число, а интервал).