<<
>>

Вставка 3.4 Социология и маркетинг: эффективное взаимодействие Основные проблемы экспертных оценок

Что должна представить экспертная комиссия в результате своей работы — информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии.

Цель — сбор информации для ЛПР.

Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов “за” и “против” определенных вариантов решений. В этом случае полезен метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему эксперту... Процедура заканчивается, когда иссякает поток новых соображений. Эксперты в рассматриваемом методе только “поставляют” информацию, но не вырабатывают согласованного проекта решения. При подобной постановке задачи наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

Цель — подготовка проекта решения для ЛПР. 1.

Проблема согласованности. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому из экспертной группы исключают тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертов по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

ьывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели.

Это не так! Цель достигнута — установлено, что единого мнения нет. И ЛПР должно это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся рабочей группе (или даже “подсказанной” ЛПР). Поскольку число экспертов обычно не превышает 20—30, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности.

С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.

Мягкий способ борьбы с диссидентами состоит в применении устойчивых статистических процедур. Например, в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается идущей от них информации, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с экспертов и рабочей группы и перекладывает ее на плечи ЛПР. 2.

Проблема одномерности. Каждый объект можно оценивать по многим показателям качества. Но далеко не всегда можно свести эти оценки вместе. Поэтому не стоит заставлять экспертов делать то, что они выполнить не в состоянии — указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов.

Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

Источник: Орлов А. Современна.' этап развития теории экспертных оценок (http://www.i-u.ru/biblio/archive/orlov_sovereo/).

При анализе мнений экспертов активно применяются различные статистические методы, при помощи которых определяются согласованность и достоверность мнений. Модели поведения экспертов обычно базируются на гипотезе, что эксперт оценивает параметр с некоторыми ошибками. “Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы... Чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные, и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели”57.

А. Орлов обращает внимание на то, что ответы экспертов чаще всего носят нечисловой характер: “Эксперт может сравнить два объекта, дать им оценки типа «хороший», «приемлемый», «плохой», упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами”. Это связано с тем, что человеку свойственно оперировать скорее словами и образами, чем числами. К тому же постановка многих маркетинговых задач часто не предполагает математически точных ответов.

Распространенной ошибкой является попытка свести все ответы экспертов к числам, приписывая их мнениям различные баллы и обрабатывая их с помощью методов прикладной статистики как результаты обычных измерений. Для того чтобы у исследователя не возникало искушения так поступить, рекомендуется при составлении инструментария экспертного опроса использовать: •

парные сравнения (а не ранжирование); •

интервальные оценки (при которых эксперт в качестве оценки рассматриваемого параметра называет не число, а интервал).

<< | >>
Источник: М. Л. Власова. Социологические методы в маркетинговых исследованиях [Текст] : учеб. пособие для вузов / Гос. ун-т — Высшая школа экономики. — М.: Изд. дом ГУ ВШЭ. — 710 [2] с. — (Учебники Высшей школы экономики). 2006

Еще по теме Вставка 3.4 Социология и маркетинг: эффективное взаимодействие Основные проблемы экспертных оценок:

  1. Вставка 1.1 Социология и маркетинг: эффективное взаимодействие Маркетолог или социолог — кто был первым?
  2. Вставка 9.3 Социология и маркетинг: эффективное взаимодействие
  3. Вставка 3.3 Социология и маркетинг: эффективное взаимодействие Этапы метода составления сценария
  4. Вставка 7.7 Социология и маркетинг: эффективное взаимодействие Тенденции в поведении потребителей на рынках разных стран
  5. Вставка 7.5 Социология и маркетинг: эффективное взаимодействие Конструирование психосемантических полей для выбора имени (слогана) бренда
  6. Вставка 7.4 Психология и маркетинг: эффективное взаимодействие Поля значений некоторых архетипов
  7. 2. Сущность метода экспертных оценок.
  8. 3.4.2 Методы экспертных оценок
  9. 3.4. Групповые очные методы экспертных оценок
  10. 3.5. Групповые заочные методы экспертных оценок
  11. Тема 9. Очные методы групповых экспертных оценок (4 часа)
  12. 1. Роль и значение экспертных оценок в процессе разработки УР.