РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ
В исследовании социально-экономических и политических систем управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью исследуемых проблем, отсутстви- ем надежных экспериментальных или нормативных инструментов.
Современный этап развития научно-технического прогресса вызвал ярко выраженную потребность в разработке экспертных методов оценки проектов и исследовательских систем.Экспертиза — это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаний предмета исследования и технологиях качественного анализа. Слово «эксперт» образовано от латинского «опытный». Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией [11].
Экспертные методы завоевывают популярность по мере увеличения доли качественных критериев в отображении и оценке социальных процессов. Одной из причин, вызвавших эту тенденцию, явля- ётся необходимость учета интуиции опытных экспертов, выносящих заключения о целесообразности принятия того или иного варианта решения в процессе разработки и реализаций программы.
Факт проникновения субъективных подходов в плоскость объективной оценки рассматриваемых альтернатив, лежащий в основе методологии экспертных методов, призван обеспечить более точное и адекватное отображение свойств и признаков оцениваемого объекта. Особую роль экспертные методы начинают играть в условиях нестабильной экономики, когда возрастает неопределенность решения различных социально-экономических ситуаций.
Методология экспертных оценок применяется в решении следующих задач: обоснование выбора варианта управленческого решения на основе заложенных в основу оценки критериев; определение перспективных направлений использования имеющихся в организации технологий;
согласование мнений между различными уровнями управления; проведение полной и адекватной оценки ситуации, сложившейся на предприятии, в отрасли и пр.
Для решения многих проблем важно не только нахождение наиболее правильного с технологической точки зрения варианта решения проблемной ситуации, но и прояснение* его способности быть реализованным в сложившихся в организации условиях.
Эксперт соотносит для вынесения своего заключения множество критериев, полагаясь на свою квалификацию, опыт и интуицию. И поэтому при организации экспертного опроса многое зависит от того, правильно ли будут подобраны эксперты для решения поставленной задачи.
Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа — это исследование параметров исследуемого объекта, основанное на принципах организации коллективной мыследеятельности с использованием технологии экспертного опроса [18]. Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.
Технология проведения экспертного анализа предполагает прохождение ряда этапов. Подготовка экспертов. Выделение критериев и условий принятия экспертных решений. Выбор оптимального метода экспертной оценки.
Эксперты не всегда способны дать количественные оценки значений оцениваемых показателей. Поэтому важнейшим элементом экспертной оценки является способ качественной оценки объектов экспертизы.
Таким образом, своеобразие качественных методов проведения экспертной оценки заключается в таком представлении объекта экспертизы, которое позволит увидеть в нем скрытые до этого свойства. СТЕПЕНЬ ДОСТОВЕРНОСТИ ЭКСПЕРТИЗЫ.
ТРЕБОВАНИЯ К ПРОФЕССИОНАЛЬНОЙ
КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ
Экспертные исследования могут иметь как самостоятельное значение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.
Прогнозные экспертные оценки отражают индивидуальность суждения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.
Интуитивные (экспертные) методы исследований используются в следующих случаях: для анализа, диагностики состояния, последующего прогнозирования вариантов развития объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации; в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта; в условиях большой неопределенности среды функционирования объекта, рыночной среды; при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках; в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей; при отсутствии необходимых технических средств моделирования, например вычислительной техники с соответствующими характеристиками; в экстремальных ситуациях.
Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.
Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией. К эксперту предъявляют следующие требования: высокий уровень общей эрудиции; стабильность во времени оценок эксперта; наличие дополнительной информации о прогнозируемых признаках лишь подтверждает оценку эксперта; богатый практический и исследовательский опыт, репутация признанного специалиста в данной области знаний; наличие психологической установки на будущее; способность к адекватному отображению тенденций развития исследуемого объекта; незаинтересованность в конкретном результате прогноза
Характеризуя экспертов, следует иметь в виду, что в результате
выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида — как случайные. Эксперт, склонный к систематическим ошибкам, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения.
Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.Случайные ошибки изменяются от одной экспертной оценки к другой ц характеризуются величиной дисперсии.
Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рассмотренному выше перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, заранее определить способность человека делать правильные экспертные оценки невозможно.
Организация форм работы эксперта может быть программированной или непрограммированной. Деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме). Программирование работы эксперта предполагает следующее: построение граф-модели объекта на базе ретроспективного анализа данных прошедшего периода; определение структуры таблиц экспертных оценок или программы интервью на базе граф-модели объекта и целей экспертизы; определение типа и формы вопросов в таблицах экспертных оценок или интервью; определение типа шкалы для вопросов в названных таблицах; учет психологических особенностей экспертизы при определении последовательности вопросов в таблицах экспертных оценок; учет верифицируемых вопросов; разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта [5].
Организация и стимулирование работы эксперта состоит в разработке эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета в авторстве, а также неразглашение всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм моральной, профессиональной и материальной заинтересованности эксперта в экспертных оценках; организационных форм работы эксперта.
При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать десять наиболее компетентных, по его мнению, специалистов По данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать десять наиболее крупных коллег-ученых. Из полученного списка специалистов вычеркивают десять первоначальных, а остальным рассылают письма, содержащие указанную выше просьбу Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлечение всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.
Анкета для опроса специалистов является важнейшим инструментом экспертного прогнозирования. Подготовка и проведение экспертного прогнозирования включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозирования, методикой прогнозирования и верификации прогноза.
Формулировка вопросов в анкете должна отвечать следующим требованиям:
— общепринятая терминология; исключение всякой смысловой неопределенности; обеспечение достижения целей прогноза; соответствие структуре объекта прогнозирования; обеспечение единого и однозначного толкования результатов анкетирования; обеспечение использования конкретного способа верификации результатов прогнозирования.
По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на который не регламентирован. Закрытым называют вопрос, в формулировке которого содержатся альтернативные варианты ответов. При ответе на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, содержащегося в бланке. Косвенные вопросы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать неискренность эксперта при ответе на вопрос.
Таким образом, методы экспертных оценок в исследовании социально-экономических и политических процессов часто применяют в предшествующих прогнозных и плановых исследованиях. ЭКСПЕРТНЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ
Экспертные методы анализа в исследовании социально-экономических и политических систем занимают особое место в отображении и оценке социальных процессов.
В целом можно выделить две группы экспертных оценок: индивидуальные и коллективные [18]. Индивидуальные экспертные методы используют при прогнозировании в относительно узких областях науки и практики. Коллективные экспертные оценки применяют при прогнозировании объектов и процессов, имеющих междисциплинарный характер.
Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также используются как качественные, так и количественные критерии. Таким образом, можно выделить особую группу эвристических методов, значение которых заключается в мобилизации творческого мышления на решение сложных комплексных задач.
Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получает заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.
1 Метод гирлянд и ассоциаций, разработанный в 70-е гг. XX в. советским ученым Г. Бушем, предполагает изучение объекта, схожего по свойствам, на базе сличения их выявляются особенности, характерные для исследуемого объекта.
Метод предполагает прохождение следующих этапов: определение аналогов объекта; выбор случайных объектов; составление комбинаций из элементов гирлянд аналогов объекта и случайных объектов; составление перечня или таблицы признаков случайных объектов; развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов; генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков); развитие новых идей путем попыток комбинирования элементов гирлянды ассоциаций по признакам с элементами гирлянды аналогов объекта; выбор альтернативы, т.е. анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциаций и комбинирования понятий; оценка и отбор рациональных вариантов идей; выбор предпочтительного варианта.
Сферой применения названного метода может стать сложная проблемная ситуация, слабо изученная, в отношении которой нет сложившегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изучении свойств аналогов исследуемого объекта, целесообразности их привлечения, формировании психологической установки экспертов и т.д. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноценность или принципиальную несравнимость представленных альтернатив, в связи с чем они исключаются из анализа. В ходе такого сравнения эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свойства и признаки отобранной альтернативы. При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из’них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изобразить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонентом — число альтернатив, которые превосходят второй, и т.д. Использовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив. Метод фокальных объектов, разработанный в 50-е гг. XX в. американским ученым Ч. Вайтингом, заключается в перенесении признаков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на концентрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска. Процедура применения метода предполагает прохождение следующих этапов: выбор фокального объекта; выбор трех—пяти случайных объектов; составление списков признаков для каждого случайного объекта; генерирование идей посредством присоединения к фокальному объекту признаков случайных объектов; развитие полученных сочетаний путем свободных ассоциаций; оценка полученных идей и отбор полезных решений. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.
Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом (экспертами) разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного документа, составленного на основе тщательного обследования объекта. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй — наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов. Метод Черчмена—Акоффа. В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каждому из них эксперт назначает количественные оценки. Преимуществом данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов. Если один вариант (at) по предпочтительности выше другого (а2), то их значения суммируются (ах + а2). Эксперт сопоставляет по предпочтительности альтернативный вариант (а{) и сумму других альтернативных вариантов. Если (tfj) остается предпочтительным, то и его значение будет выше суммарного значения других альтернативных вариантов, в противном случае — наоборот. Если альтернативный вариант (а{) на каком-то этапе оказался предпочтительнее суммы остальных вариантов и для оценок это соотношение подтверждается, то (а{) из дальнейших рассмотрений исключается. Метод лотерей. В соответствии с методом имеющиеся альтернативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (я2) равноценен лотерее; альтернативный вариант (а{) встречается с вероятностью (р), альтернативный вариант (я3) встречается с вероятностью (1 - р).
Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зрения достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительного круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов [см. 7]. «Мозговой штурм». Главная цель «мозгового штурма» заключается в стимулировании творческого процесса генерации идей, возможного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной Ситуации разработать максимальное количество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Главным преимуществом метода «мозгового штурма» является нацеленность на нахождение нестандартных решений, способных реализоваться при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сформировать группу людей, обладающих высокими креативными способностями, что чрезвычайно важно для организации любого типа. Метод «мозгового штурма» является очень эффективной технологией генерирования новаторских идей. Методика судов. Суть методики заключается в такой организации обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая даёт критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы
Характерной чертой методики судов является ее ролевое исполнение, которое позволяет участникам обсуждения наиболее полно проявить себя в организационном процессе, осознавая в нем не только собственное место, цо и место других служб и должностных функций. Метод «черного ящика». Главным достоинством метода «черного ящика» является минимизация возможного влияния заинтересованных лиц на принятие неэффективных решений. Метод нацеливает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экспертов, оценивающих перспективы принятия решений по определенному перечню проблем. Метод эвристического прогнозирования. Использование данного метода предполагает привлечение к работе экспертов узкой специализации, которые на основе предварительно разработанных анкет и таблиц должны выработать общую модель исследуемого объекта. Основной трудностью в использовании этого метода является процедура подбора экспертов, поскольку их специализация и профиль должны обеспечить возможность целостного представления объекта. Успешное выполнение этой задачи позволит сформулировать ряд нормативных характеристик объекта, которые могут послужить базой для определения вероятных путей их достижения.
Таким образом, методом эвристического прогнозирования называют метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов (экспертов) в узкой области науки, техники или производства. Прогнозные экспертные оценки отражают индивидуальное суждение специалиста относительно перспектив развития его области и основаны на мобилизации профессионального опыта и интуиции.
Область применения рассматриваемого метода включает научно- технические объекты, рынки и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разрабатывать адекватную модель.
В основе метода лежат три теоретических допущения:
^существование у эксперта психологической установки на будущее, сформулированной на основе профессионального опыта и интуиции; тождественность процесса эвристического прогнозирования или процесса решения научной или рыночной проблемы с однотипностью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации; возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синтезируемых из прогнозных экспертных оценок.
Следовательно, назначение метода эвристического прогнозирования — выявление объективизированного представления о перспективах развития узкой области науки, техники, рынка на основе систематизированной обработки прогнозных оценок репрезентативной группы экспертов. Синектический метод. Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно. При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.
Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию решений придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная стабильность, но выявляется уникальный способ осознания и разрешения актуальных проблем. Метод дневников. Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего метод используется в структуре управления с жестко регламентиро
ванной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по совершенствованию деятельности предприятий. type="1"> «Метод Дельфи» является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими возможностями самого метода, позволяющими решать сложные комплексные задачи.
«Метод Дельфи» был разработан в 1964 г. сотрудниками научно- исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.
Сущность метода заключается в последовательном анкетировании мнений экспертов по интересующей организаторов экспертизы проблеме.
Метод предполагает серию опросов экспертов, не имеющих возможности вступать друг с другом в непосредственный контакт и получающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.
На первом этапе экспертам предлагают дать заключение о целесообразности выбора того или иного варианта решения проблемы, основанного на логике доказательства такого выбора и интуиции эксперта.
На втором этапе (обсуждения) эксперты обмениваются заключениями через координатора экспертизы, учитывая во втором варианте собственного отчета доводы и аргументацию своих коллег.
Процесс экспертизы может продолжаться до тех пор, пока не будет получена максимально консолидированная оценка экспертами сложившейся проблемной ситуации и предложен оптимальный и наиболее обоснованный способ ее решения.
Использование метода возможно лишь при соблюдении ряда условий, способных оказать влияние на его эффективное применение в отборе наилучшей альтернативы.
Организационные требования к использованию «метода Дельфи» такойы. Группы экспертов должны быть стабильными, и численность их должна удерживаться в определенных рамках. Минимальное число экспертов можно вычислить по формуле
AU ~ 0.5 (3: Ь + 5),
где b — ошибка результата, измеряемого в диапазоне экспертной оценки
от 0 до 1. Время между этапами опроса должно составлять не более месяца. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы. Число туров (этапов) должно быть достаточным, чтобы все участники имели возможность ознакомиться с причиной той или иной оценки и критиковать ее. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам. Необходима формула согласованности оценок, основанная на данных самооценок. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи. Необходимо установить влияние общественного мнения на экспертные оценки и на сходность этих оценок. В ходе реализации метода должен проводиться систематический отбор экспертов, основанный на данных экспертизы по турам и самооценкам.
Важнейшим достоинством метода является использование в нем количественных показателей, позволяющих делать точные и аргументированные заключения.
«Метод Дельфи» целесообразно применять в следующих случаях: имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.
В «Дельфи» предусматривается создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения — с другой. Еще одно важное свойство — обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуро- вая процедура. Экспертиза проводится чаще всего в четыре тура.
Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в их распоряжение, после чего эксперты уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.
Перед рассылкой анкеты эксперту объясняется существо проблемы.
На первом туре экспертам сообщается цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Успеху способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов — медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.
Степень согласованности мнений экспертов определяют коэффициентом вариации п, который не должен превышать 33%. Он рассчитывается по формуле
где о — среднее квадратическое отклонение оценок.
где х — среднее значение оценки;
Xj — оценка каждого эксперта; п — число экспертов.
Медиана — значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.
На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждый эксперт распределяет оценки третьего тура и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. Как показывает практика, желаемое согласие наступает к четвертому туру.
«Дельфи» является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им вместе с тем периодически взвешивать свои суждения с учетом доводов коллег.
Рассмотрим применение «метода Дельфи» на примере прогноза величины валового сбора зерна в Курской области в 2004 г. />Пусть в подготовке решения участвовало 14 экспертов. Координатором экспертизы был сделан доклад о состоянии и основных направлениях развития сельского хозяйства в рассматриваемом регионе, приведена статистика валового сбора зерна в 1913—2003 гг. (рис. 9.1). Опрос проводился в три тура.
Рис. 9.1. Динамика валового сбора зерна в регионе
Экспертами были приведены следующие аргументы за минимальный объем сбора зерна: прогнозируемые синоптиками на 2004 г. неблагоприятные погодные условия — дожди во время уборки; высокая степень износа сельскохозяйственной техники; недостаточное финансирование производящих отраслей агропромышленного комплекса; недостатки управления сельским хозяйством: низкая квалификация кадров управления, неэффективность организационных структур управления, отсутствие системы непрерывного прогнозирования и планирования на производящих организациях и т.д.
За максимальный объем валового сбора зерна экспертами были высказаны следующие аргументы: увеличение объемов производства сельскохозяйственной продукции в фермерских хозяйствах области; увеличение посевных площадей; тенденции увеличения производства зерна в регионе за последние годы; политика органов регионального управления, направленная на стабилизацию кризисных явлений в сельском хозяйстве области.
Первый тур. Для проведения экспертизы экспертам предоставили анкеты; в каждой содержался вопрос и место для ответа. Результаты обработки анкет на первом туре представлены ниже (табл. 9.1).
Среднее значение оценки
Х = — (1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 +
14
+2200 + 2400 + 2500 + 2600 + 2600 + 2900) = 1864,3.
Таблица 9.1
Результаты анкетирования (первый тур)
Эксперт ные данные, тыс. т | 1000 | 2900 | 1500 | 2500 | 2100 | 1200 | 1700 | 2600 | 1100 | 2200 | 1200 | 1100 | 2400 | 2600 |
Ранжиро ванный ряд | 1000 | 1100 | 1100 | 1200 | 1200 | 1500 | 1700 | 2100 | 2200 | 2400 | 2500 | 2600 | 2600 | 2900 |
Среднее квадратичное отклонение оценок
где п — число экспертов, участвующих в экспертизе; х{ — оценка эксперта.
Коэффициент вариации
Нижний квартиль Q025 = 1200. Верхний квартиль QoJ5 = 2500. Медиана Me = (1700 + 2100) : 2 = 1900.
На рис. 9.2 проиллюстрированы результаты 1 тура экспертизы.
Рис. 9.2. Графики экспертных оценок валового сбора зерна (тур 1)
Во время второго тура повторяются те же вопросы, что и в вопроснике первого тура. Каждому эксперту предлагается пересмотреть собственный предыдущий ответ и, при желании, изменить его. В анкете содержится информация о средней оценке по итогам первого тура (табл. 9.2). Если новый ответ не будет находиться между верхним и нижним квартилями оценок всех экспертов в первом туре, то требуется объяснить такую точку зрения.
Вопрос | Средняя | Интервал | Ваш | Ваш | Причина |
оценка | ответов, | старый | новый | того, почему | |
экспертов, тыс. т | тыс. т | ответ | ответ | новый ответ выше или ниже ИО |
Внешний вид анкеты второго тура
Каким будет 1864 1200—2500 Заполняется
валовой сбор координатозерновых ром экспер-
в регионе тизы
в 2004 г.?
Приведем статистические характеристики этого тура экспертной оценки (табл. 9.3).
Таблица 9.3
Статистическая характеристика второго тура экспертизы
Эксперт ные данные, тыс. т | 950 | 2000 | 1900 | 1100 | 900 | 2000 | 2600 | 1500 | 2200 | 1000 | 1200 | 1100 | 1200 | 1300 |
Ранжиро ванный ряд | />900 | 950 | 1000 | 1100 | 1200 | 1200 | 1300 | 1400 | 1500 | 1900 | 2000 | 2000 | 2200 | 2600 |
Третий тур экспертной оценки аналогичен. Каждому эксперту предлагается пересмотреть свои предыдущие ответы и, при желании, исправить их. Все исправления сопровождаются объяснениями, почему увеличиваются или уменьшаются объемы валового сбора (табл. 9.4).
Таблица 9.4
Статистическая характеристика третьего тура экспертизы
Эксперт ные данные, тыс. т | 1200 | 1350 | 1100 | 1000 | 1300 | 1200 | 1000 | 1450 | 1200 | 1500 | 1000 | 1200 | 1400 | 1100 |
Ранжиро ванный ряд | 1000 | 1000 | 1000 | 1100 | 1100 | 1200 | 1200 | 1200 | 1200 | 1300 | 1350 | 1400 | 1450 | 1500 |
Экспертиза может продолжаться далее. При этом каждому эксперту предлагается еще раз пересмотреть свои предыдущие оценки с учетом аргументов и контраргументов за повышение или понижение оценок (табл. 9.5).
Таблица 9.5
Общие результаты экспертизы по турам
Тур | Интервал | Средняя оценка в туре, тыс. т | Вариация, % |
1 | 1200-2500 | 1828,5 | 35 |
2 | 1100—2000 | 1517,8 | 33,6 |
3 | 1100—1350 | 1221,4 | 13,1 |
В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации V- 13,1%).
В результате применения «Дельфи» состоялся прогноз о том, что валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.
Таким образом, рассмотрев две группы экспертных оценок, можно сделать вывод. Индивидуальные экспертные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики, тогда как методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о параметрах и перспективах развития объекта, где в основе лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы.
ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ В каких случаях применяются и каковы основные методы экспертных исследований социально-экономических и политических систем управления? Какие функции выполняет метод экспертной оценки в социологическом исследовании? В решении каких задач следует применять методологию экспертных оценок? Что включает в себя понятие «экспертиза»? Охарактеризуйте принципы экспертизы. Как подобрать эксперта? Какими качествами он должен обладать? Какие требования предъявляются к экспертам? Что предполагает программирование работы эксперта?
Какие группы экспертных оценок вы знаете? Охарактеризуйте индивидуальные экспертные методы. Определите, с какой целью применяют коллективные экспертные оценки. В каких управленческих ситуациях целесообразно использование «метода Дельфи»?
Еще по теме РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ:
- 2.4.1. Целевое планирование
- 12.2.2 Исследования в сфере РЛ
- 14.2 Исследования рынков престижного потребления
- Г.А. Комарова ОТЕЧЕСТВЕННАЯ ЭТНОГРАФИЯ И ЭТНОСОЦИОЛОГИЯ: ОПЫТ МЕЖДИСЦИПЛИНАРНОЙ ИНТЕГРАЦИИ
- 4.1. ИССЛЕДОВАНИЯ В СОЦИАЛЬНОЙ РАБОТЕ
- 2.4.1. Целевое планирование
- 12.2.2 Исследования в сфере РЛ
- А. А. Судник ГЕНДЕРНЫЙ ФАКТОР В ПОЛИТИЧЕСКОМ ЛИДЕРСТВЕ (РЕЗУЛЬТАТЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ) Общая характеристика исследования
- § 4. Применение в криминологииконкретно-социологических методов
- § 3. Методы криминологического прогнозирования
- § 3. Развитие политической науки после 1945 г