Критерии для оценки исследований, проведенных по методу
обоснованной теории Качественное исследование может тщательно оцениваться, только если его процедуры достаточно четко обозначены, с тем чтобы читатели итоговой публикации могли оценить их соответствие. Кроме того, научные каноны (исследовательские стандарты), которые принял исследователь, должны быть присущи также его исследованию. Что в таком случае вам нужно знать, чтобы судить об этих предметах? Научные каноны и качественное исследование Некоторые качественные исследователи утверждают, что каноны или стандарты, по которым судят о количественных исследованиях, совершенно не подходят для качественных исследований (см. Agar, 1986; Guba, 1981; Kirk & Miller, 1986). Вероятно, большинство качественных исследователей верят в то, что эти особые каноны следует, по крайней мере, модифицировать, чтобы они соответствовали качественному исследованию. Обоснованные теоретики (grounded theorists) разделяют их убеждение в том, что обычные каноны «хорошей науки» следует поддерживать, но они требуют переопределения, чтобы соответствовать реальностям качественного исследования и сложности социальных феноменов, которые мы стремимся понять. Обычные научные каноны включают в себя: значимость, совместимость теории-наблюдения, обобщение, последовательность, воспроизводимость, точность и верификацию. (Краткий обзор этих канонов см в: Gortner & Schultz, 1988, p. 204.) Эти каноны учеными-физиками и биологами считаются настолько само собой разумеющимися, что философы науки даже не обсуждают подробно большинство из них, за исключением верификации. Однако другие каноны, такие, как точность, последовательность и релевантность, предполагаются неявно (Popper, 1959). Опасности, которые могут подстерегать качественных исследователей, использующих такие термины, лежат в их более позитивистских коннотациях [сопутствующих значениях], и в тех значениях, которые происходят из чересчур буквального прочтения физической и биологической научной литературы Нет никакого смысла определять или использовать эти термины в соответствии с определениями и употреблением количественных социальных исследователей. Каждый метод открытия развертывает собственные стандарты и процедуры для их достижения. (Дискуссию об этом см. Diesing, 1971.) Что важно, так это то, чтобы все эти критерии были четко обозначены. Например, возьмите канон воспроизводимости. Как правило, он означает, что любое данное исследование — физический эксперимент, например, — может быть воспроизведен таким образом, что если результаты исходного исследования воспроизведены успешно одним (или более) исследователем (ями), то они заслуживают еще большего доверия. Однако, вероятно, не существует теории, имеющей дело с фактически воспроизводимым социальным/психологическим феноменом, поскольку обнаруживаются новые ситуации или иные ситуации, условия которых точно не совпадают с условиями исходного исследования, хотя многие важные условия могут быть сходными. В отличие ог исследования физического феномена, очень трудно воплотить экспериментальные или другие замыслы, в которых можно было бы воссоздать все первоначальные условия и контролировать все внешние переменные, с которыми может столкнуться изучаемый социальный/психологический феномен. Есть иной метод, указывающий на воспроизводимость. Другой исследователь, следуя той же теоретической перспективе, тем же общим правилам сбора и анализа данных и имея сходный ряд условий, что и первый исследователь, должен прийти к такому же теоретическому объяснению данного феномена. Любые возникающие разногласия могут быть решены путем перепроверки данных и идентификации различных условий, которые могут действовать в каждом случае. Чтобы продолжить тему переопределения обычных канонов для качественного исследования, рассмотрим далее канон обобщающей способности. Цель обоснованной теории состоит в том, чтобы точно обозначить условия, вызывающие определенные ряды действия/взаимодействия относительно феномена и итоговых следствий. Теория применима лишь для тех точно обозначенных ситуаций. Конечно, чем больше систематизирована и широко распространена теоретическая выборка, чем больше условий и вариаций, которые будут раскрыты и включены в теорию, - тем больше будет ее обобщающая способность (а также точность и прогностические возможности). Если первоначальная теория недостаточно объясняет вариацию, которая была обнаружена благодаря дополнительному исследованию, то эти новые точно обозначенные характеристики могут быть добавлены для исправления первоначальной формулировки теории. Мы лишь пояснили примерами необходимость переопределения обычных канонов, слегка коснувшись двух из них (воспроизводимости и обобщающей способности), поскольку другие важные критерии подробно обсуждались в связи с обоснованной теорией в другом месте (Corbin & Strauss, 1990). Критерии для оценки обоснованной теории Мы обсудим некоторые важные оценочные критерии для суждения об исследовании. Каком исследовании? Вашем собственном и других исследователей, если они утверждают, что применяли методы обоснованной теории. Этими критериями следует также руководствоваться при формулировании заявок для фондовых агентств. Как и другие исследователи, те, кто работает по методу обоснованной теории, должны рассматривать вопросы выборки, аналитических процедур, валидности и тому подобное. (По-видимому, представители фондовых агентств могут также применять общие методологические указания, данные в этой главе, для оценки заявок, подразумевающих использование методов обоснованной теории.) Успех исследовательского проекта, в конце концов, оценивается по его продуктам. За исключением редких случаев, когда имеется лишь устная презентация, результаты, теоретические формулировки и выводы, так же как проект исследования и процедуры, оцениваются через посредство публикации. Все же, как они оцениваются и по каким критериям? Оценивая исследовательскую публикацию, автор(ы) которой утвер- ждае(ю)т, что они создали, разработали или «проверили» теорию, вам следует отчетливо проводить различие между этими вопросами. Во- первых, составляются суждения о валидности, достоверности и надежности данных (Guba, 1981; Kidder, 1981; Kirk & Miller, 1986; Le Compte & Goetz, 1982; Miles & Huberman, 1984; Sandelowski, 1986). Во-вторых, суждения об адекватности исследовательского процесса, посредством которого теория рождается, разрабатывается или проверяется. В-третьих, суждения об эмпирическом обосновании исследовательских результатов. Критерии для оценки данных много обсуждались в литературе (см. помимо вышеупомянутых ссылок любой учебник по полевой работе). Именно адекватность исследовательского процесса создания теории и обоснование его результатов составляет суть того, что нас здесь интересует. Исследовательский процесс По публикации обоснованной теории читатель должен иметь возможность составлять суждения о некоторых компонентах исследовательского процесса, которые приводят к этой публикации. Однако даже в монографии — которая, в конце концов, состоит, прежде всего, из теоретических формулировок и анализированных данных — не может быть способа, с помощью которого читатели могут точно оценить, как исследователь провел анализ. Действительно, они не присутствуют во время аналитических семинаров, и монография не обязательно помогает им представить себе эти семинары или их последовательность. Чтобы исправить это, было бы полезно, чтобы читателям были даны определенные виды информации касательно критериев, данных ниже. Даже в монографии не нужно давать очень много подробностей, достаточно дать некоторые полезные смысловые основы для суждения об адекватности исследовательского процесса как такового. Виды необходимой информации представлены ниже в форме вопросов. Ответы на них показывают, как они могут служить в качестве оценочных критериев. Критерий # 1: Как была отобрана первоначальная выборка? На какой основе? Критерий # 2: Какие значительные категории возникли? Критерий # 3: Какие события, инциденты, действия и тому подобное (как индикаторы) указывали на некоторые из этих значительных категорий? Критерий # 4: На основе каких категорий происходила теоретическая выборка? То есть, как теоретические формулировки направляли сбор данных? После того как теоретическая выборка была сделана, насколько репрезентативными оказались эти категории? Критерий # 5: Каковы были некоторые из гипотез, относящиеся к концептуальным связям (т. е., между категориями) и на каких основаниях они были сформулированы и проверены? Критерий # 6: Были ли случаи, когда гипотезы не поддерживались тем, что наблюдалось в действительности? Как учитывались эти разногласия? Как они влияли на гипотезы? Критерий # 7: Как и почему была выбрана центральная категория? Был этот выбор сделан сразу или постепенно, трудно или легко? На каких основаниях были приняты окончательные аналитические решения? Мы понимаем, что некоторые из этих критериев считаются нетрадиционными (например, предпочтение теоретической выборки вместо статистической, или предписание точного формулирования оснований для разногласий) большинством количественных или даже многими качественными исследователями. Тем не менее, они существенны для оценивания исследований обоснованной теории. Если исследователь, работающий по этому методу, дает эту информацию, то читатели могут применять данные критерии, чтобы оценить адекватность сложных кодировочных процедур исследователя. Подробности, полученные таким путем, дополняются информацией, которая может быть прочитана, по "крайней мере, в более объемных публикациях, как указание на крайне осторожное и доскональное прослеживание индикаторов, добросовестной и изобретательной теоретической выборки, и так далее. Далее мы даем серию вопросов, которые также эквивалентны ряду критериев, касающихся эмпирического обоснования проекта. Эмпирическое обоснование исследования Критерий # 1: Производит ли теория понятия? Поскольку основные строительные блоки любой обоснованной теории (на самом деле, любой научной теории) состоят из ряда понятий, обоснованных в данных, то первые вопросы, которые можно задать о любой публикации обоснованной теории, таковы: Производит ли теория (путем кодирования) понятия или, по крайней мере, использует ли их, и каков их источник или источники? Если понятия извлечены из обычного употребления (например, «неуверенность»), но не применяются в специальной практике, то они не являются понятиями, т. е. частью обоснованной теории, так как фактически не обоснованы в самих данных. В любой монографии, которая имеет целью представить теоретические интерпретации данных, основанных на анализе обоснованной теории, можно сделать быструю, если очень грубо, оценку ее понятий, просто путем проверки указателя понятий определяя, имеют ли они специальный или обычный смысл и много ли их. Для более полной оценки этих положений следует, по крайней мере, бегло просмотреть книгу. Критерий # 2: Является ли связь между понятиями систематической? Название научного проекта — систематическая концептуализация путем связывания понятий. Поэтому вопросы, которые задаются здесь о публикации обоснованной теории, следующие: Были ли образованы такие связки и представляются ли они обоснованными в данных? Далее, проводится ли связывание систематически? Как и в другом качественном тексте, связи едва ли будут представлены как перечень гипотез, или через пропорциональные отношения, или в других формальных терминах, а будут вплетены в текст публикации на всем ее протяжении. Критерий # 3: Много ли имеется концептуальных связей и категорий, которые хорошо разработаны? Обладают ли они концептуальной плотностью? В обоснованной теории должны быть плотные связи как между категориями и их субкатегориями, так и между отдельными категориями при окончательной интеграции. Это связывание делается, конечно, в терминах характерных черт парадигмы — условий, контекста, действия/взаимодействия (включая стратегии) и следствий. Кроме того, категории должны быть теоретически плотными (иметь много свойств, в которых выделены измерения). Именно плотные связи, с точки зрения парадигмальных характеристик и плотности категорий, придают теории ее объяснительную силу. Теория, не имеющая таких связей, отнюдь не удовлетворительна. Критерий #4: Много ли вариаций встроено в теорию? Некоторые качественные проекты сообщают лишь о единственном феномене и устанавливают лишь несколько условий, при которых он появляется. Кроме того, они подробно обозначают лишь несколько действий/взаимодействий, которые его характеризуют, и ограниченное число или диапазон следствий. В противоположность этому, монографию обоснованной теории следует оценивать с точки зрения диапазона ее вариаций и их подробного обозначения, объяснения этих вариаций в связи с данными, являющимися их источником. В опубликованном документе диапазон вариаций, которых коснется исследователь, может быть более ограниченным, но автору следует, по крайней мере, предположить, что в более широком исследовании они будут рассмотрены подробней Критерий # 5: Более широкие условия, которые влияют на изучаемый феномен, включены в его объяснение? Исследовательский метод обоснованной теории требует, чтобы условия, которые объясняют действия/взаимодействия феномена, были перенесены в анализ и не были ограничены лишь теми, которые, по- видимому, непосредственно касаются изучаемого феномена. То есть, анализ не дблжен быть таким «микроскопическим», чтобы не учитывать условий, которые происходят из более «макроскопических» источников: таких, например, как экономические условия, социальные движения, тенденции, культурные ценности и тому подобное. Таким образом, они не просто должны быть перечислены как вспомогательный материал, но прямо связаны с феноменом через их влияние на действие/взаимодействие и через эти последние на следствия. Поэтому любая публикация обоснованной теории, которая либо упускает эти более широкие условия, либо недостаточно выявляет их конкретные связи с изучаемым феноменом, теряет в своем эмпирическом обосновании. Другими словами, упоминает автор матрицу условий явно или не упоминает (см. главу 10), она должна быть, по сути дела, работающей в анализе. Критерий # 6: Был ли принят во внимание процесс? Идентификация и точное обозначение изменения или движения в форме процесса является важной частью исследования обоснованной теории. Любое изменение должно быть связано с условиями, которые его вызывают. Припомните из главы 9, что процесс может быть описан как этапы или фазы, а также как поток или движение действия/взаимодействия во времени, в ответ на существующие условия. Критерий #7: Представляются ли теоретические результаты значимыми и в какой степени? Вполне возможно завершить исследование обоснованной теории или любое исследование, все же не получив значимых результатов. Если иеследователь просто следует процедурам/канонам обоснованной теории без воображения или проникновения в суть того, что отражают данные, потому что он или она не видит, о чем они в действительности говорят, за исключением тривиальных или хорошо известных феноменов, то опубликованные результаты можно будет оценить как неудачные по этому критерию. Помните, что имеется взаимосвязь между исследователем и данными, и ни один метод, и конечно, не метод обоснованной теории, не может гарантировать, что взаимосвязь будет творческой. Это зависит от трех характеристик исследователя: аналитической способности, теоретической восприимчивости и чувствительности к тонкостям действия/взаимодействия (плюс достаточной литературной способности, чтобы рассказать о результатах). Конечно, творческая взаимосвязь опирается и на другой полюс уравнения исследователь — данные: качество собранных или использованных данных. Анализ, лишенный творческого воображения, в техническом смысле, возможно, будет адекватно обоснован в данных, но фактически он недостаточно обоснован с точки зрения теоретических намерений исследователя. Это происходит потому, что исследователь либо не извлекает из данных более полный ресурс, либо недостаточно широко проводит сбор данных. Этот двойной ряд критериев, для исследовательского процесса и для эмпирического обоснования теоретических результатов, прямо касается проблем того, как верифицируется любое данное исследование обоснованной теории и как устанавливается его достоверность. Если исследование опубликовано, компоненты исследовательского процесса отчетливо изложены и достаточно информации в самой публикации, то представленную теорию или теоретические формулировки можно будет оценивать с точки зрения степени правдоподобности. Мы можем оценить, при каких условиях теория может соответствовать «реальности», давать понимание и быть полезной (практически и теоретически). Заключительные замечания Вы должны иметь в виду еще два замечания относительно оценочных критериев. Во-первых, эти критерии не следует считать жесткими и твердыми оценочными правилами, если вы работаете как исследователь, или составляете себе мнение о публикациях других исследователей в качестве читателя. Критерии означают нормы. Новые области исследования могут потребовать модификации процедур и оценочных критериев, чтобы они соответствовали обстоятельствам исследования. Одаренные творческим воображением исследователи, которые ломают голову над необычным или творческим использованием материалов, время от времени будут несколько отступать от того, что можно назвать «авторитетными» нормами для процедур. Сказав это, мы решительно настаиваем на том, чтобы вы строго соблюдали эти важные критерии, пока не появятся очень основательные причины для того, чтобы не делать этого. В таких редких случаях вам следует знать точно, как и почему вы отступили от критериев, сказать об этом в своей работе и предоставить читателям судить о достоверности вашей теории. Во-вторых, мы предлагаем, чтобы вы указывали, каковы были ваши процедурные действия, хотя бы коротко, особенно в больших публикациях. Они будут включать перечень любых особых процедур или процедурных шагов, принятых в дополнение к тем, которые обсуждались в этой книге. Это поможет читателям судить о'б адекватности вашего исследования в целом. Это также заставит читателей лучше осознать, как данное конкретное исследование отличается от того, которое сделано с использованием других методов качественного исследования. Делая это, вы будете более осознанно представлять себе, каковы были именно ваши действия, и их возможную неадекватность. Другими словами, вы будете в состоянии идентифицировать и сообщить, каковы были неизбежные ограничения вашего проекта. Выводы Каждое исследование, качественное или количественное, должно оцениваться с точки зрения определенных канонов и процедур исследовательского метода, который применялся для получения результатов. Оценочные критерии обоснованной теории были разработаны авторами. Эти критерии должны быть полезны не только для тех, кто хочет судить о собственной работе или о работе своих коллег, но и для тех, кто сидит за редакционными столами и в фондовых агентствах, кто также должен оценивать проекты обоснованной теории.