<<
>>

6.1. Общая характеристика выборочного наблюдения

Наиболее широко распространенным видом несплошного наблюдения является выборочное наблюдение, при котором обследуются не все единицы изучаемой совокупности, а лишь определенным образом отобранная их часть.

Вся совокупность единиц, из которой осуществляется отбор, называется генеральной совокупностью, а единицы, отобранные для непосредственного наблюдения, представляют собой выборочную совокупность, или просто выборку. Отбор из генеральной совокупности проводится таким образом, чтобы на основе выборки можно было получить достаточно точное представление об основных параметрах совокупности в целом. При этом речь идет как о точечной оценке, в качестве которой принимается соответствующее значение средней, доли и т.д., полученное в результате выборки, так и об интервальной оценке, т.е. о тех пределах, в которых с определенной вероятностью может находиться значение искомого параметра в генеральной совокупности. Главное требование, которому должна отвечать выборочная совокупность, — это требование ее репрезентативности, т.е. представительности.

В статистике результаты сплошного наблюдения иногда оцениваются как выборочные характеристики. Такая трактовка полученных данных имеет место в тех случаях, когда число обследованных единиц невелико и нет твердой уверенности в том, что изучаемые характеристики не могут принимать иных значений, кроме выявленных в результате наблюдения. При проведении экспериментов число значений может быть бесконечно большим, поэтому, формулируя выводы на основе ограниченного их числа, необходимо рассматривать полученные данные как выборочные характеристики.

При организации выборочного обследования нужно соблюдать принцип случайности отбора. Каждая единица совокупности должна иметь равную вероятность попасть в выборку. На практике не всегда удается обеспечить соблюдение данного принципа. Для этого необходимо учесть все элементы генеральной совокупности. Например, невозможно пронумеровать все домашние хозяйства или все население страны, так как это очень большая совокупность и состав ее постоянно меняется. В таких случаях прибегают к методике неслучайного отбора, стараясь, чтобы элементы случайности присутствовали. Примером такого отбора служит механическая выборка, при которой вся исследуемая совокупность предварительно упорядочивается и правило выбора из нее отдельных единиц устанавливает исследователь.

Выборочный метод наблюдения широко используется на практике как в области естественных наук для оценки результатов экспериментов, так и в экономике. Госкомстат России проводит выборочные обследования бюджетов домашних хозяйств, потребительских ожиданий населения, обследования населения по проблемам занятости и др. На выборочной основе организовано статистическое наблюдение за деятельностью малых предприятий, за их деловой активностью, наличием и движением основных фондов. Выборочный метод используется также при изучении объема и состава затрат организаций на рабочую силу. Сфера применения этого метода постоянно расширяется, что связано с рядом его преимуществ.

Во-первых, выборочный метод обеспечивает значительную экономию материальных и финансовых ресурсов при проведении статистического наблюдения, что позволяет расширить программу обследования и повысить его оперативность.

Второе преимущество — высокая достоверность получаемых данных, так как при относительно небольшом объеме выборки можно организовать эффективный контроль за качеством собираемой информации. Таким образом, при использовании выборочного метода снижается вероятность появления ошибок регистрации и необнаруже- ния их на стадии проверки первичной информации. И наконец, в ряде случаев, когда сплошное наблюдение связано с уничтожением или порчей обследуемых единиц (например, при проверке качества поступающих в продажу продуктов питания), возможно только выборочное обследование.

Точность оценок, полученных на основе выборочного метода, зависит не от доли обследованных единиц, а от их числа. Если объем генеральной совокупности достаточно велик, то доля отобранных для наблюдения единиц может быть очень небольшой, а точность оценок — высокой. Например, выборочное обследование по проблемам занятости в России охватывает около 0,2% населения в возрасте от 15 до 72 лет, но обеспечивает высокую точность оценок параметров генеральной совокупности. Если же объем такой совокупности невелик, то эффект от применения выборочного наблюдения может выражаться не столько в экономии материальных ресурсов, сколько в повышении качества собираемой исходной информации. Для получения несмещенной оценки в этом случае процент отбора должен быть значительно больше. Под несмещенной оценкой подразумевается такая характеристика выборочной совокупности, математическое ожидание которой совпадает с ее значением в генеральной совокупности.

Методологически выборочное наблюдение сложнее, так как требует глубокой предварительной проработки программы, а в ряде случаев и организации пробного обследования. Если такое наблюдение проводится на постоянной основе, необходимо периодически обновлять совокупность обследуемых единиц, т.е. требуется ротация выборки.

Распространяя результаты выборочного обследования на генеральную совокупность, следует иметь в виду, что между характеристиками генеральной и выборочной совокупности возможно расхождение, обусловленное тем, что обследуется не вся совокупность, а лишь ее часть. Такого рода несовпадения называются ошибками репрезентативности, которые подразделяются на систематические и случайные. Систематические ошибки возникают в связи с принятым способом отбора или нарушением его правил. Например, результаты проводимых в России обследований бюджетов домашних хозяйств содержат значительную систематическую ошибку, так как в выборочной совокупности фактически не представлены наиболее богатые слои населения.

Случайные ошибки репрезентативности неизбежно возникают при проведении выборочных обследований, так как обеспечить абсолютную адекватность характеристик выборочной и генеральной совокупности даже при тщательно спланированном наблюдении практически невозможно. Оценка таких ошибок — одна из задач статистики. Важно определить не только абсолютную величину ошибки, но и ее допустимый уровень. Стремление максимально уменьшить случайную ошибку выборки приводит к росту ее объема, а большая ошибка ставит под сомнение возможность практического использования полученных результатов. Допустимый уровень ошибки должен быть установлен при разработке программы обследования.

Основные этапы выборочного наблюдения: 1)

определение цели, задач и составление программы наблюдения; 2)

анализ информационных источников, используемых для выделения генеральной совокупности объектов наблюдения (основы выборки); 3) формирование генеральной совокупности для проведения выборочного обследования; 4)

разработка методологии формирования выборочной совокупности, включающей выбор способа отбора, определение необходимого объема выборки, этапов отбора единиц из генеральной совокупности, планирование и проведение пробной выборки; 5)

формирование выборки; 6)

сбор данных на основе разработанной программы; 7)

анализ полученных результатов и расчет основных характеристик выборочной совокупности; 8)

расчет ошибок выборки и распространение ее результатов на генеральную совокупность.

Условные обозначения, использованные при изложении материала в данной главе, приведены в табл. 6.1.

Таблица 6.1

Условные обозначения Показатель Совокупность генеральная выборочная Объем (число единиц) совокупности N п Среднее значение признака

Доля единиц, обладающих изучаемым X X признаком

Доля единиц, не обладающих изучаемым Р признаком д 1 — Дисперсия < а2 Среднее квадратическое отклонение °г с 6.2. Ошибки выборки при собственно случайном отборе

Виды случайного отбора

Теоретические основы выборочного метода, первоначально разработанные применительно к собственно случайному отбору, используют и для определения ошибок выборки при других способах наблюдения.

Рассмотрим наиболее простой способ формирования выборочной совокупности — собственно случайный отбор.

Собственно случайный отбор может быть повторным и бес- повторным. При повторном отборе каждая единица, отобранная в случайном порядке из генеральной совокупности, после проведе- ния наблюдения возвращается в эту совокупность и может быть вновь подвергнута обследованию. На практике такой способ отбора встречается редко. Гораздо более распространен собственно случайный бесповторный отбор, при котором обследованные единицы в генеральную совокупность не возвращаются и не могут быть обследованы повторно. При повторном отборе вероятность попадания в выборку для каждой единицы генеральной совокупности остается неизменной. При бесповторном отборе она меняется, но для всех единиц, оставшихся в генеральной совокупности после отбора из нее нескольких единиц, вероятность попадания в выборку одинакова.

Для обеспечения случайности отбора используются разные способы. Если параметры генеральной совокупности известны и все ее единицы могут быть пронумерованы, то случайный отбор обеспечивается с помощью жребия. При большом объеме совокупности выборка может осуществляться с использованием таблиц случайных чисел. Такие таблицы представляют собой набор четырех- или пятизначных чисел. Если число единиц в генеральной совокупности трехзначное, то из любого столбца или строки таблицы последовательно выписывают столько чисел, сколько единиц в выборочной совокупности. От каждого числа отбрасывают первую или последнюю цифру (или две цифры, если таблицы состоят из пятизначных чисел). Затем отбирают числа, не превышающие число единиц в генеральной совокупности.

Пример. В первом столбце таблицы случайных чисел содержатся числа: 5489, 3522, 7555, 5759, 6303 и т.д. Предположим, что генеральная совокупность состоит из 600 единиц. При этом в соответствии с программой выборки должно быть обследовано 30 единиц. Номера единиц, попавших в выборку: 489, 522, 555, 303 и т.д. Единицы с номером 759 в генеральной совокупности нет, поэтому в выписанные порядковые номера единиц наблюдения это число не попадает.

Ошибки выборки при случайном повторном отборе

Ошибка выборки для средней. Основные свойства выборочной совокупности, сформированной методом собственно случайного повторного отбора, рассмотрим на следующем примере.

Пример. Из генеральной совокупности (например, студенты I

курса, данные о возрасте которых приведены в табл. 6.2) с числом единиц N = 4 методом собственно случайного повторного отбора осуществлена выборка, объем которой равен 2 единицам, т.е. п = 2. Порядковый номер студента 1 2 3 4 Возраст X., лет 16 17 17 18 Результаты всех возможных испытаний представлены в табл. 6.3.

Таблица 6.3 Номера

отобранных

единиц Выборочная

средняя

X.

1 Номера

отобранных

единиц Выборочная

средняя 1 и 1 16,0 3 и 1 16,5 1 и 2 16,5 3 и 2 17,0 1 и 3 16,5 3 и 3 17,0 1 и 4 17,0 3 и 4 17,5 2 и 1 16,5 4 и 1 17,0 2 и 2 17,0 4 и 2 17,5 2 и 3 17,0 4 и 3 17,5 2 и 4 17,5 4 и 4 18,0 В генеральной совокупности средний возраст студентов

_ 5>. 16 + 17 + 17 + 18

х = —- = = 17 лет,

N 4

дисперсия изучаемого признака

, = Х(*, ~ *)2 =

N

= 0,5.

(16 - 17)2 + (17 - 17)2 + (17 - 17)2 + (18 - 17)2

На основе результатов расчета л: и ог можно построить распределение полученных значений выборочных средних (табл. 6.4).

Таблица 6.4 < Средний возраст студентов в выборке, лет

X.

1 Отклонение выборочной средней от генеральной средней

X. -X Частота появления /-го значения выборочной средней

Г, Вероятность появления 1-ГО значения выборочной средней

р, 1 2 3 4 5 1 16,0 -1,0 1 0,0625 2 16,5 -0,5 4 0,2500 3 17,0 0,0 6 0,3750 4 17,5 0,5 4 0,2500 5 18,0 1,0 1 0,0625 Итого 16 1,0000 Вероятности появления различных значений выборочной средней, равные вероятностям соответствующего отклонения выборочной средней от генеральной средней, неодинаковы. Чем больше отклонение выборочной характеристики от генеральной, тем меньше вероятность его появления. Наиболее часто оценка, полученная на основе выборки, совпадает с соответствующей характеристикой генеральной совокупности. В приведенном примере вероятность появления в выборке среднего возраста студентов, равного 17 годам, наиболее велика (р3 = 0,3750).

Рассчитаем математическое ожидание выборочной средней:

М{х) = Xх,рі = 16,0 ? 0,0625 + 16,5 ? 0,25 + 17,0 • 0,375 + + 17,5 ? 0,25 + 18,0 ? 0,0625 = 17 лет.

Таким образом, х = М(х), т.е. выборочная средняя является несмещенной оценкой генеральной средней. Аналогичный результат можно получить, используя вместо вероятности рі частоту появления соответствующих значений выборочных средних: х =

= 17 лет.

Х-Г-У; _ 16,0-1 + 16,5-4 + 17,0-6 + 17,5-4 + 18,0-1

16 Отклонение выборочной средней от генеральной равно нулю лишь в 6 выборках из 16. В остальных случаях значения выборочной и генеральной средней не совпадают, при этом вероятность появления наибольшего по абсолютной величине отклонения, равного единице, минимальна. Таким образом, существует предел, к которому стремится отклонение выборочной средней от генеральной.

Рассчитаем среднюю величину этих отклонений. Учитывая, что сумма отклонений, взятая в абсолютном выражении, равна нулю, указанную среднюю рассчитаем как среднее квадратическое отклонение:

Так как = рг то

/

= л/(—I)2 -0,0625 + (—0,5)2 -0,25 + 0,52-0,25 + I2 -0,25 = 0,5. Полученная величина ц. называется средней ошибкой выборки. Средняя ошибка выборки — это среднее квадратическое отклонение всех возможных значений выборочной средней от генеральной средней, т.е. от своего математического ожидания.

Дисперсия возможных значений выборочной средней

В математической статистике доказано, что эта величина в п раз меньше дисперсии в генеральной совокупности. В данном примере дисперсия в генеральной совокупности о2 = 0,5, а объем выборки п = 2, тогда

2

п 2

Следовательно, средняя ошибка выборки может быть определена по формуле

При собственно случайном повторном отборе средняя ошибка выборки зависит от: •

вариации изучаемого признака в генеральной совокупности; •

объема выборки.

Чем больше вариация признака, тем больше ошибка выборки. Для ее уменьшения необходимо увеличить объем выборочной совокупности.

В действительности решается обратная задача: на основе выборочных данных делается вывод о некоторых характеристиках генеральной совокупности. Согласно правилу сложения дисперсий дисперсия в генеральной совокупности М(х — х) может быть представлена как сумма двух слагаемых: средней величины из отклонений отдельных значений от выборочных средних М[х — х) и средней величины из отклонений выборочных средних от генеральной средней м{х — X) , т.е.

Учитывая, что М(х - л:)2 = а2, М[х - х)2 = а2, а М(х - х)2 =

получаем

52 = а2 + ^ я

ИЛИ

„г , 2

2 г 2 п — \

о1 = о; - = а; ,

' п я

где о2 — средняя дисперсия выборочных совокупностей. Следовательно,

_2

°г 2

_ ЛО и — 1

В таком случае средняя ошибка выборки

й = ^-^т. (6-1)

I я — 1

Так как все возможные значения дисперсии в выборочной совокупности неизвестны, при нахождении средней ошибки выборки вместо о2 в формуле (6.1) используют дисперсию конкретной выборки о2. При такой замене велика вероятность малой погрешности. При достаточно большом объеме выборочной совокупности в формуле (6.1) вместо (я — 1) можно использовать величину я. Таким образом, средняя ошибка выборки при собственно случайном повторном отборе будет рассчитываться по формуле II

= А—• (6.2) V

п

Учитывая, что на основе выборочного обследования нельзя точно оценить изучаемый параметр генеральной совокупности, необходимо найти пределы, в которых он находится. В конкретной выборке разность |л:(. — *| может быть больше, меньше или

равна ц. Каждое из отклонений | х! — х | от ц имеет определенную вероятность. При выборочном обследовании реальное значение х

в генеральной совокупности неизвестно. Зная среднюю ошибку выборки, с определенной вероятностью можно оценить отклонение выборочной средней от генеральной и установить пределы, в которых находится изучаемый параметр (в данном случае средняя) в генеральной совокупности. Отклонение выборочной характеристики от генеральной называется предельной ошибкой выборки А. Она определяется в долях средней ошибки с заданной вероятностью, т.е.

(6.3)

А = /ц,

где ґ — коэффициент доверия, зависящий от вероятности, с ко-

торой определяется предельная ошибка выборки.

Вероятность появления определенной ошибки выборки находят с помощью теорем теории вероятностей. Согласно теореме П.Л. Чебышёва, при достаточно большом объеме выборки и ограниченной дисперсии генеральной совокупности вероятность того, что разность между выборочной средней и генеральной средней будет сколь угодно мала, близка к единице:

А.М. Ляпунов доказал, что независимо от характера распределения генеральной совокупности при увеличении объема выборки распределение вероятностей появления того или иного значения выборочной средней приближается к нормальному распределению. (Это так называемая центральная предельная теорема.) Следовательно, вероятность отклонения выборочной средней от генеральной средней, т.е. вероятность появления заданной предельной ошибки, также подчиняется указанному закону и может быть найдена как функция от ? с помощью интеграла вероятностей Лапласа:

где I = — нормированное отклонение выборочной средней

^ от генеральной средней.

Значения интеграла Лапласа для разных 7 рассчитаны и приводятся в специальных таблицах (см. Приложение 2).

Поясним графически процедуру нахождения вероятности 7-кратного отклонения генеральной средней х от выборочной х (рис. 6.1).

Вероятность /-кратного отклонения

ф(/) = Р(0 = -т=е Ы2к Рис. 6.1. Кривая нормального распределения

Площадь, ограниченная кривой нормального распределения и осью абсцисс, равна суммарной вероятности возникновения различных отклонений х от х, т.е. равна 1. Заштрихованная часть (см. рис. 6.1), которая находится в пределах от —1 до +1, равна 0,683, т.е. с вероятностью 68,3% можно гарантировать, что отклонение генеральной средней от выборочной не превысит однократной средней ошибки выборки. С этой вероятностью можно утверждать, что среднее значение признака в генеральной совокупности находится в пределах х — ц < х < х + ц.

Вероятность того, что отклонение средней в генеральной совокупности от выборочной средней не выйдет за пределы 2ц. (т.е. t= 2), равна 0,954, а вероятность того, что оно не выйдет за пределы 3(0., — соответственно 0,997. Таким образом, зная среднее значение признака в выборке, можно почти достоверно утверждать, что в генеральной совокупности соответствующее значение будет находиться в пределах х — Зц < х < х + Зц. На практике доверительная вероятность принимается чаще всего на уровне 0,95 или 0,99. Соответствующие значения коэффициента доверия равны 1,96 и 2,58 (см. Приложение 2).

Пользуясь приведенными рассуждениями, можно определить вероятность только верхнего или нижнего предела для искомой характеристики генеральной совокупности. Например, вероятность того, что средняя в генеральной совокупности не превысит

0.954

х + 2ц, будет равна 0,5 + —-— = 0,977.

Ошибка выборки для доли. Для того чтобы на основе результатов выборочного наблюдения найти долю единиц, обладающих изучаемым признаком в генеральной совокупности, используют формулы, аналогичные приведенным ранее. Дисперсия для доли в генеральной совокупности о2 равна произведению рд, где р — доля единиц, обладающих изучаемым признаком в генеральной совокупности, а д = 1 — р — доля единиц, не обладающих изучаемым признаком. Так как наблюдение выборочное и величины р и «7 неизвестны, в формуле средней ошибки выборки используются соответствующие значения, полученные на основе выборочного обследования. Средняя ошибка выборки для доли при собственно случайном повторном отборе рассчитывается по формуле

(6.4)

где

доля единиц, обладающих изучаемым признаком в выборочной совокупности;

(1 — и')— доля единиц в выборке, не обладающих изучаемым

признаком.

Предельная ошибка выборки в этом случае определяется так же, как и для средней: Д = /ц.

Частный случай теоремы П.Л. Чебышева для доли доказан Я. Бернулли: при достаточно большом объеме выборки вероятность того, что расхождение между долями единиц, обладающих изучаемым признаком, в выборочной и генеральной совокупности будет сколь угодно малым, стремится к единице. При этом распределение вероятностей различных отклонений доли в выборочной совокупности от доли в генеральной также подчиняется нормальному закону. Зная долю в выборочной совокупности, с соответствующей вероятностью можно гарантировать, что доля в генеральной совокупности не выйдет за пределы — /ц < р < + ?ц.

Ошибки выборки при случайном бесповторном отборе

Приведенные ранее формулы средней ошибки выборки справедливы только при повторном отборе. Однако на практике чаще используется бесповторный отбор: обследованная единица не возвращается в генеральную совокупность и не может быть обследована повторно. При этом принцип независимости испытаний нарушается. Очевидно, что при бесповторном отборе из четырех студентов двоих (см. табл. 6.2) средний возраст студентов I курса не может быть равен 16 и 18 годам. Следовательно, средняя ошибка выборки будет меньше.

Средняя ошибка выборки при собственно случайном беспов- торном отборе рассчитывается по формуле

(6.5)

о2 М-

п N — 1

При больших значениях N величину (ЛГ — 1) в формуле (6.5) можно заменить на ТУ, тогда упрощенная формула средней ошибки выборки запишется следующим образом: для средней 1 -

м- =

N

(6.6)

для доли

(6.7)

где ~ — доля обследованных единиц совокупности.

При собственно случайном бесповторном отборе средняя ошибка выборки зависит от: •

вариации изучаемого признака; •

объема выборки; •

доли обследованных единиц.

Чем больше объем выборки и доля обследованных единиц, тем меньше ошибка выборки; вариация признака связана с ней прямо пропорционально.

Если доля обследованных единиц невелика, то дополнительный множитель под знаком радикала практически не влияет на ошибку выборки. В этом случае ошибку выборки при бесповторном отборе можно найти по формулам, которые применяются при повторном отборе.

Наряду с абсолютной величиной средней и предельной ошибок выборки в статистической практике используется относительная их величина, рассчитываемая как отношение ошибки к ис-

Д А

следуемому параметру: Дотн = тг или Дотн = —. Теоретически в

знаменателе должно быть значение исследуемого параметра генеральной совокупности. Однако оно неизвестно, поэтому относи-

тельная ошибка рассчитывается через соответствующий параметр А Л

выборки: Дотн —г или Дотн . Относительная ошибка выра-

X W

жается в процентах. Выборка считается репрезентативной, если

Аотн < 5%-

Пример. По данным выборочного обследования, проведенного Госкомстатом России по состоянию на конец марта 1996 г., средний возраст безработных в России составил х = 34,4 года при среднем квадратическом отклонении а = 13,8 года. С вероятностью Р — 0,997 определить пределы, в которых находится средний возраст безработных в генеральной совокупности, если известно, что в ходе обследования опрошено п = 155 тыс. человек в возра-

п

сте 15—72 лет, что составляет — — 0,15% от общей численности

населения в этом возрасте.

Средняя ошибка выборки при собственно случайном беспо- вторном отборе составит / \ 1 / \ п 1 - п = О - “ iV \ п N V У \ J = 13,8^^а^7оШ5) = 0,035 года.

При = 0,997 коэффициент доверия 1=3

(см. Приложение 2), а предельная ошибка выборки Д = = 3 • 0,035 г 0,1 года.

Таким образом, средний возраст безработных в России с вероятностью 0,997 находится в пределах

х—Д<х<х + Д,

т.е.

34,4 - 0,1 < х < 34,4 + 0,1,

или 34,3

года < х < 34,5 года.

При решении данной задачи среднюю ошибку выборки можно было рассчитать по формуле для повторного отбора, поскольку п

величина — мала.

N

Пример. С вероятностью 0,954 определить предельную ошибку выборки для доли мужчин среди безработных в России в конце марта 1996 г., если известно, что в выборке (и = 155 тыс. человек) их доля составила 54,9%.

При р( | и' — р | < /ц.) = 0,954 коэффициент доверия t = 2

(см. Приложение 2).

Предельная ошибка выборки

т.е. Д = 0,25%.

Следовательно, с вероятностью 0,954 можно утверждать, что в генеральной совокупности предельная ошибка выборки для доли безработных мужчин не превысит 0,25%.

Можно решить и обратную задачу: задав предельную ошибку выборки, определить вероятность, с которой она может быть гарантирована. При этом, зная Д и ц, сначала находят коэффициент доверия 7 = Д/ц, а затем по таблице (см. Приложение 2) искомое значение вероятности.

<< | >>
Источник: Г.Л. Громыко. Теория статистики: Учебник. — Т11 2-е изд., перераб. и доп. - М.: ИНФРА-М,. - 476 с. — (Классический университетский учебник)., . 2005

Еще по теме 6.1. Общая характеристика выборочного наблюдения:

  1. 5.5. Методология и практика выборочного наблюдения Этапы наблюдения
  2. 7.1. ПОНЯТИЕ О ВЫБОРОЧНОМ НАБЛЮДЕНИИ
  3. 5.1. Сущность и необходимость выборочного наблюдения Основные понятия
  4. 7.4. РАЗЛИЧНЫЕ ВИДЫ ВЫБОРОЧНОГО НАБЛЮДЕНИЯ
  5. 6.6. Распространение результатов выборочного наблюдения на генеральную совокупность
  6. Глава 5. Выборочное наблюдение
  7. ГЛАВА 7. ВЫБОРОЧНОЕ НАБЛЮДЕНИЕ
  8. Глава 6 ВЫБОРОЧНОЕ НАБЛЮДЕНИЕ
  9. 5.2. Ошибки выборочного наблюдения Средняя ошибка
  10. 1.9.2. Общая схема организации наблюдения в день голосования и при подсчете голосов
  11. 2.4. Ошибки статистического наблюдения и контроль данных наблюдения
  12. СПОСОБЫ, ИСПОЛЬЗУЕМЫЕ ОБЪЕКТОМ НАБЛЮДЕНИЯ - ПЕШЕХОДОМ ДЛЯ ОТРЫВА ОТ НАБЛЮДЕНИЯ.
  13. Общая характеристика
  14. I. Общая характеристика
  15. Общая характеристика
  16. 1. Общая характеристика.
  17. § 1. Общая характеристика
  18. 1. Общая характеристика