Смещение выборки и репрезентативность
Типовой вопрос: «опросили таких-то людей, и оценка скорее всего будет завышена, занижена или точна?» Чтобы ответить, нужно понять, чем выборка отличается от всех.
Генеральная совокупность и выборка
- Генеральная совокупность — все объекты, о которых мы хотим сделать вывод: все старшеклассники школы, все клиенты банка.
- Выборка — те объекты, которые мы реально наблюдали.
- Выборка репрезентативна, если по нужному признаку она устроена так же, как совокупность. Надёжнее всего этого добиться случайным отбором, когда у каждого объекта одинаковые шансы попасть в выборку.
- Стратифицированная выборка: совокупность делят на группы (классы, регионы) и из каждой случайно берут число объектов пропорционально её размеру.
Большая выборка не исправляет смещение. Миллион ответов из неправильно отобранной группы даёт неправильный ответ, просто очень уверенно.
Виды смещений
| Смещение | Суть | Пример |
|---|---|---|
| Ошибка отбора | в выборку чаще попадают люди с определённым значением признака | сколько школьники занимаются спортом, спрашивают в секции футбола → оценка завышена |
| Ошибка выжившего | видим только тех, кто «дожил» до наблюдения | «у успешных стартапов основатели бросили вуз», а неуспешных никто не изучал |
| Добровольный отклик | отвечают те, кому тема важна | опрос о чате поддержки в приложении проходят активные пользователи |
| Неответ | часть выборки отказалась отвечать, и они особенные | занятые люди не отвечают на долгий опрос о свободном времени |
| Недоохват | часть совокупности вообще не могла попасть в выборку | число заболевших считают по госпитализациям: лёгкие случаи не видны |
| Время и место | наблюдение в нетипичный момент | посетителей парка считают в воскресенье и умножают на 7 |
| Социальная желательность | люди отвечают «правильно», а не честно | занижают время в соцсетях, завышают время на спорт |
Как определить направление смещения
- Что измеряется? Например, часы чтения.
- Кто попал в выборку и чем он отличается от всех по этому признаку? Футболисты из секции занимаются спортом больше.
- Значит, оценка сдвинута в их сторону: завышена.
Ответ «может быть как завышена, так и занижена» правильный, когда выборка отличается по признаку в обе стороны или когда никакого механизма отбора не видно.
Типичная задача: две смещённые выборки
Нужно узнать, какая доля жителей города пользуется и такси, и каршерингом. Один исследователь опрашивает людей на стоянке такси, другой — у машин каршеринга. Каждая выборка состоит только из пользователей одного сервиса, поэтому ни одна не показывает долю среди всех жителей. Да и смещены они по-разному. Какая оценка ближе к правде, по таким данным сказать нельзя. Правильный ответ — «недостаточно данных».
Типичная задача: «помогают ли репетиторы»
Сравнивают оценки тех, кто занимался с репетитором, и тех, кто не занимался. У занимавшихся оценки хуже, но не потому что репетиторы вредят: к ним чаще идут те, у кого и так проблемы с предметом. Это смещение отбора, и прямое сравнение недооценивает пользу занятий.
Правильные показатели
Похожие вопросы: «какие показатели подходят для исследования связи X и Y по регионам». Подходящие показатели:
- нормированы на размер: на 1000 жителей, доля, на душу населения;
- измеряют именно то, о чём вопрос: заболеваемость, а не смертность, если речь о возникновении болезни;
- устойчивы: средняя концентрация, а не максимум за один день.
Ещё примеры
Чтобы оценить, сколько жители города тратят на кафе, опросили людей в кафе в будний день в 11:00. Как сместится оценка?
Завышена: в выборку попали только те, кто ходит в кафе, причём в 11 утра в будни — люди со свободным графиком. Те, кто в кафе не ходит совсем, в опрос не попали.
Средний стаж сотрудников считают по тем, кто работает в компании сейчас. Почему это может обмануть?
Ушедшие не попадают в выборку (ошибка выжившего). Если ушедшие работали недолго, «стаж работника» получится завышенным.