Описательная статистика

Основа всех задач с данными. Нужно уметь посчитать каждую статистику и понимать, как она изменится, если данные сдвинуть, растянуть или добавить выброс.

Меры центра

Среднее x̄ = (x₁ + … + xₙ) / n. Чувствительно к выбросам.
Медиана — середина упорядоченного ряда. При чётном n это среднее двух центральных значений. Устойчива к выбросам.
Мода — самое частое значение.

Пример

Доходы 1, 2, 3, 4, 100. Среднее 22, медиана 3. Для доходов, цен на квартиры и других данных с длинным правым хвостом медиана описывает «типичного» человека лучше.

Скошенность. Если у распределения длинный правый хвост (доходы), то обычно среднее > медианы. Если левый хвост — наоборот.

Квантили

Квантиль уровня q — значение, ниже которого лежит доля q данных.

Квартили Q1, Q2 (медиана), Q3 делят данные на 4 равные части.
Децили делят на 10 частей, процентили — на 100.
Если 1000 различных чисел упорядочить и разбить на 10 равных групп, в каждой будет 100 чисел. Граница между группами — квантиль соответствующего уровня.

Ловушка

Программы считают квантили по-разному: даже в одном Excel есть КВАРТИЛЬ.ВКЛ и КВАРТИЛЬ.ИСКЛ. На маленьких выборках ответы расходятся. Если в условии задано правило, считайте строго по нему.

Меры разброса

Размах = max − min IQR = Q3 − Q1 Дисперсия (генеральная) D = Σ(xᵢ − x̄)² / n Дисперсия (выборочная) s² = Σ(xᵢ − x̄)² / (n − 1) Стандартное отклонение σ = √D Коэффициент вариации CV = σ / x̄

Пример

Данные 2, 4, 4, 4, 5, 5, 7, 9. Среднее 5. Отклонения в квадрате: 9, 1, 1, 1, 0, 0, 4, 16, сумма 32. Генеральная дисперсия 32/8 = 4, σ = 2. Выборочная 32/7 ≈ 4,57.

Как статистики меняются при преобразованиях

Преобразование	Среднее, медиана, квантили	σ, IQR, размах	Дисперсия
x + c	+ c	не меняются	не меняется
k · x	· k	· \|k\|	· k²
Самое большое значение увеличили	среднее растёт, медиана нет	σ и размах растут	растёт

Типичная задача: «как изменить среднее, не трогая медиану»

Если уменьшить самые большие значения (срезать премии самым высокооплачиваемым), среднее уменьшится, а медиана не изменится, пока не задет средний по счёту человек. Если добавить эти деньги самым низким значениям, среднее вернётся на место, а медиана может сдвинуться. Считайте аккуратно: пересортируйте значения после изменения.

Стандартизация и нормировка

z-оценка: x_new = (x − x̄) / σ → среднее 0, σ = 1 min-max: x_new = (x − min)/(max − min) → значения в [0; 1]

После z-стандартизации значения не ограничены отрезком [−1; 1]. Всё, что дальше одного σ от среднего, выходит за него.
Сумма z-оценок по всем объектам равна 0. У отдельного объекта сумма его z-оценок по нескольким признакам может быть любой, в том числе 0.
Стандартизация нужна, когда признаки в разных единицах (возраст в годах, доход в рублях) и мы считаем расстояния между объектами. Иначе доход забьёт все остальные признаки.
Рейтинги часто строятся по min-max: 1 получает лучший объект, 0 — худший.

Ещё примеры

Ко всем зарплатам добавили по 5000 ₽ и затем увеличили их на 10%. Что стало со средним и со стандартным отклонением?

Среднее: (x̄ + 5000)·1,1. Стандартное отклонение: σ·1,1 (сдвиг на него не влияет).

Может ли после стандартизации значение быть равно 3,5?

Да. Это объект на 3,5 стандартных отклонения выше среднего, то есть сильный выброс.