Кореляція проти причинності

Ідея: Кореляція не є причиною

Кореляція міряє, наскільки щільно пара лягає на пряму. Напрямку вона не має.

• $\mathrm{Corr}(X,Y)=\mathrm{Corr}(Y,X)$
• Бачить лише прямі: $Y=X^2$ може мати нульову коваріацію
• Причина: зміна самого $X$ змінила б $Y$

Формула: Кореляція

$\mathrm{Corr}(X,Y)=\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$

Коваріація в стандартних одиницях, завжди між −1 і 1.

Ідея: Змішувальний чинник

Третя змінна $Z$ може рухати і $X$, і $Y$.

• $X=3Z+E$, $Y=5Z+F$, розміри шуму $4$ і $12$
• Жодна не впливає на іншу, проте $\mathrm{Cov}(X,Y)=3\times 5=15$
• Кореляція: $\frac{15}{5\times 13}=\frac{3}{13}$

Приклад: Парадокс Сімпсона

Новий маршрутизатор: $\frac{720}{800}$ ліквідних і $\frac{100}{200}$ неліквідних добрих виконань. Старий: $\frac{190}{200}$ і $\frac{480}{800}$. Яка загальна частка в нового?

1. Старий загалом: $\frac{190+480}{1000}=0,67$
2. У кожному виді новий гірший: $0,90<0,95$, $0,50<0,60$
3. Новий загалом: $\frac{720+100}{1000}=0,82$

Швидка перевірка: Зафіксуйте суміш

Новий маршрутизатор: $90\%$ ліквідних, $50\%$ неліквідних. Старий: $95\%$ і $60\%$. За рівної суміші заявок на скільки пунктів новий гірший?

Формула: Зміщення через пропущену змінну

$\text{slope}=\beta +\gamma \delta$

Пропустіть Z, що рухає Y на γ і рухається з X на δ, і до нахилу додасться γδ.

Типова помилка: Сильна регресія як доказ

Висока t-статистика каже, що нахил точний, а не причинний. Більше даних лише уточнює хибне число.

Натомість Назвіть змішувальний чинник і куди він тягне. Не контролюйте спільний наслідок $X$ і $Y$.

Ідея: Що справді доводить причину

Рандомізуйте: монета обирає маршрутизатор, тож $Z$ не впливає і $\delta =0$.

• Без експерименту? Шукайте зовнішнє правило, що зсунуло $X$
• Пілоти кроку ціни, пороги індексів: добрі, лише якщо як випадкові
• На співбесіді: чинник, куди тягне, ваш експеримент