Взаємна інформація

Ідея: Нульова кореляція, повна інформація

Спокійні дні дають $1$ або $-1$, бурхливі $4$ або $-4$. Кореляція з режимом нульова.

• Проте один погляд на дохідність показує режим
• Кореляція бачить лише прямолінійні зв’язки

Формула: Взаємна інформація

$I(X;Y)=H(Y)-H(Y\mid X)$

Зменшення сумніву щодо Y, коли відомо X. Нуль саме тоді, коли X і Y незалежні.

Формула: Найшвидша форма вручну

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

Симетрична щодо X і Y. Також дорівнює $D_{\mathrm{KL}}(P_{XY}\parallel P_X{P}_Y)$.

Приклад: Сигнал, що часто мовчить

Рух $X$ вгору чи вниз з імовірністю $\frac{1}{2}$. Половину днів сигнал точно його називає, інакше мовчить. Знайдіть $I(X;Y)$.

1. $H(X)=1$ і $H(Y)=\frac{1}{4}\times 2+\frac{1}{4}\times 2+\frac{1}{2}=\frac{3}{2}$
2. $4$ рівні клітинки по $\frac{1}{4}$: $H(X,Y)=2$
3. $I(X;Y)=1+\frac{3}{2}-2=\frac{1}{2}$

Ідея: Пів біта має сенс

Половина днів відкриває весь $1$ біт, решта нічого: $\frac{1}{2}\times 1+\frac{1}{2}\times 0=\frac{1}{2}$.

• Стрічка, що губить частку повідомлень, губить ту саму частку $H(X)$

Швидка перевірка: Режим із дохідності

Кожен режим має ймовірність $\frac{1}{2}$, кожен знак $\frac{1}{2}$, а розмір дохідності видає режим. Чому дорівнює $I(R;V)$ у бітах?

Ідея: Важко оцінити

$10$ інтервалів на ряд дають $100$ клітинок; $100$ днів лишають близько $1$ дня на клітинку.

• Оцінка підстановкою зміщена вгору
• Перемішайте один ряд і повторіть ту саму оцінку

Типова помилка: Надто довіряти числам

Нульова кореляція не означає незалежності, а виміряне значення понад $0$ не доводить залежності.

Натомість На скінченній вибірці оцінка майже ніколи не дорівнює $0$ точно: порівняйте з перемішаними даними.

Ідея: Як сказати це на співбесіді

Зменшення ентропії однієї величини, коли відома інша.

• Симетрична
• Ловить нелінійні зв’язки
• Важко оцінюється з коротких вибірок