Ентропія в статистичному виведенні

Ідея: Ентропія рахує, чого ви не знаєте

$8$ рівноймовірних причин падіння виконань: ${\log }_{2}8=3$ біти сумніву.

• Тести ранжують за тим, скільки вони прибирають
• Апріорні розподіли не мають додавати необґрунтованого
• Бонус платить учню, щоб частину зберегти

Приклад: Який тест запускати першим

$4$ причини в рушії зіставлення, $2$ в мережі, $2$ в даних. Тест називає групу. Скільки бітів він у середньому прибирає?

1. Лишається: $2$ біти для рушія, інакше $1$
2. Середнє $\frac{1}{2}\times 2+\frac{1}{4}\times 1+\frac{1}{4}\times 1=\frac{3}{2}$
3. Виграш $3-\frac{3}{2}=\frac{3}{2}$

Ідея: Ранжуйте тести за бітами на годину

Добрий тест ділить імовірність порівну між своїми результатами.

• Тест, що майже завжди каже те саме, вчить мало
• Очікуваний виграш це взаємна інформація причини й результату

Формула: Максимальна ентропія

$\hat{p}=\mathrm{argmax}H(p),\text{subject}to\text{the}\text{known}\text{facts}$

З усіх законів, що узгоджуються з фактами, беріть найневизначеніший: інший припускає більше.

Ідея: Що дають факти

Закон із максимальною ентропією залежить від того, що ви знаєте.

• Лише наслідки: рівномірний
• Підсумки груп: рівномірний усередині кожної групи
• Середнє: $p(k)\propto r^k$, з рівним нахилом

Швидка перевірка: Кількість виконань за максимальною ентропією

Стратегія має $0$, $1$ або $2$ виконання із середнім $\frac{5}{13}$. Візьміть закон із максимальною ентропією. Чому дорівнює $P(0)$?

Формула: Плата стратегії за допитливість

$J(\pi )=E[r]+\beta H(\pi )$

Оцінюйте політику за винагородою плюс β, помножене на її ентропію, щоб вона досліджувала.

Приклад: Коли розподіл потоку окупається

Майданчики платять $6$, $4$, $2$ тики. Політика A завжди бере перший; B спрямовує $\frac{1}{2}$, $\frac{1}{4}$, $\frac{1}{4}$. За якого $\beta$ вони рівні?

1. B заробляє $\frac{1}{2}\times 6+\frac{1}{4}\times 4+\frac{1}{4}\times 2=\frac{9}{2}$
2. Ентропія B дорівнює $\frac{3}{2}$, A має $0$
3. Рівність: $\beta =\frac{6-\frac{9}{2}}{\frac{3}{2}}=1$

Типова помилка: Невизначеність не прогноз

Закон із максимальною ентропією описує, чого ви не знаєте. З хибними обмеженнями відповідь хибна.

Натомість Допитлива політика не обов’язково прибуткова: бонус купує дані ціною винагороди. Знижуйте $\beta$, коли вчитеся.