Стягування й емпіричний Баєс

Ідея: Стягуйте до відомого

Стратегія виграє $9$ із $10$ угод, схожі виграють $\frac{3}{5}$. Чи вважати її переможцем на $90\%$?

• $10$ угод кажуть мало
• Знання про схожі стратегії теж є свідченням
• Стягування перетворює це чуття на арифметику

Формула: Форма стягування

$T=(1-\alpha )\times \hat{\theta }+\alpha \times {\mu }_0$

Кожна оцінка зі стягуванням це зважене середнє сирої оцінки й цілі μ₀.

Приклад: Апріорний розподіл вагою 20 угод

Апріорний розподіл книги $\mathrm{Beta}(12,8)$. Нова стратегія виграє $9$ із $10$ угод. Яке апостеріорне середнє?

1. Апостеріорний $\mathrm{Beta}(21,9)$
2. Середнє $\frac{21}{30}=\frac{7}{10}$

Ідея: Свідчення поступово переважають

Вага апріорного розподілу це його розмір, поділений на загальний: $\frac{20}{20+10}=\frac{2}{3}$.

• Перевірка: $\frac{2}{3}\times \frac{3}{5}+\frac{1}{3}\times \frac{9}{10}=\frac{7}{10}$
• Зі $100$ угодами: $\frac{20}{120}=\frac{1}{6}$

Формула: Чому зміщення допомагає

$\mathrm{MSE}(\alpha )=(1-\alpha {)}^2{s}^2+{\alpha }^2{\delta }^2$

Стягування зменшує дисперсію й додає зміщення αδ. Найкраща вага α = s²/(s² + δ²).

Швидка перевірка: Похибка після стягування

Сира оцінка має стандартну похибку $s=2$; істина за $\delta =1$ від цілі. Яка середньоквадратична похибка за найкращого $\alpha$?

Приклад: Група задає апріорний розподіл

Оцінки столів $1$, $3$, $7$, $9$, відомий шум $v=\frac{10}{3}$. Куди зрушиться найкращий стіл?

1. Центр $5$, $S^2=\frac{16+4+4+16}{3}=\frac{40}{3}$
2. ${\hat{\tau }}^2=\frac{40}{3}-\frac{10}{3}=10$, лишається $\frac{10}{10+\frac{10}{3}}=\frac{3}{4}$
3. Найкращий стіл: $5+\frac{3}{4}\times 4=8$

Ідея: Емпіричний Байєс

Коли схожих об’єктів багато, розкид між ними задає апріорний розподіл: думка не потрібна.

• Від’ємне ${\hat{\tau }}^2$? Покладіть нуль і стягуйте повністю
• Для $3$ і більше середніх спільне стягування знижує сумарну похибку

Типова помилка: Чекати, що покращиться кожна оцінка

Стягування знижує сумарну похибку групи; справді винятковий об’єкт теж тягне до натовпу.

Натомість Стягуйте до правильної сукупності, а емпіричний апріорний вважайте оцінкою: розширюйте інтервали.

Ідея: Що сказати на співбесіді

Назвіть сиру оцінку, ціль і звідки береться вага.

• Вага: шум, поділений на шум плюс сигнал
• Найбільший виграш на малих вибірках
• Сирі рейтинги лестять верхнім рядкам