Оцінювання максимальної правдоподібності

Ідея: Модель, прочитана навпаки

Зафіксуйте побачені дані й читайте $p(x\mid \theta )$ як функцію від $\theta$. Це правдоподібність $L(\theta )$.

• Це не ймовірність $\theta$
• Вона не мусить давати в сумі $1$ за всіма $\theta$
• Оцінка $\hat{\theta }$ робить ваші дані найімовірнішими

Ідея: Рецепт

Незалежні дані перемножуються, тож беріть логарифм: сума $\ell (\theta )$ має пік у тому самому $\theta$.

• Запишіть $\ell (\theta )$ і продиференціюйте
• Прирівняйте нахил до нуля
• Перевірте, що друга похідна від’ємна

Формула: Логарифм правдоподібності

$\ell (\theta )=\sum \log p(x_i\mid \theta )$

Додайте логарифм імовірності кожного спостереження. Пік цієї суми і є оцінкою.

Приклад: Об’єднана інтенсивність

Заявки надходять зі сталою випадковою інтенсивністю: $4$ за вікно в $10$ хвилин, $8$ за вікно в $30$. Знайдіть оцінку максимальної правдоподібності.

1. $\ell (\lambda )=\sum (k_i\log \lambda -\lambda t_i)$
2. Нахил нульовий у $\hat{\lambda }=\sum k_i/\sum t_i$
3. $\hat{\lambda }=\frac{4+8}{10+30}=\frac{3}{10}$ за хвилину

Ідея: Об’єднуйте, а не усереднюйте

Середнє інтенсивностей вікон дає $\frac{1}{3}$: коротке вікно має той самий голос, що й довге.

• Довше вікно несе більше свідчень
• Перевірка: $\frac{3}{10}\times 40=12$ заявок, як і в даних

Швидка перевірка: Оцінка дисперсії

Денні дохідності $2$, $4$ і $9$ взято з нормального закону. Яка оцінка максимальної правдоподібності ${\hat{\sigma }}^2$?

Типова помилка: Чекати відсутності зміщення

Оцінка дисперсії ділить на $n$ і занижує: $E[{\hat{\sigma }}^2]=\frac{(n-1){\sigma }^2}{n}$.

Натомість Для незміщеної ділите на $n-1$: $\frac{26}{2}=13$ замість $\frac{26}{3}$.

Формула: Інваріантність

$\text{estimate}ofg(\theta )=g(\hat{\theta })$

Перетворюйте оцінку, а не виведення: $6$ виграшів із $8$ дають $\hat{p}=\frac{3}{4}$ і шанси $3$.

Типова помилка: Вірити гарантіям для великих вибірок

Спроможність і нормальна границя потребують правильної моделі, діапазону даних без $\theta$ і $\theta$ не на краю.

Натомість Для $\mathrm{Uniform}(0,\theta )$ оцінка дорівнює $\max x_i$: нахил ніде не нуль, і вона завжди занижує.

Ідея: Що сказати на співбесіді

Спершу запишіть правдоподібність: вона змушує назвати модель.

• Логарифм, нахил, друга похідна, потім числа
• Наостанок перевірте одиниці або крайній випадок