Інформація Фішера й межа Крамера-Рао · Висновування й оцінювання

9 карток2 хв читанняСтатистика

Картка 1 з 9

Ідея: Наскільки чітко вказують дані
Внесок $S (θ)$ це нахил логарифма правдоподібності. У середньому він нульовий; його коливання і є інформацією.
- Крута правдоподібність добре визначає $θ$
- Плоска не визначає
- Для незалежних даних інформація додається: $I_{n} = n \times I$
Формула: Інформація Фішера
$I (θ) = E [S^{2}] = Var (S)$
Дисперсія внеску, а також мінус середня кривина логарифма правдоподібності.
Формула: Межа Крамера-Рао
$Var (T) \geq \frac{1}{I _{n}} (θ)$
Жодна незміщена оцінка θ у гладкій моделі не має меншої дисперсії.
Приклад: Наскільки точною буває частка виконань
Заявки виконуються з імовірністю $p = \frac{1}{5}$ . Яка найменша стандартна похибка незміщеної оцінки за $100$ заявками?
1. Одна заявка: $I (p) = \frac{1}{p ( 1 - p )}$
2. $\frac{1}{\frac{1}{5} \times \frac{4}{5}} = \frac{25}{4}$ , тож $100 \times \frac{25}{4} = 625$
3. Дисперсія $\frac{1}{625} = 0, 0016$ , похибка $0, 04$
Швидка перевірка: Заявки для похибки в 1 пункт
Та сама частка $p = \frac{1}{5}$ . Скільки заявок потрібно за межею для стандартної похибки $0, 01$ ?
Показати відповідь
Відповідь: $1600$
Дисперсія $0, 0001$ потребує $n = \frac{0 , 16}{0 , 0001} = 1600$ , бо $p (1 - p) = 0, 16$ .
Ідея: Ефективність
Ефективність це межа, поділена на дисперсію оцінки: частка інформації, яку вона використовує.
- Хто досягає межі, той ефективний
- Вибіркова частка $p^$ досягає її точно
- Тики вгору, вниз або без змін: лише висхідні дають $\frac{1}{3}$
Швидка перевірка: Інформація в тику
Тик іде вгору з імовірністю $θ$ , вниз з імовірністю $θ$ , інакше не змінюється. Чому дорівнює $I (θ)$ при $θ = \frac{1}{4}$ ?
Показати відповідь
Відповідь: $16$
$I (θ) = \frac{2}{θ ( 1 - 2 θ )}$ , тож $\frac{2}{\frac{1}{4} \times \frac{1}{2}} = 16$ .
Типова помилка: Межа як підлога для всього
Вона стосується лише незміщених оцінок у гладких моделях. Стала $T = \frac{1}{2}$ має нульову дисперсію.
Натомість Зміщене стягування може бути нижче, а $Uniform (0, θ)$ б’є швидкість $\frac{1}{n}$ . Беріть $I_{n}$ , а не $I$ .
Ідея: Що сказати на співбесіді
Інформація це дисперсія внеску, і вона додається для незалежних даних.
- Одне спостереження, помножте на $n$ , оберніть: найкраща дисперсія
- Б’є межу? Спитайте, чи вона зміщена, чи модель негладка

Ідея: Наскільки чітко вказують дані

Формула: Інформація Фішера

Формула: Межа Крамера-Рао

Приклад: Наскільки точною буває частка виконань

Швидка перевірка: Заявки для похибки в 1 пункт

Ідея: Ефективність

Швидка перевірка: Інформація в тику

Типова помилка: Межа як підлога для всього

Ідея: Що сказати на співбесіді