Розміри угод потрапляють у 4 кошики зі справжніми ймовірностями P, що дорівнюють 1/2, 1/4, 1/8 і 1/8. Модель Q вважає кошики рівноймовірними. Чому дорівнює D_KL(P ∥ Q) у бітах? Дайте дріб.

Навчання / Бібліотека / Статистика

Плоска модель перекошеного закону

СтатистикаЛегке

Розміри угод потрапляють у $4$ кошики зі справжніми ймовірностями $P$ , що дорівнюють $\frac{1}{2}$ , $\frac{1}{4}$ , $\frac{1}{8}$ і $\frac{1}{8}$ . Модель $Q$ вважає кошики рівноймовірними. Чому дорівнює $D_{KL} (P ∥ Q)$ у бітах? Дайте дріб.

Для перевірки відповіді потрібен JavaScript. Підказка й розв’язок відкриваються і без нього.

Підказка

Скористайтеся $D_{KL} (P ∥ Q) = H (P, Q) - H (P)$ .

Розв’язок

За $Q$ кожен кошик коштує $2$ біти, тож перехресна ентропія дорівнює $2$ .
Ентропія $P$ дорівнює $\frac{1}{2} \times 1 + \frac{1}{4} \times 2 + \frac{1}{8} \times 3 + \frac{1}{8} \times 3 = \frac{7}{4}$ .
Дивергенція дорівнює $2 - \frac{7}{4} = \frac{1}{4}$ .

Відповідь: $\frac{1}{4}$

Наступна задача Назад до бібліотеки