На тих самих 5 результатах у тому самому порядку P має ймовірності 1/2, 1/4, 1/8, 1/16, 1/16, а Q має 1/4, 1/16, 1/2, 1/16, 1/8. Знайдіть D_KL(Q ∥ P) − D_KL(P ∥ Q) у бітах. Дайте дріб.

Навчання / Бібліотека / Статистика

Обидва напрями

СтатистикаСкладне

На тих самих $5$ результатах у тому самому порядку $P$ має ймовірності $\frac{1}{2}$ , $\frac{1}{4}$ , $\frac{1}{8}$ , $\frac{1}{16}$ , $\frac{1}{16}$ , а $Q$ має $\frac{1}{4}$ , $\frac{1}{16}$ , $\frac{1}{2}$ , $\frac{1}{16}$ , $\frac{1}{8}$ . Знайдіть $D_{KL} (Q ∥ P) - D_{KL} (P ∥ Q)$ у бітах. Дайте дріб.

Для перевірки відповіді потрібен JavaScript. Підказка й розв’язок відкриваються і без нього.

Підказка

Спершу випишіть $log_{2} (\frac{p}{q})$ для кожного результату.

Розв’язок

Значення $log_{2} (\frac{p}{q})$ дорівнюють $1$ , $2$ , $- 2$ , $0$ і $- 1$ .
З вагами $P$ , $D_{KL} (P ∥ Q) = \frac{1}{2} \times 1 + \frac{1}{4} \times 2 - \frac{1}{8} \times 2 - \frac{1}{16} \times 1 = \frac{11}{16}$ .
З вагами $Q$ і зміненими знаками $D_{KL} (Q ∥ P) = - \frac{1}{4} \times 1 - \frac{1}{16} \times 2 + \frac{1}{2} \times 2 + \frac{1}{8} \times 1 = \frac{3}{4}$ .
Різниця дорівнює $\frac{3}{4} - \frac{11}{16} = \frac{1}{16}$ .

Відповідь: $\frac{1}{16}$

Наступна задача Назад до бібліотеки