Апостеріорний розподіл на 4 станах: p = (1/2, 1/4, 1/8, 1/8). Наближення: q = (1/8, 1/8, 1/4, 1/2). Обчисліть Σ q log₂(q/p), KL-дивергенцію q від p, у бітах. Дайте відповідь нескоротним дробом.

Навчання / Бібліотека / Статистика

KL у бітах

СтатистикаСереднє

Апостеріорний розподіл на $4$ станах: $p = (\frac{1}{2}, \frac{1}{4}, \frac{1}{8}, \frac{1}{8})$ . Наближення: $q = (\frac{1}{8}, \frac{1}{8}, \frac{1}{4}, \frac{1}{2})$ . Обчисліть $\sum q log_{2} (\frac{q}{p})$ , KL-дивергенцію $q$ від $p$ , у бітах. Дайте відповідь нескоротним дробом.

Для перевірки відповіді потрібен JavaScript. Підказка й розв’язок відкриваються і без нього.

Підказка

Кожне відношення $\frac{q}{p}$ це степінь $2$ , тому кожен логарифм цілий.

Розв’язок

Відношення $\frac{q}{p}$ становлять $\frac{1}{4}$ , $\frac{1}{2}$ , $2$ , $4$ , а логарифми $- 2$ , $- 1$ , $1$ , $2$ .
Зважування за $q$ дає $- \frac{1}{4} - \frac{1}{8} + \frac{1}{4} + 1 = \frac{7}{8}$ .
Дивергенція дорівнює $\frac{7}{8}$ біта, тож відповідь $\frac{7}{8}$ .

Відповідь: $\frac{7}{8}$

Наступна задача Назад до бібліотеки