Параметр θ набуває 4 значень зі спільними ймовірностями p(θ, D), що дорівнюють 1/8, 1/16, 1/32, 1/32. Наближення: q = (1/2, 1/8, 1/8, 1/4). Обчисліть нижню межу свідчення Σ q log₂(p(θ, D)/q) у бітах. Дайте відповідь нескоротним дробом зі знаком.

Навчання / Бібліотека / Статистика

Нижня межа зі спільного розподілу

СтатистикаСкладне

Параметр $θ$ набуває $4$ значень зі спільними ймовірностями $p (θ, D)$ , що дорівнюють $\frac{1}{8}$ , $\frac{1}{16}$ , $\frac{1}{32}$ , $\frac{1}{32}$ . Наближення: $q = (\frac{1}{2}, \frac{1}{8}, \frac{1}{8}, \frac{1}{4})$ . Обчисліть нижню межу свідчення $\sum q log_{2} (\frac{p ( θ , D )}{q})$ у бітах. Дайте відповідь нескоротним дробом зі знаком.

Для перевірки відповіді потрібен JavaScript. Підказка й розв’язок відкриваються і без нього.

Підказка

Поділіть кожну спільну ймовірність на її $q$ , візьміть $log_{2}$ і зважте за $q$ .

Розв’язок

Відношення спільної ймовірності до $q$ становлять $\frac{1}{4}$ , $\frac{1}{2}$ , $\frac{1}{4}$ , $\frac{1}{8}$ , а логарифми $- 2$ , $- 1$ , $- 2$ , $- 3$ .
Зважування за $q$ дає $- 1 - \frac{1}{8} - \frac{1}{4} - \frac{3}{4} = - \frac{17}{8}$ .
Отже, межа дорівнює $- \frac{17}{8}$ біта, а відповідь $- \frac{17}{8}$ .

Відповідь: $- \frac{17}{8}$

Наступна задача Назад до бібліотеки