Варіаційний висновок

Ідея: Апостеріорний розподіл, який не по кишені

Свідчення $p(D)$ сумує по всіх $\theta$ і не рахується; вибірка всю ніч надто повільна.

• Варіаційний висновок перетворює інтеграл на оптимізацію
• Оберіть просту родину й знайдіть член $q$, найближчий до апостеріорного

Формула: Розбіжність KL

$D_{\mathrm{KL}}(q\parallel p)=\sum q{\log }_2\left(\frac{q}{p}\right)$

Нуль лише тоді, коли q збігається з p. Не симетрична: ця усереднює по q.

Формула: Нижня межа свідчення

${\log }_{2}p(D)=\text{ELBO}(q)+D_{\mathrm{KL}}(q\parallel \text{posterior})$

Підніміть межу, і розбіжність упаде на стільки ж. Межа потребує лише апріорного на правдоподібність.

Приклад: Розрив вручну

Спільний розподіл $\frac{1}{4}$, $\frac{1}{8}$, $\frac{1}{8}$ на $3$ значеннях $\theta$, і $q=\left(\frac{1}{4},\frac{1}{4},\frac{1}{2}\right)$. Скільки бітів становить розрив до свідчення?

1. Свідчення: $\frac{1}{4}+\frac{1}{8}+\frac{1}{8}=\frac{1}{2}$, його логарифм $-1$
2. Межа: $0-\frac{1}{4}-1=-\frac{5}{4}$
3. Розрив: $-1+\frac{5}{4}=\frac{1}{4}$

Ідея: Ціна незалежності

Середньопольове $q$ вважає кожен параметр незалежним: швидко, але з відомим зміщенням.

• Середнє правильне, дисперсія замала
• Його розбіжність карає масу там, де p тонке, а не пропущені частини p

Швидка перевірка: Наскільки вужче?

Нормальний апостеріорний має $\mathrm{Var}(x)=\mathrm{Var}(y)=4$ і $\mathrm{Cov}(x,y)=3$. Яку дисперсію середньопольове $q$ дає $x$?

Типова помилка: Довіряти варіаційній похибці

Вона часто завузька й найвпевненіша саме тоді, коли кореляція найсильніша.

Натомість Перевірте коротким прогоном вибірки перед розміром позиції. Порівнюйте межі лише в одній моделі.

Ідея: Де це доречно

Монте-Карло повільне, але доходить до істини. Варіаційний висновок швидкий, а його зміщення лишається.

• Беріть його, коли апостеріорний потрібен до дедлайну
• Пам’ятайте, куди він хилиться: надто впевнено