Вибірка за важливістю

Ідея: Звичайний прогін голодує

Шанс дефолту $0,002$: $10000$ звичайних шляхів бачать близько $10000\times 0,002=20$ дефолтів.

• Решта $9980$ шляхів нічого не кажуть
• Вибірка за важливістю зсуває шляхи туди, де дія, і потім виправляє

Формула: Перезважування

$E_p[f(X)]=E_q[f(X)w(X)],w=\frac{p}{q}$

Беріть вибірки з q і зважуйте кожну на p/q. Незміщено, якщо q > 0 скрізь, де p·f не 0.

Приклад: Зважений прогін

Справжній дефолт $0,002$, вибірка з $q=0,1$, втрата $8000$. Із $1000$ вибірок $104$ дефолтні. Яка оцінка?

1. Вага: $\frac{0,002}{0,1}=\frac{1}{50}$
2. Оцінка: $104\times 8000\times \frac{\frac{1}{50}}{1000}=16,64$

Формула: Дисперсія для рідкісної події

$\mathrm{Var}\text{per}\text{draw}=\frac{p^2}{q}-p^2$

Спадає, коли шанс вибірки q зростає до 1. Ідеальне q пропорційне |f| на p.

Швидка перевірка: Зекономлена дисперсія

Дефолт із $p=0,002$ вибирають із $q=0,1$. Яка дисперсія однієї зваженої вибірки?

Типова помилка: Можна зробити гірше

Подія $0,5$ з вибіркою $q=0,1$: $\frac{0,5^2}{0,1}-0,5^2=2,25$ проти $0,25$ у звичайному прогоні.

Натомість Не давайте q тонших хвостів, ніж у p: одна величезна вага зрушить усе.

Формула: Ефективний розмір вибірки

$\text{ESS}={\left(\sum w_i\right)}^2/\sum w_i^2$

Скільки рівноважних вибірок варта зважена вибірка. Мала частка від n означає: не довіряйте.

Швидка перевірка: Перевірте ваги

$5$ вибірок мають ваги $2$, $2$, $2$, $2$, $10$. Який ефективний розмір вибірки?

Ідея: Проговорюйте вголос

Подавайте ефективний розмір вибірки поруч з оцінкою, а не лише похибку.

• Область, куди q не заходить, оцінка ніколи не побачить
• Зсуньте чи нахиліть p до сценаріїв, що мають значення