Бектестинг прогнозів

Ідея: Спитайте про календар

Бектест це твердження про минуле, яким його прожили. Беріть дані в тому порядку, в якому їх дав світ.

• Коли зроблено кожен прогноз?
• Що було відомо в той момент?

Приклад: Ковзний тест, без перемішування

$1000$ днів, вікно навчання $500$, тестові блоки по $20$. Скільки перенавчань?

1. Навчіть, спрогнозуйте наступний блок, зсуньте обидва
2. $\frac{1000-500}{20}=25$

Формула: Розміри похибки

$\mathrm{RMSE}=\sqrt{\mathrm{mean}of(y-\hat{y}{)}^2}\ge \mathrm{MAE}$

$\mathrm{MAE}$ усереднює розмір промаху. $\mathrm{RMSE}$ сильніше карає великі промахи й ніколи не менша за $\mathrm{MAE}$.

Швидка перевірка: Обчисліть $\mathrm{RMSE}$

Промахи $1$, $-1$, $3$, $-3$ і $5$. Чому дорівнює $\mathrm{RMSE}$?

Приклад: Перевірте інтервал

Інтервал на $80\%$ спрацював у $162$ з $225$ днів. На скільки стандартних відхилень це менше?

1. Очікувано $225\times 80\%=180$, дисперсія $225\times 0,8\times 0,2=36$
2. Нестача $180-162=18$, $\frac{18}{6}=3$

Ідея: Витрати роблять із сигналу стратегію

Прогноз вартий лише того, що лишається після торгівлі.

• $8$ бп брутто, половина книги за $6$ бп: $8-0,5\times 6=5$
• Подвійний оборот: $8-1\times 6=2$
• Сигнал із закриття не торгує за тим самим закриттям

Ідея: 3 способи обдурити себе

Витік, ефект виживання й повторне налаштування роблять бектест кращим, ніж він є.

• Зазирання вперед: переглянуті дані, масштаб з усієї вибірки, дати кінця періоду
• Виживання: беріть склад індексу таким, яким він був на кожну дату
• Налаштування: $20$ спроб на $5\%$ дають $20\times 5\%=1$ хибну знахідку

Типова помилка: Приховати кількість спроб

Найкраща з багатьох спроб завжди гарна: $1-0,95^{20}\approx 0,64$ на хоча б одну хибну знахідку.

Натомість Скажіть, скільки варіантів пробували, врахуйте їх і відкрийте фінальну відкладену вибірку один раз.

Ідея: Скажіть на співбесіді

Спершу назвіть розбиття, потім метрику, потім витрати.

• Спитайте, скільки варіантів пробували
• Спитайте, чи всесвіт активів і дані такі, якими були на кожну дату