Базові частоти

Ідея: Добрий детектор, рідкісна подія

Сигнал може бути правим у більшості випадків і все одно хибним у більшості спрацювань.

• Частку виявлених міряють серед справжніх випадків
• Потрібна частка позначок, які справжні

Приклад: Позначка помилкового ордера

$1\%$ угод помилкові. Модель позначає $90\%$ помилок і $5\%$ правильних угод. Угоду позначено. Шанс, що вона помилкова?

1. $2000$ угод: $20$ помилок, $1980$ правильних
2. Позначки: $20\times 90\%=18$ справжніх, $1980\times 5\%=99$ хибних
3. Шанс: $\frac{18}{117}=\frac{2}{13}$

Формула: Базова частка, влучання, хибні тривоги

$P(H\mid E)=p\times \frac{s}{p\times s+(1-p)\times f}$

p це базова частка, s частка виявлених справжніх випадків, f частка хибних спрацювань.

Ідея: Вирішує базова частка

Та сама модель на натовпах із $2000$ угод:

• Базова частка $1\%$: $\frac{18}{18+99}=\frac{2}{13}$
• $10\%$: $\frac{180}{180+90}=\frac{2}{3}$
• $50\%$: $\frac{900}{900+50}=\frac{18}{19}$

Ідея: Важіль це хибні тривоги

Для рідкісної події зменшити хибні тривоги корисніше, ніж ловити все.

• Ловити кожну помилку: $\frac{20}{20+99}\approx 0,17$
• Удвічі менше хибних тривог: $\frac{18}{18+49,5}=\frac{4}{15}$

Типова помилка: Назвати модель точною на 90%

$90\%$ виміряно серед помилок, а не серед позначок.

Натомість Питайте частку справжніх серед позначок. Модель, що ніколи не позначає, права на $99\%$ і нічого не знаходить.

Швидка перевірка: Друга, незалежна перевірка

Позначені угоди проходять другу, незалежну перевірку з тими самими частками. Шанс, що двічі позначена угода помилкова?

Ідея: Апостеріорна стає апріорною

Позначені угоди це новий натовп, уже багатший на помилки.

• Друга перевірка має бути незалежною за справжнього стану
• Повторний запуск тієї самої моделі повторює її помилку

Ідея: Що сказати на співбесіді

Спершу спитайте базову частку; без неї відповіді немає.

• Назвіть справжні й хибні позначки парою чисел, потім діліть
• Щоб покращити тест на рідкісну подію, зменшуйте хибні тривоги або додайте другу перевірку