Что такое OOS-проверка
Зачем вообще что-то проверять дважды
Любую торговую идею можно подогнать под прошлое. Если перебрать достаточно вариантов параметров — периодов индикатора, уровней стопа и тейка, набора тикеров — почти всегда найдётся комбинация, которая на исторических данных выглядит прибыльной. Проблема в том, что такая «прибыльность» часто объясняется не реальной закономерностью рынка, а банальной подгонкой под конкретный отрезок истории. На новых данных, которых не было во время подбора, эффект обычно исчезает.
Как устроена проверка out-of-sample (OOS)
Чтобы отличить настоящую закономерность от подгонки, весь период истории делится на две части по одной фиксированной дате:
- In-sample (IS) — более ранняя часть истории.
- Out-of-sample (OOS) — более поздняя часть, которая в проверке не используется вообще никак до самого конца.
Правило теста (параметры стратегии, пороги, список тикеров) формулируется один раз и применяется к обеим частям одинаково — без подстройки отдельно под каждую. Затем результаты IS и OOS сравниваются независимо.
Как читать результат
Стратегия считается прошедшей проверку, только если средний результат положительный в обеих частях — и в IS, и в OOS отдельно. Если результат хороший только в одной части (чаще всего — в старой, уже «знакомой» истории) и исчезает или меняет знак в новой — это явный признак подгонки, а не рабочей закономерности.
В отчётах на этом сайте в таблицах результатов есть колонка «OOS» или явная пометка «держится / не держится» (holds) — это и есть итог именно этой проверки, отдельно от общих агрегированных цифр по всему периоду.
Что это не исключает
Прохождение OOS-проверки не гарантирует прибыль в будущем — рынок меняется, и ни одна историческая проверка не защищает от этого полностью. Но стратегия, которая не проходит даже эту базовую проверку, тем более не заслуживает доверия — если эффект не воспроизводится даже на части той же самой исторической выборки, рассчитывать на него в реальной торговле нет оснований.