Бэктест показывает, что было. Форвард-тест проверяет систему на данных, которых она не видела при настройке, — и провалить эту проверку куда легче.

Скользящая проверка: обучение и контроль синее — настройка параметров зелёное — проверка вне выборки окно сдвигается вперёд, результат считается только по зелёным участкам

Параметры настраиваются на синем участке. Результат засчитывается на зелёном.

Как это делается

  1. Делите историю на окна: 6 месяцев настройки, 2 месяца контроля.
  2. Подбираете параметры только на участке настройки.
  3. Считаете результат только на контрольном участке.
  4. Сдвигаете окно на 2 месяца и повторяете 10 раз.

Итоговая оценка складывается только из контрольных участков. Работает на настройке, разваливается на контроле? Подгонка.

Исследование по переобучению отмечает, что скользящая проверка вперёд уступает комбинаторной перекрёстной проверке по способности предотвращать ложные открытия и показывает большую временную изменчивость и слабую стационарность результатов. Источник

Метод несовершенен. Признать это стоит честно, но для частного трейдера он остаётся практичным минимумом: комбинаторная проверка требует навыков программирования, вычислительных ресурсов и времени, которых у большинства из нас просто нет.

Работа по валидации торговых сигналов приводит важное уточнение: переобученные стратегии из-за эффектов памяти в финансовых рядах систематически показывают результат хуже среднего вне выборки, а не просто перестают опережать рынок. Источник

Вот это и есть главная опасность. Подогнанная система не превращается в нейтральную — она становится систематически убыточной, потому что заточена под шум, который в новых данных выглядит иначе.

Бумажная торговля

Следующий этап после форвард-теста. Вы торгуете в реальном времени без денег и проверяете уже не логику, а себя: успеваете ли реагировать за те 30–60 секунд, что даёт рынок, находите ли сетапы вживую.

Слабое место одно. На демо нет страха. Мой опыт: результаты там стабильно выше живых процентов на 30, и эту поправку нужно закладывать заранее. Как фиксировать наблюдения — в материале о журнале сделок, размер считаем через калькулятор риска.

  1. Форвард-тест — минимум 3 месяца контрольных данных, а лучше 12: система должна встретить и тренд, и боковик, и обвал.
  2. Бумажная торговля — 30 дней и 50 сделок в реальном времени, без права переигрывать пропущенные входы задним числом.
  3. Реальные деньги — с 25 % планового размера, и увеличивать его стоит только после того, как живая статистика подтвердит контрольные результаты.
  4. Полный размер — после 100 живых сделок.

Если коротко

  • Форвард-тест проверяет систему на невидимых данных.
  • Подогнанная система работает хуже случайной.
  • Демо не воспроизводит страх.
  • Размер увеличивается после сотни живых сделок.