Бэктест отвечает на один вопрос: как система вела бы себя в прошлом. Не в будущем. Разница кажется очевидной ровно до того момента, когда красивая кривая на истории превращается в решение поставить на неё реальные деньги — и вот тут большинство ошибок и совершается.

Четыре способа обмануться

  1. Подглядывание в будущее: используете данные, которых в тот момент ещё не было.
  2. Ошибка выжившего: тестируете на монетах, дошедших до сегодня, забывая про делистинги.
  3. Игнорирование издержек. Комиссии и проскальзывание убивают половину систем.
  4. Слишком короткий период. 6 месяцев — не выборка.

Третий пункт самый обидный. Система с матожиданием 0,15R выглядит прибыльной, пока не добавишь 0,06 % комиссии тейкера с двух сторон, — тогда она уходит в ноль. Считать издержки нужно с самого начала, а не после.

Разбор по переобучению формулирует полезное правило скепсиса: коэффициент Шарпа выше 2,0 для простой дневной стратегии стоит считать подозрительным, пока обратное не доказано, а сам показатель следует корректировать с учётом числа протестированных вариантов, асимметрии и толщины хвостов распределения. Источник

Скепсис к собственным результатам — не пессимизм. Это единственная привычка, которая отличает проверку от самоуговаривания, и я стараюсь применять её жёстче всего именно к тем системам, которые мне нравятся.

Три типа проверки

Обзор методологии бэктестирования выделяет три принципиальных подхода: скользящее тестирование вперёд, метод повторной выборки и симуляции Монте-Карло, — и отдельно разбирает, как корректировать расчёт коэффициента Шарпа при множественных прогонах. Источник

Розничному трейдеру доступны первый и третий. Монте-Карло особенно полезен: перемешав порядок 200 сделок 1000 раз, вы получите распределение возможных просадок вместо одной исторической — и 95-й процентиль этого распределения обычно заметно хуже того, что показал исходный тест.

Минимальный протокол

  1. Период от 2 лет: рост, падение и боковик.
  2. Не менее 100 сделок, иначе статистики нет.
  3. Комиссии и проскальзывание заложены с запасом.
  4. Результат считается в R, а не в процентах — методика в разборе риск-прибыли.

Полученный результат делите пополам. Живая торговля всегда хуже теста: исполнение, эмоции, пропущенные входы. Проверить арифметику удобно через калькулятор прибыли по сделке.

Если коротко

  • Бэктест описывает прошлое, а не будущее.
  • Издержки закладываются сразу, а не потом.
  • Шарп выше 2,0 — повод для подозрений.
  • Итоговый результат уместно делить пополам.