Бэктест отвечает на один вопрос: как система вела бы себя в прошлом. Не в будущем. Разница кажется очевидной ровно до того момента, когда красивая кривая на истории превращается в решение поставить на неё реальные деньги — и вот тут большинство ошибок и совершается.

Четыре способа обмануться

  1. Подглядывание в будущее: используете данные, которых в тот момент ещё не было.
  2. Ошибка выжившего: тестируете на монетах, дошедших до сегодня, забывая про делистинги.
  3. Игнорирование издержек. Комиссии и проскальзывание убивают половину систем.
  4. Слишком короткий период. 6 месяцев — не выборка.

Третий пункт самый обидный. Система с матожиданием 0,15R выглядит прибыльной, пока не добавишь 0,06 % комиссии тейкера с двух сторон, — тогда она уходит в ноль. Считать издержки нужно с самого начала, а не после.

Разбор по переобучению формулирует полезное правило скепсиса: коэффициент Шарпа выше 2,0 для простой дневной стратегии стоит считать подозрительным, пока обратное не доказано, а сам показатель следует корректировать с учётом числа протестированных вариантов, асимметрии и толщины хвостов распределения. Источник

Скепсис к собственным результатам — не пессимизм. Это единственная привычка, которая отличает проверку от самоуговаривания, и я стараюсь применять её жёстче всего именно к тем системам, которые мне нравятся.

Три типа проверки

Обзор методологии бэктестирования выделяет три принципиальных подхода: скользящее тестирование вперёд, метод повторной выборки и симуляции Монте-Карло, — и отдельно разбирает, как корректировать расчёт коэффициента Шарпа при множественных прогонах. Источник

Розничному трейдеру доступны первый и третий. Монте-Карло особенно полезен: перемешав порядок 200 сделок 1000 раз, вы получите распределение возможных просадок вместо одной исторической — и 95-й процентиль этого распределения обычно заметно хуже того, что показал исходный тест.

Минимальный протокол

  1. Период от 2 лет: рост, падение и боковик.
  2. Не менее 100 сделок, иначе статистики нет.
  3. Комиссии и проскальзывание заложены с запасом.
  4. Результат считается в R, а не в процентах — методика в разборе риск-прибыли.

Полученный результат делите пополам. Живая торговля всегда хуже теста: исполнение, эмоции, пропущенные входы. Проверить арифметику удобно через калькулятор прибыли по сделке.

Если коротко

  • Бэктест описывает прошлое, а не будущее.
  • Издержки закладываются сразу, а не потом.
  • Шарп выше 2,0 — повод для подозрений.
  • Итоговый результат уместно делить пополам.

Частые вопросы

Какой минимальный период и число сделок нужны для бэктеста?

От двух лет и не менее 100 сделок. Период должен включать рост, падение и боковик, а при меньшем числе сделок статистики нет: шесть месяцев выборкой не считаются. Комиссии и проскальзывание закладывают с запасом, а результат считают в R, а не в процентах.

Почему издержки нужно закладывать с самого начала?

Потому что они переворачивают итог. Система с матожиданием 0,15R выглядит прибыльной, пока не добавить 0,06% комиссии тейкера с двух сторон, — тогда она уходит в ноль. В тексте этот пункт назван самым обидным из четырёх способов обмануться, наряду с подглядыванием в будущее и ошибкой выжившего.

Какой коэффициент Шарпа стоит считать подозрительным?

Выше 2,0 для несложной дневной стратегии. Разбор по переобучению предлагает считать такой результат подозрительным, пока обратное не доказано, и корректировать сам показатель с учётом числа протестированных вариантов, асимметрии и толщины хвостов распределения. Скепсис к собственным результатам автор применяет жёстче всего к системам, которые ему нравятся.

Что даёт метод Монте-Карло частному трейдеру?

Распределение возможных просадок вместо одной исторической. Перемешав порядок 200 сделок 1000 раз, получают набор исходов, и 95-й процентиль этого распределения обычно заметно хуже исходного теста. Из трёх подходов обзора розничному трейдеру доступны скользящее тестирование вперёд и Монте-Карло, а полученный результат автор предлагает делить пополам.