Любую систему можно довести до идеальной кривой на истории. Достаточно перебрать достаточно вариантов, и найдётся комбинация, которая на прошлых данных не проигрывала почти никогда — вот только к будущему эта комбинация отношения иметь не будет, потому что она описывает не рынок, а конкретный отрезок его шума.

Работа по статистическому переобучению показывает это наглядно: даже при одинаковых параметрах и различии только в начальном значении генератора случайных чисел четыреста прогонов дают широкое распределение коэффициентов Шарпа, из которого легко выбрать «оптимальную» стратегию, бессильную на любых других данных. Источник

400 прогонов на случайных данных. В каждом наборе найдётся победитель, и его кривая будет выглядеть убедительно ровно до момента, когда вы примените параметры к следующему году.

Как отличить настройку от подгонки

  1. Смотрите не на пик, а на плато: соседние значения параметра должны давать похожий результат.
  2. Резкий одиночный максимум — признак случайности, а не закономерности.
  3. Чем меньше параметров, тем устойчивее система. 3 — уже много.
  4. Один и тот же набор должен работать на двух-трёх инструментах.
Правило плато я считаю самым практичным из всего, что есть в этой теме. Если период средней 47 даёт отличный результат, а 45 и 50 — убыток, вы нашли не настройку, а совпадение. Берите значение из середины устойчивого участка, даже если оно показывает не лучшую цифру.

Обзор по репликации стратегий формулирует математическую суть проблемы: множественное тестирование раздувает обычный коэффициент Шарпа и практически гарантирует обнаружение мнимо прибыльных стратегий исключительно по случайности. Источник

Отсюда следствие: считайте число проверенных вариантов. 20 комбинаций — нормально. 2000 — вы гарантированно нашли красивый мусор.

Рабочий порядок

  1. Задайте диапазон параметров до начала перебора, а не по ходу.
  2. Зафиксируйте число вариантов и не превышайте его.
  3. Выберите середину плато, а не пиковое значение.
  4. Проверьте выбранный набор форвард-тестом — методика в отдельной статье.

Ошибки этого этапа стоят дороже всего, потому что проявляются с задержкой: система работает 1 месяц, потом 2, а на 3-й начинает отдавать всё заработанное, и понять причину без исходной статистики из журнала сделок уже невозможно.

Если коротко

  • Идеальная кривая на истории находится всегда.
  • Плато важнее пика.
  • Чем меньше параметров, тем лучше.
  • Число прогонов нужно считать и ограничивать.

Частые вопросы

Сколько параметров в системе уже много?

Три. В тексте сказано, что чем меньше параметров, тем устойчивее система, и три — уже много. Там же задан предел по числу проверенных вариантов: 20 комбинаций нормально, 2000 гарантированно дают красивый мусор. Один и тот же набор должен работать на двух-трёх инструментах.

Как отличить настройку параметров от подгонки?

По плато вместо пика. Соседние значения параметра должны давать похожий результат, а резкий одиночный максимум — признак случайности. Если период средней 47 даёт отличный результат, а 45 и 50 убыток, найдено совпадение, а не настройка. Брать нужно значение из середины устойчивого участка, даже если цифра там не лучшая.

Почему множественное тестирование почти гарантирует находку?

Потому что оно раздувает обычный коэффициент Шарпа. Приведённая работа показывает: четыреста прогонов при одинаковых параметрах и различии только в начальном значении генератора случайных чисел дают широкое распределение коэффициентов Шарпа, из которого легко выбрать «оптимальную» стратегию, бессильную на любых других данных. Отсюда требование считать и ограничивать число вариантов.

Почему ошибки этого этапа замечают с опозданием?

Потому что они проявляются с задержкой. Система работает месяц, потом второй, а на третий начинает отдавать всё заработанное, и понять причину без исходной статистики из журнала сделок уже невозможно. Поэтому диапазон параметров задают до начала перебора, число вариантов фиксируют, а выбранный набор проверяют форвард-тестом.