Чтобы протестировать стратегию на истории, историю сначала делят: на одном участке подбирают параметры, на другом проверяют результат ровно один раз. Затем в каждое смоделированное исполнение подставляют издержки и проскальзывание. И записывают число перебранных вариантов правила. Результат, полученный на всей выборке без разделения, завышен всегда — и величина завышения из самого результата не следует.
Что показывает инструмент на самом деле
Тест измеряет не доходность правила. Он измеряет поведение правила на одном конкретном отрезке прошлого — на одной реализации из множества возможных. Разница существенна. От неё зависит, можно ли переносить вывод вперёд, и ответ определяется тем, сколько решений о правиле вы приняли, глядя на этот самый отрезок, а не на какой-то другой.
Логика здесь та же, что в любом измерении с подбором. Если параметры выбраны по тому же отрезку, на котором считается результат, то результат содержит и свойство правила, и свойство отрезка, причём разделить их внутри одного прогона нельзя. Поэтому участок проверки существует отдельно. Используется он однократно: второй прогон по нему, выполненный после любой правки параметров, превращает проверочный участок в участок подбора и отменяет его роль.
Обязательное предупреждение регулятора сформулировано прямо и стоит того, чтобы его прочитать целиком. По норме 17 CFR 4.41(b)(1)(i) Комиссии по торговле товарными фьючерсами США сообщение о смоделированных результатах должно сопровождаться указанием, что они «имеют определённые внутренне присущие ограничения», «не представляют реальной торговли», «могли недо- или переоценить влияние некоторых рыночных факторов, например недостатка ликвидности» и «разработаны с преимуществом взгляда назад» (текст нормы, проверено 16 октября 2026 года). Четыре оговорки. Каждая относится к любому домашнему тесту, а не только к рекламе торговых систем.
Как протестировать стратегию на истории пошагово
- Разделить историю на участок подбора и участок проверки, зафиксировать границу датой.
- Записать правило целиком: условия, параметры, размер позиции.
- Задать модель исполнения: по какой цене и с какой задержкой исполняется решение.
- Задать издержки: ставку в долях от оборота и проскальзывание в долях разброса.
- Подбирать параметры только на участке подбора, ведя счёт перебранных вариантов.
- Прогнать итоговый вариант по участку проверки один раз и записать результат без правок.
Настройки и почему именно такие
Разделение данных. Простейший вариант — разрезать историю по дате: раннюю часть под подбор, позднюю под проверку. Вариант надёжнее — скользящая проверка: подбор на окне, проверка на следующем отрезке, сдвиг окна вперёд, и так по всей истории. Второй способ даёт несколько независимых проверок вместо одной и показывает, устойчивы ли подобранные параметры во времени. Плата за него — объём данных. Каждое окно подбора должно быть достаточным само по себе, и при коротких окнах параметры начинают дрожать от участка к участку, что само по себе является результатом.
Модель исполнения. Решение принимается по закрытию бара и исполняется не раньше следующего. Исполнение по той же цене закрытия, по которой принято решение, — подглядывание вперёд, замаскированное под аккуратность. Отдельная ловушка — лимитные заявки внутри бара: тест считает их исполненными, если цена бара коснулась уровня, хотя касание могло быть единственной сделкой, которая до вашей заявки не дошла.
Издержки. Их задают двумя слагаемыми. Первое — ставка за оборот, второе — проскальзывание, то есть разница между ценой решения и ценой фактического исполнения. Конкретные ставки площадок в тесте подставлять бессмысленно: они меняются чаще, чем живёт стратегия. Разумнее прогнать тест на диапазоне значений издержек и посмотреть, при какой ставке результат обращается в ноль. Такая граница — характеристика правила. Она устойчивее любой подставленной цифры.
Число наблюдений. Сколько сделок нужно, чтобы результат что-то значил, — вопрос статистический, а не вкусовой. Справочник NIST/SEMATECH, раздел о требуемом объёме выборки (проверено 16 октября 2026 года) приводит расчёт для одностороннего случая: при базовой доле p₀ = 0,10, различаемой разнице δ = 0,10, z₀,₉₅ = 1,645 и z₀,₉₀ = 1,282 требуется N ≥ 102 наблюдения, а с поправкой на непрерывность — 112. Переведём на тест: чтобы отличить долю успешных решений 10% от 20%, нужно сотня с лишним случаев. Тест на тридцати сделках не различает и втрое больших разниц.

Разбор на графике: рабочий сигнал
Ниже условный расчёт. Все ставки вымышлены, ни к одной площадке и ни к одной дате не привязаны и приведены ради арифметики.
Чем полезен такой расчёт. Он переводит разговор с «стратегия приносит столько-то» на «правило перестаёт работать при издержках выше 0,18% на операцию». Вторая формулировка проверяема и не зависит от того, какие ставки будут через год. Арифметика перевода процентов оборота в деньги при этом требует аккуратности, и редакция разбирала её отдельно — в материале о том, как проверить корректность расчёта прибыли и убытка.
Разбор на графике: ложный сигнал
Завышение результата на всей выборке — не погрешность, а закономерность, и у неё есть арифметическое объяснение.
Представьте, что вы перебрали двести вариантов параметров. Даже если ни один из них не содержит знания о рынке, двести случайных результатов дадут разброс, и вы выберете наибольший. Наибольший из двухсот значений заметно превышает среднее по этим двухсот — это свойство максимума, а не свойство правила. Поправку на множественность проверок применяют так же, как в любой статистике: при g сравнениях требование к отдельному результату ужесточают пропорционально g. Отсюда практическое следствие: число перебранных вариантов — такая же обязательная часть отчёта о тесте, как и сам результат.
Второй источник завышения — молчаливое исключение. Выборка инструментов собирается из тех, что торгуются сегодня, и те, что перестали существовать, в неё не попадают. Правило тестируется на отобранной истории, где худшие исходы отсутствуют по построению. Оговорка обязательна, и обойти её нельзя — можно лишь указать, какие инструменты вошли в выборку и по какому признаку.
Третий — пересчёт данных. Исторические ряды правят: исправляют ошибки, пересчитывают после изменения параметров инструмента, достраивают пропуски. Тест, запущенный сегодня, работает с иной историей, чем та, что была доступна в прошлом. Проверка несложная. Сохраните выгрузку вместе с результатом и повторите прогон через полгода на свежей выгрузке того же периода: расхождение покажет, насколько история переписывается.
Четвёртый — подбор на участке проверки. Начинается незаметно: результат на проверочном участке оказался слабым, параметры «немного поправили», прогнали снова. После второго прогона участок проверки перестал существовать, и честный тест требует нового, не тронутого отрезка. Выбор интервала, на котором ведётся тест, тоже входит в число решений, и логика такого выбора разобрана в материале о том, как выбрать рабочий таймфрейм.
Обязательные части корректного теста
| Часть | Что задаётся | Что ловит | Чем нельзя заменить |
|---|---|---|---|
| Разделение данных | Граница между участком подбора и участком проверки | Подгонку параметров под известный исход | Увеличением длины истории без разделения |
| Модель исполнения | Цена и задержка исполнения решения | Подглядывание вперёд через цену закрытия | Допущением «исполнение по цене сигнала» |
| Издержки и проскальзывание | Ставка за оборот и отклонение цены исполнения | Завышение результата у частых операций | Ссылкой на низкие тарифы конкретной площадки |
| Учёт перебора | Число проверенных комбинаций параметров | Выбор наибольшего из случайных результатов | Уверенностью в осмысленности правила |
Связка с другими инструментами
Разметка. Если правило опирается на уровни или линии, проведённые вручную, тест невоспроизводим: разметка меняется от прогона к прогону. Условия приходится выражать числами, и почему это обязательное требование, разобрано в материале о том, как исключить типичные ошибки разметки графика.
Размер позиции. Результат теста зависит от правила определения размера не меньше, чем от условий входа, и при одновременном удержании нескольких позиций это правило становится отдельной задачей со своей математикой — разбор того, как оценить риск одновременных позиций, посвящён этой стороне дела.
Правила, которые дисциплинируют
- Фиксируйте границу между участками датой и не сдвигайте её.
- Исполняйте решения не раньше следующего бара после их принятия.
- Прогоняйте тест на диапазоне издержек и находите границу безубыточности.
- Записывайте число перебранных комбинаций рядом с результатом.
- Указывайте, по какому признаку отобраны инструменты выборки.
- Сохраняйте выгрузку данных вместе с результатом теста.
- Используйте участок проверки однократно. После второго прогона он больше не проверочный.
Итог
Процедура теста на истории держится на четырёх опорах: разделение данных, корректная модель исполнения, издержки с проскальзыванием, учёт числа перебранных вариантов. Выпадение любой из четырёх завышает результат, и завышение это не видно в самом результате. Самая устойчивая величина, которую даёт тест, — не итоговая доходность, а граница издержек, при которой правило обращается в ноль. Её и стоит выносить в отчёт первой строкой.
Частые вопросы
Как протестировать стратегию на истории в 2026 году, если данных мало
Короткая история не лечится ухищрениями: при малом числе операций результат не различает даже кратных разниц в долях успеха. Расчёт требуемого объёма выборки даёт сотню с лишним наблюдений для различения доли 10% и 20%. Если наблюдений меньше, корректный вывод один — данных недостаточно, и его стоит записать вместо итоговой цифры.
Как разделить историю на участки
Либо по дате, одним разрезом, либо скользящей проверкой: подбор на окне, проверка на следующем отрезке, сдвиг вперёд. Второй способ даёт несколько независимых проверок и показывает устойчивость параметров во времени. Пропорция разреза менее важна, чем правило однократного использования проверочного участка.
Какие издержки подставлять в тест
Не конкретные тарифы, а диапазон. Прогоните тест при нескольких ставках и найдите величину, при которой результат обращается в ноль. Такая граница не устаревает вместе с прайс-листами и позволяет сравнивать правила между собой. Проскальзывание задают отдельным слагаемым, в долях разброса цены, а не фиксированным числом пунктов.
Почему результат на всей выборке завышен
Потому что из множества перебранных вариантов выбран наибольший, а наибольший из множества случайных величин превышает их среднее по построению. Чем больше вариантов перебрано, тем сильнее завышение. Величина эффекта из самого результата не вычисляется, поэтому число перебранных комбинаций указывают явно.
Можно ли считать тест подтверждением работоспособности правила
Нет, и это не придирка редакции. Регулятор требует сопровождать смоделированные результаты оговоркой об их внутренне присущих ограничениях и о том, что они разработаны с преимуществом взгляда назад. Тест годится для отбраковки правил, которые не выдерживают издержек, и для поиска ошибок в расчёте. Подтверждением он не служит.
Материалы по теме
- Как проверить корректность расчёта прибыли и убытка — перевод процентов оборота в деньги без ошибок.
- Как исключить типичные ошибки разметки графика — почему условия правила выражают числами, а не линиями.
- Как выбрать рабочий таймфрейм — интервал теста как ещё одно подбираемое решение.
- Как оценить риск одновременных позиций — правило размера позиции и его влияние на результат.
Вердикт
Тест на истории полезен не тем, что он подтверждает, а тем, что он отбраковывает. Правило, которое не выдерживает условных издержек в полпроцента на операцию, проверять дальше незачем — и это самый частый исход в редакционной практике. Остальные выводы теста живут ровно до тех пор, пока не выяснится, сколько вариантов пришлось перебрать перед тем, как результат стал приемлемым. Записывайте это число первым, а доходность — вторым. Разборы процедур и читательских ошибок выходят в Telegram-канале Cryptium.
Обсуждение
Добавить комментарий