Чтобы оценить эффективность торгового бота и не гнаться за упущенным движением, не подбирайте параметры под движение, которое уже случилось. Такая подгонка называется переобучением на хвосте выборки: бот настроен на последний участок истории, показывает на нём отличный результат и полностью теряет его на следующем отрезке. Проверка одна — параметры выбирают на одной части данных, а результат считают на другой, не открытой при настройке.
Какая задача решается разделением выборки
У любого бота есть настройки, и любые настройки можно подкрутить под прошлое. Подкрутить легко. Проверить сложнее. Если параметры подбирались и проверялись на одном отрезке, результат говорит лишь об удачном подборе.
Отсюда правило разделения. Один участок — для настройки, другой — для проверки. Второй открывают один раз, и после первого же возврата к нему он перестаёт быть независимой проверкой результата.
Как выставить: шаги с параметрами
- Разделите историю заранее. Обычная пропорция — две трети на настройку, одна треть на проверку.
- Отрежьте участок проверки до начала подбора и не открывайте его, пока параметры не зафиксированы.
- Соберите данные по частям: одна выгрузка свечей ограничена, длинную историю склеивают.
- Зафиксируйте число параметров. Чем их больше, тем легче подогнать результат под любой отрезок.
- Посчитайте результат на участке проверки один раз: повторный расчёт после правки не независим.
- Помечайте всякий результат на истории как подбор задним числом, а не как доходность.

Расчёт на примере суммы
Пример условный. История по паре — девятьсот дневных свечей: шестьсот на настройку, триста на проверку. Сумма на оценку — 200 000 рублей. Если на участке настройки бот показал заметный прирост, а на участке проверки вышел в ноль, то параметры описывают прошлое, а вовсе не рынок. При трёх десятках сделок разница в несколько процентов укладывается в случайность.
| Признак | Честная проверка | Переобучение на хвосте |
|---|---|---|
| Выборка для настройки | Отделена от проверочной до подбора | Совпадает с проверочной |
| Число параметров | Зафиксировано заранее | Растёт по ходу подбора |
| Расчёт на проверке | Выполняется один раз | Повторяется после каждой правки |
Что видно в стакане и как это читать
Часть расхождения между историей и живой работой объясняется не стратегией, а исполнением. На истории сделка проходит по цене свечи, в стакане — по доступной глубине, и разница тем заметнее, чем крупнее заявка. Поэтому перед тем как настроить бот усреднения, оценивают его заявку относительно объёма на ближних уровнях.
Второй источник расхождения — площадка. Если результат на истории посчитан по данным одной площадки, а бот торгует на другой, стоит сравнить биржевую и ончейн-цену токена и понять причину расхождения: расхождение переносится прямо в результат.
Ошибки, из-за которых заявка не исполняется
- Параметры подобраны и проверены на одном.
- Проверочный участок открывали много раз.
- Число параметров росло по ходу подбора.
- Результат на истории подан как доходность.
- Исполнение считано по цене свечи.
Итог
Публичной статистики доходности ботов с раскрытой методикой нет, и собственные расчёты на истории её не заменяют. Разделение выборки — минимальная мера, отделяющая работу стратегии от удачного подбора. Уровни и шаг задают до расчётов: умение настроить сетку заявок избавляет от подгонки шага под уже увиденный график. Для инструментов с плечом добавьте стоимость удержания, поскольку биржевые фонды с плечом теряют стоимость со временем.
Частые вопросы
Как понять, что бот переобучен?
По разнице между участками. Хороший показатель на настройке и нулевой на проверке — типичная картина переобучения. Второй признак: небольшая правка параметра резко меняет результат. Устойчивая стратегия даёт близкие показатели на соседних значениях, подогнанная — узкий пик на одном.
Сколько данных нужно для проверки?
Достаточно, чтобы на проверочном участке набралось несколько десятков сделок. Если бот торгует редко, участок удлиняют, и общей истории может не хватить. Тогда честный вывод — данных недостаточно.
Можно ли вернуться к настройке после неудачной проверки?
Можно, но проверочный участок после этого перестаёт быть независимым. Для нового цикла нужен ранее не открывавшийся отрезок данных либо проверка на будущих сделках. Иначе параметры опишут всю доступную историю целиком.
Помогает ли проверка на нескольких парах?
Да, это полезная дополнительная мера. Параметры, подогнанные под одну пару, на других парах теряют результат, и такое падение показателей заметно сразу. Но замены разделению выборки не выйдет: подбор на нескольких парах тоже остаётся подбором по известным данным.
Материалы по теме
- Как настроить бот усреднения — заявка против глубины.
- Как сравнить биржевую и ончейн-цену токена и понять причину расхождения — данные площадок.
- Как настроить сетку заявок — шаг уровней до расчётов.
- Как устроены биржевые фонды с плечом и почему они теряют стоимость со временем — удержание в расчёте.
Вердикт
Из редакционной практики: за упущенным движением чаще гонятся не сделкой, а настройкой. Сильный день проходит мимо, и к вечеру параметры бота уже «учитывают» такие дни. Разделение выборки лечит именно это: пока проверочный участок закрыт, подгонять нечего. Любой результат на истории стоит подписывать как подбор задним числом — формулировка скучная, зато честная.
Разборы автоматических стратегий выходят в нашем Telegram-канале.
Ограничения на объём одной выгрузки свечей сверены по открытой спецификации торгового интерфейса.
Обсуждение
Добавить комментарий