Как оценить эффективность торгового бота и проверить на истории

Оценка торгового бота сводится к одной операции: результат на архиве и результат на счёте кладут рядом и считают разницу по каждой сделке. Полного совпадения не бывает. Значение имеет другое — объяснима ли разница издержками, задержкой и глубиной стакана или она указывает на ошибку в самом тесте. Ниже разобрано, какие расхождения считать нормой, какие браком и как вести сверку по шагам, не превращая её в подгонку отчёта.

Какая задача решается сверкой теста и счёта

Тест на истории отвечает на вопрос «работала ли логика раньше». Счёт отвечает на другой: «переносится ли она сейчас». Это разные вопросы. Между ними лежит слой, который архив не содержит — очередь в стакане, задержка сети, статус комиссии, остановки торгов. Сверка нужна, чтобы измерить толщину этого слоя в деньгах и понять, устойчива ли она.

В обращениях читателей чаще всего встречается одна и та же картина: прогон показывает ровную кривую, счёт за тот же квартал уходит в ноль, а владелец бота меняет настройки наугад. Менять нечего, пока не посчитана разница. Настройки могут быть ни при чём. Чаще оказывается, что прогон исполнял заявки мгновенно и по сигнальной цене, а на счёте те же заявки стояли в очереди, часть из них снималась по таймауту, и каждое такое снятие забирало движение, ради которого сделка и открывалась.

Поводом к сверке служат обычно усредняющие схемы, где число сделок велико, а каждая мелочь в исполнении накапливается: как устроены их параметры, разобрано в материале о том, как настроить бот усреднения. Отдельно стоит отличать сверку от переоценки стратегии. Сверка не говорит, хороша ли логика. Она говорит, честен ли тест. Разница принципиальная: стратегию переделывают, когда она перестала работать на рынке, а тест переделывают, когда выясняется, что он с самого начала описывал биржу, которой не существует, и обе эти работы требуют разных данных и разного инструмента.

Как оценить эффективность торгового бота и проверить на истории: порядок сверки

1. Зафиксируйте отрезок. Берётся календарный период реальной работы бота, без округлений и без «удачных» месяцев.
2. Соберите журнал сделок со счёта: время, пара, направление, объём, цена, тип исполнения, комиссия.
3. Прогоните тест на том же отрезке, тех же парах и том же часовом поясе. Разный пояс сдвигает границы свечей.
4. Сопоставьте сделки попарно по времени. Лишние и пропущенные отметьте отдельно — это сигнал, а не шум.
5. Разложите разницу на три слоя: цена входа, цена выхода, издержки. Остаток отнесите к непокрытому.
6. Повторите через месяц. Одна сверка показывает величину, серия сверок — её устойчивость.

Пропущенные сделки заслуживают внимания сильнее, чем расхождение в цене. Если тест открыл позицию, а бот нет, причина обычно в фильтре по минимальному ордеру, в недостатке свободных средств или в том, что заявка висела в стакане и не дождалась исполнения. Те же механизмы описаны в разборе о том, как сетка заявок распределяет объём по уровням, и они переносятся на любого бота с лимитными ордерами.

Какие расхождения ожидаемы, а какие указывают на ошибку

Расчёт на примере суммы

Цифры ниже условные, они нужны для демонстрации порядка величин, а не как ориентир доходности. Пусть депозит равен 100 000 рублей, за квартал бот совершил 120 сделок, тест показал прирост 6,4%, счёт — 1,9%. Разница составляет 4,5 процентного пункта, и её надо объяснить целиком.

Остаток в 0,2 пункта на квартал — рабочая величина. Остаток в 2–3 пункта требует отдельного разбора: он означает, что модель исполнения в тесте описывает не ту биржу, на которой работает бот, и до устранения этой причины любые изменения параметров будут подбираться вслепую, по результату следующего квартала, а не по пониманию механики.

Вторая часть расчёта — точка отсчёта. Результат бота имеет смысл сравнивать не с нулём, а с доходностью без риска. На 16 октября 2026 года ключевая ставка Банка России составляет 14,00% годовых, то есть около 3,4% за квартал. Квартальный результат в 1,9% ниже этой отметки. Логика может быть исправной, вывод всё равно неутешительный. Бот, который после всех издержек приносит меньше, чем приносит рублёвый депозит без рыночного риска, забирает время владельца и внимание к инфраструктуре, а взамен отдаёт результат, доступный без единой сделки.

Что видно в стакане и чего не знает архив

Тест по свечам оперирует четырьмя числами на интервал: открытие, максимум, минимум, закрытие. Стакан в этих числах не отражён. Между тем именно он определяет, по какой цене исполнится заявка объёмом выше среднего. Четыре числа сжимают в одну точку всю внутреннюю жизнь интервала — и очередь лимитных заявок на каждом уровне, и моменты, когда глубина рынка с одной стороны исчезала на несколько секунд, и частичные исполнения, из которых сложилась итоговая сделка.

Проверить это можно вручную. Откройте глубину рынка по своей паре и посмотрите, какой объём лежит на первых трёх уровнях с каждой стороны. Если типичный ордер бота сопоставим с этим объёмом, проскальзывание в тесте занижено по построению. Расписание торгов тоже влияет на картину: биржевой инструмент живёт в границах сессии, и опубликованное Московской биржей расписание показывает, что утренняя сессия на фондовом рынке открывается в 06:50 по московскому времени, а вечерняя закрывается в 23:49:59. Круглосуточный крипторынок таких границ не имеет, и это меняет состав участников в течение суток.

Ещё один источник расхождения — цена, по которой считается результат. Биржевой котировке противостоит ончейн-оценка, и когда биржевая и ончейн-цена токена расходятся, отчёт бота и отчёт портфеля перестают сходиться даже при безупречном исполнении.

Ошибки, из-за которых сверка даёт неверный ответ

• Сверка по итоговой кривой вместо сделок. Две разные траектории дают одинаковый итог за квартал и совершенно разный риск.
• Разные часовые пояса в журнале и в тесте. Сдвиг на час перекраивает границы свечей и ломает сопоставление.
• Пересчёт комиссии по текущему уровню, а не по тому, который действовал на дату сделки.
• Исключение убыточных сделок как «аномальных». Это подгонка отчёта.
• Игнорирование принудительных действий площадки. Если позиция закрывалась механизмом биржи, в тесте такой сделки нет вовсе.

Последний пункт встречается реже остальных, но стоит дороже. На счетах с плечом позицию может сократить сама площадка, и тогда разобраться в отчёте без знания того, как работают страховой фонд и автоматическое сокращение позиций, не получится.

Полезно завести отдельный файл расхождений и вносить туда каждую сделку, которая не нашла пары, с пометкой о причине: через два-три квартала такой файл сам покажет, где именно модель исполнения расходится с площадкой.

Итог

• Один отрезок, один набор пар, один часовой пояс в тесте и в журнале.
• Сопоставление сделка в сделку, а не по итоговой кривой.
• Разница разложена на цену входа, цену выхода и издержки.
• Непокрытый остаток зафиксирован числом и отслеживается в динамике.
• Результат сопоставлен с доходностью без риска на ту же дату.
• Пропущенные и лишние сделки разобраны поимённо.

Частые вопросы