Чтобы оценить эффективность торгового бота на часовом таймфрейме, возьмите журнал сделок целиком, разметьте его на отрезки по режиму рынка и считайте результат по каждому отрезку отдельно. Часовой график даёт десятки сделок в неделю. Выборка набирается быстро, и за это приходится платить смешиванием: внутри периода оценки рынок успевает сменить характер. Тренд, боковик, скачок волатильности. Единая цифра за квартал усредняет куски, которые между собой несопоставимы.

Период оценки бота — это отрезок истории, внутри которого неизменны правила бота, его настройки и режим рынка. Меняется любое из трёх — начинается новый отрезок, и прежнюю статистику к нему присоединять нельзя.

Какая задача решается оценкой на часовом таймфрейме

Часовая свеча закрывается 24 раза в сутки, за неделю их 168, за месяц около 720, поэтому бот на часовом сигнале набирает за месяц больше сделок, чем дневной бот за год. Отсюда соблазн. Кажется, что месяца хватит для вывода.

Выборка и правда набирается. Это верно и для бота усреднения, и для сеточных схем. Беда в другом: она набирается внутри одного-двух рыночных режимов, а не поперёк всех, и число сделок растёт быстрее, чем разнообразие условий, в которых эти сделки заключались. Сто сделок в растущем рынке не говорят ничего о боковике. Этот разрыв и делает красивую месячную цифру бесполезной для прогноза.

Схема из пяти шагов: выгрузить журнал сделок, разметить отрезки по режиму рынка, посчитать результат по каждому отрезку, сравнить отрезки, зафиксировать вывод и границы применимости
Схема из пяти шагов: выгрузить журнал, разметить отрезки по режиму рынка, посчитать результат по каждому, сравнить отрезки, зафиксировать границы вывода

Как разметить период: шаги с параметрами

  1. Выгрузите журнал сделок за весь срок работы: время входа и выхода, объём, уплаченные комиссии по каждой сделке.
  2. Наложите на тот же срок цену по часам.
  3. Отметьте границы режимов: направленное движение, боковой коридор, резкое расширение диапазона.
  4. Отрежьте простои и правки настроек.
  5. Посчитайте по каждому отрезку четыре величины: число сделок, долю закрытых в плюс, сумму издержек, максимальную просадку счёта внутри отрезка.
  6. Сравните отрезки между собой.

Четвёртый шаг пропускают чаще всего. В обращениях читателей редакция регулярно видит журналы, где две недели простоя и смена шага сетки заявок остались внутри единого «периода оценки», а итог подан одной цифрой.

Расчёт на примере суммы

Условный депозит 300 000 рублей, период 12 недель. Общий итог — плюс 9 000 рублей, три процента от депозита. Разметка по режимам даёт другую картину: шесть недель тренда принесли плюс 21 000, четыре недели боковика — минус 8 000, две недели повышенной волатильности — минус 4 000. Суммы условные, приведены для арифметики.

Общая цифра положительная. При этом в плюс бот выводил один режим из трёх, и если следующий квартал окажется боковым, ждать прежних трёх процентов не из чего — их принесла не логика бота, а совпавшее с ней направление рынка. Это разница между «бот прибыльный» и «бот прибыльный в таком-то режиме».

Режим внутри периода Что происходит со сделками Как выглядит в общей цифре Что считать отдельно
Направленное движение цены Сигналы срабатывают в сторону тренда, выходы по цели частые Тянет итог вверх и маскирует остальные отрезки Долю сделок, закрытых по цели
Боковой коридор Входы и выходы учащаются, результат каждой сделки мелкий Растворяется в сумме, хотя издержек даёт больше всех Издержки по отношению к результату отрезка
Скачок волатильности Стопы задеваются на шуме, часть заявок исполняется хуже расчётной цены Выглядит одним-двумя крупными минусами Просадку счёта и разницу цены заявки и исполнения
Смена настроек внутри периода До и после правки работают фактически два разных бота Превращает статистику в смесь двух выборок Каждую версию настроек как отдельный период с датой

Что о периоде оценки говорят профессиональные требования

Там, где алгоритмическая торговля регулируется, оценка привязана к календарю и к версии алгоритма, а не к удобной выборке: делегированный регламент Европейской комиссии 2017/589 применяется с 3 января 2018 года и в статье 9 требует ежегодной самооценки алгоритмической торговли с выпуском валидационного отчёта. Статья 16 того же документа требует мониторинга в реальном времени, пока заявки уходят на площадку. Логика ясна. Алгоритм оценивают по регулярному циклу, а не по отрезку, выбранному задним числом.

Смена рыночного режима — не выдумка частных трейдеров. Доклад Комитета по рынкам Банка международных расчётов об электронной торговле на рынках с фиксированным доходом опубликован 21 января 2016 года и описывает, как автоматизированная торговля меняет характер предоставления ликвидности и само формирование цены. Вывод для нашей задачи прикладной. Условия, в которых бот показал результат, со временем меняются сами, независимо от того, трогали вы настройки или нет.

Публичной статистики доходности торговых ботов с раскрытой методикой расчёта нет. Проценты из рекламы сервисов проверить нечем: неизвестны ни период, ни состав сделок, ни число версий настроек внутри. Сравнивать свой бот с чужими обещаниями бессмысленно.

Результат, полученный подбором параметров на прошлых данных, — это подбор задним числом, а не доказательство работоспособности. На часовом таймфрейме он обманчив особенно: сделок много, и перебор настроек почти всегда находит комбинацию, которая на этом куске истории выглядит безупречно.

Ошибки, из-за которых оценка на часовом графике врёт

  • Итог одной цифрой за весь срок.
  • Часы простоя и доработок внутри выборки.
  • Сравнение с удержанием актива без учёта комиссий и спреда по каждой сделке — на коротком таймфрейме это меняет знак результата.
  • Число сделок вместо разнообразия условий.
  • Оценка бота без зафиксированной версии настроек и даты.
  • Перенос вывода на другую пару, где глубина рынка иная, а расхождение биржевой и ончейн-цены больше.

Итог

Часовой таймфрейм ускоряет сбор данных и одновременно укорачивает срок, за который рынок остаётся самим собой, поэтому порядок действий обратный привычному: сначала разметка, потом арифметика. Разметили — считайте. Если на каком-то режиме сделок мало, честный вывод звучит так: данных по этому режиму нет. Такой ответ полезнее уверенной цифры из несопоставимых отрезков.

Материалы по теме

Частые вопросы

Сколько сделок нужно, чтобы вывод был надёжным?

Универсального числа нет. Ориентир другой: сделок должно хватать внутри каждого размеченного режима, а не суммарно по всему периоду, иначе вы получите вывод про тренд и выдадите его за вывод про бота. Сто сделок в тренде и пять в боковике — это отсутствие выборки по боковику.

Можно ли оценивать бота по одному месяцу работы?

Можно, если ограничить вывод тем режимом, который в этом месяце был. Месяц на часовом графике даёт около 720 свечей и обычно один-два режима. Формулировка «бот работает» из такого месяца не следует.

Чем это отличается от оценки на минутном графике?

Чем короче свеча, тем выше доля издержек в результате каждой сделки и тем быстрее сменяются режимы, поэтому на минутах выборка набирается за дни, но половина результата может уходить на комиссии и спред. Часовой интервал — компромисс. Размечать его всё равно надо.

Что делать, если я менял настройки посреди периода?

Разрезать журнал по дате правки и считать до и после отдельно. Технически это два бота с одним именем. Склеивать их статистику нельзя даже при мелкой правке: изменился шаг сетки — изменились и частота сделок, и структура издержек. Дату каждой правки фиксируйте сразу, по памяти её потом не восстановить.

Вердикт

Часовой таймфрейм — не лучший и не худший выбор для оценки, а тот, на котором быстрее всего накапливается ложная уверенность. Данных много, разнообразия мало. Редакция считает честной только оценку с разметкой: отрезок, режим, число сделок, издержки, просадка. Остальное — пересказ того, куда шёл рынок, пока бот работал. Это касается и традиционных активов на криптобирже, и обычных пар.

Свежие разборы по заявкам и ботам — в Telegram-канале Cryptium.

Первоисточники: делегированный регламент Европейской комиссии 2017/589 на портале EUR-Lex и доклад Комитета по рынкам Банка международных расчётов об электронной торговле.