Обзор тестера стратегий МТ4. Часть 4 (Анализ статистики и проблемы оценки бектеста)

статистика МТ4

В прошлых обзорах вы познакомились с принципами тестирования в МТ4 торговых систем. Результат любого тестирования — это статистика МТ4 (бектест или бэктест), которая выгружается в нескольких форматах. Она имеет две формы: числовые значения и график кривой эквити. Мы не будем вдаваться в принципы математического и статистического анализа, так как этот вопрос индивидуален. Задача этого обзора — рассказать о том, что значит тот или иной параметр бектеста, то есть дать базу, с помощью которой вы по своему усмотрению (по своим критериям) сможете оценить эффективность работы советника или индикатора.

Расшифровка статистики МТ4

В самой нижней части тестера есть несколько вкладок: «Настройки» (окно непосредственного ввода данных перед тестированием), «График», «Результаты»,  «Отчет» и «Журнал».

  1. График. Здесь показан график изменения суммы депозита (так называемая эквити, кривая депозита). Если по концу тестирования она ниспадающая, значит советник работает в убыток. На восходящей эквити важно отсутствие резких просадок и скачков — это говорит о том, что на любом участке советник работает стабильно.

Тестер-МТ4-14

Это кривая депозита советника-сеточника, использующего Мартингейл, о чем говорят частые небольшие просадки.

Несколько советов:

  • Если на графике не появилось ни одной открытой позиции, есть ошибка. Код ошибки указывается в «Журнале», обозначение номера кода есть на сайте MQL (разработчик МТ4) во вкладке «Документация» (Справочник).
  • Если советник работает в прибыль, но эквити не имеет стабильной восходящей линии, попробуйте запускать его на отдельных участках, исключая отрезки с резкими скачками. Возможно, советник оптимально работает только в определенные часы или сессию.
  1. Результаты. В этой вкладке видно, какие, когда и как открывал сделки советник. Эту статистику МТ4 проще выгрузить в Excel, чтобы потом с помощью фильтров и группировки отсортировать сделки по направлению, дате или прибыли. В этой же вкладке указывается промежуточный баланс после каждой сделки и цены, по которым были открыты и закрыты позиции (в том числе и по отложенным ордерам).
  2. Отчет. На этой вкладке остановимся подробнее:

Тестер-МТ4-15

  • Количество баров. Период тестирования, выраженный в свечах.
  • Смоделировано тиков. Если предположить, что свеча — это последовательность из 4-х цен (Максимум/Минимум, Закрытие/Открытие), то тики — это движения цены внутри свечи. Чем больше значение параметра, тем точнее результаты, но и тем дольше прогонка советника по участку.
  • Качество моделирования. Статистика МТ4 — 90%, больше тестер никогда не показывает. Если значение менее 90%, есть проблемы в добавленных в МТ4 котировках (пропуски, сбои и т.д.). По мнению трейдеров (с форумов), точность 90% далека от реального рынка и значение этого показателя должно быть не менее 98%. Так как МТ4 не позволяет подняться до такой цифры, можно применить программу Tickstory Lite.
  • Ошибки рассогласования. Появляются при моделировании тиков на разных временных интервалах. Причина — отличия данных по котировкам МТ4 и брокера. Зеленая полоса — ошибок нет, серые участки — отсутствуют котировки. Остальные цвета — промежуточные варианты, которые при грубом тестировании можно игнорировать. Если есть серые участки, перегружаем котировки и заново запускаем тестирование.

Остальные ключевые параметры были уже рассмотрены в этом обзоре, сделаем только лишь несколько уточнений:

  • Минимальное количество открытых позиций в статистике МТ4 более 150. Обоснование этой цифры вы найдете в этом обзоре.
  • Типы просадок: абсолютная — это разница между начальным депозитом и минимальным его значением. Максимальная — разница между максимальной и минимальной суммой депозита.
  • Математическое ожидание. Рассчитывается по формуле «чистая прибыль/количество позиций». Указывается в денежном выражении, но может быть переведено в пункты. Если этот параметр составляет менее 10 пунктов, то советник слишком рано закрывает прибыльные позиции.

Если у вас после прочтения останутся вопросы, пишите в комментариях. Мы рассмотрим каждое поле бэктеста.

Бэктест (бектест) — основная статистика МТ4, показывающая эффективность работы торгового советника. Потому его часто подделывают те, кто разрабатывает роботов на продажу или собирается привлечь деньги в доверительное управление.

Как отличить поддельную статистику МТ4:

  • HTML и HTM. Формат HTML встречается чаще, потому при подделке бектеста файл сохраняют именно в этом формате. При сохранении же статистики с МТ4 автоматически устанавливается формат HTM. И хотя это не имеет принципиального значения, да и при сохранении можно вручную изменить формат, HTML — сигнал к тому, что стоит присмотреться к статистике ближе.
  • Изменение форматирования. Изменены поля, есть пропуски, сдвиги и т.д. — бектест пересохраняли через разные редакторы и возможно правили. Потому сразу просите не скрины бектеста, а именно выгруженный из МТ4 файл.
  • Лишние символы. Запустите любой советник, выгрузите статистику и сравните два бектеста на предмет наличия лишних запятых, слешей и т.д. В глаза они бросаются быстро.
  • Одинаковая маркировка (тикеты) разных позиций. Несоответствие очередности номеров сделок времени их открытия. Выгружаете бектест в Excel и сортируете сделки по номерам тикетов.
  • Соответствие размеров спреда объему сделки. Также проверяется в Excel.

После того, как советник протестирован, но его результаты неудовлетворительны, наступает этап оптимизации. О ней читайте в следующей части.