Форвардный анализ

Форвардный анализ – это серия отдельных форвардных тестов на обширном и репрезентативном отрезке ценовой истории (См. рис. 7-5). Форвардный анализ имитирует способ, которым планируется торговать по оптимизируемой торговой системе. Говорится, что метод «идет вперед» оптимизации и торгует в окнах, состоящих из фиксированного числа единиц времени. Это число называется «шаговым окном». Первый шаг данной процедуры – отдельный форвардный тест на первом сегменте ценовой истории. Следующий шаг процедуры – другой форвардный тест на следующем сегменте ценовой истории. Далее этот процесс повторяется, пока не завершится исторический период, на котором проверяется торговля.

В тесте форвардного анализа дается оценка постоптимизационной эффективности торговой модели, что является одним из наиболее драматических моментов среди всех процедур тестирования. Форвардный анализ сравнивает постоптимизационные и оптимизационные результаты. Для сравнения используется совокупность результатов многих оптимизаций. На основе форвардного анализа от неприбыльной модели или модели, показавшей хорошие результаты при оптимизации и очень плохие при форвардном тесте, следует отказаться.

Цель форвардного анализа

Главная цель форвардного анализа – устранить обоснованные сомнения в валидности торговой модели и процедуры оптимизации. При этом преимущества форвардного теста распространяются на достаточно большую выборку данных и форвардных тестов, чтобы обеспечить статистическую точность. Форвардный анализ строится так, чтобы выполнить достаточно большое число форвардных тестов для устранения случайности результатов. Добиться такой надежности позволяет тест, включающий не менее 10 форвардных тестов.

Вторая цель форвардного анализа – получить более точную картину профиля прибыли и риска на основе большей и более статистически валидной выборки. Этот анализ состоит из множества оптимизаций и множества форвардных тестов. Они сведены воедино, чтобы обеспечить более надежное измерение эффективности.

Кроме того, сравнение постоптимизационной эффективности с оптимизационной дает более реалистичную и надежную оценку будущей прибыли. Допустим, что настало время начинать торговать данной моделью в реальном времени. Из тестирования известно, что торговая модель прошла форвардный тест с результатом, составляющим 75% результата оптимизации. Оптимизация на самых последних данных давала годовую прибыль $20,000. 75-процентный форвардный показатель эффективности (walk-forward efficiency) информирует, что прибыльность данной модели за год должна быть примерно в области 75% от $20,000, или около $15,000. Эта информация может быть полезной при оценке эффективности при реальной торговле.

Форвардный анализ дает гораздо больше возможностей изучить максимальное проседание, чем любой другой показатель тестирования. Реальная проблема в использовании максимального проседания, найденного в процессе оптимизации, в качестве меры будущих проседаний, вытекает из природы самого оптимизационного процесса. В процессе оптимизации от большинства моделей с крупными проседаниями придется отказаться. Проседания, обнаруженные в ходе форвардно-аналитического теста, имеют такую же валидность, как и постоптимизационные прибыли. Они представляют собой то, что происходит, когда после оптимизации модель сталкивается с каким-то более волатильным, менее предсказуемым ценовым движением.

Проседание, найденное при форвардно-аналитическом тесте, опять же, основано на гораздо большей выборке таких тестов.

Третья цель форвардно-аналитического теста – проверить сам процесс оптимизации. Как упоминалось ранее, ненадежная модель будет просто проваливать форвардно-аналитический тест. Однако и работоспособная модель могла быть подстроена или разработана с нарушением других принципов, и будет показывать при форвардно-аналитическом тесте плохую эффективность «по техническим причинам». В этой оценке учитываются такие соображения, как степени свободы, размер оптимизационного и тестового окна, диапазон и точность сканирования переменных и число сканируемых переменных. Лучшая модель настроена «свободно» и имеет группы прибыльных соседей. Худшая модель настроена слишком «туго» и стоит одиноко на вершине нетипичной прибыли. Форвардно-аналитический тест обеспечивает защиту от этих ошибок оптимизации.

Форвардный анализ – это точная имитация способа, которым оптимизируемая торговая система наиболее часто используется в реальной торговле. У пользователей оптимизационного софта часто возникает важный вопрос – как часто торговую систему следует реоптимизировать. Ответ на этот вопрос – четвертая цель форвардно-аналитического теста. И он дает ответ на этот вопрос самым лучшим из возможных способов – эмпирически.

Если система достигает пиковой эффективности, когда она посредством оптимизации адаптирована к текущим рыночным условиям, то в некоторый момент реоптимизация ей потребуется. Рыночные условия меняются. Торговая модель тоже должна меняться. В результате встает вопрос – когда ее следует реоптимизировать? Применение модели, разработанной с помощью форвардно-аналитического теста, должно соответствовать структуре этого теста. Если размер тестового окна равен трем месяцам, то реоптимизировать модель надо через каждые три месяца торговли, и точно так же – при других размерах тестового окна.

Пятая цель форвардно-аналитического теста обеспечивает уникальное и глубокое понимание сути показателя эффективности. Часто максимальные проседания торговых моделей происходят при изменении трендов или рыночных условий. Разворачивающиеся окна форвардно-аналитического теста точно показывают, что происходит, когда модель сталкивается с условием, на котором она не тестировалась. В самом характере устойчивых торговых моделей заложено, что даже если подобное изменение может вызвать убытки, они не должны быть критическими. Традиционная оптимизация будет маскировать подобные эффекты. Форвардно-аналитический тест их обнаруживает.

Резюме

Форвардный анализ представляет собой ценный и детализированный источник информации. Он создает и оценивает три уровня эффективности модели. На первом уровне оценивается доход, риск и распределение сделок модели, оптимизируемой на одном сегменте исторических данных. Это традиционный способ, с помощью которого трейдеры судят о моделях. Оценка Уровня 1 достаточно хороша; однако оно страдает недостатком проверки постоптимизационной эффективности.

Второй уровень оценивания модели – это форвардный тест. Этот уровень проверяет и модель, и процесс тестирования. Он также сравнивает оптимизационные и постоптимизационные показатели эффективности торговли. Эти два важных пласта информации не могут быть получены на Уровне 1. Несмотря на то, что теперь известно гораздо больше, чем на первом уровне, по-прежнему остаются обоснованные сомнения; результаты одного форвардного теста не позволяют делать окончательных выводов.

На третьем уровне оценивания модели – в форвардном анализе – о модели судят исключительно по совокупной эффективности постоптимизационной торговли, полученной в серии отдельных форвардных тестов. Одна очень сильная сторона этого уровня тестирования – статистическая значимость, обеспечиваемая его полнотой и возможностями. Другое его достоинство – получение ценной информации об эффекте воздействия на эффективность изменениями трендов и волатильности.

Пример форвардного анализа

В качестве иллюстрации рассмотрим форвардный анализ, состоящий из 9 отдельных форвардных тестов. Этот анализ позволит выяснить эффективность оптимизируемой торговой модели на 9 различных периодах последовательной истории. Для каждого из этих периодов оцениваются доходность, риск и устойчивость. Один только этот анализ дает нам в 9 раз больше информации, чем оценивание Уровня 1.

Этот анализ также предоставит нам результаты постоптимизационной эффективности по каждому из 9 отдельных форвардных тестов. Другими словами, он обеспечивает 9 тестов постоптимизационной торговли. Он также измеряет эффективность этой постоптимизационной торговли. В данный момент у нас уже как минимум в 18 раз больше информации, чем при оценивании Уровня 1, и в 9 раз больше, чем при оценивании Уровня 2. К тому же форвардный анализ охватывает исторический временной период, включающий много различных изменений трендов и волатильности. Это дает понимание стабильности торговой модели по отношению к изменяющимся рыночным условиям.

Рассмотрим пример реального форвардного анализа, выполненного компьютерной системой Blast:

Форвардный анализ протекает следующим образом. Для первого оптимизационного окна Blast загружает ценовые данные по фьючерсам на S&P500 с 02.01.1983 по 30.06.1986. Затем программа проводит оптимизацию по двум выбранным переменным. Blast запоминает топ-модель, то есть, модель, имеющую лучшую пессимистическую доходность на маржу с чистой прибылью выше $5,000 и отношением доход/риск выше двух (если такие существуют). Затем программа прогоняет эту топ-модель вперед (делает ее форвардный анализ). Это означает, что переменные этой топ-модели применяются к данным тестового окна (с 1 июля 1986 по 31 декабря 1986). Прежде чем перейти к следующему тестовому окну, эти результаты сводятся в таблицу. Blast также запоминает информацию об отсутствии топ-модели, если сделок в тестовом периоде не было, и тестирование переходит сразу на следующее оптимизационное окно. Форвардный процесс продолжается пошагово на всех заданных исторических данных. Сводная отчет форвардных прибылей и убытков обобщает результаты форвардного анализа, как показано в Таблице 7.1.

Числа в колонке «Чистые прибыль и убыток» в разделе «Оптимизационная эффективность» отражают прибыли за 4-летний оптимизационный период. Числа в колонке «Чистые прибыль и убыток» в разделе «Движение вперед» отражают прибыли за 6-месячный постоптимизационный торговый период. Чтобы определить числа в колонке «WFE» («Форвардная эффективность»), сначала прибыли в двух указанных колонках аннуализируются (приводятся к годовому исчислению). Например, ($20,265/0.5) / ($47,390/4)=342%.

Является ли модель устойчивой?

Проверка результатов определит устойчивость модели. Рассмотрим первую строку Табл. 7-1. Начиная с Ряда 1, топ-модель, найденная в оптимизационном окне 1 (июль 1982 – июнь 1986) показала прибыль $47,390, проседание $6,175 и отношение доход/риск 7.7 ($47,390/$6,175=7.7). Это хорошие результаты, основанные на внутренней проверке оптимизации, но необходимо еще больше.

Как эта конкретная модель работает в форвардном анализе? Колонка форвардных прибыли и убытка в Ряду 1 показывает прибыль $20,265. Это прибыль, полученная топ-моделью за первые 6 месяцев постоптимизационной торговли (с июля 1986 по декабрь 1986), следующие за 48-месячным оптимизационным окном. Результат снова хороший. Но все же этот результат мог быть удачей.

Каждая строка этой таблицы представляет ту же информацию для 8 дополнительных оптимизаций и 8 дополнительных форвардных тестов, охватывающих еще 4 года торговли. Все 9 результатов постоптимизационной торговли оказались прибыльными. Общая чистая прибыль равна $151,105. Данная торговая модель сделала деньги в 100% постоптимизационных тестовых окон. Этот результат весьма убедителен.

Что еще более важно, торговая модель работала. Что означает слово «работала» в данном контексте? Оно означает, что модель делала деньги на данных, которых она никогда не видела. Оно также означает, что модель делала деньги в течение 9 последовательных 6-месячных периодов беспрецедентной волатильности и изменениях рынка. Эту модель можно считать устойчивой.

Какой нормы прибыли следует ожидать?

Как указывалось в предыдущих разделах, форвардная эффективность (WFE) измеряет постоптимизационную эффективность относительно оптимизационной. WFE – это отношение средних годовых форвардных чистых прибыли и убытка к средним годовым оптимизационным чистым прибыли и убытку.

Она вычисляется следующим образом. Средние годовые прибыль и убыток за девять 48-месячных оптимизационных периодов равны $20,945 ($745,040/36 лет = $20,945). В среднем эта модель в течение оптимизации приносила прибыль $20,945 за год.

Средняя годовая прибыль за девять 6-месячных форвардных периодов составляет $33,579 ($151,105/4,5 года = $33,579). В среднем эта модель принесла форвардную или постоптимизационную прибыль, равную 160% ($33,579/$20,945=160%) от оптимизационной прибыли. Другими словами, если модель дает $10,000 в год в течение оптимизации, можно ожидать, что она даст примерно $16,000 ($10,000x1.6=$ 16,000) годовой прибыли в реальном времени.

Каков риск?

Среднее максимальное проседание в течение оптимизации было $10,521 при максимуму $16,865 и минимуме $6,175. Опыт показывает, что модель, постоптимизационное проседание которой превышает 150% оптимизационного проседания, дает повод для беспокойства. Следовательно, один из показателей риска – это среднее оптимизационное проседание, умноженное на 1,5, или $15,782. Это число более значимое, потому что оно основано на результатах 9 различных оптимизаций, охватывающих девять разных периодов истории.

Второй и, возможно, еще более значимый критерий риска указан перечнем отношений риск/доход оптимизационных окон. Он демонстрирует среднее отношение доход/риск, равное 8.1, при максимуме 12.6 и минимуме 6.0.

Резюме

Итак, форвардный тест – это единственный известный способ найти:

• вероятность постоптимизационной прибыли;
• норму прибыли модели после оптимизации;
• постоптимизационный риск.

Форвардный анализ – это четкая и точная имитация ситуации, в которой трейдер применяет программное обеспечение в реальной торговле. А раз так, форвардный анализ выходит за рамки тестирования и становится более важной частью торговой системы, сообщая вам, когда торговать, а когда – нет.

Оценка форвардного анализа

Структура и достоинства форвардного анализа понятны. Остается только применить такой же строгий и исчерпывающий тест к оставшимся 9 рынкам тестовой корзины. После того как это будет сделано, можно оценить общие результаты.

Если форвардный анализ на протяжении всего набора тестов был неприбыльным, следует проверить структуру данного теста на наличие ошибок. Если такая ошибка найдена, исправьте ее и повторите форвардный анализ. Если ошибок не найдено, откажитесь от данной модели. Предыдущий успех был связан с оптимизацией. Эта модель не является устойчивой.

Если форвардный анализ находится на предельно-допустимом уровне прибыльности, структуру теста тоже следует проверить на наличие ошибок. Если такая ошибка найдена, устраните ее и повторите форвардный анализ. Если ошибок не найдено, предельная прибыльность связана с посредственностью торговой модели. Ее характеристики могут быть ценными в контексте более диверсифицированного портфеля.

Если форвардный анализ на всей корзине рынков показывает явную прибыльность, модель работоспособна. Она прошла наиболее строгий из известных процессов тестирования. Теперь трейдер может уверенно ее использовать, при этом все же не теряя бдительности.

Содержание

Далее