Форвардный тест

Что такое форвардный тест? Это двухшаговый процесс. Первый шаг состоит из традиционной оптимизации, описанной в предыдущих разделах. Сканируются параметры торговой модели. Значения параметров топ-модели оцениваются не только по прибыльности. Именно второй шаг характеризует форвардный анализ и является источником его необычных признаков.

Этот шаг является критерием оценки постоптимизационной эффективности. Совокупность значений параметров «лучшей» модели, найденная на первом шаге и определяемая целевой функцией, тестируется на дополнительном, смежном отрезке ценовой истории. Другими словами, топ-модель тестируется посредством имитации реальной торговли.

Повторим, что форвардный тест состоит из двух шагов. Сначала торговая модель оптимизируется на некотором историческом отрезке. Затем она «торгует» на новом отрезке истории. Такой тип тестирования также известен как вневыборочное тестирование или слепое тестирование. Форвардный тест – единственный метод, обеспечивающий точную картину постоптимизационной эффективности торговли.

Цель форвардного теста

У форвардного теста три основных цели. Первые две имеют важное значение для завершения успешного цикла тестирования и оптимизации. Третья цель дает уникальную и очень полезную информацию, обеспечивающую достаточно точные измерения ожиданий прибыли и риска для реальной торговли.

Основная цель форвардного теста – определить, реальна ли эффективность оптимизируемой торговой модели или она является результатом подстройки. Эффективность торговой модели считается «реальной», если модель имеет предсказательную ценность или может эффективно реагировать на непредвиденное рыночное движение. Форвардный анализ также является методом определения того, какие параметры будут работать в будущем. Модель может быть хорошей, но не всегда могут быть найдены правильные ее параметры. Модель, разработанная должным образом, должна приносить прибыль в реальной торговле, в определенной степени соразмерной прибылям, полученным в процессе оптимизации. Если вы собираетесь использовать модель в реальной торговле, сначала она должна пройти форвардный тест.

Вторая цель форвардного теста – определить качество фактического оптимизационного процесса. Есть свидетельства, что даже хорошая модель может быть подстроена. Это могло произойти в результате ограничения степеней свободы слишком многими правилами, использования недостаточно большой выборки данных, сканирования слишком многих переменных или сканирования переменной очень мелким шагом.

Форвардный тест дает уникальную меру эффективности, называемую форвардным показателем эффективности (walk-forward efficiency). Этот показатель сравнивает годовую норму постоптимизационной прибыли с нормой прибыли выборочной оптимизации. В разделе «Какую норму прибыли следует ожидать?» этой главы показано, как вычислять форвардный показатель эффективности.

Модель является подстроенной, если она имеет низкий форвардный показатель эффективности; другими словами, ее форвардные результаты явно ниже результатов выборочного теста. Эта проблема решается путем диагностики и устранения одной из четырех причин подстройки, перечисленных ранее.

Если низкий форвардный показатель эффективности не связан с очевидной ошибкой, которая может быть исправлена, модель должна быть оценена так, как есть. Если торговая модель демонстрирует более низкую форвардную эффективность, трейдер должен либо отказаться от нее, либо готовиться к принятию данного уровня доходности.

Это приводит к третьей цели форвардного теста: измерению прибыльности и риска модели для определения ожиданий относительно реальной торговли. Идеально разработанная и оптимизированная торговая модель будет иметь при вневыборочном или постоптимизационном трейдинге аналогичную норму прибыли, что и при выборочном или оптимизационном тестировании. Если ее эффективность при вневыборочном тестировании значительно ниже, это может быть знаком подстройки. Работоспособная торговая модель может превысить оптимизационную эффективность, если постоптимизационные рыночные условия обеспечивают больший потенциал прибыли, чем условия оптимизации.

Установки для форвардного теста

Форвардный тест – это двухшаговый процесс: первый шаг – оптимизация, второй – тестирование значений параметров топ-модели. Для форвардного теста необходимы диапазоны сканирования переменных, размер оптимизационного окна и размер торгового или тестового окна.

Размер оптимизационного окна определяется:

• доступностью данных;
• типом торговой системы;
• темпом торговли;
• релевантностью данных;
• долговечностью оптимизации.

Более того, размер оптимизационного окна может быть подобран эмпирически, путем проведения нескольких форвардных тестов посредством оптимизационных окон разного размера.

Другие факторы влияют на то, как долго можно будет торговать данной моделью до реоптимизации, или насколько большим должно быть торговое или тестовое окно. Эти факторы – последовательно изменяемые волатильность и свинги, сила и частота трендовых изменений, полнота модели.

Теоретически, если бы рыночные условия никогда не отличались от условий оптимизационного окна, повторная оптимизация модели вообще никогда бы не потребовалась. Однако на практике, с помощью модели, протестированной на двухлетних данных, можно торговать от трех до шести месяцев. Модель, построенная на данных за один год, может работать от одного до двух месяцев. Модель, построенная по шестимесячным данным, может оставаться работоспособной две-четыре недели. Форвардное торговое окно должно составлять приблизительно от 10% до 20% оптимизационного окна.

Пример форвардного теста

В качестве иллюстрации рассмотрим следующий пример сканирования двух переменных, выполненного для торговой системы под названием Blast, на 48-месячном оптимизационном окне ценовых данных по фьючерсам на S&P500:

Первый шаг форвардного теста осуществляет стандартное оптимизационное сканирование двух ключевых переменных модели на ценовых данных по S&P с 1 июля 1982 по 30 июня 1986. Затем компьютер просмотрит 256 кандидатур на роль лучшей модели, определенных в ходе этого сканирования двух переменных. С помощью критерия оценки будет выбрана топ-модель. Это стандартная оптимизация.

Второй шаг форвардного теста оценивает постоптимизационную эффективность топ-модели, найденной на первом шаге. Этот шаг добавляет новый отрезок ценовых данных, называемый «торговым окном» или «тестовым окном», к отрезку данных оптимизационного окна. Параметры топ-модели тестируются на этом отрезке данных. Другими словами, топ-модель оценивается (или торгует) на ценовых данных, которые не являются частью данных первоначальной оптимизации. Этот тест будет выглядеть следующим образом:

В данном примере топ-модель найдена с помощью оптимизации на 48-месячном периоде истории, и поэтому далее по ней идет форвардная торговля или тестирование на 6-месячном историческом периоде, непосредственно следующем за 48-месяч-ным периодом оптимизации. Топ-модель принесла в течение 48-месячного оптимизационного теста прибыль $47,390, что соответствует годовой прибыли $11,847. В течение 6-месячного постоптимизационного теста модель принесла $20,265, что соответствует годовой прибыли $40,530.

Это впечатляет. Тем не менее, один успешный форвардный тест мог быть результатом случая, поэтому важно провести более обширный тест, называемый форвардным анализом. Форвардный анализ – это серия отдельных форвардных тестов. Чтобы быть статистически достоверным, он должен состоять из достаточно большого числа тестов.

Содержание

Далее