Размер тестового окна

Все торговые системы тестируются как минимум на одном сегменте исторических данных. Например, эффективность системы скользящих средних можно протестировать на ценовых данных по фьючерсу на S&P с 01.01.85 по 31.12.90.

Определение: Тестовое окно – это размер той части исторических ценовых данных, на которых тестируется торговая система. При определении размера тестового окна должны выполняться два основных условия. Первое – это статистическая представительность; второе – релевантность данной торговой системе и данному рынку. Эти два условия не дают однозначного ответа на вопрос о размере конкретного тестового окна в днях, неделях или месяцах. Но они устанавливают набор правил, которыми следует руководствоваться при определении правильного размера окна для конкретной торговой системы и конкретного рынка. Нет размера тестового окна, который был бы подходящим для всех случаев.

Статистические требования

Тестовое окно должно быть достаточно большим, чтобы генерировать статистически достоверные результаты и включать достаточное количество данных, отражающих разные состояния рынка. Что значит статистически достоверные результаты? По существу, это означает выполнение двух условий. Должно быть достаточное количество сделок, чтобы результаты можно было считать статистически адекватными. Тестовое окно также должно быть достаточно большим относительно числа и временной продолжительности (length) переменных торговой системы. Если это не так, то тестовые результаты будут статистически сомнительными.

Размер выборки и ошибка

Есть формула для вычисления статистической ошибки. Этот статистический показатель несет полезную информацию относительно адекватности размера торговой выборки. Чем больше торговая выборка, тем меньше стандартная ошибка. Стандартная ошибка вычисляется по следующей формуле:

Стандартная ошибка = 1/√N+1, где N – размер выборки.

Стандартная ошибка говорит нам о степени точности наших результатов. Например, если средний выигрыш составляет $200 при стандартной ошибке 25%, то на самом деле средний выигрыш равен $200+/-25%. Другими словами, наш средний выигрыш скорее всего окажется в интервале $150-$250. Во имя консерватизма допускаем, что средний выигрыш окажется равным $150.

Рассмотрим три примера вычисления стандартной ошибки при разных размерах торговой выборки (10, 30 и 100 сделок):

Станд. ошибка = 1/√10+1 = 1/3.317 = 30.14%.

В случае выборки из 10 сделок стандартная ошибка равна примерно 30%. Подставляя это значение в предыдущую формулу, диапазон точности среднего выигрыша составит $200+/-30%, или от $140 до $260. Выборка из 30 сделок имеет стандартную ошибку 18%. Интервал точности среднего выигрыша при этом составит $200+/-18%, или от $164 до $236. Выборка из 100 сделок имеет стандартную ошибку 10%. Интервал точности в этом случае равен $200+/-10%, или от $180 до $220. На этих примерах видно, что чем больше размер торговой выборки, тем меньше стандартная ошибка, а значит – тем более надежны результаты тестирования.

Сколько нужно сделок?

Какое число сделок будет достаточным? Для тестирования торговой системы, в свете информации, представленной в предыдущем разделе, чем больше, тем всегда лучше. Вы не можете добиться статистической значимости без достаточного числа сделок.

Это требование может привести к проблеме при тестировании долгосрочных торговых систем, генерирующих редкие сделки. Иногда для многих типов торговых систем бывает трудно создать выборку достаточно большого размера. Единственный способ обеспечить получение достаточного числа сделок для тестирования медленной торговой системы – сделать торговое окно очень большим.

Могут быть полезны и другие указания. Когда тестовое окно содержит меньше 10 сделок, при ее оценке необходима крайняя осторожность. Тест должен быть фундаментально обоснованным, то есть, должен быть основан на логических принципах, которые впоследствии давали бы нам уверенность. Серьезное внимание должно быть уделено и всем остальным соображениям, повышающим статистическую валидность торговой системы.

Стабильность

Стабильность торговой системы связана с устойчивой торговлей по этой системе. Чем более устойчива торговая система по каждому из ее показателей, тем она стабильнее. Как правило, чем выше стабильность системы на статистически валидном тесте, тем выше ее надежность в процессе торговли. В Главе 8 подробно описывается, как оценивать эффективность торговой модели. Однако некоторые моменты будет полезно осветить и здесь.

Должно быть хорошее соотношение прибылей и убытков. Сделки должны быть равномерно распределены по всему тестовому окну. Чем меньше стандартное отклонение величины и продолжительности выигрышей и убытков, тем лучше. Эти показатели торговой устойчивости системы являются важными показателями ее стабильности. Лучший размер тестового окна – такой, который позволяет надежно получать такую информацию.

Степени свободы

Статистики используют термин степени свободы (degrees of freedom, df) в качестве доверия результатам тестирования. То же самое понятие можно использовать при разработке теста, путем включения ряда правил, условий и получаемых на их основе сделок, по отношению к объему тестовых данных. Меньшее количество инструкций и большее количество данных обеспечивают большее доверие к системе.

Хотя на интуитивном уровне необходимость оценки степеней свободы очевидна, формулы, задающей это соотношение, нет. Понятие степеней свободы в области разработки тестов пока не применялось. Для того чтобы прийти к полезному правилу, рассмотрим крайний случай. Используя цены зерновых за 10 лет (с 1980 по 1990), применим следующие правила:

Купить 5 мая1980, продать 1 августа 1980; купить 20 июня 1981, продать 10 июля 1981; ...; купить 21 мая 1990, продать 30 июля 1990.

Дано 20 правил (10 покупок и 10 продаж) по которым совершается 10 сделок (20 сигналов). Для того, чтобы избежать подстройки на данные, следует применить следующее определение:

Степени свободы = Число сигналов – Число правил.

В описанном примере у нас нулевая степень свободы. Данный сезонный метод также не имеет никакой предсказательной способности; все в данном примере было сделано лишь с оглядкой на прошлое. Становится ясно, что система должна иметь намного больше сигналов на покупку и продажу, чем правил и условий. Ну а теперь давайте рассмотрим следующую надежную оценку:

Минимальное число степеней свободы = 10 х (Число правил + Число условий).

Также можно определить число степеней свободы в терминах числа точек данных, используемых для тестирования; однако этот показатель может оказаться искусственно завышен. Например, 30-дневную скользящую среднюю следует тестировать на данных как минимум за 300 дней (опять, фактор 10). Если эта система вычисляет тренд по ценам закрытия, то доступность цен открытия, минимума и максимума никак не меняют этот 300-дневный минимум.

Имейте в виду, что удовлетворение минимальных требований не так действенно, как применение меньшего числа правил и большего количества данных, что дает большую тестовую выборку, более точные результаты и более устойчивую систему.

Частота торговли

В отношении имитации интересен тот факт, что размер тестового окна будет оказывать большое влияние на темп торговли и результаты тестирования. Меньшее тестовое окно может давать адекватный размер выборки для краткосрочной и более активной торговой системы. К тому же, большинство краткосрочных систем не будут эффективны на большом тестовом окне, поскольку рыночные паттерны меняются чаще, чем параметры этих систем. Например, оптимальные краткосрочные тренды могут менять направление в течение 3-6 дней. И наоборот, только более крупное тестовое окно может давать адекватный объем выборки для долгосрочной и менее активной торговой системы. Объем выборки, отвечающий статистическим требованиям тестирования, может быть удостоверен усредняющей совокупностью всех тестов.

Срок годности модели

Размер тестового окна оказывает интересное воздействие на срок годности торговой системы. Торговые системы, применяющие оптимизацию, с некоторой периодичностью требуют ре-оптимизации, для наладки торговой модели на текущие рыночные условия. Уже было показано, что торговые модели, оптимизированные на более крупном тестовом окне, могут дольше использоваться между реоптимизациями, то есть, имеют более длинный срок годности. В отличие от этого, более короткие тестовые окна требуют более частой реоптимизации. Следовательно, о них говорят, как о имеющих более короткий срок годности.

Основные причины этого различия структурные. Временной период между реоптимизациями составляет, как правило, некоторую долю от первоначального тестового периода. На это особо указывает форвардный анализ, описываемый в Главе 7. Хорошее правило для определения размера торгового окна – от 1/8 до 1/4 тестового окна. Другими словами, если для оптимизации торговой системы используется 24-месячное окно, то данной системой можно уверенно торговать в интервале от 3 (24/8=3) до 6 (24/4=6) месяцев. Влияние оказывают и другие факторы. Это схоже с концепцией, утверждающей, что достоверность статистических прогнозов уменьшается по мере удаления от точки начала прогнозирования.

Причина, по которой торговую систему необходимо реоптимизировать, в том, что рынки постоянно меняются. Следовательно, если рыночные условия остаются теми же самыми, торговая система не требует дополнительной реоптимизации. Если эти условия меняются, то реоптимизация необходима. Новые вводные данные требуют новых характеристик модели.

Короткое тестовое окно может «видеть» лишь один тип рынка, небольшой образец рыночных условий. При оптимизации такая модель адаптируется к данному типу рынка и набору условий. Когда рынок начинает меняться в нечто такое, в отношение чего у модели нет опыта, нет никакой уверенности в том, что модель будет продолжать показывать ту же эффективность, что и в процессе тестирования. Следовательно, она потребует реоптимизации для адаптации к новым формирующимся условиям. И лишь из-за этого ограниченного «видения» через меньшее окно необходима более частая реоптимизация.

В отличие от этого, более длительное тестовое окно чаще всего будет охватывать большее число типов рынка и больший набор рыночных условий. По определению, оно «знает по опыту» большую область рыночных данных и адаптирована к этой области. С большим базовым опытом, эта торговая система будет чаще правильно реагировать на новые типы рынков и рыночных условий по мере их появления.

Как правило, более короткое окно требует более частой реоптимизации, такая система чуть менее стабильна и более чутко реагирует на текущую ценовую активность.

Более длинное окно требует менее частой реоптимизации, система немного более стабильна и слабее реагирует на текущую рыночную активность.

Содержание

Далее