Пример подстроенной прогнозной модели

Рассмотрим статистика, который строит модель прогнозирования фондового рынка. Один из самых распространенных и эффективных методов решения этой задачи – строить модель с помощью регрессионного анализа. В рамках этого метода статистик «настраивает» прямую линию на данные фондового рынка. После того как это сделано, для получения прогноза вычисляется следующая точка на линии регрессии. Такая модель будет давать прямолинейную проекцию. Хотя эта проекция может не быть очень точной с точки зрения трейдинга, это нормальная статистическая процедура.

После оценки окончательных прогнозов этой модели статистик решает попытаться повысить ее точность. Путем наблюдения он замечает, что фондовый рынок имел несколько больших ралли и спадов. Двигаясь вперед с помощью других доступных статистических методов, по имеющимся данным статистик строит кривую, способную подстраиваться под контуры ралли и спадов. Проверка этой прогностической модели показывает, что она настроена на прошлые данные немного лучше, чем первая прогнозная модель.

Если немного – это хорошо, то больше – лучше, поэтому статистик решает использовать уравнение кривой, описывающей каждый пик и впадину ценовых данных. Обычно это уравнение называют уравнением «более высокого порядка». Полученная в результате прогностическая модель ближе соответствует историческим ценовым данным, чем две предыдущие модели. Видя это, статистик уже подбирает себе особняк и цвет Мерседеса, на котором будет ездить в свою торговую фирму.

Особняк сгорает, а Мерседес разбивается, когда статистик начинает торговлю своей прогностической моделью. Прогнозы, которые она делает в реальном времени, гораздо более ошибочны, чем было подсчитано в процессе тестирования. Модель оказалась намного менее точной, чем первая прогностическая модель.

Что было сделано неправильно? Попытка построить статистически надежную прогностическую модель превратилась в упражнение по подстройке. Почему? Потому что при построении своей прогностической модели статистик нарушил логику статистической теории. Вместо этого им завладела сильная иллюзия построения математической кривой, исключительно соответствующей прошлым данным. Данный сценарий привел к классическому случаю подстройки.

Прогностическая модель была оценена лишь на основе того, как близко она соответствовала прошлым ценовым данным. Вследствие этого статистик израсходовал слишком много степеней свободы, ввел слишком много ограничений и сузил пространство переменных, в результате чего модель оказалась плохой. Что еще более усугубило ситуацию, статистик не сделал вневыборочного или форвардного тестирования прогнозной модели для определения ее прогностических способностей на незнакомых ей данных.

Первая прогнозная модель была настроена на ценовые данные грубо. Ее прогнозы имели широкие доверительные интервалы, торговать по которым оказалось невозможно. Но модель была статистически валидной. Она была построена с достаточным числом степеней свободы, то есть, правильным соотношением числа ограничений, или переменных, и размера выборки. Эта прогнозная модель была проверена посредством вневыборочного тестирования.

Последняя прогнозная модель была жестко настроена на ценовые данные. Однако прогнозы этой модели подтвердили свою несостоятельность. У этой модели нет статистической валидности, так как она была создана с небольшим количеством степеней свободы и слишком большим количеством ограничений (т.е. правил или переменных). Эта модель никогда не тестировалась на произвольных данных.

Статистик уделил внимание лишь тому, как «замечательно» модель соответствовала прошлым ценовым данным. Такое отношение возникло в результате ложной веры в то, что близость соответствия прогнозной модели прошлым ценовым данным есть показатель ее предсказательной ценности. При построении прогностической модели необходимо всегда строго соблюдать правильные процедуры статистического моделирования, как точно так же при построении торговой модели должны соблюдаться правильные процедуры оптимизации.

Среди тех, кто занимается моделированием временных рядов, ходит поговорка: «При достаточном числе переменных кривая может идеальным образом соответствовать любому временному ряду». Однако будет ли эта прекрасно настроенная кривая иметь хоть какую-то предсказательную ценность? Вероятно, нет, если правилам построения модели не было уделено должного внимания. Слишком много ограничений и слишком мало данных приводят к плохой модели.

Это не говорит о том, что модель, хорошо соответствующая базовым данным, обязательно будет плохой. Все упирается в тот факт, что модель любого типа может предсказывать лишь ту часть данных, которая вызвана неслучайным движением. Модель, действующая в пределах своих естественных возможностей, настроена правильно, когда ее параметры адаптированы к неслучайной составляющей ценового движения. Модель настроена неправильно или подстроена, когда ее параметры адаптированы к случайной составляющей ценового движения.

В качестве примечания запомните, что вопрос случайного и неслучайного ценового движения в целом представляет очень сложную в содержательном и техническом плане и противоречивую область. Величина случайной ценовой активности по отношению к неслучайной – единственный предел эффективности моделей. Неспособность прогнозной или торговой модели точно предсказывать или торговать рынком также бывает вызвана естественными пределами, свойственными правилам данной модели. «Разрешение» этих инструментов может быть слишком «грубым» для измерения и предсказания определенных типов ценового поведения с заданным уровнем точности.

Содержание

Далее