Авторегресійна модель

У статистиці, економетриці та обробці сигналів модель авторегресії (англ. Autoregressive model) (AR) є представленням типу випадкового процесу; як такий, він використовується для опису певних змінних у часі процесів у природі, економіці, поведінці тощо. Авторегресійна модель визначає, що вихідна змінна лінійно залежить від своїх власних попередніх значень і від стохастичного члена (недосконало передбачуваного терміну); таким чином, модель має форму стохастичного різницевого рівняння (або рекурентного співвідношення, яке не слід плутати з диференціальним рівнянням). Разом із моделлю ковзного середнього (MA) це окремий випадок і ключовий компонент більш загальної моделі авторегресії–ковзного середнього (ARMA) та авторегресійної інтегрованої ковзної середньої (ARIMA) моделей часових рядів, які мають складнішу стохастичну структуру; це також окремий випадок векторної авторегресійної моделі (VAR), яка складається з системи більш ніж одного пов'язаного стохастичного різницевого рівняння в більш ніж одній змінній випадковій змінній.

На відміну від моделі ковзного середнього (МА), авторегресійна модель не завжди є стаціонарною, оскільки може містити одиничний корінь.

Визначення

Позначення ${\displaystyle AR(p)}$ вказує на авторегресійну модель порядку p. Модель AR(p) визначається як

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}}$

де ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ — параметри моделі, а ${\displaystyle \varepsilon _{t}}$ це білий шум^[1][2]. Це можна еквівалентно записати за допомогою оператора зворотного зсуву B як

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

так що, перемістивши член підсумовування вліво та використовуючи поліноміальне позначення, ми маємо

${\displaystyle \phi [B]X_{t}=\varepsilon _{t}}$

Таким чином, авторегресійну модель можна розглядати як вихідний результат багатополюсного нескінченного фільтра імпульсної характеристики, вхідним сигналом якого є білий шум.

Деякі обмеження параметрів необхідні для того, щоб модель залишалася незмінно стаціонарною. Наприклад, процеси в моделі AR(1) з ${\displaystyle |\varphi _{1}|\geq 1}$ не є нерухомими. Загалом, щоб модель AR(p) була стаціонарною у слабкому розумінні, корені полінома ${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{i}}$ повинен лежати за межами одиничного кола, тобто кожен (комплексний) корінь ${\displaystyle z_{i}}$ має задовольнити ${\displaystyle |z_{i}|>1}$ (див. сторінки 89, 92^[3]).

Міжчасовий ефект ударів

У процесі AR одноразовий шок впливає на значення змінної нескінченно далеко в майбутньому. Наприклад, розглянемо модель AR(1). ${\displaystyle X_{t}=\varphi _{1}X_{t-1}+\varepsilon _{t}}$. Ненульове значення для ${\displaystyle \varepsilon _{t}}$ у скажімо час t =1 впливає ${\displaystyle X_{1}}$ за кількістю ${\displaystyle \varepsilon _{1}}$. Тоді за рівнянням AR для ${\displaystyle X_{2}}$ з погляду ${\displaystyle X_{1}}$, це впливає ${\displaystyle X_{2}}$ за кількістю ${\displaystyle \varphi _{1}\varepsilon _{1}}$. Тоді за рівнянням AR для ${\displaystyle X_{3}}$ з погляду ${\displaystyle X_{2}}$, це впливає ${\displaystyle X_{3}}$ за кількістю ${\displaystyle \varphi _{1}^{2}\varepsilon _{1}}$. Продовження цього процесу показує, що ефект від ${\displaystyle \varepsilon _{1}}$ ніколи не закінчується, хоча якщо процес стаціонарний, то ефект зменшується до нуля в межі.

Оскільки кожен шок впливає на значення X нескінченно далеко в майбутньому від моменту їх виникнення, на будь-яке дане значення X _t впливають шоки, що відбуваються нескінченно далеко в минулому. Це також можна побачити, переписавши авторегресію

${\displaystyle \phi (B)X_{t}=\varepsilon _{t}\,}$

(де постійний член був придушений через припущення, що змінна була виміряна як відхилення від свого середнього) як

${\displaystyle X_{t}={\frac {1}{\phi (B)}}\varepsilon _{t}\,.}$

Характеристичний поліном

Функцію автокореляції процесу AR(p) можна виразити як 

${\displaystyle \rho (\tau )=\sum _{k=1}^{p}a_{k}y_{k}^{-|\tau |},}$

${\displaystyle \phi (B)=1-\sum _{k=1}^{p}\varphi _{k}B^{k}}$

де B — оператор зворотного зсуву, де ${\displaystyle \phi (\cdot )}$ є функцією, що визначає авторегресію, і де ${\displaystyle \varphi _{k}}$ — коефіцієнти в авторегресії. Формула справедлива, тільки якщо всі корені мають кратність 1. 

Автокореляційна функція процесу AR(p) є сумою спадаючих експонент.

• Кожен справжній корінь вносить компонент у функцію автокореляції, яка експоненціально спадає.
• Подібним чином кожна пара комплексно спряжених коренів вносить експоненціально затухаючі коливання.

Графіки процесів AR(p)

AR(0); AR(1) з параметром AR 0,3; AR(1) з параметром AR 0,9; AR(2) з параметрами AR 0,3 і 0,3; та AR(2) з параметрами AR 0,9 та −0,8

Найпростішим процесом AR є AR(0), який не має залежності між термінами. Лише термін помилка/інновація/шум впливає на результат процесу, тому на малюнку AR(0) відповідає білому шуму.

Для процесу AR(1) з додатним ${\displaystyle \varphi }$, тільки попередній член у процесі та шумовий член роблять внесок у вихід. Якщо ${\displaystyle \varphi }$ близьке до 0, то процес усе ще виглядає як білий шум, але як ${\displaystyle \varphi }$ наближається до 1, результат отримує більший внесок від попереднього члена відносно шуму. Це призводить до «згладжування» або інтеграції виходу, подібно до фільтра низьких частот.

Спектр

Спектральна густина потужності (PSD) процесу AR(p) з дисперсією шуму ${\displaystyle \mathrm {Var} (Z_{t})=\sigma _{Z}^{2}}$ це

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\sum _{k=1}^{p}\varphi _{k}e^{-i2\pi fk}|^{2}}}.}$

AR(0)

Для білого шуму (AR(0))

${\displaystyle S(f)=\sigma _{Z}^{2}.}$

AR(1)

Для AR(1)

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{|1-\varphi _{1}e^{-2\pi if}|^{2}}}={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}-2\varphi _{1}\cos 2\pi f}}}$

• Якщо ${\displaystyle \varphi _{1}>0}$ є один спектральний пік при f=0, який часто називають червоним шумом. як ${\displaystyle \varphi _{1}}$ стає ближчим до 1, є сильніша потужність на низьких частотах, тобто більші часові затримки. Тоді це фільтр низьких частот, при застосуванні до світла повного спектра буде відфільтровано все, крім червоного світла.
• Якщо ${\displaystyle \varphi _{1}<0}$ є мінімум при f=0, який часто називають синім шумом. Це так само діє як високочастотний фільтр, все, крім синього світла, буде відфільтровано.

AR(2)

${\displaystyle z_{1},z_{2}=-{\frac {1}{2\varphi _{2}}}\left(\varphi _{1}\pm {\sqrt {\varphi _{1}^{2}+4\varphi _{2}}}\right)}$

• Коли ${\displaystyle \varphi _{1}^{2}+4\varphi _{2}<0}$, процес має пару комплексно-сполучених коренів, що створює пік середньої частоти на:

${\displaystyle f^{*}={\frac {1}{2\pi }}\cos ^{-1}\left({\frac {\varphi _{1}(\varphi _{2}-1)}{4\varphi _{2}}}\right)}$

В іншому випадку процес має справжні корені, і:

• Коли ${\displaystyle \varphi _{1}>0}$ він діє як фільтр низьких частот для білого шуму зі спектральним піком на ${\displaystyle f=0}$
• Коли ${\displaystyle \varphi _{1}<0}$ він діє як високочастотний фільтр для білого шуму зі спектральним піком на ${\displaystyle f=1/2}$.

Процес є нестаціонарним, коли корені знаходяться поза одиничним колом. Процес є стабільним, коли корені знаходяться в межах одиничного кола або, еквівалентно, коли коефіцієнти знаходяться в трикутнику ${\displaystyle -1\leq \varphi _{2}\leq 1-|\varphi _{1}|}$.

Повну функцію PSD можна виразити в реальній формі як:

${\displaystyle S(f)={\frac {\sigma _{Z}^{2}}{1+\varphi _{1}^{2}+\varphi _{2}^{2}-2\varphi _{1}(1-\varphi _{2})\cos(2\pi f)-2\varphi _{2}\cos(4\pi f)}}}$

Реалізації в пакетах статистики

• R, пакет статистики містить функцію ar.^[4]
• MATLAB 's Econometrics Toolbox^[5] і System Identification Toolbox^[6] включає авторегресійні моделі^[7]
• Matlab і Octave : інструментарій TSA містить декілька функцій оцінки для одновимірних, багатовимірних і адаптивних авторегресійних моделей.^[8]
• PyMC3 : байєсівська статистика та структура імовірнісного програмування підтримує режими авторегресії з p- лагами.
• bayesloop підтримує визначення параметрів і вибір моделі для процесу AR-1 із параметрами, що змінюються в часі.^[9]
• Python: реалізація в statsmodels.^[10]

Імпульсна відповідь

Імпульсна відповідь системи — це зміна змінної, що розвивається, у відповідь на зміну значення ударного терміну k періодів раніше, як функція k. Оскільки модель AR є окремим випадком векторної авторегресійної моделі, тут застосовується обчислення імпульсної реакції у векторній авторегресії#імпульсній відповіді.

n -покрокове прогнозування

Один раз параметри авторегресії

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

були оцінені, авторегресію можна використовувати для прогнозування довільної кількості періодів у майбутньому. Спочатку використовуйте t для позначення першого періоду, для якого дані ще не доступні; замініть відомі попередні значення X _ti для i= 1, …, p у рівняння авторегресії, встановлюючи значення помилки ${\displaystyle \varepsilon _{t}}$ дорівнює нулю (оскільки ми прогнозуємо, що X _t дорівнюватиме очікуваному значенню, а очікуване значення неспостережуваної помилки дорівнює нулю). Вихід рівняння авторегресії є прогнозом для першого неспостережуваного періоду. Далі використовуйте t для посилання на наступний період, дані за який ще недоступні; знову авторегресійне рівняння використовується для складання прогнозу, з однією відмінністю: значення X за один період до того, що зараз прогнозується, невідоме, тому замість нього використовується його очікуване значення — прогнозоване значення, що випливає з попереднього кроку прогнозування. Потім для майбутніх періодів використовується та сама процедура, кожного разу використовуючи ще одне прогнозоване значення в правій частині прогнозного рівняння, доки після p прогнозів усі p правих значень не будуть прогнозованими значеннями з попередніх кроків.

Див. також

• Лінійне кодування з прогнозуванням
• Резонанс

Примітки

1. Box, George E. P. (1994). Time series analysis : forecasting and control (англ.) (вид. 3rd). Englewood Cliffs, N.J.: Prentice Hall. с. 54. ISBN 0-13-060774-6. OCLC 28888762.
2. Shumway, Robert H. (2000). Time series analysis and its applications (англ.). New York: Springer. с. 90—91. ISBN 0-387-98950-1. OCLC 42392178.
3. Shumway, Robert H.; Stoffer, David (2010). Time series analysis and its applications : with R examples (вид. 3rd). Springer. ISBN 978-1441978646.
4. «Fit Autoregressive Models to Time Series» (in R)
5. Econometrics Toolbox. www.mathworks.com.
6. System Identification Toolbox. www.mathworks.com.
7. Autoregressive Model - MATLAB & Simulink. www.mathworks.com.
8. The Time Series Analysis (TSA) toolbox for Octave and Matlab®. pub.ist.ac.at.
9. christophmark/bayesloop. 7 грудня 2021.
10. statsmodels.tsa.ar_model.AutoReg — statsmodels 0.12.2 documentation. www.statsmodels.org. Процитовано 29 квітня 2021.

Література

• Mills, Terence C. (1990). Time Series Techniques for Economists. Cambridge University Press. ISBN 9780521343398.
• Percival, Donald B.; Walden, Andrew T. (1993). Spectral Analysis for Physical Applications. Cambridge University Press. Bibcode:1993sapa.book.....P.
• Pandit, Sudhakar M.; Wu, Shien-Ming (1983). Time Series and System Analysis with Applications. John Wiley & Sons.

Посилання

• Авторегресійний аналіз (AR) Пола Бурка
• Econometrics lecture (topic: Autoregressive models) на YouTube від Mark Thoma^[en]