Центральная предельная теорема

«Сглаживание» распределения суммированием. Показана функция плотности вероятности одной случайной величины, а также распределения суммы двух, трёх и четырёх случайных величин с такой же функцией распределения.

Какова бы ни была форма распределения генеральной совокупности, распределение выборочного среднего стремится к нормальному, а его дисперсия задается центральной предельной теоремой.^[1]

Центра́льные преде́льные теоре́мы (ЦПТ) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая ЦПТ

Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ есть последовательность независимых одинаково распределённых случайных величин, имеющих конечные математическое ожидание ${\displaystyle \mu }$ и дисперсию ${\displaystyle \sigma ^{2}}$. Пусть также

${\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}}$.

Тогда

${\displaystyle {\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$,

где ${\displaystyle N(0,1)}$ — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых ${\displaystyle n}$ величин как

${\displaystyle {\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$,

можно переписать результат центральной предельной теоремы в следующем виде (ЦПТ в форме Леви):

${\displaystyle {\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

Замечания

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма ${\displaystyle n}$ независимых одинаково распределённых случайных величин имеет распределение, близкое к ${\displaystyle N(n\mu ,n\sigma ^{2})}$. Эквивалентно, ${\displaystyle {\bar {X}}_{n}}$ имеет распределение близкое к ${\displaystyle N(\mu ,\sigma ^{2}/n)}$.
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив ${\displaystyle Z_{n}={\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}}$, получаем ${\displaystyle F_{Z_{n}}(x)\to \Phi (x),\;\forall x\in \mathbb {R} }$, где ${\displaystyle \Phi (x)}$ — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная ЦПТ

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин ${\displaystyle \{X_{i}\}_{i=1}^{\infty }}$ абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение ${\displaystyle Z_{n}}$ также абсолютно непрерывно, и более того,

${\displaystyle f_{Z_{n}}(x)\to {\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}}$ при ${\displaystyle n\to \infty }$,

где ${\displaystyle f_{Z_{n}}(x)}$ — плотность случайной величины ${\displaystyle Z_{n}}$, а в правой части стоит плотность стандартного нормального распределения.

Обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

ЦПТ Линдеберга

^[2]Пусть независимые случайные величины ${\displaystyle X_{1},\ldots ,X_{n},\ldots }$ определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: ${\displaystyle \mathbb {E} [X_{i}]=\mu _{i},\;\mathrm {D} [X_{i}]=\sigma _{i}^{2}}$.

Пусть ${\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}}$.

Тогда ${\displaystyle \mathbb {E} [S_{n}]=m_{n}=\sum \limits _{i=1}^{n}\mu _{i},\;\mathrm {D} [S_{n}]=s_{n}^{2}=\sum \limits _{i=1}^{n}\sigma _{i}^{2}}$.

И пусть выполняется условие Линдеберга:

${\displaystyle \forall \varepsilon >0,\;\lim \limits _{n\to \infty }\sum \limits _{i=1}^{n}\mathbb {E} \left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}\right]=0,}$

где ${\displaystyle \mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}}$ функция — индикатор.

Тогда

${\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

ЦПТ Ляпунова

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины ${\displaystyle \{X_{i}\}}$ имеют конечный третий момент. Тогда определена последовательность

${\displaystyle r_{n}^{3}=\sum _{i=1}^{n}\mathbb {E} \left[|X_{i}-\mu _{i}|^{3}\right]}$.

Если предел

${\displaystyle \lim \limits _{n\to \infty }{\frac {r_{n}}{s_{n}}}=0}$ (условие Ляпунова),

то

${\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

ЦПТ для мартингалов

Пусть процесс ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ является мартингалом с ограниченными приращениями. В частности, допустим, что

${\displaystyle \mathbb {E} \left[X_{n+1}-X_{n}\mid X_{1},\ldots ,X_{n}\right]=0,\;n\in \mathbb {N} ,\;X_{0}\equiv 0,}$

и приращения равномерно ограничены, то есть

${\displaystyle \exists C>0\,\forall n\in \mathbb {N} \;|X_{n+1}-X_{n}|\leq C}$ п.н.

Введём случайные процессы ${\displaystyle \sigma _{n}^{2}}$ и ${\displaystyle \tau _{n}}$ следующим образом:

${\displaystyle \sigma _{n}^{2}=\mathbb {E} \left[(X_{n+1}-X_{n})^{2}\mid X_{1},\ldots ,X_{n}\right]}$

и

${\displaystyle \tau _{n}=\min \left\{k\left\vert \;\sum _{i=1}^{k}\sigma _{i}^{2}\geq n\right.\right\}}$.

Тогда

${\displaystyle {\frac {X_{\tau _{n}}}{\sqrt {n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

ЦПТ для случайных векторов

Пусть ${\displaystyle {\vec {X_{1}}},\ldots ,{\vec {X_{n}}},\ldots }$ последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее ${\displaystyle E{\vec {X_{1}}}={\vec {a}}}$ и невырожденную матрицу ковариаций ${\displaystyle \Sigma }$. Обозначим через ${\displaystyle S_{n}={\vec {X_{1}}}+\ldots +{\vec {X_{n}}}}$ вектор частичных сумм. Тогда при ${\displaystyle n\to \infty }$ имеет место слабая сходимость распределений векторов

${\displaystyle {\vec {\eta _{n}}}={\frac {S_{n}-na}{\sqrt {n}}}\xrightarrow {weak} {\vec {\eta }}}$, где ${\displaystyle {\vec {\eta }}}$ имеет распределение ${\displaystyle N({{\vec {0}},\Sigma })}$.

См. также

• Закон больших чисел
• Закон повторного логарифма

Примечания

1. Rouaud, Mathieu. Probability, Statistics and Estimation (неопр.). — 2013. — С. 10. Архивировано 3 апреля 2017 года.
2. Шуленин В. П. Математическая статистика. Ч. 3. Робастная статистика: учебник. — Томск: Издательство НТЛ, 2012. — С. 474. — 520 с. — ISBN 978-5-89503-508-5. Архивировано 20 сентября 2018 года.

Ссылки

• Предельные теоремы теории вероятностей. Примеры использования