Теорема Рао — Блэквелла — Колмогорова

Теорема Рао — Блэквелла — Колмогорова — утверждение в математической статистике, на основе которого можно улучшать статистические оценки параметров.

Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ — последовательность независимых одинаково распределённых случайных величин с распределением, зависящим от некоторого неизвестного параметра ${\displaystyle \theta \in \Theta .}$ Пусть ${\displaystyle {\hat {\theta }}(X)}$ — некоторая статистическая оценка этого неизвестного параметра с конечной матрицей вторых моментов, а ${\displaystyle T=\mathrm {T} (X)\;}$ — достаточная статистика для параметра ${\displaystyle \theta .}$ Тогда существует ${\displaystyle {\hat {\theta }}_{1}(X)={\textrm {E}}[{\hat {\theta }}(X)|T(X)]}$ и кроме того ${\displaystyle {\hat {\theta }}_{1}(X)}$ является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть для любого вектора z необходимой размерности выполняется неравенство:

${\displaystyle z{\textrm {E}}[({\hat {\theta }}_{1}(X)-\theta )^{T}({\hat {\theta }}_{1}(X)-\theta )]z^{T}\leqslant z{\textrm {E}}[({\hat {\theta }}(X)-\theta )^{T}({\hat {\theta }}(X)-\theta )]z^{T}.}$

Равенство выполняется лишь тогда, когда ${\displaystyle {\hat {\theta }}}$ является измеримой функцией от T.

Доказательство

Доказательство для случая когда параметр является одним числом, то есть его размерность равна единице. Тогда

${\displaystyle \operatorname {E} [{\hat {\theta }}_{1}(X)-\theta ]^{2}=\operatorname {E} \left[{\textrm {E}}({\hat {\theta }}(X)|T(X))-\theta \right]^{2}=\operatorname {E} \left[{\textrm {E}}({\hat {\theta }}(X)-\theta |T(X))\right]^{2}\leqslant \operatorname {E} \left[{\textrm {E}}(({\hat {\theta }}(X)-\theta )^{2}|T(X))\right]=\operatorname {E} ({\hat {\theta }}(X)-\theta )^{2}.}$

Неравенство следует из того, что для любой случайной величины W, ${\displaystyle \operatorname {var} W=\operatorname {E} W^{2}-(\operatorname {E} W)^{2}]\geqslant 0,}$ если взять ${\displaystyle W={\textrm {E}}({\hat {\theta }}(X)-\theta |T(X)).}$ Отсюда также видим, что равенство выполняется лишь когда ${\displaystyle \operatorname {var} \,W=0,}$ то есть когда ${\displaystyle {\hat {\theta }}(X)-\theta }$ принимает одно значение для каждого значения T, то есть ${\displaystyle {\hat {\theta }}(X)}$ является функцией от T.

См. также

• Статистическая оценка

Литература

• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.
• Nikulin, M.S. (2001), "Rao–Blackwell–Kolmogorov theorem", in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1556080104