피셔 정보

통계학에서 피셔 정보(영어: Fisher information)는 어떤 확률변수의 관측값으로부터, 확률변수의 분포의 매개변수에 대해 유추할 수 있는 정보의 양이다.

정의

확률변수 ${\displaystyle X}$가 미지의 매개변수 ${\displaystyle \theta }$로 주어지는 분포를 따른다고 하자. 그렇다면, 관측값 ${\displaystyle X=x}$으로부터 주어지는, ${\displaystyle \theta }$에 대한 피셔 정보 ${\displaystyle {\mathcal {I}}(\theta )}$는 다음과 같다.

${\displaystyle {\mathcal {I}}_{x}(\theta )=\operatorname {E} \left[\left({\frac {\partial }{\partial \theta }}\ln \Pr(x|\theta )\right)^{2}\right]}$

성질

피셔 정보는 독립 확률변수에 대하여 가법적(영어: additive)이다. 즉, 동일한 분포를 가진 두 독립 확률변수 ${\displaystyle X,Y}$가 측정되었을 때, 다음이 성립한다.

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta )}$

다시 말해, 같은 실험을 n번 하면, n배의 피셔 정보를 얻는다.

참고 문헌

• Frieden, B. Roy (2004). 《Science from Fisher Information: A Unification》 (영어). Cambridge University Press. ISBN 0-521-00911-1. 
• Hald, A. (1999년 5월). “On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares”. 《Statistical Science》 (영어) 14 (2): 214–222. JSTOR 2676741. 
• Hald, A. (1998). 《A History of Mathematical Statistics from 1750 to 1930》 (영어). New York: Wiley. ISBN 0-471-17912-4. 
• Lehmann, E. L.; G. Casella (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.  더 이상 지원되지 않는 변수를 사용함 (도움말) CS1 관리 - 추가 문구 (링크)

• Le Cam, Lucien (1986). 《Asymptotic Methods in Statistical Decision Theory》 (영어). Springer-Verlag. ISBN 0-387-96307-3. 

• Pratt, John W. (1976년 5월). “F. Y. Edgeworth and R. A. Fisher on the Efficiency of Maximum Likelihood Estimation”. 《The Annals of Statistics》 (영어) 4 (3): 501–514. doi:10.1214/aos/1176343457. JSTOR 2958222. 
• “On Rereading R. A. Fisher”. 《The Annals of Statistics》 (영어) 4 (3): 441–500. 1976년 5월. doi:10.1214/aos/1176343456. JSTOR 2958221. 
• Schervish, Mark J. (1995). 《Theory of Statistics》 (영어). New York: Springer. ISBN 0-387-94546-6. 

같이 보기

• 크라메르-라오 하한
• 정보 엔트로피