平均 は同じであるが標準偏差が大きく異なるデータ のヒストグラム の例。赤で示されたデータの方が青で示されたデータよりも標準偏差が小さい。
平均 0 , 標準偏差 σ の正規分布 の確率密度関数 。この分布に従う確率変数が 0 ± σ の間に値をとる確率はおよそ 68% であることが読み取れる。
標準偏差 ( ひょうじゅんへんさ 、( 英 : standard deviation , SD )とは、データ や確率変数 の、平均値 からの散らばり具合(ばらつき) を表す指標の一つである。偏差 ベクトル と、値が標準偏差のみであるベクトルは、ユークリッドノルム が等しくなる。
標準偏差を2乗したのが分散 であり、従って、標準偏差は分散の非負の平方根 である。標準偏差が 0 であることは、データの値が全て等しいことと同値 である。
母集団 や確率変数の標準偏差を σ で、標本 の標準偏差を s で表すことがある。
二乗平均平方根 (RMS) を用いると、標準偏差は偏差の二乗平均平方根に等しくなる。
概要
データ x 1 , x 2 , …, xn の平均値 からの散らばり具合 を数値にした標準偏差 は、次の式で定義される:
s
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
{\displaystyle s={\sqrt {{\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}
ここで x は平均値を表す。この定義は、データを数ベクトル と見て、「散らばり具合」を偏差 ベクトルのユークリッドノルム ととらえる考えに基づく(このことより平均偏差 でなく自乗 平均をとる)。
もとのデータ x を、平均値、「散らばり具合」を変えず、偏差が全て同じであるように取り直したデータ y を考える。
x の大きさが奇数のときは、x を、自分自身2個を併せたデータ(大きさは偶数)に取り直す(そうしても平均値、「散らばり具合」は変わらない)。
y の偏差ベクトルは (±s , ±s , …, ±s ) (s ≥ 0) の形になる。x と y の「散らばり具合」が等しいことから、
‖ ‖ -->
x
− − -->
x
¯ ¯ -->
‖ ‖ -->
=
‖ ‖ -->
(
± ± -->
s
,
⋯ ⋯ -->
,
± ± -->
s
)
‖ ‖ -->
{\displaystyle \|{\boldsymbol {x}}-{\overline {\boldsymbol {x}}}\|=\|(\pm s,\cdots ,\pm s)\|}
n
s
2
=
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
{\displaystyle ns^{2}=\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}
s
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
{\displaystyle s={\sqrt {{\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}
//
標準偏差は平方根 を取るため、簡単な計算法則が成り立ちにくいという特徴がある。そこで分散 s 2 を
s
2
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
{\displaystyle s^{2}={\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}
で定義する。分散には簡単な計算法則がいくつか成り立つことから、種々の標準偏差ができるようになる。
標準偏差の概念は、イギリス の統計学 者フランシス・ゴルトン により、親子の身長の相関関係を調べる中で初めて見出された[2] 。データを数ベクトルと見る考え方は相関係数 の導入と命名につながった。ゴルトンはこれらの研究により平均への回帰 という現象を見出した[3] 。
ユニヴァーシティ・カレッジ・ロンドン のゴルトン研究室を継承した[4] カール・ピアソン はゴルトンの研究を定式化[2] 、体系化し[5] 、初めて "standard deviation"(「標準偏差」)と名付けた[6] [7] [8] 。
確率分布 において最も基本となる正規分布 曲線において、変曲点 の x 座標と平均の絶対差は標準偏差に等しくなる。このことから、標準偏差は信頼区間 の基本的な単位 となる。
日本の受験業界で広く使われている学力偏差値 は標準偏差の応用例の一つで、異なる試験でも、平均点よりどれだけ離れているかをある統一した尺度でとらえることができるようになっている。
金融工学 においては、株式 のリスク を確率分布 の標準偏差でとらえることがある[9] [10] 。
母集団の標準偏差
母集団全てのデータ x 1 , x 2 , …, xn に対して、平均値 x は次の式で定義される:
x
¯ ¯ -->
=
1
n
∑ ∑ -->
i
=
1
n
x
i
{\displaystyle {\overline {x}}={\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}x_{i}}
この平均値 x を使って得られる分散 σ 2 を次の式で定義する:
σ σ -->
2
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
=
1
n
∑ ∑ -->
i
=
1
n
x
i
2
− − -->
x
¯ ¯ -->
2
{\displaystyle \sigma ^{2}={\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}={\dfrac {1}{n}}\sum \limits _{i=1}^{n}{x_{i}}^{2}-{\overline {x}}^{2}}
σ 2 を母分散と言うこともある。
この分散の非負の平方根 σ を、母集団の標準偏差 と定義する[11] 。分散もデータの散らばり具合 を表す統計量 であるが、分散と違い標準偏差はデータの値と次元 が等しくなる。偏差は平均的には標準偏差の分だけ離れていると考えることができる。
標本の標準偏差
標本標準偏差
母集団 の中から、大きさ n (母集団の大きさよりはるかに小さい)の標本 x 1 , x 2 , …, xn を抽出したとする。このとき、標本平均は次の式で表される:
x
¯ ¯ -->
=
1
n
∑ ∑ -->
i
=
1
n
x
i
{\displaystyle {\bar {x}}={\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}x_{i}}
この標本平均を使って次式で定義される量を標本分散 と呼ぶ:
s
2
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
=
1
n
∑ ∑ -->
i
=
1
n
x
i
2
− − -->
x
¯ ¯ -->
2
{\displaystyle s^{2}={\frac {1}{n}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\dfrac {1}{n}}\sum \limits _{i=1}^{n}{x_{i}}^{2}-{\bar {x}}^{2}}
標本分散の平方根 s を標本標準偏差 と呼ぶ[11] 。
不偏標準偏差
σ 2 を母分散、s 2 を標本分散とすると、標本分散の期待値 E [s 2 ] は、
E
[
s
2
]
=
n
− − -->
1
n
σ σ -->
2
{\displaystyle E[s^{2}]={\frac {n-1}{n}}\sigma ^{2}}
となることが示される。つまり、標本分散は母分散よりも少し小さくなる[注釈 1] 。そのため、標本分散は母分散の不偏推定量 ではない。そこで、
v
2
=
1
n
− − -->
1
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
=
1
n
− − -->
1
∑ ∑ -->
i
=
1
n
x
i
2
− − -->
n
n
− − -->
1
x
¯ ¯ -->
2
{\displaystyle v^{2}={\frac {1}{n-1}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\dfrac {1}{n-1}}\sum \limits _{i=1}^{n}{x_{i}}^{2}-{\dfrac {n}{n-1}}{\bar {x}}^{2}}
を考えると、この量の期待値は母分散に等しく、母分散の不偏推定量になっている。
こうして定義される v 2 を不偏分散 という。v を不偏標準偏差 という。
紛らわしいが、 v 2 を標本分散 と呼ぶこともある。さらに v 2 の平方根 v を標本標準偏差 ということもある。名称の混乱については後述する。
母集団の標準偏差の不偏推定量
前述のように不偏分散は、母分散の不偏推定量である(標本から測定した推定量の期待値が母分散に等しい)。しかし、不偏分散の平方根 v は、母集団の標準偏差の不偏推定量ではない。
母集団が正規分布 に従う場合、母集団の標準偏差の不偏推定量 D は次式で与えられる:
D
=
n
− − -->
1
2
Γ Γ -->
(
n
− − -->
1
2
)
Γ Γ -->
(
n
2
)
v
{\displaystyle D={\sqrt {\frac {n-1}{2}}}{\frac {\Gamma \left({\frac {n-1}{2}}\right)}{\Gamma \left({\frac {n}{2}}\right)}}v}
ここで、Γ はガンマ関数 、v 2 は不偏分散である。
標本の大きさが大きくなれば、母集団の標準偏差の不偏推定量 D は、近似的に、平均からの偏差平方和を n − 1.5 で割った値の平方根として求められる:
D
≈ ≈ -->
1
n
− − -->
1.5
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
x
¯ ¯ -->
)
2
=
1
n
− − -->
1.5
∑ ∑ -->
i
=
1
n
x
i
2
− − -->
n
n
− − -->
1.5
x
¯ ¯ -->
2
{\displaystyle D\approx {\sqrt {{\frac {1}{n-1.5}}\textstyle \sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\sqrt {{\dfrac {1}{n-1.5}}\textstyle \sum \limits _{i=1}^{n}{x_{i}}^{2}-{\dfrac {n}{n-1.5}}{\bar {x}}^{2}}}}
名称の混乱
統計の教科書によっては、不偏分散(分母が n − 1 の方)を「標本分散」と呼んでいる場合もあり[15] 、用語が混乱して使用されている場合がある。母平均が不明で、代わりに標本平均を使用する場合には、期待値が母分散となる不偏分散を使用することが多い[16] 。
英語
英語では不偏分散による標準偏差のことを「sample standard deviation 」(標本標準偏差)と呼ぶことが多い。この語はカール・ピアソン によって1893年に導入された[17] 。ただし不偏分散による標準偏差を意味する英語の表現には混乱がある。
英語版ウィキペディアの「standard deviation 」という記事では、不偏分散による標準偏差(平均からの偏差平方和を n − 1 で割った値の平方根)のことを「corrected sample standard deviation 」と表記し、平均からの偏差平方和を n で割った値の平方根を「uncorrected sample standard deviation 」や「the standard deviation of the sample 」と表記している[出典無効 ] 。
アメリカの Fundamentals of Engineering (FE) の試験問題での「sample standard deviation 」は n − 1 で割る方を意味する。
アメリカ・ユタ大学のトム・マロイ は、統計学の学習者向けウェブページ[18] では、「sample standard deviation 」を平均からの偏差平方和を n で割った値の平方根だと解説している。
日本語
日本語の「不偏標準偏差」という語にも混乱がある。日本の大学教授の間でも、不偏分散 v 2 の平方根を、不偏標準偏差だと教える大学教員も多いが、母集団の標準偏差の不偏推定量 D を不偏標準偏差だと教える教員もいる。
兵庫大学の河野稔によるウェブページ[19] や神戸大学の中澤港によるウェブページ[20] では前者である。
東北学院大学の根市一志による資料[21] では後者である。
このように、同じ用語でも話者によって定義が異なる場合がある。
表計算ソフト
表計算ソフト では次のようなワークシート関数が用意されている。
確率変数の標準偏差
離散型確率変数
X を離散型確率変数 とする。X のとりうる値を x 1 , x 2 , …, xn , … とし、X が xi をとる確率を pi で表す。このとき
∑ ∑ -->
i
=
1
∞ ∞ -->
p
i
=
1
(
p
i
≥ ≥ -->
0
)
{\displaystyle \textstyle \sum \limits _{i=1}^{\infty }p_{i}=1\quad (p_{i}\geq 0)}
である。このとき
E
[
X
]
=
∑ ∑ -->
i
=
1
∞ ∞ -->
p
i
x
i
{\displaystyle E[X]=\textstyle \sum \limits _{i=1}^{\infty }p_{i}x_{i}}
を確率変数 X の期待値 という。また、
V
[
X
]
=
E
[
(
X
− − -->
E
[
X
]
)
2
]
=
∑ ∑ -->
i
=
1
∞ ∞ -->
p
i
(
x
i
− − -->
E
[
X
]
)
2
=
E
[
X
2
]
− − -->
(
E
[
X
]
)
2
{\displaystyle V[X]=E{\Bigl [}{\bigl (}X-E[X]{\bigr )}^{2}{\Bigr ]}=\textstyle \sum \limits _{i=1}^{\infty }p_{i}{\bigl (}x_{i}-E[X]{\bigr )}^{2}=E[X^{2}]-(E[X])^{2}}
を確率変数 X の分散 という。この分散の非負の平方根 を標準偏差 という。
連続型確率変数
X を連続型確率変数 とする。X の値が区間 [x 1 , x 2 ] に属する確率が、連続関数 f (x ) を用いて
∫ ∫ -->
x
1
x
2
f
(
x
)
d
x
{\displaystyle \int _{x_{1}}^{x_{2}}\!f(x)\,dx}
と表せるとき、f (x ) を X の確率密度関数 という。このとき
f
(
x
)
≥ ≥ -->
0
,
∫ ∫ -->
− − -->
∞ ∞ -->
∞ ∞ -->
f
(
x
)
d
x
=
1
{\displaystyle f(x)\geq 0,\quad \int _{-\infty }^{\infty }\!f(x)\,dx=1}
である。このとき
E
[
X
]
=
∫ ∫ -->
− − -->
∞ ∞ -->
∞ ∞ -->
x
f
(
x
)
d
x
{\displaystyle E[X]=\int _{-\infty }^{\infty }\!xf(x)\,dx}
を確率変数 X の期待値 という。また、
V
[
X
]
=
∫ ∫ -->
− − -->
∞ ∞ -->
∞ ∞ -->
(
x
− − -->
E
[
X
]
)
2
f
(
x
)
d
x
{\displaystyle V[X]=\int _{-\infty }^{\infty }\!{\big (}x-E[X]{\big )}^{2}f(x)\,dx}
を確率変数 X の分散 という。この分散の非負の平方根 を標準偏差 という。
標準偏差の推定
母標準偏差が未知のときは、標本から得られた標本標準偏差から推定することができる。母標準偏差を σ 、大きさ N の標本の標準偏差を s とすると、母集団分布が正規分布ならば σ2 は次の自由度 N − 1 の χ 2 分布 に従う。
χ χ -->
2
=
N
s
2
σ σ -->
2
{\displaystyle \chi ^{2}={\frac {Ns^{2}}{\sigma ^{2}}}}
σ の95%信頼区間 は P = 0.975 の χ 2 から P = 0.025 の χ 2 までの範囲で、s と σ の比は N = 5 では 0.31 から 1.49、N = 20 では 0.67 から 1.28 となり、標本が小さい場合はかなり範囲が広いことに留意すべきである。
z → p
p → z
信頼区間
信頼度
不信頼度
百分率
百分率
分数
0.318639 σ
25%
75%
3 / 4
0.674490 σ
50%
50%
1 / 2
0.994458 σ
68%
32%
1 / 3.125
1σ
68.268949 2 %
31.731050 8 %
1 / 3.151487 2
1.281552 σ
80%
20%
1 / 5
1.644854 σ
90%
10%
1 / 10
1.959964 σ
95%
5%
1 / 20
2σ
95.449973 6 %
4.550026 4 %
1 / 21.977895
2.575829 σ
99%
1%
1 / 100
3σ
99.730020 4 %
0.269979 6 %
1 / 370.398
3.290527 σ
99.9%
0.1%
1 / 1000
3.890592 σ
99.99%
0.01%
1 / 10000
4σ
99.993666 %
0.006334 %
1 / 15787
4.417173 σ
99.999%
0.001%
1 / 100000
4.5σ
99.999320 465 375 1 %
0.000679 534 624 9 %
1 / 147159 .5358 = 3.4 / 1000 000
4.891638 σ
99.9999 %
0.0001 %
1 / 1000 000
5σ
99.999942 669 7 %
0.000057 330 3 %
1 / 1744 278
5.326724 σ
99.99999 %
0.00001 %
1 / 10000 000
5.730729 σ
99.999999 %
0.000001 %
1 / 100000 000
6σ
99.999999 802 7 %
0.000000 197 3 %
1 / 506797 346
6.109410 σ
99.999999 9 %
0.000000 1 %
1 / 1000 000 000
6.466951 σ
99.999999 99 %
0.000000 01 %
1 / 10000 000 000
6.806502 σ
99.999999 999 %
0.000000 001 %
1 / 100000 000 000
7σ
99.999999 999 7440%
0.000000 000 256 %
1 / 390682215445
脚注
注釈
^ 極端な例として、標本の大きさが 1 の場合、ばらつきがないので標本の分散は必ず 0 となるが、母集団のばらつきは通常 0 ではない。
出典
参考文献
関連項目
外部リンク