リッジ回帰 （リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデル の係数 を推定する方法[ 1] [ 2]
この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した[ 3] [ 4] [ 1] [ 5]
リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗 推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い[ 6] [ 2]
n
× × -->
1
{\textstyle n\times 1}
y
{\textstyle y}
n
× × -->
p
{\textstyle n\times p}
X
{\textstyle X}
p
≪ ≪ -->
n
{\textstyle p\ll n}
X
β β -->
{\textstyle X\beta }
β β -->
∈ ∈ -->
R
p
× × -->
1
{\textstyle \beta \in \mathbb {R} ^{p\times 1}}
β β -->
^ ^ -->
{\displaystyle {\widehat {\beta }}}
β β -->
^ ^ -->
=
(
X
′
X
)
− − -->
1
X
′
y
{\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}
それに対して、リッジ回帰推定量
β β -->
^ ^ -->
ridge
{\displaystyle {\widehat {\beta }}_{\text{ridge}}}
β β -->
^ ^ -->
ridge
=
(
X
⊤ ⊤ -->
X
+
k
I
p
)
− − -->
1
X
⊤ ⊤ -->
y
{\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y}
ここで、
I
p
{\textstyle I_{p}}
p
× × -->
p
{\textstyle p\times p}
k
>
0
{\textstyle k>0}
^ a b Hilt (1977年). “Ridge, a computer program for calculating ridge regression estimates ”. 2021年6月25日 閲覧。
^ a b Gruber, Marvin (26 February 1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators ISBN 9780824701567 . https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2
^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics , vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021.
^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” Technometrics , volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021.
^ Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science ISBN 9780471061182 . https://books.google.com/books?id=_qAYgYN87UQC&pg=PA287 ^ Jolliffe, I. T. (9 May 2006). Principal Component Analysis ISBN 9780387224404 . https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178
