Відношення Релея

У математиці для даної комплексної ермітової матриці ${\displaystyle M}$ і ненульового вектора ${\displaystyle x}$ відношення Релея^[1] ${\displaystyle R(M,x)}$ визначають так^[2][3]:

${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}.}$

Для дійсних матриць умова ермітовості матриці зводиться до її симетричності, а ермітове спряження векторів ${\displaystyle x^{*}}$ перетворюється на звичайне транспонування ${\displaystyle x'}$. Зауважте, що ${\displaystyle R(M,cx)=R(M,x)}$ для будь-якої дійсної константи ${\displaystyle c\neq 0}$. Нагадаємо, що ермітова (як і симетрична дійсна) матриця має дійсні власні значення. Можна показати, що для матриці відношення Релея досягає мінімального значення ${\displaystyle \lambda _{\min }}$ (найменше власне число матриці ${\displaystyle M}$) коли ${\displaystyle x}$ дорівнює ${\displaystyle v_{\min }}$ (відповідний власний вектор). Так само можна показати, що ${\displaystyle R(M,x)\leq \lambda _{\max }}$ і ${\displaystyle R(M,v_{\max })=\lambda _{\max }}$. Відношення Релея використано в теоремі Куранта — Фішера про мінімакс для отримання всіх значень власних чисел^[4]. Використовується воно і в алгоритмах знаходження власних значень матриці для отримання наближення власного значення з наближення власного вектора. А саме, відношення є базою для ітерацій з відношенням Релея^[5][6].

Множину значень відношення Релея називають числовим образом матриці^[en][7][8].

Окремий випадок коваріаційних матриць

Коваріаційну матрицю ${\displaystyle M}$ для багатовимірної статистичної вибірки ${\displaystyle A}$ (матриці спостережень) можна подати у вигляді добутку ${\displaystyle A'A}$^[9][10]. Як симетрична дійсна матриця, ${\displaystyle M}$ має невід'ємні власні значення і ортогональні (або звідні до ортогональних) власні вектори.

По-перше, оскільки власні значення ${\displaystyle \lambda _{i}}$ не від'ємні:

${\displaystyle Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0}$

і, по-друге, оскільки власні вектори ${\displaystyle v_{i}}$ ортогональні один з одним:

${\displaystyle Mv_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0}$

${\displaystyle \Rightarrow v_{j}'v_{i}=0}$, якщо власні значення різні; в разі однакових значень можна знайти ортогональний базис.

Тепер покажемо, що відношення Релея набуває найбільшого значення на векторі, відповідному найбільшому власному значенню. Розкладемо довільний вектор ${\displaystyle x}$ за базисом власних векторів ${\displaystyle v_{j}}$:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}}$, де ${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$ є проєкцією ${\displaystyle x}$ на ${\displaystyle v_{i}}$

Отже, рівність

${\displaystyle R(M,x)={\frac {x'A'Ax}{x'x}}}$

можна переписати так:

${\displaystyle R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}}$

Оскільки власні вектори ортогональні, остання рівність перетворюється на

${\displaystyle R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}}$

Остання рівність показує, що відношення Релея є сумою квадратів косинусів кутів між вектором ${\displaystyle x}$ і кожним з власних векторів ${\displaystyle v_{i}}$, помножених на відповідне власне значення.

Якщо вектор ${\displaystyle x}$ максимізує ${\displaystyle R(M,x)}$, то всі вектори, отримані з ${\displaystyle x}$ множенням на скаляр (${\displaystyle kx}$ для ${\displaystyle k\neq 0}$) також максимізують ${\displaystyle R}$. Таким чином, задачу можна звести до знаходження максимуму ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ за умови ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Оскільки всі власні числа не від'ємні, задача зводиться до знаходження максимуму опуклої функція і можна показати, що він досягається при ${\displaystyle \alpha _{1}=1}$ і ${\displaystyle \forall i>1,\alpha _{i}=0}$ (власні значення впорядковані за спаданням).

Таким чином, відношення Релея досягає максимуму на власному векторі, відповідному найбільшому власному значенню.

Той самий результат з використанням множників Лагранжа

Той самий результат можна отримати за допомогою множників Лагранжа. Задача полягає в знаходженні критичних точок функції

${\displaystyle R(M,x)=x^{T}Mx}$,

за сталої величини ${\displaystyle \|x\|^{2}=x^{T}x=1.}$ Тобто, потрібно знайти критичні точки функції

${\displaystyle {\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),}$

де ${\displaystyle \lambda }$ — множник Лагранжа.

Для стаціонарних точок функції ${\displaystyle {\mathcal {L}}(x)}$ виконується рівність

${\displaystyle {\frac {d{\mathcal {L}}(x)}{dx}}=0}$

${\displaystyle \therefore 2x^{T}M^{T}-2\lambda x^{T}=0}$

${\displaystyle \therefore Mx=\lambda x}$

і ${\displaystyle R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .}$

Таким чином, власні вектори ${\displaystyle x_{1}\ldots x_{n}}$ матриці ${\displaystyle M}$ є критичними точками відношення Релея і їхні власні значення ${\displaystyle \lambda _{1}\ldots \lambda _{n}}$ — відповідними стаціонарними значеннями.

Ця властивість є базисом методу головних компонент і канонічної кореляції.

Використання в теорії Штурма — Ліувілля

Теорія Штурма — Ліувілля полягає в дослідженні лінійного оператора

${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$

зі скалярним добутком

${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$,

де функції задовольняють деяким специфічним граничним умовам у точках ${\displaystyle a}$ і ${\displaystyle b}$. Відношення Релея тут набуває вигляду

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$

Іноді це відношення подають в еквівалентному вигляді, скориставшись інтегруванням частинами^[11]:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.}$

Узагальнення

Для будь-якої пари ${\displaystyle (A,B)}$ дійсних симетричних додатноозначених матриць і ненульового вектора ${\displaystyle x}$, узагальнене відношення Релея визначається як

${\displaystyle R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.}$

Узагальнене відношення Релея можна звести до відношення Релея ${\displaystyle R(D,Cx)}$ перетворенням ${\displaystyle D={C^{*}}^{-1}AC^{-1}}$, де ${\displaystyle C}$ — розклад Холецького матриці ${\displaystyle B}$.

Див. також

• Числовий образ матриці^[en]

Примітка

1. також відоме під назвою відношення Релея — Рітца, названого на честь Вальтера Рітца і лорда Релея.
2. Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176—180.
3. Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics,1998
4. Беккенбах, 1965, §26 Минимакс-теорема Фишера.
5. Парлетт, 1983, с. 87), §4.6 Итерации с отношением Релея.
6. Вербицкий, 2000, с. 115, §4.3 Обратные итерации.
7. Геворгян.
8. Прасолов, 2008, с. 114, 2.2 Ядро и образ оператора. Факторпространство..
9. Коршунов, 2008, Введение.
10. ACTA, 2005.
11. Haberman, 1987.

Література

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — М. : «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — М. : «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — М, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архівовано з джерела 31 серпня 2006.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вип. 9 (25 грудня). — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вип. 23 (25 грудня). Архівовано з джерела 11 вересня 2021. Процитовано 11 вересня 2021.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011. Архівовано з джерела 11 вересня 2021