تئوری کارانن-لوف

قضیهٔ کارهونِن-لُواِو (به انگلیسی: Karhunen-Loève Theorem) یا تبدیل کارهونِن-لُواِو، یک فرایند تصادفی در یک بازهٔ کران‌دار را با ترکیب خطی نامحدودی از توابع متعامد نمایش می‌دهد.

این قضیه به افتخار کاری کارهونِن و میشل لُواِو نامیده شده‌است، و به آن قضیه کُوسامبی-کارهونن-لواو (به انگلیسی: Kosambi-Karhunen-Loève) هم گفته می‌شود. ^[۱][۲]

این تبدیل هم‌چنین به تبدیل هُتِلینگ و تبدیل بردار ویژه نیز شناخته می‌شود و با تحلیل مولفه اصلی (به انگلیسی: Principal Component Analysis, PCA) مرتبط است که در پردازش تصویر و آنالیز داده‌ها، فراوان استفاده می‌شود.^[۳]

در مقایسه با تبدیل فوریه که ضرایب آن اعداد معیّن (deterministic) و پایه‌های آن توابع سینوسی هستند، ضرایب تبدیل کارهونن-لُواِو متغیرهای تصادفی هستند و پایه‌های آن بستگی به فرایند دارند. می‌توان گفت این تبدیل به‌گونه‌ای با فرایند تصادفی سازگار می‌شود که به بهترین پایه‌ها برای آن فرایند می‌انجامد.

برای یک فرایند تصادفی متمرکز {X_t}_{t ∈ [a, b]} (E[X_t] = 0، t ∈ [a, b]) می‌نویسیم:

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}c_{k}(t)}$

که در آن ${\displaystyle Z_{k}}$ها متغیرهای تصادفی، و دوبه‌دو ناهمبسته هستند و ${\displaystyle c_{k}}$ها، توابع پیوسته حقیقی در بازهٔ [a, b] و دوبه‌دو در L²([a, b]) متعامد هستند. فرایندی که متمرکز نیست را می‌توان با X_t − E[X_t] متمرکز کرد.

اگر فرایند گاوسی باشد، ${\displaystyle Z_{k}}$ها گاوسی و مستقل آماری هستند. یک مثال از یک فرایند متمرکز در بازهٔ [0, 1]، فرایند وینر است.

فرمول

• X_t یک فرایند تصادفی با میانگین صفر و انتگرال‌پذیر برای مربع آن در فضای احتمال (Ω, F, P) تعریف می‌شود و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس K_X(s, t). به این ترتیب:

${\displaystyle \forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),}$

${\displaystyle \forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,}$

${\displaystyle \forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].}$

• یک عملگر خطی T_KX را در K_X اعمال می‌کنیم. T_KX به این صورت تعریف می‌شود:

${\displaystyle T_{K_{X}}:L^{2}([a,b])\to L^{2}([a,b]):f\mapsto T_{K_{X}}f=\int _{a}^{b}K_{X}(s,\cdot )f(s)ds}$

ازآنجاکه T_KX یک عمل‌گر خطی‌ست، مقدار ویژه λ_k و تابع ویژه e_k دارد، که در معادله‌ انتگرالی زیر، به هم مربوط می‌شوند:

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)}$

بیانی از قضیه

قضیه. X_t را یک فرایند تصادفی با میانگین صفر و انتگرال پذیر برای مربع آن در فضای احتمال (Ω, F, P) و نمایه آن در بازهٔ بستهٔ [a, b] با تابع کوواریانس پیوستهٔ K_X(s, t) در نظر می‌گیریم.

حال K_X(s, t) یک هسته ی Mercer است و e_k را یک پایهٔ متعامد بر روی L²([a, b]) می‌گیریم که از توابع ویژهٔ T_KX دارای مقدار ویژهٔ λ_k تشکیل شده‌است. می‌توان X_t را به صورت زیر بیان کرد

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

که در L² هم‌گراست و

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

همچنین متغیرهای تصادفی Z_k دارای میانگین صفر، ناهم‌بسته و دارای واریانس λ_k هستند

${\displaystyle \mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N} }$

اثبات

• تابع کوواریانس K_X شرایط تعریف هسته‌ی Mercer را داراست. طبق تئوری Mercer، یک مجموعهٔ {λ_k, e_k(t)} وجود دارد که از مقدار ویژه‌ها و توابع ویژهٔ T_KX، یک مجموعه متعامد از L²([a,b]) تشکیل می‌دهند و K_X را نیز می‌توان به صورت زیر نمایش داد:

${\displaystyle K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)}$

• فرایند X_t می‌تواند به صورت تابعی از e_kها به صورت زیر بسط پیدا کند:

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

که در آن ضرایب (متغیرهای تصادفی) Z_k به صورت زیر به دست می‌آیند:

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

• حال خواهیم داشت:

${\displaystyle {\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)dt\right)ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}}$

که در آن از این نکته استفاده شده است که e_kها توابع ویژهٔ T_KX بوده و متعامد هستند.

• حال نشان می‌دهیم که همگرایی در L² است. فرض می‌کنیم

${\displaystyle S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).}$

آنگاه:

${\displaystyle {\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{l}e_{k}(t)e_{l}(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}}$

که طبق قضیهٔ Mercer به صفر میل می‌کند.

مشخصات تبدیل کارهونن-لُواِو

حالت خاص: توزیع گاوسی

ازآنجاکه حد امید ریاضی متغیرهای تصادفی مشترکاً گاوسی، خود مشترکاً گاوسی هستند و متغیرهای تصادفی گاوسی مستقل هستند اگر و فقط اگر متعامد باشند، می‌توان نتیجه گرفت: قضیه. متغیر تصادفی Z_i دارای توزیع مشترک گاوسی است و به‌طور تصادفی مستقل است اگر فرایند اولیه {X_t}_t گاوسی باشد.

در این حالت (گاوسی بودن)، از آنجایی که Z_iها مستقل هستند، می‌توان گفت:

${\displaystyle \lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )}$

almost surely.

بسط کارهونِن-لُواِو فرایند را ناهمبسته می‌کند

این نتیجه از استقلال Z_k حاصل می‌شود.

بسط کارهونِن-لُواِو مقدار خطای میانگین مربعات را به حداقل می‌رساند

در بخش معرفی، بیان کردیم که بسط خلاصه شدهٔ کارهونِن-لُواِو بهترین تخمین برای یک فرایند است به طوری که خطای میانگین مربعات حداقل شود. به خاطر همین خصوصیت است که بیان می‌شود این تبدیل به‌طور بهینه انرژی را فشرده (ذخیره) می‌کنند. به‌طور دقیق تر، برای هر پایهٔ متعامد {f_k} از فضای L²([a, b])، می‌توان فرایند X_t را به صورت زیر تجزیه کرد:

${\displaystyle X_{t}(\omega )=\sum _{k=1}^{\infty }A_{k}(\omega )f_{k}(t)}$

که در آن

${\displaystyle A_{k}(\omega )=\int _{a}^{b}X_{t}(\omega )f_{k}(t)\,dt}$

و می‌توان X_t را با جمع متناهی زیر برای هر عدد صحیح 'N به صورت زیر تخمین زد

${\displaystyle {\hat {X}}_{t}(\omega )=\sum _{k=1}^{N}A_{k}(\omega )f_{k}(t)}$

یافتن واریانس

یک نتیجهٔ مهم این تبدیل را می‌توان این مورد در نظر گرفت که از آنجایی که Z_kها در تبدیل کارهونِن-لُواِو ناهمبسته هستند، Bienaymé formula نتیجه می‌دهد که X_t برابر است با جمع واریانس جملات جمع، داریم:

${\displaystyle {\mbox{Var}}[X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}{\mbox{Var}}[Z_{k}]=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}}$

تعریف شده روی [a, b] و استفاده از این مسئله که e_kها متعامد هستند، نتیجه می‌گیریم که واریانس کل فرایند برابر است با:

${\displaystyle \int _{a}^{b}{\mbox{Var}}[X_{t}]dt=\sum _{k=1}^{\infty }\lambda _{k}}$

منابع

1. Sapatnekar, Sachin (2011), "Overcoming variations in nanometer-scale technologies", IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 1 (1): 5–18, doi:10.1109/jetcas.2011.2138250
2. Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012), A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles {{citation}}: Unknown parameter |book-title= ignored (help)
3. Karhunen-Loeve Transform (KLT) بایگانی‌شده در ۲۸ نوامبر ۲۰۱۶ توسط Wayback Machine, Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College