Ανάλυση πίνακα σε ιδιάζουσες τιμές

Οπτικοποίηση μίας ανάλυσης σε ιδιάζουσες τιμές ενός δισδιάστατου, πραγματικού πίνακα στρέβλωσης M. Αρχικά βλέπουμε τον μοναδιαίο δίσκο χρώματος μπλε μαζί με δύο διανύσματα της φυσικής βάσης. Στη συνέχεια , μπορούμε να δούμε την δράση του M , η οποία στρεβλώνει τον κύκλο σε έλλειψη. Η ανάλυση σε ιδιάζουσες τιμές αναλύει τον M σε τρεις απλούς μετασχηματισμούς: μία αρχική περιστροφή V^*, μία αλλαγή κλίμακας Σ κατά μήκος των συντεταγμένων αξόνων , και μία τελική περιστροφή U. Τα μήκη σ₁ και σ₂ των ημιαξόνων της έλλεψης είναι οι ιδιάζουσες τιμές του M, δηλαδή τα Σ_1,1 και Σ_2,2.

Στη γραμμική άλγεβρα , η ανάλυση σε ιδιάζουσες τιμές είναι μία παραγοντοποίηση ενός πίνακα με πραγματικά ή μιγαδικά στοιχεία, με πολλές χρήσιμες εφαρμογές στη θεωρία σημάτων και τη στατιστική.

Η ανάλυση ενός m×n πίνακα M, με πραγματικά ή μιγαδικά στοιχεία, σε ιδιάζουσες τιμές είναι μια παραγοντοποίηση της μορφής

${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$

όπου U είναι ένας m×m πραγματικός ή μιγαδικός ορθομοναδιαίος πίνακας, Σ ένας m×n ορθογώνιος διαγώνιος πίνακας με μη αρνητικές τιμές στην διαγώνιο και V* (ο συζυγής ανάστροφος του V, ή απλά ο ανάστροφος του V αν ο V είναι πραγματικός) ένας n×n πραγματικός ή μιγαδικός ορθομοναδιαίος πίνακας. Τα διαγώνια στοιχεία Σ_i,i του Σ είναι γνωστά ως ιδιάζουσες τιμές του M. Οι m στήλες του U και οι n στήλες του V ονομάζονται αριστερά-ιδιάζοντα διανύσματα και δεξιά-ιδιάζοντα διανύσματα του Μ, αντίστοιχα.

Η ανάλυση σε ιδιάζουσες τιμές και η ανάλυση σε ιδιοτιμές είναι στενά συνδεδεμένες. Δηλαδή:

• Τα αριστερά-ιδιάζοντα διανύσματα του M είναι τα ιδιοδιανύσματα του MM*.
• Τα δεξιά-ιδιάζοντα διανύσματα του M είναι τα ιδιοδιανύσματα του M*M.
• Οι μη-μηδενικές ιδιάζουσες τιμές του M (που εμφανίζονται στις διαγώνιες θέσεις του Σ) είναι οι τετραγωνικές ρίζες των μη μηδενικών ιδιοτιμών του M*M και του MM*.

Εφαρμογές που χρησιμοποιούν την ανάλυση σε ιδιάζουσες τιμές περιλαμβάνουν τον υπολογισμό του ψευδοαντιστρόφου , τη προσαρμογή δεδομένων με την μέθοδο των ελαχίστων τετραγώνων, τις προσεγγίσεις πινάκων και την εύρεση της βαθμίδας, του χώρου των στηλών και του μηδενοχώρου ενός πίνακα.

Διατύπωση του θεωρήματος

Υποθέτουμε ότι ο M είναι ενας m×n πίνακας του οποίου τα στοιχεία ανηκουν στο σώμα K, που είναι είτε το σώμα των πραγματικών αριθμών είτε το σώμα των μιγαδικών αριθμών. Τότε υπάρχει μια παραγοντοποίηση της μορφής

${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$

όπου ο U είναι ένας m×m ορθομοναδιαίος πινακας (ορθογώνιος πίνακας αν το K είναι το σώμα των πραγματικών) με στοιχεία από το K, ο Σ είναι ένας m×n διαγώνιος πίνακας με μη αρνητικούς πραγματικούς αριθμούς στην διαγώνιο, και ο n×n ορθομοναδιαίος πίνακας V* είναι ο συζηγής ανάστροφος του n×n ορθομοναδιαίου πίνακα V. Μια τέτοια παραγοντοποίηση ονομάζεται ανάλυση του M σε ιδιάζουσες τιμές.

Τα διαγώνια στοιχεία ${\displaystyle \sigma _{i}}$ του Σ είναι γνωστά ως οι ιδιάζουσες τιμές του M. Μια συνήθης σύμβαση είναι να κατατάσσουμε τις ιδιάζουσες τιμές σε φθίνουσα σειρά. Σ'αυτήν την περίπτωση, ο διαγώνιος πίνακας Σ καθορίζεται με μοναδικό τροπο απο τον M (όχι όμως και οι πίνακες U και V).

Διαισθητικές ερμηνείες

Περιστροφή, αλλαγή κλίμακας

Στην ειδική αλλά συνηθισμένη περίπτωση που ο M είναι απλά ένας m×m τετραγωνικός πίνακας με θετική ορίζουσα του οποίου τα στοιχεία είναι πραγματικοί αριθμοί, τότε οι U, V*, και Σ είναι m×m πίνακες πραγματικών αριθμών, επίσης ο Σ μπορεί να θεωρηθεί ως ένας πίνακας αλλαγής κλίμακας, και οι U και V* ως πίνακες περιστροφής.

Αν πληρούνται οι παραπάνω συνθήκες, η έκφραση ${\displaystyle \mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}\,}$ μπορεί διαισθητικά να ερμηνευθεί ως μία σύνθεση (ή μια ακολουθία) τριών γεωμετρικών μετασχηματισμών: μιας περιστροφής, μιας αλλαγής κλίμακας και μιας ακόμα περιστροφής. Για παράδειγμα, η παραπάνω εικόνα εξηγεί πως ένας πίνακας στρέβλωσης μπορεί να περιγραφεί ως μία τέτοια ακολουθία.

Οι ιδιάζουσες τιμές ως ημιάξονες μιας έλλειψης ή ενός ελλειψοειδούς

Όπως φαίνεται στην εικόνα, οι ιδιάζουσες τιμές μπορούν να ερμηνευθούν ως οι ημιάξονες μιας έλλειψης στο επίπεδο. Αυτή η ιδέα μπορεί να γενικοποιηθεί στον n-διάστατο Ευκλείδειο χώρο, με τις ιδιάζουσες τιμές κάθε n×n τετραγωνικού πίνακα να θεωρούνται ως οι ημιάξονες ενός n-διάστατου ελλειψοειδούς. Δείτε παρακάτω για περισσότερες λεπτομέρειες.

Οι στήλες των U και V είναι ορθοκανονικές βάσεις

Καθώς οι πίνακες U και V* είναι ορθομοναδιαίοι, οι στήλες του καθενός σχηματιζουν ένα σύνολο ορθοκανονικών διανυσμάτων, που μπορούν να θεωρηθούν ως διανύσματα βάσης. Από τον ορισμό του ορθομοναδιαίου πίνακα, προκύπτει οτι το ίδιο ισχύει και για τους συζηγείς αναστρόφους αυτων, U* και V. Εν συντομία, οι στήλες των U, U*, V, και V* είναι ορθοκανονικές βάσεις.

Παράδειγμα

Θεωρούμε τον 4×5 πίνακα

${\displaystyle \mathbf {M} ={\begin{bmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&4&0&0&0\end{bmatrix}}}$

Μία ανάλυση αυτού του πίνακα σε ιδιάζουσες τιμές ${\displaystyle \mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$ δίνεται από τους πίνακες

${\displaystyle {\begin{aligned}\mathbf {U} &={\begin{bmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{bmatrix}}\\{\boldsymbol {\Sigma }}&={\begin{bmatrix}4&0&0&0&0\\0&3&0&0&0\\0&0&{\sqrt {5}}&0&0\\0&0&0&0&0\end{bmatrix}}\\\mathbf {V} ^{*}&={\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\0&0&0&1&0\\-{\sqrt {0.8}}&0&0&0&{\sqrt {0.2}}\end{bmatrix}}\end{aligned}}}$

Παρατηρήστε ότι τα μη διαγώνια στοιχεία του ${\displaystyle {\boldsymbol {\Sigma }}}$ είναι μηδέν και ότι υπάρχει και ένα διαγώνιο στοιχείο που είναι μηδέν. Ακόμη, επειδή οι πίνακες ${\displaystyle \mathbf {U} }$ και ${\displaystyle \mathbf {V} ^{*}}$ είναι ορθομοναδιαίοι, πολλαπλασιάζοντας με τους αντίστοιχους συζυγείς αναστρόφους παίρνουμε μοναδιαίους πίνακες όπως φαίνεται παρακάτω. Στην περίπτωσή μας επειδή οι ${\displaystyle \mathbf {U} }$ και ${\displaystyle \mathbf {V} ^{*}}$ έχουν πραγματικά στοιχεία είναι ορθογώνιοι πίνακες.

${\displaystyle {\begin{aligned}\mathbf {U} ^{*}\mathbf {U} &={\begin{bmatrix}0&0&0&1\\0&1&0&0\\1&0&0&0\\0&0&-1&0\end{bmatrix}}\cdot {\begin{bmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{bmatrix}}\\&={\begin{bmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix}}\equiv \mathbf {I} _{4}\end{aligned}}}$

και

${\displaystyle {\begin{aligned}\mathbf {V} ^{*}\mathbf {V} &={\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\0&0&0&1&0\\-{\sqrt {0.8}}&0&0&0&{\sqrt {0.2}}\end{bmatrix}}\cdot {\begin{bmatrix}0&0&{\sqrt {0.2}}&0&-{\sqrt {0.8}}\\1&0&0&0&0\\0&1&0&0&0\\0&0&0&1&0\\0&0&{\sqrt {0.8}}&0&{\sqrt {0.2}}\end{bmatrix}}\\&={\begin{bmatrix}1&0&0&0&0\\0&1&0&0&0\\0&0&1&0&0\\0&0&0&1&0\\0&0&0&0&1\end{bmatrix}}\equiv \mathbf {I} _{5}\end{aligned}}}$

Η παραπάνω ανάλυση σε ιδιάζουσες τιμές δεν είναι μοναδική. Επιλέγοντας τον ${\displaystyle V}$ έτσι ώστε

${\displaystyle \mathbf {V} ^{*}={\begin{bmatrix}0&1&0&0&0\\0&0&1&0&0\\{\sqrt {0.2}}&0&0&0&{\sqrt {0.8}}\\{\sqrt {0.4}}&0&0&{\sqrt {0.5}}&-{\sqrt {0.1}}\\-{\sqrt {0.4}}&0&0&{\sqrt {0.5}}&{\sqrt {0.1}}\end{bmatrix}}}$

έχουμε άλλη μία ανάλυση σε ιδιάζουσες τιμές.

Ιδιάζουσες τιμές, ιδιάζοντα διανύσματα και η σχέση τους με την ανάλυση σε ιδιάζουσες τιμές

Ένας μη αρνητικός πραγματικός αριθμός σ είναι μια ιδιάζουσα τιμή για τον M αν και μόνο αν υπάρχουν μοναδιαία διανύσματα u του K^m και v του Kⁿ τέτοια ώστε

${\displaystyle \mathbf {M} {\vec {v}}=\sigma {\vec {u}}\,{\text{ and }}\mathbf {M} ^{*}{\vec {u}}=\sigma {\vec {v}}}$

Τα διανύσματα u και v ονομάζονται αριστερά-ιδιάζοντα και δεξιά-ιδιάζοντα διανύσματα του σ, αντίστοιχα.

Σε κάθε ανάλυση πίνακα σε ιδιάζουσες τιμές

${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$

τα διαγώνια στοιχεία του Σ είναι ίσα με τις ιδιάζουσες τιμές του M. Οι στήλες των U και V είναι, αντίστοιχα, τα αριστερά και δεξιά ιδιάζοντα διανύσματα των αντίστοιχων ιδιάζουσων τιμών. Επομένως, το παραπάνω θεώρημα συνεπάγεται οτι:

• Ένας m × n πίνακας M έχει το πολύ p = min(m,n) διαφορετικές ιδιάζουσες τιμές.
• Είναι πάντα δυνατόν να βρούμε μια ορθογώνια βάση U του K^m αποτελούμενη απο αριστερά ιδιάζοντα διανύσματα του M.
• Είναι πάντα δυνατόν να βρούμε μια ορθογώνια βάση V του Kⁿ αποτελούμενη απο δεξιά ιδιάζοντα διανύσματα του M.

Μια ιδιάζουσα τιμή για την οποία μπορούμε να βρούμε δύο αριστερά (ή δεξιά) ιδιάζοντα διανύσματα που είναι γραμμικώς ανεξάρτητα μεταξύ τους ονομάζεται εκφυλισμένη.

Οι μη εκφυλισμένες ιδιάζουσες τιμές έχουν πάντα μοναδικά αριστερά και δεξιά ιδιάζοντα διανύσματα, κατά προσέγγιση ενός πολλαπλασιαστικού παράγοντα φάσης της μορφής e^iφ (στην περίπτωση των πραγματικών κατα προσέγγιση προσήμου). Συνεπώς, αν όλες οι ιδιάζουσες τιμες του M είναι μη εκφυλισμένες και μη μηδενικές, τότε η ανάλυση του είναι μοναδική, κατά προσέγγιση πολλαπλασιασμού μιας στήλης του U κατά ενός μοναδιαίου παράγοντα φάσης και ταυτόχρονου πολλαπλασιασμού της αντίστοιχης στήλης του V με τον ίδιο μοναδιαίο παράγοντα φάσης.

Οι εκφυλισμένες ιδιάζουσες τιμές, από τον ορισμό τους, έχουν μη μοναδικά ιδιάζοντα διανύσματα. Επιπλέον, αν u₁ και u₂ είναι δύο αριστερά ιδιάζοντα διανύσματα που και τα δύο αντιστοιχούν στην ιδιάζουσα τιμή σ, τότε κάθε κανονικοποιημένος γραμμικός συνδυασμός των δύο αυτών διανυσμάτων είναι επίσης ένα αριστερό ιδιάζων διάνυσμα που αντιστοιχεί στην τιμή σ. Το ίδιο ισχύει και για τα δεξιά ιδιάζοντα διανύσματα. Κατά συνέπεια, αν ο M έχει εκφυλισμένες ιδιάζουσες τιμές, τότε η ανάλυση του σε ιδιάζουσες τιμές δεν είναι μοναδική.

Εφαρμογές της Ανάλυσης σε ιδιάζουσες τιμές

Ψευδοαντίστροφος

Η ανάλυση σε ιδιάζουσες τιμές μπορεί να χρησιμοποιηθεί για τον υπολογισμό του ψευδοαντιστρόφου ενός πίνακα. Πράγματι, ο ψευδοαντίστροφος ενός πίνακα M με ανάλυση σε ιδιάζουσες τιμές ${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$ είναι ο

${\displaystyle \mathbf {M} ^{+}=\mathbf {V} {\boldsymbol {\Sigma }}^{+}\mathbf {U} ^{*}}$

όπου Σ⁺ είναι ο ψευδοαντίστροφος του Σ, που σχηματίζεται αντικαθιστώντας κάθε μη μηδενικό στοιχείο της διαγωνίου με το (πολλαπλασιαστικό) αντίστροφο του και αναστρέφοντας τον παραγόμενο πίνακα. Ο ψευδοαντίστροφος είναι ένας τρόπος να λυθούν γραμμικά προβλήματα ελαχίστων τετραγώνων.

Επίλυση ομογενών γραμμικών εξισώσεων

Ένα σύστημα ομογενών γραμμικών εξισώσεων μπορεί να γραφεί στη μορφή ${\displaystyle \mathbf {A} {\vec {x}}=\mathbf {0} }$ για κάποιο πίνακα ${\displaystyle \mathbf {A} }$ και διάνυσμα ${\displaystyle {\vec {x}}}$. Μια συνήθης περίπτωση είναι ο ${\displaystyle \mathbf {A} }$ να είναι γνωστός και ένα μη μηδενικό ${\displaystyle {\vec {x}}}$ να υπολογίζεται που να ικανοποιεί την εξίσωση. Ένα τέτοιο ${\displaystyle {\vec {x}}}$ ανήκει στο μηδενοχώρο του ${\displaystyle \mathbf {A} }$ και ορισμένες φορές καλείται (δεξιό) μηδενοδιάνυσμα του ${\displaystyle \mathbf {A} }$. Το διάνυσμα ${\displaystyle {\vec {x}}}$ μπορεί να χαρακτηριστεί σαν δεξιό ιδιάζων διάνυσμα της αντίστοιχης ιδιάζουσας τιμής του ${\displaystyle \mathbf {A} }$ που είναι μηδέν. Η παρατήρηση αυτή μας οδηγεί στο συμπέρασμα ότι αν ο ${\displaystyle \mathbf {A} }$ είναι τετραγωνικός πίνακας και δεν έχει μηδενιζόμενη ιδιάζουσα τιμή, τότε η εξίσωση δεν έχει μη μηδενικό ${\displaystyle {\vec {x}}}$ σαν λύση. Ακόμα σημαίνει ότι αν υπάρχουν πολλές μηδενιζόμενες ιδιάζουσες τιμές, κάθε γραμμικός συνδυασμός των αντίστοιχων δεξιών ιδιαζώντων διανυσμάτων είναι μια αποδεκτή λύση. Ανάλογα με τον ορισμό του (δεξιού) μηδενοδιανύσματος, ένα μη μηδενικό ${\displaystyle {\vec {x}}}$ που ικανοποιεί την ${\displaystyle {\vec {x^{*}}}\mathbf {A} =\mathbf {0} }$, με το ${\displaystyle {\vec {x^{*}}}}$ να δηλώνει το συζηγές αντίστροφο του ${\displaystyle {\vec {x}}}$, ονομάζεται αριστερό μηδενοδιάνυσμα του ${\displaystyle \mathbf {A} }$.

Ελαχιστοποίηση μέσω της μεθόδου ελαχίστων τετραγώνων

Το πρόβλημα ελαχιστοποίησης μέσω της μεθόδου ελαχίστων τετραγώνων αναφέρεται στον υπολογισμό του διανύσματος ${\displaystyle \mathbf {x} }$ που ελαχιστοποιεί την 2-νόρμα ενός διανύσματος ${\displaystyle \mathbf {A} \,\mathbf {x} }$ κάτω απο την προυπόθεση ${\displaystyle \|\mathbf {x} \|=1}$. Η λύση τελικά είναι το δεξί ιδιάζων διάνυσμα του ${\displaystyle \mathbf {A} }$ που αντιστοιχεί στη μικρότερη ιδιάζουσα τιμή.

Χώρος στηλών, μηδενοχώρος και βαθμίδα

Η ανάλυση σε ιδιάζουσες μας προσφέρει επίσης μία αναπαράσταση του χώρου των στηλών και του μηδενοχώρου ενός πίνακα M. Τα δεξιά ιδιάζοντα διανύσματα αντιστοιχούν στις μηδενιζόμενες ιδιάζουσες τιμές του M παράγουν τον μηδενοχώρο του M. Για παράδειγμα. ο μηδενοχώρος του παραπάνω παραδείγματος παράγεται απο τις δύο τελευταίες στήλες του ${\displaystyle \mathbf {V} }$. Τα αριστερά-ιδιάζοντα διανύσματα που αντιστοιχούν σε μη μηδενικές ιδιάζουσες τιμές του M παράγουν τον χώρο των στηλών του M. Συνεπώς, η βαθμίδα του M ισούται με τον αριθμό των μη μηδενικών ιδιάζουσων τιμών που είναι ίση με τον αριθμό των μη μηδενικών διαγώνιων στοιχείων του ${\displaystyle {\boldsymbol {\Sigma }}}$.

Στην αριθμητική γραμμική άλγεβρα οι ιδιάζουσες τιμές μπορούν να χρησιμοποιηθούν για τον υπολογισμό της δραστικής (effective) βαθμίδας ενός πίνακα, μιας και τα σφάλματα στις στρογγυλοποιήσεις μπορουν να οδηγήσουν σε μικρές αλλά όχι μηδενικές ιδιάζουσες τιμές σε πίνακες που δεν έχουν πλήρη τάξη.

Προσέγγιση μέσω πινάκων χαμηλής τάξης

Σε μερικές πρακτικές εφαρμογές υπάρχει η ανάγκη της προσέγγισης ενός πίνακα ${\displaystyle \mathbf {M} }$ με έναν αλλον ${\displaystyle {\tilde {\mathbf {M} }}}$, περιορισμένο, ο οποίος έχει μία συγκεκριμένη βαθμίδα ${\displaystyle r}$. Στην περίπτωση που η προσσέγιση βασίζεται στην ελαχιστοποίηση της νόρμας του Φρομπένιους της διαφοράς ${\displaystyle \mathbf {M} -{\tilde {\mathbf {M} }}}$ υπό τον περιορισμό ${\displaystyle \operatorname {rank} \left({\tilde {\mathbf {M} }}\right)=r}$ , η λύση δίνεται απο την ανάλυση σε ιδιάζουσες τιμές του ${\displaystyle \mathbf {M} }$,

${\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} {\tilde {\boldsymbol {\Sigma }}}\mathbf {V} ^{*}}$

όπου ο ${\displaystyle {\tilde {\boldsymbol {\Sigma }}}}$ διαφέρει από τον ${\displaystyle {\boldsymbol {\Sigma }}}$ στο ότι περιέχει μόνο τις ${\displaystyle r}$ μεγαλύτερες ιδιάζουσες τιμές (οι υπόλοιπες αντικαθιστώνται με μηδέν). Αυτό είναι γνωστό ως το θεώρημα των Eckart–Young, μιας και αποδείχθηκε από αυτούς το 1936 (παρόλο που αργότερα ανακαλυφθηκε ότι ήταν ήδη γνωστό από προγενέστερους, βλέπε Stewart 1993).

Διαχωρίσιμα μοντέλα

Η ανάλυση σε ιδιάζουσες τιμές μπορεί να θεωρηθεί ως ανάλυση ενός πίνακα σε σταθμισμένο διατεταγμένο άθροισμα διαχωρίσιμων πινάκων. Ένας πίνακας ${\displaystyle \mathbf {A} }$λεγεται διαχωρίσιμος αν μπορεί να γραφτεί ως εξωτερικό γινόμενο δύο διανυσμάτων ${\displaystyle \mathbf {A} =\mathbf {u} \otimes \mathbf {v} }$, ή, ${\displaystyle \mathbf {A(i,j)} =\mathbf {u} (i)\mathbf {v} (j)}$. Ειδικότερα, ο πίνακας M μπορεί να αναλυθεί ως εξής:

${\displaystyle \mathbf {M} =\sum _{i}\mathbf {A} _{i}=\sum _{i}\sigma _{i}U_{i}\otimes V_{i}^{\dagger }}$

Όπου ${\displaystyle U_{i}}$ και ${\displaystyle V_{i}}$ είναι οι i-στές στήλες των αντίστοιχων πινάκων της ανάλυσης σε ιδιάζουσες τιμές, ${\displaystyle \sigma _{i}}$ είναι οι διατεταγμένες ιδιάζουσες τιμές, και κάθε ${\displaystyle \mathbf {A} _{i}}$ είναι διαχωρίσιμος. Η ανάλυση σε ιδιάζουσες τιμές μπορεί να χρησιμοποιηθεί στην ανάλυση ενός φίλτρου επεξεργασίας εικόνας σε οριζόντια και κάθετα φίλτρα. Παρατηρήστε ότι το πλήθος των μη μηδενικών ${\displaystyle \sigma _{i}}$είναι ακριβώς η βαθμίδα του πίνακα.

Εγγύτατος ορθογώνιος πίνακας

Η ανάλυση σε ιδιάζουσες τιμές του ${\displaystyle \mathbf {A} }$ μπορεί να χρησιμοποιηθεί για τον προσδιορισμό του εγγύτατου ορθογώνιου πίνακα ${\displaystyle \mathbf {R} }$ του ${\displaystyle \mathbf {A} }$. Η απόσταση υπολογίζεται μέσω της Φρομπένιους νόρμας του ${\displaystyle \mathbf {R} -\mathbf {A} }$. Η λύση είναι το γινόμενο ${\displaystyle \mathbf {U} \mathbf {V} ^{*}}$.^[1] Αποτέλεσμα το όποιο είναι διαισθητικά αναμενόμενο αφού ένας ορθογώνιος πίνακας θα έπρεπε να είχε μία ανάλυση ${\displaystyle \mathbf {U} \mathbf {I} \mathbf {V} ^{*}}$ όπου ${\displaystyle \mathbf {I} }$ είναι ο μοναδιαίος πίνακας, έτσι ωστε αν ${\displaystyle \mathbf {A} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$ τότε το γινόμενο ${\displaystyle \mathbf {A} =\mathbf {U} \mathbf {V} ^{*}}$ ισοδυναμεί με την αντικατάσταση των ιδιαζόντων τιμών με μονάδες.

Ένα παρόμοιο πρόβλημα με ενδιαφέρουσα εφαρμογή στην ανάλυση σχημάτων είναι το ορθογώνιο πρόβλημα του Προκρούστη, το οποίο συνίσταται στην εύρεση ενός ορθογωνίου πίνακα ${\displaystyle \mathbf {R} }$ ο οποίος απεικονίζει όσο το δυνατόν καλύτερα τον ${\displaystyle \mathbf {A} }$ στον ${\displaystyle \mathbf {B} }$. Συγκεκριμένα,

${\displaystyle \mathbf {R} =\arg \min _{\boldsymbol {\Omega }}\|\mathbf {A} {\boldsymbol {\Omega }}-\mathbf {B} \|_{F}\quad \mathrm {subject\ to} \quad {\boldsymbol {\Omega }}^{T}{\boldsymbol {\Omega }}=\mathbf {I} }$

όπου ${\displaystyle \|\ldots \|_{F}}$ συμβολίζει την νόρμα του Φρομπένιους.

Το πρόβλημα αυτό είναι ισοδύναμο με την εύρεση του εγγύτατου ορθογώνιου πίνακα του ${\displaystyle \mathbf {M} =\mathbf {A} ^{T}\mathbf {B} }$.

Αλγόριθμος του Kabsch

Ο αλγόριθμος του Kabsch (επονομαζόμενος και πρόβλημα του Wahbaσε άλλα πεδία) κάνει χρήση της ανάλυσης σε ιδιάζουσες τιμές για να υπολογίσει την βέλτιστη περιστροφή (με βάση και την ελαχιστοποίση μέσω της μεθόδου ελαχίστων τετραγώνων) που θα ευθυγραμμίσει ένα σύνολο σημείων με ένα άλλο αντίστοιχο σύνολο σημείων. Χρησιμοποιείται, μεταξύ άλλων εφαρμογών, για να συγκρίνουμε τις δομές των μορίων.

Επεξεργασία σημάτων

Η ανάλυση σε ιδιάζουσες τιμές και ο ψευδοαντίστροφος έχουν εφαρμοστεί επιτυχημένα στην επεξεργασία σήματος και στα μεγάλα δεδομένα (big data), για παράδειγμα στην επεξεργασία γονιδιωματικού σήματος.^[2][3][4][5]

Άλλα παραδείγματα

Η ανάλυση σε ιδιάζουσες τιμές εφαρμόζεται ευρέως και στην μελέτη των γραμμικών αντιστρόφων προβλημάτων και είναι χρήσιμη στην ανάλυση μεθόδων κανονικοποίησης όπως αυτή του Tikhonov. Χρησιμοποιείται ευρύτατα στην Στατιστική όπου σχετίζεται με την ανάλυση κυρίων συνιστωσών και την Ανάλυση Αντιστοιχιών. Στη επεξεργασία σημάτων χρησιμοποιείται στον τομέα της αναγνώρισης προτύπων. Μία ακόμη χρήση είναι η Λανθάνουσα σημασιολογική δεικτοδότηση στην επεξεργασία κειμένων φυσικών γλωσσών.

Η ανάλυση σε ιδιάζουσες τιμές παίζει επίσης σημαντικό ρόλο στον τομέα της κβαντικής πληροφορίας, σε μία μορφή που αναφέρεται συχνά ως ανάλυση Schmidt. Μέσω αυτής, οι καταστάσεις δύο κβαντικών συστημάτων αναλύονται, παρέχοντας μία ικανή και αναγκαία συνθήκη για την κβαντική διεμπλοκή τους: αν η βαθμίδα του πίνακα ${\displaystyle \mathbf {\Sigma } }$ είναι μεγαλύτερη από ένα.

Μία εφαρμογή της ανάλυσης σε ιδιάζουσες τιμές σε μεγάλους πίνακες είναι η αριθμητική πρόγνωση του καιρού, όπου οιμέθοδοι Lanczos χρησιμοποιούνται για τον υπολογισμό τον γραμμικώς ταχυτέρων αναπτυσσόμενων αναταράξεων της κύριας αριθμητικής πρόγνωσης με δοσμένες αρχικές συνθήκες για ενα χρονικό διάστημα ή ισοδύναμα για τον υπολογισμό των ιδιαζόντων διανυσμάτων που αντιστοιχούν στις μεγαλύτερες ιδιάζουσες τιμές του γραμμικοποιημένου διαδότη για τον παγκόσμιο καιρό σε ένα χρονικό διάστημα. Τα ιδιάζοντα διανύσματα εξόδου σε αυτήν την περίπτωση είναι ολόκληρα κλιματολογικά συστήματα. Αυτές οι διαταραχές χρησιμοποιούνται στη συνέχεια από πλήρη μη γραμμικά μοντέλα για να δημιουργήσουν ένα φάσμα όλων των πιθανών εξελίξεων του καιρού, βοηθώντας έτσι στην κατανόηση της αβεβαιότητας που θα συνοδεύει την κύρια πρόβλεψη.

Η ανάλυση σε ιδιάζουσες τιμές έχει επίσης εφαρμοστεί στην μοντελοποίηση ελλατωμένης τάξης. Σκοπός της μοντελοποίησης ελλατωμένης τάξης είναι η ελλάτωση των βαθμών ελευθερίας περίπλοκων συστημάτων τα οποία πρόκειται να μοντελοποιηθούν. Η ανάλυση σε ιδιάζουσες τιμές χρησιμοποιήθηκε σε συνδυασμό με συναρτήσεις ακτινικής βάσης για τον υπολογισμό μέσω παρεμβολής των λύσεων τριδιάστατων ασταθών προβλημάτων ροής.^[6]

Η ανάλυση σε ιδιάζουσες τιμές έχει επίσης εφαρμοστεί στην θεωρία αντίστροφων προβλημάτων. Μία σημαντική εφαρμογή είναι η κατασκευή υπολογιστικών μοντέλων για δεξαμενές πετρελαίου.^[7]

Η ανάλυση σε ιδιάζουσες τιμές χρησιμοποιείται σε συστηµάτα προτάσεων για την πρόβλεψη της βαθμολόγισης των προιόντων από τους καταναλωτές.^[8]

Σχέση με την παραγοντοποίηση με χρήση ιδιοτιμών

Η ανάλυση σε ιδιάζουσες τιμές είναι μια γενικότερη μέθοδος με την έννοια οτι μπορεί να χρησιμοποιηθεί σε κάθε πίνακα m × n ενώ αντιθέτως η ανάλυση σε ιδιοτιμές μπορεί να εφαρμοστεί μόνο σε συγκεκριμένα είδη τετραγωνικών πινάκων. Παρόλαυτα, οι δύο αναλύσεις σχετίζονται μεταξύ τους.

Δοσμένης μιας ανάλυσης σε ιδιάζουσες τιμές του M, όπως περιγράφηκε πιο πάνω, ισχύουν οι παρακάτω δύο σχέσεις:

${\displaystyle {\begin{aligned}\mathbf {M} ^{*}\mathbf {M} &=\mathbf {V} {\boldsymbol {\Sigma ^{*}}}\mathbf {U} ^{*}\,\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}=\mathbf {V} ({\boldsymbol {\Sigma }}^{*}{\boldsymbol {\Sigma }})\mathbf {V} ^{*}\\\mathbf {M} \mathbf {M} ^{*}&=\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}\,\mathbf {V} {\boldsymbol {\Sigma }}^{*}\mathbf {U} ^{*}=\mathbf {U} ({\boldsymbol {\Sigma }}{\boldsymbol {\Sigma }}^{*})\mathbf {U} ^{*}\end{aligned}}}$

Τα δεξιά μέλη των σχέσεων περιγράφουν την ανάλυση σε ιδιοτιμές των αριστερών μελών. Ως συμπέρασμα έχουμε οτι:

• Οι στήλες του V (δεξιά ιδιάζοντα διανύσματα) είναι ιδιοδιανύσματα του ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$.
• Οι στήλες του U (αριστερά ιδιάζοντα διανύσματα) είναι ιδιοδιανύσματα του ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$.
• Τα μη μηδενικά στοιχεία του Σ (μη μηδενικές ιδιάζουσες τιμές) είναι οι τετραγωνικές ρίζες των μη μηδενικών ιδιοτιμών του ${\displaystyle \mathbf {M} ^{*}\mathbf {M} }$ ή του ${\displaystyle \mathbf {M} \mathbf {M} ^{*}}$.

Στην ειδική περίπτωση που ο M είναι κανονικός πίνακας, που από τον ορισμό του σημαίνει ότι ειναι και τετραγωνικός, το φασματικό θεώρημα μας λέει οτι μπορεί να διαγωνιοποιηθεί ορθομοναδιαία χρησιμοποιώντας μια βάση απο ιδιοδιανύσματα, έτσι ώστε να μπορεί να γραφτεί στη μορφή ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$ για κάποιο ορθομοναδιαίο πίνακα U και διαγώνιο πίνακα D. Όταν ο M είναι επίσης θετικά ημιορισμένος, η ανάλυση ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{*}}$ είναι επίσης ανάλυση σε ιδιάζουσες τιμές.

Ωστόσο, η ανάλυση σε ιδιοτιμές και η ανάλυση σε ιδιάζουσες τιμές διαφέρουν για όλους τους άλλους πίνακες M: η ανάλυση σε ιδιοτιμές ειναι ${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {D} \mathbf {U} ^{-1}}$ όπου ο U δεν είναι απαραίτητα ορθομοναδιαίος και ο D δεν είναι απαραίτητα θετικά ημιορισμένος, ενώ η ανάλυση σε ιδιάζουσες τιμές είναι ${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$ όπου ο Σ είναι διαγώνιος και θετικά ημιορισμένος, και οι U και V είναι ορθομοναδιαίοι πίνακες που δεν σχετίζονται απαραίτητα μεταξύ τους, πλυν της σχέσης τους μέσω του M.

Ύπαρξη

Μια ιδιοτιμή λ ενός πίνακα M χαρακτηρίζεται από την αλγεβρική σχέση M u = λ u. Όταν ο M είναι ερμητιανός, η χρήση του λογισμού των μεταβολών είναι επίσης δυνατή. Ας είναι ο M ένας n × n συμμετρικός πίνακας με πραγματικά στοιχεία. Ορίζουμε την f:Rⁿ → R ως f(x) = x^T M x. Από το θεώρημα ακραίων τιμών, η συνεχής αυτή συνάρτηση λαμβάνει μέγιστη τιμή για κάποιο u όταν περιοριστεί στην κλειστή μοναδιαία σφαίρα {||x|| ≤ 1}. Από το θεώρημα πολλαπλασιαστών του Lagrange, το u απαραίτητα ικανοποιεί το εξής:

${\displaystyle \nabla f=\nabla {\vec {x}}^{T}\mathbf {M} {\vec {x}}=\lambda \cdot \nabla {\vec {x}}^{T}{\vec {x}}}$

όπου το σύμβολο, ${\displaystyle \nabla }$, είναι ο τελεστής ανάδελτα.

Ένας σύντομος υπολογισμός μας δείχνει οτι το παραπάνω οδηγεί στο M u = λ u (η συμμετρία του M είναι απαραίτητη εδώ). Επομένως το λ είναι η μεγαλύτερη ιδιοτιμή του M. Ο ίδιος υπολογισμός εκτελεσμένος στο ορθογώνιο συμπλήρωμα του u δίνει την επόμενη μεγαλύτερη ιδιοτιμή και πάει λέγοντας. Η μιγαδική περίπτωση (ο Μ και πάλι ερμητιανός) είναι παρόμοια. Σε αυτήν την περίπτωση ορίζουμε f(x) = x* M x να είναι μια πραγματική συνάρτηση 2n πραγματικών μεταβλητών.

Οι ιδιάζουσες τιμές ειναι όμοιες με την έννοια ότι μπορούν να περιγραφούν αλγεβρικά ή μέσω του λογισμού μεταβολών . Αν και, σε αντίθεση με την περίπτωση των ιδιοτιμών, ο Μ δεν είναι απαραίτητο να ειναι ερμητιανός ή συμμετρικός.

Η παράγραφος αυτή δίνει αυτά τα δύο επιχειρήματα για την ύπαρξη της ανάλυσης σε ιδιάζουσες τιμές.

Βασισμένη στο φασματικό θεώρημα

Ας είναι M ένας m × n πίνακας με μιγαδικά στοιχεία. Ο M*M είναι θετικά ημιορισμένος και ερμητιανός. Από το φασματικό θεώρημα, θα υπάρχει ένας ορθομοναδιαίος n × n πίνακας V τέτοιος ώστε

${\displaystyle \mathbf {V} ^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} ={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}}$

όπου ο D είναι διαγώνιος και θετικά ορισμένος. Χωρίζουμε τον V καταλλήλως ώστε να μπορούμε να γράψουμε

${\displaystyle {\begin{bmatrix}\mathbf {V} _{1}^{*}\\\mathbf {V} _{2}^{*}\end{bmatrix}}\mathbf {M} ^{*}\mathbf {M} {\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{1}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\\\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{1}&\mathbf {V} _{2}^{*}\mathbf {M} ^{*}\mathbf {M} \mathbf {V} _{2}\end{bmatrix}}={\begin{bmatrix}\mathbf {D} &0\\0&0\end{bmatrix}}}$

Τότε V₁*M*MV₁ = D και V₂*M*MV₂ = 0. Το τελευταίο σημαίνει οτι MV₂ = 0.

Επίσης, αφού ο V είναι ορθομοναδιαίος, V₁*V₁ = I, V₂*V₂ = I και V₁V₁* + V₂V₂* = I.

Ορίζουμε τον

${\displaystyle \mathbf {U} _{1}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}}$

Τότε

${\displaystyle \mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} \mathbf {V} _{1}\mathbf {D} ^{-{\frac {1}{2}}}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}=\mathbf {M} }$

Βλέπουμε οτι αυτό είναι σχεδόν το επιθυμητό αποτέλεσμα, πλυν του ότι οι U₁ και V₁ δεν είναι γενικά ορθομοναδιαίοι, αλλα απλώς ισομετρίες. Για να ολοκληρώσουμε το επιχείρημα έχουμε ότι θα πρέπει να "συμπληρώσουμε" αυτούς τους πίνακες για να τους μετατρέψουμε σε ορθομοναδιαίους. Για παράδειγμα, μπορούμε να επιλέξουμε έναν U₂ τέτοιο ώστε ο

${\displaystyle \mathbf {U} ={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}}$

να είναι ορθομοναδιαίος.

Ορίζουμε τον

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}}$

όπου οι έξτρα μηδενικές γραμμές προστίθενται ή αφαιρούνται έτσι ώστε το σύνολο των μηδενικών γραμμών να ισούται με το σύνολο των στηλών του U₂. Τότε

${\displaystyle {\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}{\begin{bmatrix}\mathbf {} D^{\frac {1}{2}}&0\\0&0\end{bmatrix}}\\0\end{bmatrix}}{\begin{bmatrix}\mathbf {V} _{1}&\mathbf {V} _{2}\end{bmatrix}}^{*}={\begin{bmatrix}\mathbf {U} _{1}&\mathbf {U} _{2}\end{bmatrix}}{\begin{bmatrix}\mathbf {D} ^{\frac {1}{2}}\mathbf {V} _{1}^{*}\\0\end{bmatrix}}=\mathbf {U} _{1}\mathbf {D} ^{\frac {1}{2}}V_{1}^{*}=\mathbf {M} }$

που είναι και το επιθυμητό αποτέλεσμα:

${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$

Παρατηρήστε ότι το επιχείρημα αυτό θα μπορούσε να ξεκινήσει διαγωνιοποιώντας τον MM* αντί για τον M*M (αυτό δείχνει επακριβώς ότι οι MM* και M*M έχουν τις ίδιες μη μηδενικές ιδιοτιμές).

Βασισμένη στο λογισμό των μεταβολών

Οι ιδιάζουσες τιμές μπορούν επίσης να χαρακτηριστούν ως τα μέγιστα του u^TMv, όταν θεωρηθεί σαν συνάρτηση των u και v, πάνω απο συγκεκριμένους υποχώρους. Τα ιδιάζοντα διανύσματα είναι οι τιμές των u και v όπου παρουσιάζονται τα μέγιστα.

Ας είναι M ένας m × n πίνακας με πραγματικά στοιχεία και ${\displaystyle S^{m-1}}$ και ${\displaystyle S^{n-1}}$ τα σύνολα των 2-νορμ μοναδιαίων διανυσμάτων των R^m και Rⁿ αντίστοιχα. Ορίζουμε τη συνάρτηση

${\displaystyle \sigma ({\vec {u}},{\vec {v}})={\vec {u}}^{T}M{\vec {v}}}$

για διανύσματα u ∈ ${\displaystyle S^{m-1}}$ και v ∈ ${\displaystyle S^{n-1}}$. Θεωρούμε τη συνάρτηση σ περιορισμένη στο ${\displaystyle S^{m-1}}$ × ${\displaystyle S^{n-1}}$. Μιας και τα ${\displaystyle S^{m-1}}$ και ${\displaystyle S^{n-1}}$ είναι συμπαγή σύνολα , η τοπολογία γινόμενο τους είναι επίσης συμπαγής. Επιπλέον, μιας και η σ είναι συνεχής, λαμβάνει τουλάχιστον μια μέγιστη τιμή για τουλάχιστον ένα ζεύγος διανυσμάτων u ∈ ${\displaystyle S^{m-1}}$ και v ∈ ${\displaystyle S^{n-1}}$. Η μέγιστη αυτή τιμή γράφεται σ₁ και τα αντίστοιχα διανύσματα u₁ και v₁. Μιας και το ${\displaystyle \sigma _{1}}$ είναι η μέγιστη τιμή της ${\displaystyle \sigma (u,v)}$ θα πρέπει να είναι μη αρνητική. Αν ήταν αρνητική, αλλάζοντας το πρόσημο είτε του u₁ είτε του v₁ θα την έκανε θετική και επομένως μεγαλύτερη.

Υπόθεση: Τα u₁, v₁ είναι αριστερά και δεξιά ιδιάζοντα διανύσματα του M με αντίστοιχη ιδιάζουσα τιμή την σ₁.

Απόδειξη: Όμοια με την περίπτωση των ιδιοτιμών, από την υπόθεση τα δύο διανύσματα ικανοποιούν την εξίσωση πολλαπλασιαστών του Lagrange:

${\displaystyle \nabla \sigma =\nabla \;{\vec {u}}^{T}\mathbf {M} {\vec {v}}-\lambda _{1}\cdot \nabla \;{\vec {u}}^{T}{\vec {u}}-\lambda _{2}\cdot \nabla \;{\vec {v}}^{T}{\vec {v}}}$

Μετά απο μερικές πράξεις, παίρνουμε

${\displaystyle \mathbf {M} {\vec {v}}_{1}=2\lambda _{1}{\vec {u}}_{1}+0}$

και

${\displaystyle \mathbf {M} ^{T}{\vec {u}}_{1}=0+2\lambda _{2}{\vec {v}}_{1}}$

Πολλαπλασιάζοντας την πρώτη εξίσωση από αριστερά με ${\displaystyle {\vec {u}}_{1}^{T}}$ και τη δεύτερη εξίσωση και πάλι απο αριστερά με ${\displaystyle {\vec {v}}_{1}^{T}}$ και παίρνοντας ||u|| = ||v|| = 1 έχουμε ότι

${\displaystyle \sigma _{1}=2\lambda _{1}=2\lambda _{2}.}$

Σε συνδυασμό με το ζεύγος των εξισώσεων παραπάνω, παίρνουμε τα εξής

${\displaystyle \mathbf {M} {\vec {v}}_{1}=\sigma _{1}{\vec {u}}_{1}}$

και

${\displaystyle \mathbf {M} ^{T}{\vec {u}}_{1}=\sigma _{1}{\vec {v}}_{1}}$

Αυτό αποδεικνύει την υπόθεση.

Περισσότερα ιδιάζοντα διανύσματα και ιδιάζουσες τιμές μπορούν να βρεθούν μεγιστοποιώντας το σ(u, v) με κανονικοποιημένα u, v τα οποία είναι ορθογώνια ως προς τα u₁ και v₁, αντίστοιχα.

Η μετάβαση από τους πραγματικούς στους μιγαδικούς είναι παρόμοια με την περίπτωση των ιδιοτιμών.

Γεωμετρική σημασία

Επειδή οι U και V είναι ορθομοναδιαίοι, γνωρίζουμε ότι οι στήλες u₁, …, u_m του U σχηματίζουν μία ορθοκανονική βάση του K^m και οι στήλες v₁, …, v_n του V μία ορθοκανονική βάση για το Kⁿ (θεωρόντας και τον γνωστό βαθμωτό πολλαπλασιασμό στους χώρους αυτούς).

Ο γραμμικός μετασχηματισμός T :Kⁿ → K^m που απεικονίζει το x στο Mx έχει ιδιαίτερα απλή περιγραφή σε σχέση με αυτές τις ορθοκανονικές βάσεις: έχουμε T(v_i) = σ_i u_i, για i = 1,...,min(m,n), όπου σ_i είναι το i-στο στοιχείο της διαγωνίου του Σ, και T(v_i) = 0 για i > min(m,n).

Η γεωμετρική σημασία της ανάλυσης ενός πίνακα σε ιδιάζουσες τιμές συνοψίζεται ως εξής: για κάθε γραμμική απεικόνιση T :Kⁿ → K^m μπορούμε να βρούμε ορθοκανονικές βάσεις των Kⁿ και K^m έτσι ώστε η T να απεικονίζει το i-στο διάνυσμα βάσης του Kⁿ σε ένα μη αρνητικό πολλαπλάσιο του i-στου διανύσματος βάσης του K^m, και να απεικονίσει την υπόλοιπη βάση σε μηδενικά διανύσματα. Σε σχέση με αυτές τις βάσεις, η απεικόνιση T αντιπροσωπεύεται από έναν διαγώνιο πίνακα με μη αρνητικά, πραγματικά στοιχεία.

Μία καλύτερη εποπτική περιγραφή των ιδιάζουσων τιμών και της ανάλυσης πίνακα σε αυτές -τουλάχιστον για πραγματικούς διανυσματικούς χώρους- είναι η εξής: Θεωρούμε μια σφαίρα S με ακτίνα ένα στον Rⁿ. Η γραμμική απεικόνιση T απεικονίζει την σφαίρα σε ένα ελλειψοειδές στον R^m. Οι μη μηδενικές ιδιάζουσες τιμές είναι τα μήκη των ημιαξόνων του ελλειψοειδούς. Ειδικά όταν n=m, και όλες οι ιδιάζουσες τιμές είναι μη μηδενικές, η ανάλυση της γραμμικής απεικόνισης T μπορεί εύκολα να αναλυθεί σαν αλληλουχία τριών συνεχόμενων κινήσεων: Θεωρούμε το ελλειψοειδές T(S) και τους άξονές του, τότε θεωρούμε τις κατευθύνσεις στον Rⁿ που καθορίζονται από την T σε αυτούς τους άξονες. Αυτές οι κατευθύνσεις είναι μεταξύ τους ορθογώνιες. Αρχικά θεωρούμε την ισομετρία v* που απεικονίζει αυτές τις κατευθύνσεις στους άξονες συντεταγμένων του Rⁿ . Εν συνεχεία, ο ενδομορφισμός d διαγωνιοποιημένος κατά μήκος των αξόνων συντεταγμένων, μεγεθυνμένος ή συρρικνωμένος προς κάθε κατεύθυνση, χρησιμοποιώντας τα μήκη των ημιαξόνων της T(S) ως συντελεστές μεγέθυνσης. Η σύνθεση d ο v* στέλνει την μοναδιαία σφαίρα σε ένα ελλειψοειδές ισομετρικό του T(S). Για να ορίσουμε την τρίτη και τελευταία κίνηση u, θεωρούμε την ισομετρία που μεταφέρει το ελλειψοειδές στο T(S). Όπως μπορεί εύκολα να ελεγθεί, η σύνθεση u ο d ο v* ταυτίζεται με το T.

Υπολογίζοντας την ανάλυση σε ιδιάζουσες τιμές

Αριθμητική προσέγγιση

Η ανάλυση σε ιδιάζουσες τιμές ενός πίνακα M υπολογίζεται μεσω μία διαδικασιας που αποτελείται απο δύο βήματα. Στο πρώτο βήμα, ο πίνακας υποβιβάζεται σε έναν διδιαγώνιο πίνακα, δηλαδή σε έναν πίνακα του οποιου τα μόνα μη μηδενικά στοιχεία είναι αυτά της κύριας διαγώνιου καθώς και αυτά της υποδιαγωνίου ή της υπερδιαγωνίου. Το βήμα αυτό απαιτεί O(mn²) πράξεις κινητής υποδιαστολής (floating-point operations (flops)), αν υποθέσουμε ότι m ≥ n. Στο δεύτερο βήμα υπολογίζουμε την ανάλυση σε ιδιάζουσες τιμές του διδιαγώνιου πίνακα. Αυτό το βήμα μπορεί να γίνει μόνο με επαναληπτικές μεθόδους (όπως οι αλγόριθμοι για τις ιδιοτιμές ). Ωστόσο, στην πράξη αρκεί να υπολογίσουμε την ανάλυση σε ιδιάζουσες τιμές μέχρι μια συγκεκριμενη ακρίβεια, για παράδειγμα την machine epsilon. Αν αυτή η ακρίβεια θεωρηθεί σταθερή τότε το δεύτερο βήμα απαιτεί O(n) βήματα, καθένα από τα οποία κοστίζει O(n) flops. Συνεπώς, το πρώτο βήμα είναι υπολογιστικά πιο ακριβό και έτσι το συνολικό κόστος είναι O(mn²) flops (Trefethen & Bau III 1997, Lecture 31).

Το πρώτο βήμα μπορεί να υλοποιηθεί μέσω των αντικατοπτρισμών του Householder με κόστος 4mn² − 4n³/3 flops, αν υποθέσουμε ότι μας ενδιαφέρουν μόνο οι ιδιάζουσες τιμές και όχι τα ιδιάζοντα διανύσματα. Αν το m είναι πολυ μεγαλύτερο από το n τότε συμφέρει περισσότερο να υποβιβάσουμε πρώτα τον πίνακα σε τριγωνικό μεσω της QR παραγοντοποίησης και μετά με χρήση των αντικατοπτρισμών Householder να υποβιβάσουμε περαιτέρω τον πίνακα σε διδιαγώνια μορφή. Το συνολικό κόστος τότε είναι 2mn² + 2n³ flops (Trefethen & Bau III 1997, Lecture 31).

Το δεύτερο βήμα μπορεί να γίνει με μία παραλλαγή του QR αλγορίθμου για τον υπολογισμό των ιδιοτιμών, ο οποίος περιγράφηκε πρώτη φορά από τους Golub & Kahan (1965). Η υπορουτίνα DBDSQR^[9] της βιβλιοθήκης LAPACK υλοποιεί αυτήν την επαναληπτική μέθοδο, με μερικές προσθήκες ώστε να καλυφθεί και η περίπτωση που οι ιδιάζουσες τιμές είναι πολύ μικρές (Demmel & Kahan 1990). Η ρουτίνα DGESVD^[10] η οποία υπολογίζει την ανάλυση σε ιδιάζουσες τιμές αποτελείται από ένα αρχικό βήμα χρήσης αντικατοπτρισμών Householder, αν είναι απαραίτητο, και μία QR παραγοντοποίηση.

Ο ίδιος αλγόριθμος έχει υλοποιηθεί και στην GNU Scientific Library (GSL). Η GSL προσφέρει επίσης μία εναλλακτική μέθοδο, η οποία χρησιμοποιεί μονόπλευρους Jacobi orthogonalization στο βήμα 2 (GSL Team 2007). Αυτή η μέθοδος υπολογίζει την ανάλυση σε ιδιάζουσες τιμές του διδιαγωνίου πίνακα υπολογίζοντας μία σειρά από αναλύσεις σε ιδιάζουσες τιμές 2x2 πινάκων όμοια με τον τρόπο που ο αλγόριθμος ιδιοτιμών του Jacobi χρησιμοποιεί μεθόδους για τον υπολογισμό ιδιοτιμών 2x2 πινάκων(Golub & Van Loan 1996, §8.6.3). Επίσης μία άλλη μέθοδος για το βήμα 2 χρησιμοποιεί την ιδέα των αλγορίθμων διαίρει και βασίλευε για ιδιοτιμές (Trefethen & Bau III 1997, Lecture 31).

Αναλυτικοί τύποι για 2x2 πίνακες

Οι ιδιάζουσες τιμές ενός 2x2 πίνακα μπορούν να βρεθούν αναλυτικά. Έστω ${\displaystyle \mathbf {M} =z_{0}\mathbf {I} +z_{1}\sigma _{1}+z_{2}\sigma _{2}+z_{3}\sigma _{3}}$ όπου ${\displaystyle z_{i}\in \mathbb {C} }$ οι μιγαδικοί αριθμοί που παραμετροποιούν τον πίνακα, ${\displaystyle \mathbf {I} }$ ο μοναδιαίος πίνακας, και ${\displaystyle \sigma _{i}}$ οι Pauli πίνακες . Τότε οι δύο ιδιάζουσες τιμές δίνονται από τον τύπο

${\displaystyle {\begin{aligned}\sigma _{\pm }&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm {\sqrt {(|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2})^{2}-|z_{0}^{2}-z_{1}^{2}-z_{2}^{2}-z_{3}^{2}|^{2}}}}}\\&={\sqrt {|z_{0}|^{2}+|z_{1}|^{2}+|z_{2}|^{2}+|z_{3}|^{2}\pm 2{\sqrt {(\mathrm {Re} z_{0}z_{1}^{*})^{2}+(\mathrm {Re} z_{0}z_{2}^{*})^{2}+(\mathrm {Re} z_{0}z_{3}^{*})^{2}+(\mathrm {Im} z_{1}z_{2}^{*})^{2}+(\mathrm {Im} z_{2}z_{3}^{*})^{2}+(\mathrm {Im} z_{3}z_{1}^{*})^{2}}}}}\end{aligned}}}$

Ελλατωμένες αναλύσεις σε ιδιάζουσες τιμές

Στις εφαρμογές δεν συνηθίζεται να είναι απαραίτητη όλη η ανάλυση, συμπεριλαμβανομένης και μιας πλήρους unitary ανάλυσης του μηδενοχώρου του πίνακα. Αντ'αυτού, τις περισσότερες φορές επαρκεί (και είναι και ταχύτερο και πιο οικονομικό στην αποθήκευση) να υπολογίσουμε μια ελλατωμένη μορφή της ανάλυσης. Τα παρακάτω ισχύουν για έναν m×n πίνακα M βαθμίδας r:

"Λεπτή" ανάλυση σε ιδιάζουσες τιμές

${\displaystyle \mathbf {M} =\mathbf {U} _{n}{\boldsymbol {\Sigma _{n}}}\mathbf {V} ^{*}}$

Μόνο τα διανύσματα της n στήλης του U που αντιστοιχούν στα διανύσματα γραμμων του V* υπολογίζονται. Τα εναπομείναντα διανύσματα στηλών του U δεν λαμβανονται υπόψιν. Αυτή η διαδικασία ειναι εμφανώς γρηγορότερη και πιο οικονομική από μια πλήρη ανάλυση αν το n≪m. Ο U_n είναι τοτε ένας m×n πίνακας, ο Σ_n ένας n×n διαγώνιος, και ο V ένας n×n.

Το πρώτο βήμα στο υπολογισμό της "λεπτής" ανάλυσης σε ιδιάζουσες τιμές είναι συνήθως μια QR ανάλυση του M, που είναι αρκετά ταχύτερη στον υπολογισμό όταν n≪m.

"Συμπαγής" ανάλυση σε ιδιάζουσες τιμές

${\displaystyle \mathbf {M} =\mathbf {U} _{r}{\boldsymbol {\Sigma }}_{r}\mathbf {V} _{r}^{*}}$

Μόνο τα διανύσματα της r στήλης του U και της r γραμμής του V* που αντιστοιχούν στις μη μηδενικές τιμές Σ_r υπολογίζονται. Τα υπόλοιπα διανύσματα των U και V* δεν υπολογίζονται. Αυτό είναι ακόμα ταχύτερο και πιο οικονομικό απο την προηγούμενη μέθοδο αν ισχύει r≪n. Ο πίνακας U_r είναι τότε m×r, ο Σ_r r×r διαγώνιος, και ο V_r* ένας r×n.

"Αποκομένη" ανάλυση σε ιδιάζουσες τιμές

${\displaystyle {\tilde {\mathbf {M} }}=\mathbf {U} _{t}{\boldsymbol {\Sigma }}_{t}\mathbf {V} _{t}^{*}}$

Μόνο τα διανύσματα της t στήλης του U και της t γραμμής του V* που αντιστοιχούν στην t μεγαλύτερη ιδιάζουσα τιμή Σ_t υπολογίζονται. Ο υπόλοιπος πίνακας δε λαμβάνεται υπόψιν. Η μέθοδος αυτή γίνεται ταχύτερη και οικονομικότερη απο την προηγούμενη όταν t≪r. Ο U_t είναι τότε ένας m×t πίνακας, ο Σ_t ένας t×t διαγώνιος, και ο V_t* ένας t×n.

Φυσικά η truncated SVD δεν είναι πλέον μια ακριβής ανάλυση του αρχικού πίνακα M, αλλά όπως αναφέρθηκε παραπάνω, ο κατά προσέγγιση πίνακας ${\displaystyle {\tilde {\mathbf {M} }}}$ είναι όπως καταλαβαίνουμε η κοντινότερη προσέγγιση του M που μπορούμε να πετύχουμε από ένα πίνακα βαθμίδας t.

Νόρμες

Ky Fan νόρμες

Το άθροισμα των k μεγαλύτερων ιδιάζουσων τιμών του M είναι μία νόρμα πίνακα, η Ky Fan k-νόρμα του M.

Η πρώτη από τις Ky Fan νόρμες, η Ky Fan 1-νόρμα ταυτίζεται με την νόρμα του τελεστή του M αν αυτός θεωρηθεί γραμμικός τελεστής μεταξύ των ευκλείδιων χώρων K^m και Kⁿ. Με άλλα λόγια, η Ky Fan 1-νόρμα είναι η νόρμα τελεστή που επάγεται από το σύνηθες l² Ευκλείδιο εσωτερικό γινόμενο. Για αυτό τον λόγο ονομάζεται και 2-νόρμα τελεστή. Εύκολα μπορεί να επαληθευτεί η σχέση μεταξύ της Ky Fan 1-νόρμας και των ιδιάζουσων τιμών. Στη γενική περίπτωση για κάθε φραγμένο τελεστη M μεταξύ χώρων Hilbert (πεπερασμένης ή άπειρης διάστασης) ισχύει ότι :

${\displaystyle \|\mathbf {M} \|=\|\mathbf {M} ^{*}\mathbf {M} \|^{\frac {1}{2}}}$

Ωστόσο, στην περίπτωση των πινάκων για τον M*M^½ ισχύει ότι M*M^½ = M^½M* , οπότε η ||M* M||^½ είναι η μεγαλύτερη ιδιοτιμή του M* M^½, δηλαδή η μεγαλύτερη ιδιάζουσα τιμή του M.

Η τελευταία από τις Ky Fan νόρμες, το άθροισμα όλων των ιδιάζουσων τιμών, είναι η νόρμα του ίχνους : ||M|| = Tr[(M*M)^½] (οι ιδιοτιμές του M* M είναι τα τετράγωνα των ιδιάζουσων τιμών.)

Νόρμα των Hilbert–Schmidt

Οι ιδιάζουσες τιμές σχετίζονται και με μία άλλη νόρμα από τον χώρο των τελεστών. Θεωρείστε το Hilbert–Schmidt εσωτερικό γινόμενο επί των n × n πινάκων το οποίο ορίζεται μέσω της σχέσης ${\displaystyle \langle \mathbf {M} ,\mathbf {N} \rangle =\operatorname {trace} (\mathbf {N} ^{*}\mathbf {M} )}$. Η επαγόμενη νόρμα θα είναι η ${\displaystyle \|\mathbf {M} \|=\langle \mathbf {M} ,\mathbf {M} \rangle ^{\frac {1}{2}}=\operatorname {trace} (\mathbf {M} ^{*}\mathbf {M} )^{\frac {1}{2}}}$. Επειδή το ίχνος μένει αναλλοίωτο κάτω από unitary ισοδυναμία, έχουμε ότι

${\displaystyle \|\mathbf {M} \|=\left(\sum \sigma _{i}^{2}\right)^{\frac {1}{2}}}$

όπου ${\displaystyle \sigma _{i}}$ είναι οι ιδιάζουσες τιμές του . Αυτή ονομάζεται νόρμα του Φρομπένιους,Schatten 2-νόρμα, ή Hilbert–Schmidt νόρμα του M. Έυκολα προκύπτει ότι αν

${\displaystyle \mathbf {M} =(m_{ij})}$

η Φρομπένιους νόρμα του M συμπίπτει με

${\displaystyle \left(\sum _{ij}|m_{ij}|^{2}\right)^{\frac {1}{2}}}$

Ανάλυση τανυστή σε ιδιάζουσες τιμές

Το πρόβλημα εύρεσης μιας προσέγγισης ενός τανυστή μέσω πίνακα χαμηλής ταξης δεν είναι ορθά ορισμένο. Με άλλα λόγια, δεν υπάρχει η "καλύτερη" λύση, παραμόνο μια σειρά απο καλύτερες κάθε φορά προσεγγίσεις που συγκλίνουν σε άπειρα μεγάλους πίνακες. Παρ'όλ αυτά, υπάρχουν αρκετοί τρόποι να δοκιμάσουμε να κάνουμε την ανάλυση.

Υπάρχουν δύο ειδών αναλύσεις τανυστών οι οποίες γενικεύουν την ανάλυση σε ιδιάζουσες τιμές στην περίπτωση των πολυδιάστατων διατάξεων . Ο ένας από αυτούς αναλύει ένα τανυστή σε άθροισμα τανυστών πρώτης-τάξης, βλέπε αλγόριθμο Candecomp-PARAFAC (CP). Ο CP αλγόριθμος δεν πρέπει να συγχέεται με την rank-R ανάλυση. Αυτό που κάνει ο CP αλγόριθμος είναι για ένα δωθέν N να αναλύει ένα τανυστή σε ένα άθροισμα από N τανυστές πρώτης-τάξης που ταιριάζουν βέλτιστα με τον αρχικό τανυστή. Ο δεύτερος τρόπος ανάλυσης υπολογίζει τους ορθοκανονικούς χώρους που σχετίζονται με τους διάφορους άξονες ή άλλα χαρηκτηριστικά ενός τανυστή (ορθοκανονικός χώρος γραμμών, χώρος στηλών κτλ.). Η ανάλυση αυτή αναφέρεται στη βιβλιογραφία ως Tucker3/TuckerM, M-mode ανάλυση, πολυγραμμική ανάλυση και κάποιες φορές ως higher-order SVD (HOSVD).

Φραγμένοι τελεστές σε χώρους Hilbert

Η παραγοντοποίηση ${\displaystyle \mathbf {M} =\mathbf {U} {\boldsymbol {\Sigma }}\mathbf {V} ^{*}}$ μπορεί να επεκταθεί σε ένα φραγμένο τελεστή ενός διαχωρίσιμου χώρου Hilbert H. Πιο συγκεκριμένα για κάθε φραγμένο τελεστή M, υπάρχει μία μερική ισομετρία U, ένας ορθομοναδιαίος V, ένας μετρικός χώρος (X, μ), και μία μη αρνητική μετρίσημη συνάρτηση f τέτοια ώστε

${\displaystyle \mathbf {M} =\mathbf {U} T_{f}\mathbf {V} ^{*}}$

όπου ${\displaystyle T_{f}}$ είναι ο πολλαπλασιαστικός τελεστής της f στον L²(X, μ).

Αυτό μπορεί να αποδειχθεί αν μιμηθούμε το επιχείρημα της γραμμικής άλγεβρας που χρησιμοποιήθηκε παραπάνω για την περίπτωση των πινάκων. VT_f V* είναι η μοναδική θετική τετραγωνική ρίζα του M*M, όπως δίνεται από τον συναρτησιακό λογισμό του Borel για αυτοσυζυγείς τελεστές. Ο U δεν χρειάζεται να είναι ορθομοναδιαίος επειδή, σε αντίθεση με την πεπερασμένη περίπτωση, δοθείσης μίας ισομετρίας U₁ με μη τετριμμένο πυρήνα, δεν υπάρχει πάντα κατάλληλος τελεστής U₂ τέτοιος ώστε ο

${\displaystyle {\begin{bmatrix}U_{1}\\U_{2}\end{bmatrix}}}$

να είναι unitary τελεστής.

Όσο για τους πίνακες, η παραγοντοποίηση σε ιδιάζουσες τιμές είναι ισοδύναμη με την πολική ανάλυση για τελεστές: μπορούμε απλά να γράψουμε

${\displaystyle \mathbf {M} =\mathbf {U} \mathbf {V} ^{*}\cdot \mathbf {V} T_{f}\mathbf {V} ^{*}}$

και να παρατηρήσουμε ότι ο U V* είναι μερική ισομετρία και η VT_f V* θετική.

Ιδιάζουσες τιμές και συμπαγείς τελεστές

Για να επεκτείνουμε την έννοια της ιδιάζουσας τιμής και του αριστερού/δεξιού ιδιάζοντος διανύσματος στην περίπτωση των τελεστών, πρέπει να περιοριστούμε στους συμπαγείς τελεστές. Είναι γεγονός πως οι συμπαγείς τελεστές σε χώρους Banach έχουν διακριτό φάσμα. Αυτό ισχύει και για συμπαγείς τελεστές σε χώρους Hilbert, αφού αυτοί οι χώροι είναι ειδική περίπτωση των χώρων Banach. Αν ο Τ είναι συμπαγής, κάθε μη μηδενικό λ στο φάσμα είναι ιδιοτιμή. Ακόμη, ένας συμπαγής αυτοσυζηγής τελεστής μπορεί να διαγωνιοποιηθεί από τα ιδιοδιανύσματά του. Αν ο Μ είναι συμπαγής, το ίδιο είναι και ο Μ*Μ. Εφαρμόζοντας το αποτέλεσμα της διαγωνιοποίησης, η unitary εικόνα της θετικής τετραγωνικής ρίζας του T_f έχει ένα σύνολο ορθοκανονικών ιδιοδιανυσμάτων {e_i} που αντιστοιχούν σε αυστηρά θετικές ιδιοτιμές {σ_i}. Για κάθε ψ ∈ H,

${\displaystyle \mathbf {M} \psi =\mathbf {U} T_{f}\mathbf {V} ^{*}\psi =\sum _{i}\langle \mathbf {U} T_{f}\mathbf {V} ^{*}\psi ,\mathbf {U} e_{i}\rangle \mathbf {U} e_{i}=\sum _{i}\sigma _{i}\langle \psi ,\mathbf {V} e_{i}\rangle \mathbf {U} e_{i}}$

όπου οι σειρές συγκλίνουν με στην νόρμα του H. Παρατηρήστε πως η παραπάνω έκφραση ισχύει και στην περίπτωση της πεπερασμένης διάστασης. Τα σ_i καλούνται ιδιάζουσες τιμές του M. Τα {U e_i} και {V e_i} μπορούν να θεωρηθούν αριστερά και δεξιά ιδιάζοντα διανύσματα του M αντίστοιχα.

Οι συμπαγείς τελεστές σε χώρους Hilbert είναι η κλειστή θήκη των πεπερασμένης βαθμίδας στην ομοιόμορφη τοπολογία τελεστών. Η παραπάνω έκφραση (άθροισμα) είναι μία εξήγηση αυτού του ισχυρισμού. Μία άμεση συνέπεια αυτού είναι:

Θεώρημα: Ο M είναι συμπαγής αν και μόνο αν ο M*M είναι συμπαγής.

Ιστορία

Η ανάλυση ενός πίνακα σε ιδιάζουσες τιμές αρχικά αναπτύχθηκε από όσους ασχολήθηκαν με την διαφορική γεωμετρία, με σκοπό να ελλέγξουν αν η διγραμμική μορφή ενός πίνακα, μπορεί να ισούται με μία άλλη χρησιμοποιώνας ανεξάρτητους ορθογώνιους μετασχηματισμούς των δύο χώρων στους οποίυος δρα η διγραμμική μορφή. Ο Eugenio Beltrami και ο Camille Jordan ανακάλυψαν ξεχωριστά, το 1873 και 1874 αντίστοιχα, ότι οι ιδιάζουσες τιμές των διγραμμικών μορφών, γραμμένες σε μορφή πίνακα, συνιστούν ένα πλήρες σύνολο αναλλοίωτων για διγραμμικές μορφές κάτω απο ορθογώνιες αντικαταστάσεις. Ο James Joseph Sylvester επίσης κατασκεύασε την ανάλυση πίνακα σε ιδιάζουσες τιμές για πραγματικούς τετραγωνικούς το 1889, ανεξάρτητα και από τον Beltrami και από τον Τζόρνταν. Ο Sylvester ονόμασε τις ιδιάζουσες τιμές κανονικούς πολλαπλασιαστές (canonical multipliers) του πίνακα Α. Ο τέταρτος μαθηματικός που ανέλυσε έναν πίνακα σε ιδιάζουσες τιμές, ανεξάρτητα των προηγουμένων, ήταν ο Autonne το 1915, ο οποίος έφτασε εκεί μέσω της πολικής ανάλυσης. Η πρώτη απόδειξη της ανάλυσης ενός πίνακα σε ιδιάζουσες τιμές για ορθογώνιους και μιγαδικούς πίνακες, φέρεται να έγινε από τον Carl Eckart και τον Gale Young το 1936,^[11] οι οποίοι την είδαν σαν γενίκευση του μετασχηματισμού του κύριου άξονα για ερμιτιανούς πίνακες.

Το 1907, ο Erhard Schmidt όρισε μία έννοια ανάλογη με αυτή των ιδιαζόντων τιμών για τους ολοκληρωτικούς τελεστές (που είναι συμπαγής, κάτω απο ορισμένες αδύναμες υποθέσεις. Δεν γνώριζε για την δουλειά που γινόταν παράλληλα πάνω στις ιδιάζουσες τιμές πεπερασμένων πινάκων. Η θεωρία αναπτύχθηκε περαιτέρω από τον Émile Picard το 1910, ο οποίος ήταν ο πρώτος που αποκάλεσε τα στοιχεία ${\displaystyle \sigma _{k}}$ ιδιάζουσες τιμές (ή στα γαλλικά: valeurs singulières).

Πρακτικές μέθοδοι του υπολογισμού της ανάλυσης πίνακα σε ιδιάζουσες τιμές, χρονολογούνται από το 1954, 1955 με τον Kogbetliantz και το 1958 με τον Hestenes.^[12] Που θυμίζουν αρκετά τον αλγόριθμο υπολογισμού ιδιοτιμών του Jacobi, που χρησιμοποιεί περιστροφές επιπέδων ή περιστροφές του Givens. Παρ' ότι αυτές αντικαταστάθηκαν από τη μέθοδο των Gene Golub και William Kahan που εκδόθηκε το 1965,^[13] που χρησιμοποιεί μετασχηματισμούς του Householder ή αντανακλάσεις. Το 1970, ο Golub και ο Christian Reinsch^[14] δημοσίευσαν μία παραλαγή του αλγορίθμου Golub/Kahan που είναι και η πιο πολυχρησιμοποιημένη μέχρι σήμερα.

Σχετικά πεδία

• Ανάλυση κανονικής συσχέτισης
• Κανονική μορφή
• Ανάλυση αντιστοιχίας
• Ψηφιακή επεξεργασία σήματος
• Μείωση διάστασης
• Ανάλυση σε ιδιοτιμές
• Εμπειρικές ορθογώνιες συναρτήσεις
• Ανάλυση Fourier
• Μετασχηματισμοί σχετικοί με ανάλυση Fourier
• Γενικευμένη ανάλυση σε ιδιάζουσες τιμές
• Λανθάνουσα σημασιολογική ανάλυση
• Λανθάνουσα σημασιολογική δεικτοδότηση
• Γραμμική μέθοδος ελαχίστων τετραγώνων
• Προσέγγιση με πίνακες χαμηλής βαθμίδας
• Ανάλυση πινάκων
• Πολυγραμμική ανάλυση κυρίων συνιστωσών
• Αναζήτηση κοντινότερου γειτνιάζοντος σημείου
• Μη-γραμμική επαναληπτική μερική μέθοδος ελαχίστων τετραγώνων
• Πολική ανάλυση
• Ανάλυση κύριων συνιστωσών
• Ιδιάζουσα τιμή
• Χρονοσειρές
• Δισδιάστατη ανάλυση σε ιδιάζουσες τιμές (2DSVD)
• Ανισότητα των ιχνών του von Neumann
• Συμπίεση κυμάτων

Παραπομπές

1. The Singular Value Decomposition in Symmetric (Lowdin) Orthogonalization and Data Compression
2. O. Alter, P. O. Brown and D. Botstein (September 2000). «Singular Value Decomposition for Genome-Wide Expression Data Processing and Modeling». PNAS 97 (18): 10101–10106. doi:10.1073/pnas.97.18.10101. http://dx.doi.org/10.1073/pnas.97.18.10101. 
3. O. Alter and G. H. Golub (November 2004). «Integrative Analysis of Genome-Scale Data by Using Pseudoinverse Projection Predicts Novel Correlation Between DNA Replication and RNA Transcription». PNAS 101 (47): 16577–16582. doi:10.1073/pnas.0406767101. http://dx.doi.org/10.1073/pnas.0406767101. 
4. O. Alter and G. H. Golub (August 2006). «Singular Value Decomposition of Genome-Scale mRNA Lengths Distribution Reveals Asymmetry in RNA Gel Electrophoresis Band Broadening». PNAS 103 (32): 11828–11833. doi:10.1073/pnas.0604756103. http://dx.doi.org/10.1073/pnas.0604756103. 
5. N. M. Bertagnolli, J. A. Drake, J. M. Tennessen and O. Alter (November 2013). «SVD Identifies Transcript Length Distribution Functions from DNA Microarray Data and Reveals Evolutionary Forces Globally Affecting GBM Metabolism». PLoS One 8 (11): e78913. doi:10.1371/journal.pone.0078913. Highlight. http://dx.doi.org/10.1371/journal.pone.0078913. 
6. S. Walton, , O. Hassan , K. Morgan, Reduced order modelling for unsteady fluid flow using proper orthogonal decomposition and radial basis functions, Applied Mathematical Modelling, http://www.sciencedirect.com/science/article/pii/S0307904X13002771
7. Gharib Shirangi, M., History matching production data and uncertainty assessment with an efficient TSVD parameterization algorithm, Journal of Petroleum Science and Engineering, http://www.sciencedirect.com/science/article/pii/S0920410513003227
8. Sarwar, Badrul; Karypis, George; Konstan, Joseph A.; Riedl, John T. (2000) (PDF). Application of Dimensionality Reduction in Recommender System -- A Case Study. University of Minnesota. http://files.grouplens.org/papers/webKDD00.pdf. Ανακτήθηκε στις May 26, 2014. 
9. Netlib.org
10. Netlib.org
11. Eckart, C.; Young, G. (1936). «The approximation of one matrix by another of lower rank». Psychometrika 1 (3): 211–8. doi:10.1007/BF02288367. https://archive.org/details/sim_psychometrika_1936-09_1_3/page/211. 
12. Hestenes, M. R. (1958). «Inversion of Matrices by Biorthogonalization and Related Results». Journal of the Society for Industrial and Applied Mathematics 6 (1): 51–90. doi:10.1137/0106005. . 
13. Golub, G. H.; Kahan, W. (1965). «Calculating the singular values and pseudo-inverse of a matrix». Journal of the Society for Industrial and Applied Mathematics: Series B, Numerical Analysis 2 (2): 205–224. doi:10.1137/0702016. . 
14. Golub, G. H.; Reinsch, C. (1970). «Singular value decomposition and least squares solutions». Numerische Mathematik 14 (5): 403–420. doi:10.1007/BF02163027. . https://archive.org/details/sim_numerische-mathematik_1970_14_5/page/403. 

Αναφορές

• Trefethen, Lloyd N.· Bau III, David (1997). Numerical linear algebra. Philadelphia: Society for Industrial and Applied Mathematics. ISBN 978-0-89871-361-9. 
• Demmel, James; Kahan, William (1990). «Accurate singular values of bidiagonal matrices». Society for Industrial and Applied Mathematics. Journal on Scientific and Statistical Computing 11 (5): 873–912. doi:10.1137/0911052. 
• Golub, Gene H.; Kahan, William (1965). «Calculating the singular values and pseudo-inverse of a matrix». Journal of the Society for Industrial and Applied Mathematics: Series B, Numerical Analysis 2 (2): 205–224. doi:10.1137/0702016. 
• Golub, Gene H.· Van Loan, Charles F. (1996). Matrix Computations (3rd έκδοση). Johns Hopkins. ISBN 978-0-8018-5414-9. 
• GSL Team (2007). «§14.4 Singular Value Decomposition». GNU Scientific Library. Reference Manual. 
• Halldor, Bjornsson and Venegas, Silvia A. (1997). "A manual for EOF and SVD analyses of climate data". McGill University, CCGCR Report No. 97-1, Montréal, Québec, 52pp.
• Hansen, P. C. (1987). «The truncated SVD as a method for regularization». BIT 27: 534–553. doi:10.1007/BF01937276. 
• Horn, Roger A.; Johnson, Charles R. (1985). «Section 7.3». Matrix Analysis. Cambridge University Press. ISBN 0-521-38632-2. 
• Horn, Roger A.; Johnson, Charles R. (1991). «Chapter 3». Topics in Matrix Analysis. Cambridge University Press. ISBN 0-521-46713-6. 
• Samet, H. (2006). Foundations of Multidimensional and Metric Data Structures. Morgan Kaufmann. ISBN 0-12-369446-9. 
• Strang G. (1998). «Section 6.7». Introduction to Linear Algebra (3rd έκδοση). Wellesley-Cambridge Press. ISBN 0-9614088-5-5. 
• Stewart, G. W. (1993). «On the Early History of the Singular Value Decomposition». SIAM Review 35 (4): 551–566. doi:10.1137/1035134. http://citeseer.ist.psu.edu/stewart92early.html. 
• Wall, Michael E., Andreas Rechtsteiner, Luis M. Rocha (2003). «Singular value decomposition and principal component analysis». Στο: D.P. Berrar, W. Dubitzky, M. Granzow, επιμ. A Practical Approach to Microarray Data Analysis. Norwell, MA: Kluwer. σελίδες 91–109. Αρχειοθετήθηκε από το πρωτότυπο στις 14 Ιουνίου 2006. Ανακτήθηκε στις 14 Ιουνίου 2014. 
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), «Section 2.6», Numerical Recipes: The Art of Scientific Computing (3rd έκδοση), New York: Cambridge University Press, ISBN 978-0-521-88068-8, http://apps.nrbook.com/empanel/index.html?pg=65, ανακτήθηκε στις 2014-06-14