Decomposizione in valori singolari di una matrice

Se si considera una matrice $A$ simmetrica, di dimensioni $N \times N$, con elementi reali tale che

$$A_{m n}\,=\,A_{n m} \, .$$

Allora esiste una matrice diagonale $\Lambda$ e una matrice ortogonale $U$ tali che

$$A\,=\,U \Lambda U^{T} \, .$$

Gli elementi diagonali di $\Lambda$, $(\lambda_{1},....,\lambda_{N})$, costituiscono gli autovalori di $A$; le colonne di $U$, $(u_{1},....,u_{N})$, costituiscono gli autovettori di $A$, associati ai rispettivi autovalori, essi sono soluzioni dei problemi:

$$Au_{k}\,=\,\lambda_{k}u_{k} \,\,\,\,\,\,\,\,\,\,\, k\,=\,1,2,....,N \, .$$

Gli autovettori sono ortonormali rispetto al prodotto scalare euclideo, ovvero:

$$(u_{k},u_{j})_{N}\,=\, \delta_{kj}$$

dove $\delta_{kj}$ è il simbolo di Kronecker.
La forma diagonale di $A$ implica la seguente rappresentazione spettrale:

$$Af\,=\, \sum_{k=1}^{N} \lambda_{k} \, (f,u_{k})_{N} u_{k} \, .$$

Se la matrice $A$ è semidefinita positiva, cioè se

$$(Af,f)_{N}\, \geq \, 0$$

allora $\lambda_{k} \geq 0$.
Se $p$ è il rango della matrice, si possono ordinare gli autovalori in modo tale che $\lambda_{1}\geq....\geq\lambda_{p}$, $\lambda_{p+1}=....=\lambda_{N}=0$.
Se $A$ è positiva, cioè se

$$(Af,f)_{N}\, > \, 0 \,\,\,\,\,\,\,\,\,\,\,\,\, \forall f \neq 0$$

allora $\lambda_{k} > 0$ (cioè $p=N$) e si possono ordinare gli autovalori in modo tale che $\lambda_{1}\geq....\geq\lambda_{N}$.
Il caso più generale, però, è quello in cui la matrice $A$ è rettangolare, di dimensioni $M \times N$, e rango $p$.
Se $A^{T}$ è la matrice trasposta di $A$, si considerino le matrici $A^{T}A$ di dimensioni $N \times N$ con autovettori $v_{k}$ e $AA^{T}$ di dimensioni $M \times M$ con autovettori $u_{k}$. Si può dimostrare che tali matrici sono simmetriche e semidefinite (o definite) positive; inoltre queste matrici hanno gli stessi autovalori (che indicheremo con $\sigma^{2}$) positivi e con la stessa molteplicità.
Si ottengono, quindi, le seguenti rappresentazioni spettrali:

$$A^{T}Af\,=\, \sum_{k=1}^{p} \sigma_{k}^{2} \, (f,v_{k})_{N} v_{k}$$ (A.1)

$$AA^{T}g\,=\, \sum_{k=1}^{p} \sigma_{k}^{2} \, (g,u_{k})_{M} u_{k}$$ (A.2)

Valgono le seguenti relazioni:

$$Av_{k}\,=\,\sigma_{k}u_{k} \,\,\,\,\,\,\,\, A^{T}u_{k}\,=\,\sigma_{k}v_{k} \, .$$

Si ottengono le seguenti rappresentazioni:

$$Af\,=\, \sum_{k=1}^{p} \sigma_{k} \, (f,v_{k})_{N} u_{k}$$ (A.3)

$$A^{T}g\,=\, \sum_{k=1}^{p} \sigma_{k} \, (g,u_{k})_{M} v_{k} \, .$$ (A.4)

Si ottiene, così, la decomposizione a valori singolari (SVD) di una matrice $A$ arbitraria e della sua trasposta.
Sia $U$ la matrice isometrica di dimensione $M\times p$, le cui colonne sono costituite dai vettori $u_{1},....,u_{p}$; sia $V$ la matrice isometrica di dimensioni $N\times p$, le cui colonne sono i vettori $v_{1},....,v_{p}$; allora si può scrivere:

$$A\,=\,U \Sigma V^{T}\,\,\,\,\,\,\,\,\,\, A^{T}\,=\,V \Sigma U^{T}$$ (A.5)

dove $\Sigma$ è la matrice diagonale di dimensioni $p\times p$, avente gli autovalori $\sigma_{k}$ con $k=1,....,p$ sulla diagonale principale.

Se si deve risolvere il seguente sistema lineare algebrico:

$$Af\,=\,g$$

dove $A$ è una matrice di dimensione $M \times N$ di rango $p$, si può trovare la soluzione generalizzata $f^{\dagger}$, ovvero la soluzione ai minimi quadrati avente norma minima, tramite la SVD.
Le soluzioni ai minimi quadrati sono tutte e sole le soluzioni del seguente problema:

$$\vert\vert\,Af\,-\,g\,\vert\vert _{M}\,=\, minimo$$

Esse costituiscono le soluzioni dell'equazione di Eulero:

$$A^{T}Af\,=\,A^{T}g \, .$$

Dalle formule (A.1) e (A.4) si ottiene:

$$\sum_{k=1}^{p} \sigma_{k}^{2} \, (f,v_{k})_{N} v_{k}\,=\,\sum_{k=1}^{p} \sigma_{k} \, (g,u_{k})_{M} v_{k}$$

e quindi eguagliando le componenti secondo i $v_{k}$ si ha:

$$(f,v_{k})_{N}\,=\,\frac{1}{\sigma_{k}}(g,u_{k})_{M} \, .$$

Quindi la soluzione generalizzata $f^{\dagger}$ è la seguente:

$$f^{\dagger}\,=\,\sum_{k=1}^{p} \frac{1}{\sigma_{k}}(g,u_{k})_{M} v_{k} \, .$$

Essa può anche essere scritta nella seguente forma

$$f^{\dagger}\,=\,A^{\dagger}g$$

La matrice $A^{\dagger}$ di dimensioni $N \times M$ e di rango $p$ è detta matrice inversa generalizzata (o inversa di Moore-Penrose) di $A$.
Dall'equazione (A.5 della SVD di $A$ si ottiene la SVD di $A^{\dagger}$:

$$A^{\dagger}\,=\,V \Sigma^{-1} U^{T} \, .$$