Calcolo numerico/Approssimazione dei minimi quadrati con funzioni continue

Descrizione del problema

Supponiamo di avere una funzione $f$ continua su un certo intervallo $[a,b]$ (invece che un insieme di dati), e supponiamo di considerare un set di funzioni $\{\phi _{j}(x)\}$ che costituiscono un insieme di generatori indipendenti. Vogliamo determinare $\phi _{\ast }(x)=\sum _{j=1}^{n}\alpha _{j}^{*}\phi _{j}(x)$ tali che

$(\vert f-\phi _{\ast }\vert )^{2}=\min _{\phi \in V}(\vert f-\phi \vert )^{2}$

Consideriamo il prodotto scalare $L_{2}$ pesato, tale che

$g\cdot h=\int _{a}^{b}\omega (x)g(x)h(x)\,dx$

dove $\omega (x)$ viene chiamata peso.

Si dice funzione peso una funzione $\omega (x)\geq 0\forall x\in [a,b]$, e tale che $\int _{a}^{b}\omega (x)dx<\infty$. Il prodotto scalare induce una norma

$\vert g\vert ={\sqrt {\int _{a}^{b}\omega (x)g(x)\,dx}}$

Chiamiamo

$\psi (a_{0},\dots ,a_{n})=(\vert f-\phi \vert )^{2}=\int _{a}^{b}[f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x)]^{2}\omega _{x}\,dx$

Per ogni $i=0,\dots ,n$ consideriamo

${\frac {\partial \psi }{\partial a_{i}}}=\int _{a}^{b}{\frac {\partial }{\partial a_{i}}}[f-\sum _{j=0}^{n}\phi (x)^{2}]\omega (x)\,dx$

$=\int _{a}^{b}2*(f(x)-\sum _{j=0}^{n}a_{j}\phi _{j}(x))*(-\phi _{j}(x))*\omega (x)\,dx$

e imponiamo

$2(-f\cdot \phi _{i}+\sum _{j=0}^{n}a_{j}*\phi _{i}\cdot \phi _{j})=0$

Otteniamo il sistema delle equazioni normali

$C{\boldsymbol {a}}={\boldsymbol {b}}$

con

$C=(c_{ij})=\phi _{i}\cdot \phi _{j}$

$b_{i}=f\cdot \phi _{i}$

Come nel caso discreto, $C=H_{\psi }$, e dimostriamo che $C$ è simmetrica e definita positiva.

Proposizione 5.2

Se $C$ è simmetrica definita positiva, allora esiste unica la soluzione del sistema

$C{\boldsymbol {a}}={\boldsymbol {b}}$

ed è un minimo.

Dim. La simmetria è ovvia per le proprietà del prodotto scalare

$c_{ij}=\phi _{i}\cdot \phi _{j}=\int _{a}^{b}\phi _{i}\phi _{j}\omega (x)\,dx=\phi _{j}\cdot \phi _{i}\forall i,j$

Dimostriamo che per ogni $z\neq 0$.

${\boldsymbol {z}}^{t}C{\boldsymbol {z}}>0$

dove

${\boldsymbol {z}}^{t}C{\boldsymbol {z}}=\sum _{i,j=0}^{n}z_{i}C_{ij}z_{j}$

e sostituendo le espressioni dei $C_{ij}$ otteniamo

$=(\sum _{i}z_{i}\phi _{i})*\sum _{j}\phi _{j}z_{j})$

$=(\vert \sum _{j=0}^{n}\phi _{j}z_{j}\vert )^{2}\geq 0$

$z^{t}Cz=0$ se e solo se $\vert \phi \vert =0$, cioè

$\sum _{j=0}^{n}\phi _{j}z_{j}=0$

e quindi se e solo se $z_{j}=0\forall j$.

Si garantisce che l'unica soluzione del sistema lineare è un minimo.

Esempio sullo spazio dei polinomi

Consideriamo come peso $w(x)=1$, e i generatori $\phi _{j}=x^{j},\quad j=0,\dots ,n$ (spazio dei polinomi di grado $n$).

$c_{ij}=\int _{a}^{b}x^{i}x^{j}\,dx=\int _{a}^{b}x^{i+j}\,dx=1/(i+j+1)*[b^{i+j+1}-a^{i+j+1})$

Si ottiene una matrice di Henkel, costante lungo le antidiagonali.

Nel caso in cui $[a,b]=[0,1]$ si ha $c_{ij}=1/(i+j+1)$ e $C$ è la matrice di Hilbert.

${\begin{array}{cccc}1&1/2&1/3&1/4\\1/2&1/3&1/4&1/8\\1/3&1/4&1/5&1/6\\1/4&1/5&1/6&1/7\end{array}}$

È un esempio di matrice mal condizionata.

Sistema di generatori ortogonali

Per evitare di avere sistemi con matrici mal condizionate, consideriamo $\phi _{i}\cdot \phi _{j}=0\forall i\neq j$, in modo che $C$ sia una matrice diagonale.

Introduciamo famiglie di polinomi ortogonali rispetto a funzioni peso assegnate.

Caso 1: polinomi di Legendre

Questi polinomi sono ortogonali sull'intervallo $[-1,1]$ con $\omega (x)=1$.

$l_{i}\cdot l_{j}=\int _{a}^{b}l_{i}l_{j}\,dx=k*\delta _{ij}$

$l_{0}(x)=1$

$l_{1}(x)=x$

$(j+1)*l_{j+1}(x)=(2j+1)x*l_{j}(x)-jl_{j-1}(x)\quad {\hbox{formula di ricorsione a tre termini}}$

dove $l_{i}\cdot l_{i}=2/(2i+1)$.

Segue che, siccome il sistema dei minimi quadrati ha una matrice diagonale, si ha

$a_{j}=\int _{-1}^{1}{\frac {f*\phi _{j}}{2/(2j+1)}}$

Il condizionamento spettrale di una matrice simmetrica e definita positiva è

${\frac {\lambda _{max}(C)}{\lambda _{min}(C)}}={\frac {2/(0+1)}{2/(2n+1)}}=2n+1$

e il condizionamento cresce in maniera lineare rispetto a $n$.

Caso 2: polinomi di Chebyshev

Definiamo i pesi

$w(x)={\frac {1}{\sqrt {1-x^{2}}}}$

e

$t_{j}(x)=\cos(j*\arccos x)$

$t_{i}\cdot t_{j}=\int _{-1}^{1}{\frac {\cos(j*\arccos(x))*\cos(i*\arccos(x))}{\sqrt {1-x^{2}}}}=$

$={\begin{cases}0&\iff i\neq j\\\pi &\iff i=j=0\\\pi /2&\iff i=j>0\end{cases}}$

$a_{j}=\int _{-1}^{1}{\frac {f*t_{j}}{{\sqrt {1-x^{2}}}*(t_{j}\cdot t_{j})}}$

Cerchiamo

$K_{2}(C)={\frac {\pi }{\pi /2}}=2$

e il condizionamento è indipendente dalla dimensione.