Vectori_proprii_PCA - Curs 5
-
Upload
jayme-howard -
Category
Documents
-
view
217 -
download
0
description
Transcript of Vectori_proprii_PCA - Curs 5
Slide 1
VECTORI I VALORI PROPRIIANALIZA IN COMPONENTE PRINCIPALE (PCA)
I. VECTORI I VALORI PROPRII
II. DESCOMPUNEREA SCHUR
II. DESCOMPUNEREA SCHUR
III. DESCOMPUNEREA SVD
IV. PCA
I. PCA
Definiia 1. Fie nxn;
QUOTE valoare proprie a lui A dac exist n nenul (vector propriu asociat valorii proprii ) cu (1)Mulimea valorilor proprii asociate matricei A: (spectrul lui A) Definiia 2. Fie nxn
QUOTE o valoare proprie; x i y se numesc vector propriu la dreapta (drept), respectiv vector propriu la stnga (stng) asociai valorii proprii dac
i ,(2)
QUOTE valoare proprie a lui : soluie a ecuaiei caracteristice (polinom characteristic)
(3)
Proprieti
1. Fie o valoare proprie a lui A i x un vector propriu asociat. Atunci
EMBED Equation.3 2.
3.
4. ,
_1444637952.unknown
_1444637970.unknown
_1444637973.unknown
_1444637975.unknown
_1444638701.unknown
_1444638710.unknown
_1444638592.unknown
_1444637974.unknown
_1444637971.unknown
_1444637964.unknown
_1444637969.unknown
_1444637963.unknown
_1444637946.unknown
_1444637950.unknown
_1444637951.unknown
_1444637947.unknown
_1444637943.unknown
_1444637945.unknown
_1444637942.unknown
Definiia 3. nxn se numete hermitian sau auto-adjunct dac ; unitar dac ; dac se numete ortogonal;
normal dac .
Definiia 4. Fie , nesingular. i sunt similar;
se numete transformare similar. i se numesc unitar/ortogonal similare dac este unitar/ortogonal.
Definiia 5. Fie . se numete diagonalizabil dac exist o matrice nesingular astfel nct , unde este matrice diagonal.
Proprietatea 1. Descompunerea Schur Fie . Atunci exist o matrice unitar astfel nct s aib loc relaia (4)unde este o matrice superior triunghiular astfel nct _1444637976.unknown
Observaii.
1) Dac matricea este hermitian, atunci (5)
Valorile proprii ale matricei hermitiene A sunt numere reale. n particular, dac matricea A este cu numere reale i este simetric, rezult c valorile proprii ale lui A sunt numere reale.
, , (6)
deci U este matrice cu coloane un set de vectori proprii ai matricei A. U este matrice unitar, deci coloanele lui U formeaz o baz ortogonal a spaiului .
2) Dac matricea este hermitian, (7)
unde . Relaia (7) este referit drept descompunerea spectral a matricei A. Proprietatea 2. Descompunerea SVD. Fie . Exist matricele unitare i V astfel nct
(8)
.
Relaia (8) - descompunerea SVD a matricei AValorile (notate i ) - valorile singulare ale lui A.
Observaii 1) QUOTE
(9)2) Dac este matrice hermitian avnd valorile proprii , atunci valorile singulare ale lui A coincid cu modulul valorilor proprii ale lui A:
, pentru .
Analiza n componente principale este o tehnic prin care este explicat structura corelaiilor prezente ntr-un set de variabile, prin utilizarea unei mulimi de combinaii liniare de variabile. Analiza n componente principale presupune c statisticile de ordinul I i II ale lui X sunt cunoscute sau pot fi estimate din datele de observaie; nu sunt necesare cunotine a priori asupra densitii de probabilitate a lui X. Nu este necesar cunoaterea modelului generativ al vectorului aleator X. Selectarea caracteristicilor lineare de varian maxim
Fie vector aleator n-dimensional astfel nct i .
Definiia 6 Vectorul Rn este prima ax principal n sensul varianei dac i .
- prima component principal a lui X, n sensul varianei. _1046290726.unknown
_1046290728.unknown
_1253621541.unknown
_1253621554.unknown
_1046290729.unknown
_1046290727.unknown
_1046290725.unknown
Pentru , Rn este cea de-a k-a ax principal n sensul varianei dac i
- spaiul ortogonal pe spaiul linear generat de primele k-1 componente principale .
- cea de-a k-a component principal a lui X, n sensul varianei. Definiia 7 Pentru m numr natural, , axele (caracteristicile) optimale n sensul varianei pentru reprezentarea formei X sunt . Vectorul aleator , n care , , este reprezentarea formei X n termenii setului de caracteristici . _1046290735.unknown
_1046290739.unknown
_1046290742.unknown
_1253621633.unknown
_1273045557.unknown
_1046290743.unknown
_1046290741.unknown
_1046290737.unknown
_1046290738.unknown
_1046290736.unknown
_1046290732.unknown
_1046290733.unknown
_1046290731.unknown
Observaii1. Dac
este baz ortonormal a spaiului Rn i pentru orice i, , rezult,
,
,
i .
2. Dac = un set de vectori proprii corespunztori matricei , atunci,
,
i sunt valorile proprii ale matricei . Rezult c transformarea realizeaz decorelarea variabilelor aleatoare .
n cazul particular al repartiiei normale X~, ~, .
Teorema1 Fie vector aleator n-dimensional astfel nct i . Atunci, pentru orice k, , cea de-a k-a ax principal n sensul varianei este vectorul propriu corespunztor matricei i asociat valorii proprii . _1414816717.unknown
_1414816721.unknown
_1414816725.unknown
_1414816729.unknown
_1414816731.unknown
_1414816732.unknown
_1414816733.unknown
_1414816730.unknown
_1414816727.unknown
_1414816728.unknown
_1414816726.unknown
_1414816723.unknown
_1414816724.unknown
_1414816722.unknown
_1414816719.unknown
_1414816720.unknown
_1414816718.unknown
_1046290768.unknown
_1046290770.unknown
_1414816716.unknown
_1046290769.unknown
_1046290766.unknown
_1046290767.unknown
_1046290765.unknown
Caracteristicile lineare optimale din punct de vedere al erorii medii ptratice; reprezentarea Karhunen-Love
cu i mN fixat, , (R) cu WTW inversabil. Dac sunt selectate drept caracteristici vectorii coloan ai matricei W, atunci reprezentarea unei forme X este Y=WTX,
, .
Teorema2. Dac (R) fixat este astfel nct matricea WTW este nesingular, reconstrucia optimal din punct de vedere al erorii medii ptratice este realizat prin intermediul transformrii,
.
Schema de compresie/decompresie rezultat n urma transformrii U, este,
(10)_1046290786.unknown
_1046290788.unknown
_1046290790.unknown
_1444644900.unknown
_1444644924.unknown
_1046290793.unknown
_1046290789.unknown
_1046290787.unknown
_1046290784.unknown
_1046290785.unknown
_1046290783.unknown
W este astfel nct s fie minimizat eroarea medie ptratic a schemei
(11)
Teorema3 (Schema de compresie/reconstrucie linear optimal LMS) Fie valorile proprii ale matricei de covarian i un set de vectori proprii asociai. Schema de compresie/reconstrucie linear definit prin (11) este optimal din punct de vedere al erorii medii ptratice dac
EMBED Equation.3, spaiul linear generat de vectorii .
Schema de compresie/decompresie linear de eroare ptratic minim corespunde matricelor
EMBED Equation.3, ,
(12)
.
Dac m=n i sunt vectorii proprii ortonormali ai matricei de covarian , atunci este referit drept reprezentarea Karhunen-Love a formei X.
_1046290849.unknown
_1046290897.unknown
_1046290900.unknown
_1046290902.unknown
_1444645150.unknown
_1444645304.unknown
_1046290901.unknown
_1046290899.unknown
_1046290895.unknown
_1046290896.unknown
_1046290851.unknown
_1046290847.unknown
_1046290848.unknown
_1046290846.unknown