特徵值與多變量 1 Definition 1 If A is an n  n matrix, a real number λ is called an eigenvalue of A if If A is an n  n matrix, a real number λ is called an eigenvalue of A if The nonzero vector p is called an eigenvector of A corresponding toλ. The nonzero vector p is called an eigenvector of A corresponding toλ. Eigenvalues and eigenvectors are often called characteristic values and characteristic vectors, respectively. Eigenvalues and eigenvectors are often called characteristic values and characteristic vectors, respectively. Ap=λp

特徵值與多變量 2 Definition 2 Let A be any n  n matrix. A number λ is an eigenvalue of A if and only if Let A be any n  n matrix. A number λ is an eigenvalue of A if and only if Ap=λp for some p  0 (A-λI)p=0 for some p  0

特徵值與多變量 3 Definition 3 A matrix U is invertible if and only if Up=0 implies that p=0. Hence p is an eigenvector of A if and only if A-λI is not invertible, and this in turn means that A matrix U is invertible if and only if Up=0 implies that p=0. Hence p is an eigenvector of A if and only if A-λI is not invertible, and this in turn means that If x is an indeterminate, c A (x)=Det(A-xI) is a polynomial in x of degree n called the characteristic polynomial of the n  n matrix A. If x is an indeterminate, c A (x)=Det(A-xI) is a polynomial in x of degree n called the characteristic polynomial of the n  n matrix A. Thus the eigenvalues of A are precisely the roots of c A (x) Thus the eigenvalues of A are precisely the roots of c A (x) Det(A-λI)=0

特徵值與多變量 4 Definition 4 Let A be an n  n matrix. The eigenvalues of A are the roots of the characteristic polynomial of A. That is, they are the numbers λ satisfying c A (λ)=det(A-λI)=0 Let A be an n  n matrix. The eigenvalues of A are the roots of the characteristic polynomial of A. That is, they are the numbers λ satisfying c A (λ)=det(A-λI)=0 The eigenspace E λ ={p|(A-λI)p=0}

特徵值與多變量 5 問題 — 多筆資料的描述 單變量 — 平均數、變異數 單變量 — 平均數、變異數 雙變量 — 二筆平均數、二筆變異數、一筆 相關係數 雙變量 — 二筆平均數、二筆變異數、一筆 相關係數 多變量 —?? 多變量 —??

特徵值與多變量 6 多變量資訊描述的簡化 y=k 1 x 1 +k 2 x 2 + … +k p x p y=k 1 x 1 +k 2 x 2 + … +k p x p y n  1 =X n  p k p  1 y n  1 =X n  p k p  1 E(X)=X 1  p → E(y)=E(Xk)=y 1  1 E(X)=X 1  p → E(y)=E(Xk)=y 1  1 V(X)=S p  p → V(y)=V(Xk)=k’Sk V(X)=S p  p → V(y)=V(Xk)=k’Sk 用一個平均數代替一組多變量的 p 個平均數 用一個平均數代替一組多變量的 p 個平均數 用 p 個變異數取代一組多變量的 p  p 個變異 與共變數 用 p 個變異數取代一組多變量的 p  p 個變異 與共變數

特徵值與多變量 7 原理 1 找出一組加權指數矩陣 k ，讓新創變量 y 的 變異數達到極大 — 在變異數極大的狀況之 下，充分反映出多變量母體的特質。 找出一組加權指數矩陣 k ，讓新創變量 y 的 變異數達到極大 — 在變異數極大的狀況之 下，充分反映出多變量母體的特質。 λ=Max(k’Sk) s.t. k’k=1 ( 避免求解的過程中 k →  )

特徵值與多變量 8 原理 2 Lagrange multiplier method ： Lagrange multiplier method ： L=k ’ Sk-λ(k’k-1)  L  k =2Sk-2 λ k=0 → (S- λ I)k=0  L  λ λ =k’k-1=0 → k’k=1 當 k 不為 0 時上式有解之充份與必要條件： |S- λ I|=0

特徵值與多變量 9 原理 3 |S-λI|=0 稱為特徵方程式 (characteristic equation) λ 稱為特徵值 (eigenvalue) ，解得 將 λ j 代入 (S-λ I)k=0 ，解得 k p  1 稱為特徵向量 (eigenvector) ， ， 多變量的變異共變矩陣 S 的特徵向量，即是能 夠讓所有多變量作線性組合之後，變異數達 到極大的權數矩陣。

特徵值與多變量 10 範例 1

特徵值與多變量 11 範例 2

特徵值與多變量 12 特徵值與特徵向量在多變量的性質 1 一般而言，多變量最佳線性組合的個數等於 該多變量當中各個變數的個數 一般而言，多變量最佳線性組合的個數等於 該多變量當中各個變數的個數。 ，， ， 針對相關係數 (R) 或變異共變異數 (S) 作最佳 組合分析時，一般而言，所得到的特徵值與 特徵向量的值並不會相同，但其隱含的意義 極為類似。 ， ， 若多變量中各個變量存有完全線性相依的情 形時，則從 S 或 R 中萃取到最佳變量線性組合 的個數，將等於該矩陣的秩值 (rank) 。

特徵值與多變量 13 特徵值與特徵向量在多變量的性質 2 若多變量當中的各個變量均完全線性獨立，此時對 R 作最佳線性轉換時，所有 p 個特徵值的值均等於 1 ， 且所有 p 個特徵向量的值只要符合 k’k=1 均可任取 若多變量當中的各個變量均完全線性獨立，此時對 R 作最佳線性轉換時，所有 p 個特徵值的值均等於 1 ， 且所有 p 個特徵向量的值只要符合 k’k=1 均可任取。

特徵值與多變量 14 特徵值與特徵向量在多變量的性質 3 若多變量當中的各個變量均完全線性相依，則所有 p 個特徵值僅有一個非零值，其餘的 (p-1) 個特徵值 都為零 若多變量當中的各個變量均完全線性相依，則所有 p 個特徵值僅有一個非零值，其餘的 (p-1) 個特徵值 都為零。 ， 亦即 ， 僅存有唯一的一種最佳的線性組合方式 。

特徵值與多變量 15 特徵值與特徵向量在多變量的性質 4 由於相關係數值必須介於 +1~-1 之間，這個條件使 得 S 與 R 矩陣皆為 p.s.d. (positive semi definite) 、 由於相關係數值必須介於 +1~-1 之間，這個條件使 得 S 與 R 矩陣皆為 p.s.d. (positive semi definite) 。 即 |S|  0 、 |R|  0

特徵值與多變量 16 特徵值與特徵向量在多變量的性質 5 由於 S 與 R 矩陣皆為 p.s.d. ，故其所有的特徵值 均不可能是負值 由於 S 與 R 矩陣皆為 p.s.d. ，故其所有的特徵值 均不可能是負值。 ， ， 不論是經由 S 或者 R 矩陣求得的特徵值與特徵 向量，其所有特徵值與特徵向量重新組合的 結果，可以把原先的 S 或者 R 矩陣重新加以複 製還原。 λ=k’Sk → k λ k’=kk’Skk’=S

特徵值與多變量 17 特徵值與特徵向量在多變量的性質 6 S 或 R=KΛK’

特徵值與多變量 18 特徵值與特徵向量在幾何上的意義 1 兩個變量的數據資料在幾何上之分布圖形， 整體上多為圓形或橢圖形 兩個變量的數據資料在幾何上之分布圖形， 整體上多為圓形或橢圖形。 特徵值約略代表橢圖形長軸與短軸的長度 特徵值約略代表橢圖形長軸與短軸的長度。 特徵向量在代表長軸與短軸所指的方向 特徵向量在代表長軸與短軸所指的方向。

特徵值與多變量 19 特徵值與特徵向量在幾何上的意義 2

特徵值與多變量 20 Reference Anton, Howard and Rorres (2005), Chris, Elementary Linear Algebra, 9 th Edition, John Wiley & Sons. Anton, Howard and Rorres (2005), Chris, Elementary Linear Algebra, 9 th Edition, John Wiley & Sons. 鄧家駒 (2004) ，多變量分析，華泰文化 事業公司． 鄧家駒 (2004) ，多變量分析，華泰文化 事業公司．