第五章 內積空間 5.1 Rn上之長度與點積 5.2 內積空間 5.3 單範正交基底：Gram-Schmidt過程 5.2 內積空間 5.3 單範正交基底：Gram-Schmidt過程 5.4 數學模型與最小平方分析 5.5 內積空間的應用 Elementary Linear Algebra 投影片設計製作者 R. Larsen et al. (6 Edition) 淡江大學 電機系 翁慶昌 教授

5.1 Rn上之長度與點積 長度 (length) 在Rn上向量 的長度可能表示為 注意：向量的長度也可以稱為範數 (norm) 注意：長度的性質(向量的長度不能為負數) 為單位向量 (unit vector) 線性代數: 5.1節 pp.344-345

範例 1： (a)在R5上， 的長度 (b)在R3上， 的長度 (因為長度為1，所以v是單位向量) 線性代數: 5.1節 p.345

Rn的標準單位向量 (standard unit vector) 範例： R2上的標準單位向量： R3上的標準單位向量： 和 同方向(same direction) 和 反方向(opposite direction) 注意：兩非零向量互相平行 (parallel) 線性代數: 5.1節 p.346

定理 5.1：純量乘積的長度 令v為Rn上的向量，而c是一純量，則 證明： 線性代數: 5.1節 pp.346-347

表示長度為1且與v同方向。向量u可稱為在v方向上的單位向量 (unit vector in the direction of v) 若v是Rn中一個非零的向量，則下列向量 表示長度為1且與v同方向。向量u可稱為在v方向上的單位向量 (unit vector in the direction of v) 證明： v不為零向量 (與v為同方向) (u的長度為1) 線性代數: 5.1節 p.347

(1) 向量 可稱為在v方向上的單位向量 (unit vector in the direction of v) 注意： (1) 向量 可稱為在v方向上的單位向量 (unit vector in the direction of v) (2) 這個在v方向上找單位向量的過程稱為單範化 (normalizing)向量v 線性代數: 5.1節 p.347

範例 2：求單位向量 求在 方向上的單位向量，並證明其長度為1 解： 為單位向量 線性代數: 5.1節 pp.347-348

兩個向量間的距離 (distance) 在Rn上u與v兩個向量間的距離為 注意：距離的性質 (1) (2) 若且唯若 (3) (2) 若且唯若 (3) 線性代數: 5.1節 p.349

範例 3：求兩向量間的距離 兩向量 與 間的距離為 線性代數: 5.1節 p.350

Rn的點積 (dot product) 在Rn上 與 的點積為 範例 4：求兩向量間的點積 兩向量 與 間點積是 兩向量 與 間點積是 線性代數: 5.1節 pp.350-351

定理 5.3：向量點積的性質 若u, v與w為Rn上的向量且c為一純量， 則以下的性質成立 (1) (2) (3) (4) (5) ， 此外 若且唯若 線性代數: 5.1節 p.351

歐基里德n維空間 (Euclidean n-space) Rn被定義為所有有序n項實數對的集合。當Rn結合了 向量加法、純量乘積、向量長度與點積這些標準運 算後所構成的向量空間，我們稱為歐基里德n維空間 線性代數: 5.1節 p.352

範例 5：求點積 求解下列問題 ； (b) ； (c) ； (d) ； (e) 解： 線性代數: 5.1節 p.352

範例 6：使用點積的性質 已知 求解 解： 線性代數: 5.1節 p.353

定理 5.4：科西 - 舒瓦茲不等式(Cauchy - Schwarz inequality) 若u與v為Rn上的向量， 則 ( 代表 的絕對值) 線性代數: 5.1節 pp.353-354

範例 7：科西 - 舒瓦茲不等式的例子 用 與 來證明科西 - 舒瓦茲 不等式 解： 線性代數: 5.1節 pp.353-354

Rn上兩個非零向量的夾角 (angle) 注意： 零向量與其他向量的夾角並沒有被定義 線性代數: 5.1節 p.355

範例 8：求兩向量間的夾角 解： u與v是反向的 線性代數: 5.1節 p.355

正交 (orthogonal) Rn上的兩個向量u與v為正交 若 注意： 零向量 0 與任何向量都成正交 線性代數: 5.1節 p.355

範例 10：求正交向量 求R2中與 成正交的所有向量 令 解： 線性代數: 5.1節 p.356

定理 5.5：三角不等式 (triangle inequality) 若u與v為Rn上的兩個向量，則 證明： 注意： 三角不等式的等號成立若且唯若u與v為同方向 線性代數: 5.1節 p.357

定理 5.6：畢氏定理 (Pythagorean theorem) 若u與v為Rn上的兩個向量，則u與v為正交若且唯若

點積與矩陣乘積 用一個nx1的行矩陣來表示在Rn上向量 線性代數: 5.1節 pp.358-359

摘要與復習 (5.1節之關鍵詞) length: 長度 norm: 範數 unit vector: 單位向量 standard unit vector : 標準單位向量 normalizing: 單範化 distance: 距離 dot product: 點積 Euclidean n-space: 歐基里德n維空間 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 angle: 夾角 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理

5.2 內積空間 內積 (inner product) 令u, v與w為向量空間V的向量且c是任何純量。V上的內積是一個函數<u, v>，其將每一向量對u與v對應到一個實數並且滿足下列公理 (1) (2) (3) (4) 且 若且唯若 線性代數: 5.2節 p.363

具有內積的向量空間V稱為內積空間(inner product space) 注意： 注意： 具有內積的向量空間V稱為內積空間(inner product space) 向量空間： 內積空間： 線性代數: 5.2節，補充

範例 1： Rn上的歐基里德內積 說明Rn上的點積符合內積的四個公理 解： 由定理 5.3可知點積符合內積的四個公理 因此為Rn上的內積 線性代數: 5.2節 p.364

範例 2：R2上的另一種內積 證明下列式子符合R2的內積定義 解： 線性代數: 5.2節 pp.364-365

注意： Rn上的一個內積型式 線性代數: 5.2節 pp.364-365

範例 3：一個非內積的函數 證明下列式子不是R3的一個內積 解： 令 不符合第4個公理 所以此式子不是R3的一個內積 線性代數: 5.2節 p.365

令u, v與w為內積空間V的向量且c是任何實數 (1) (2) (3) 定理 5.7：內積的性質 令u, v與w為內積空間V的向量且c是任何實數 (1) (2) (3) u的範數(norm)或長度(length) 注意： 線性代數: 5.2節 p.367

u與v的距離 (distance) 兩個非零向量 u與v的夾角 (angle) 正交 (orthogonal) 若 ，則稱u與v為正交 線性代數: 5.2節 p.367

(1) 若 則稱其為單位向量(unit vector) 注意： (1) 若 則稱其為單位向量(unit vector) (2) (在v方向的單位向量) 非單位向量 線性代數: 5.2節 p.367

範例 6：求內積 為一內積函數 解： 線性代數: 5.2節 p.368

範數的性質 (1) (2) 若且唯若 (3) 距離的性質 (2) 若且唯若 線性代數: 5.2節 p.370

定理 5.8： 若u與v為內積空間V的向量 (1) 科西 - 舒瓦茲不等式： (2) 三角不等式： (3) 畢氏定理：u與v成正交若且唯若 定理 5.4 定理 5.5 定理 5.6 線性代數: 5.2節 pp.370-371

正交投影 (orthogonal-projection) 令u與v為內積空間V上的兩個向量且 ， 則u正交投影到v可表示為 注意： 若 (v為單位向量)， 則u正交投影到v的式子可簡寫成 線性代數: 5.2節 p.372

範例 10：求R3上的正交投影 用R3上的歐氏內積求 的正交投影 解： 線性代數: 5.2節 p.373

定理 5.9：正交投影與距離 令u與v為內積空間V上的兩個向量且 ，則 線性代數: 5.2節 p.374

摘要與復習 (5.2節之關鍵詞) inner product: 內積 inner product space: 內積空間 norm: 範數 distance: 距離 angle: 夾角 orthogonal: 正交 unit vector: 單位向量 normalizing: 單範化 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理 orthogonal projection: 正交投影

5.3 單範正交基底：Gram-Schmidt過程 正交 (orthogonal) 在內積空間V上的集合S稱為正交，若在S上每對向量均為正交 單範正交 (orthonormal) 若在S上每對向量均為正交且每個向量均為單位向量則稱S為單範正交 注意： 若S為基底，則分別稱為正交基底 (orthogonal basis) 或單範正交基底 (orthonormal basis) 線性代數: 5.3節 p.380

範例 1： R3上一個非標準的單範正交基底 證明S為單範正交基底 解： 證明三個向量彼此為正交 線性代數: 5.3節 pp.380-381

證明三個向量的長度均為1 因此S是一個單範正交集合 線性代數: 5.3節 pp.380-381

範例 2： 的單範正交基底 在 上，使用下列的內積定義 此組標準基底 為單範正交 證明： 線性代數: 5.3節 p.382

線性代數: 5.3節 p.382

若 為內積空間V上一些非零向量所構成的正交集合，則S為線性獨立 定理 5.10 ：正交集合為線性獨立 若 為內積空間V上一些非零向量所構成的正交集合，則S為線性獨立 證明： 因為S為正交且S上的每個向量都不為零向量 線性代數: 5.3節 pp.383-384

若V為n維的內積空間，則n個非零向量所構成的任意正交集合為V的基底。 定理 5.10的推論 若V為n維的內積空間，則n個非零向量所構成的任意正交集合為V的基底。 線性代數: 5.3節 pp.384-385

範例 4：使用正交性質來測試基底 證明下列集合為 的基底 解： ：非零向量 (定理5.10的推論) 證明下列集合為 的基底 解： ：非零向量 (定理5.10的推論) 線性代數: 5.3節 pp.384-385

若 為內積空間V的單範正交基底，則向量w相對於B的座標表示為 定理5.11：相對於單範正交基底的座標 若 為內積空間V的單範正交基底，則向量w相對於B的座標表示為 (唯一表示) 證明： 因為 為V的基底 為單範正交 線性代數: 5.3節 pp.385-386

注意： 若 為V的單範正交基底且 則w相對於B的座標矩陣為 線性代數: 5.3節 pp.385-386

範例 5：相對於單範正交基底的向量表示 求 相對於下列 單範正交基底的座標 解： 線性代數: 5.3節 p.387

Gram-Schmidt單範正交化過程 為內積空間V的基底 為正交基底 為單範正交基底 線性代數: 5.3節 pp.387-388

範例 7：Gram-Schmidt單範正交化過程的應用 應用Gram-Schmidt單範正交化過程求下列基底的單範正交基底 解： 線性代數: 5.3節 p.390

正交基底 單範正交基底 線性代數: 5.3節 p.390

範例 10：Gram-Schmidt單範正交化過程的另一種形式 求下列線性方程式齊次系統之解空間的單範正交基底 解： 此系統的增廣矩陣可化簡為 線性代數: 5.3節 pp.393-394

因此解空間的一組基底為 (正交基底) (單範正交基底) 線性代數: 5.3節 pp.393-394

摘要與復習 (5.3節之關鍵詞) orthogonal set: 正交集合 orthonormal set: 單範正交集合 orthogonal basis: 正交基底 orthonormal basis: 單範正交基底 linear independent: 線性獨立 Gram-Schmidt Process: Gram-Schmidt過程

5.4 數學模型與最小平方分析 正交子空間 範例 5：正交子空間 線性代數: 5.3節 p.399

W的正交補集 (orthogonal complement) 令W是內積空間V的一個子空間 (a)在V中的一個向量u被稱正交於W (orthogonal to W)， 若u正交W中的每一個向量 (b)在V中與W上每一個向量正交的所有向量所構成的 集合被稱為W的正交補集 (orthogonal complement) (讀 “ perp”) 注意： 線性代數: 5.4節 p.399

注意： 範例： 線性代數: 5.4節，補充

令 與 為 上的子空間。若每個向量 可被唯一寫成為 中向量 與 中向量 的和， 直和(direct sum) 令 與 為 上的子空間。若每個向量 可被唯一寫成為 中向量 與 中向量 的和， 則 為 與 的直和而且我們可以寫成 定理 5.13：正交子空間的性質 令W為Rn的子空間，則下列性質為真 (1) (2) (3) 線性代數: 5.4節 p.401

定理 5.14：在子空間的投影 (projection onto a subspace) 若 為內積空間上子空間W的一組單範正交基底且 ，則

範例 5：在子空間上的投影 求向量v在子空間 上的投影 解： W之正交基底 單範正交基底 線性代數: 5.4節 p.403

可用後面之方法求： 線性代數: 5.4節 p.403

令W為V上的子空間且 ，則對所有 且 ，下式成立 定理 5.15：正交投影與距離 令W為V上的子空間且 ，則對所有 且 ，下式成立 (在W的所有向量中， 是最逼近於v的向量) 線性代數: 5.4節 pp.404-405

證明： 利用畢氏定理 線性代數: 5.4節 pp.404-405

(1)在所有向量u的純量倍數中，v正交投影到u是 最逼近v的一個向量 (2)在子空間W的所有向量中，向量 是 最逼近v的向量 注意： (1)在所有向量u的純量倍數中，v正交投影到u是 最逼近v的一個向量 (2)在子空間W的所有向量中，向量 是 最逼近v的向量 線性代數: 5.4節 pp.404-405

定理 5.16：矩陣的基本子空間 (fundamental subspaces) 若A為一mxn的矩陣，則 (1) (2) (3) (4) 線性代數: 5.4節 p.406

範例 6：基本子空間 求下列矩陣的四個基本子空間 (列簡梯形形式) 解： 線性代數: 5.4節 p.405

檢查： 線性代數: 5.4節 p.406

範例 3： 令W是R4的子空間且 (a) 求一個W的基底 (b) 求一個W的正交補集的基底 解： (列簡梯形形式) 線性代數: 5.4節 p.400

W的基底 的基底 注意： 線性代數: 5.4節 p.400

最小平方問題 (least squares problem) 為線性方程式系統 (1) 如果此系統為一致性，我們可以使用高斯消去法 與反代法來解 x (2) 當系統為不一致性時，如何找出“最可能的”解，也 就是x的值使得 Ax 與 b 的差相當 的小。有一個方 法可以定義出“最可能的”，此法需要最小化 Ax-b 的範數。這個定義即是最小平方問題 的核心。 線性代數: 5.4節 p.407

最小平方解 (least squares solution) 考慮一個有m個線性方程式和n個未知數的系統 Ax=b，最小平方問題是在Rn中找出使得 為最小的向量x ，此向量稱為Ax=b的最小平方解 線性代數: 5.4節 p.407

(Ax=b 的一般方程式 (normal equations)) 線性代數: 5.4節 p.407

解 的最小平方問題相當於是在解其所相對的一般方程式 的明確解 注意： 解 的最小平方問題相當於是在解其所相對的一般方程式 的明確解 定理： 對於任一線性系統 ，這其所相對的一般方程式 為一致性系統，且一般方程式的所有解是Ax=b 的最小平方解。此外，假如W是A的行空間，且x是Ax=b 的任一最小平方解，則b正交投影到W是 線性代數: 5.4節 p.407

若A為一具有線性獨立行向量之mxn的矩陣，則對於每一個mx1的矩陣b，線性系統 Ax=b 有一唯一最小平方解。這解為 定理： 若A為一具有線性獨立行向量之mxn的矩陣，則對於每一個mx1的矩陣b，線性系統 Ax=b 有一唯一最小平方解。這解為 此外，假如W是A的行空間，則b正交投影到W是 線性代數: 5.4節 p.407

範例 7：求解一般方程式 求下列系統的最小平方解 和求b正交投影到A的行空間 線性代數: 5.4節 p.408

解： 這個一般方程式為 線性代數: 5.4節 p.408

這個系統Ax=b 的最小平方解為 b的正交投影到A的行空間 線性代數: 5.4節 p.408

摘要與復習 (5.4節之關鍵詞) orthogonal to W: 正交於W orthogonal complement: 正交補集 direct sum: 直和 projection onto a subspace: 在子空間的投影 fundamental subspaces: 基本子空間 least squares problem: 最小平方問題 normal equations: 一般方程式

線性代數: 5.5節 p.416

線性代數: 5.5節 p.417

線性代數: 5.5節 p.417

線性代數: 5.5節 p.418

線性代數: 5.5節 p.418

線性代數: 5.5節 p.418

線性代數: 5.5節 p.419

線性代數: 5.5節 p.419

線性代數: 5.5節 p.419-420

線性代數: 5.5節 p.420

線性代數: 5.5節 p.420-421

線性代數: 5.5節 p.421

線性代數: 5.5節 p.422

線性代數: 5.5節 p.422

線性代數: 5.5節 p.423

線性代數: 5.5節 p.423-424

線性代數: 5.5節 p.424

線性代數: 5.5節 p.424

線性代數: 5.5節 p.425

線性代數: 5.5節 p.425

線性代數: 5.5節 p.427

線性代數: 5.5節 p.428

線性代數: 5.5節 p.428-429

線性代數: 5.5節 p.430

線性代數: 5.5節 p.430-431

線性代數: 5.5節 p.431-432

線性代數: 5.5節 p.432

線性代數: 5.5節 p.432-433

線性代數: 5.5節 p.433

線性代數: 5.5節 p.433

線性代數: 5.5節 p.434

線性代數: 5.5節 p.434