5.1 Rn上之長度與點積 5.2 內積空間 5.3 單範正交基底：Gram-Schmidt過程 5.4 數學模型與最小平方分析 第五章 內積空間 5.1 Rn上之長度與點積 5.2 內積空間 5.3 單範正交基底：Gram-Schmidt過程 5.4 數學模型與最小平方分析

5.1 Rn上之長度與點積 長度 (length) 在Rn上向量 的長度可能表示為 注意：向量的長度也可以稱為範數 (norm) 注意：長度的性質(向量的長度不能為負數) 為單位向量 (unit vector)

範例 1： (a)在R5上， 的長度 (b)在R3上， 的長度 (因為長度為1，所以v是單位向量)

Rn的標準單位向量 (standard unit vector) 範例： R2上的標準單位向量： R3上的標準單位向量： 和 同方向(same direction) 和 反方向(opposite direction) 注意：兩非零向量互相平行 (parallel)

定理 5.1：純量乘積的長度 令v為Rn上的向量，而c是一純量，則 證明：

定理 5.2：在v方向上的單位向量 若v是Rn中一個非零的向量，則下列向量 表示長度為1且與v同方向。向量u可稱為在v方向上的單位向量 (unit vector in the direction of v) 證明： v不為零向量 (與v為同方向) (u的長度為1)

注意： (1) 向量 可稱為在v方向上的單位向量 (unit vector in the direction of v) (2) 這個在v方向上找單位向量的過程稱為單範化 (normalizing)向量v

範例 2：求單位向量 求在 方向上的單位向量，並證明其長度為1 解： 為單位向量

兩個向量間的距離 (distance) 在Rn上u與v兩個向量間的距離為 注意：距離的性質 (1) (2) 若且唯若 (3)

範例 3：求兩向量間的距離 兩向量 與 間的距離為

Rn的點積 (dot product) 在Rn上 與 的點積為 範例 4：求兩向量間的點積 兩向量 與 間點積是

定理 5.3：向量點積的性質 若u, v與w為Rn上的向量且c為一純量， 則以下的性質成立 (1) (2) (3) (4) (5) ， 此外 若且唯若

歐基里德n維空間 (Euclidean n-space) Rn被定義為所有有序n項實數對的集合。當Rn結合了 向量加法、純量乘積、向量長度與點積這些標準運 算後所構成的向量空間，我們稱為歐基里德n維空間

範例 5：求點積 求解下列問題 ； (b) ； (c) ； (d) ； (e) 解：

範例 6：使用點積的性質 已知 求解 解：

定理 5.4：科西 - 舒瓦茲不等式(Cauchy - Schwarz inequality) 若u與v為Rn上的向量，則 ( 代表 的絕對值) 範例 7：科西 - 舒瓦茲不等式的例子 用 與 來證明科西 - 舒瓦茲 不 等式 解：

Rn上兩個非零向量的夾角 (angle) 注意： 零向量與其他向量的夾角並沒有被定義

範例 8：求兩向量間的夾角 解： u與v是反向的

正交 (orthogonal) Rn上的兩個向量u與v為正交 若 注意： 零向量 0 與任何向量都成正交

範例 10：求正交向量 求Rn中與 成正交的所有向量 令 解：

定理 5.5：三角不等式 (triangle inequality) 若u與v為Rn上的兩個向量，則 證明： 注意： 三角不等式的等號成立若且唯若u與v為同方向

定理 5.6：畢氏定理 (Pythagorean theorem) 若u與v為Rn上的兩個向量，則u與v為正交若且唯若

點積與矩陣乘積 用一個nx1的行矩陣來表示在Rn上向量

摘要與復習 (5.1節之關鍵詞) length: 長度 norm: 範數 unit vector: 單位向量 standard unit vector : 標準單位向量 normalizing: 單範化 distance: 距離 dot product: 點積 Euclidean n-space: 歐基里德n維空間 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 angle: 夾角 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理

5.2 內積空間 內積 (inner product) 令u, v與w為向量空間V的向量且c是任何純量。V上的內積是一個函數<u, v>，其將每一向量對u與v對應到一個實數並且滿足下列公理 (1) (2) (3) (4) 且 若且唯若

注意： 注意： 具有內積的向量空間V稱為內積空間(inner product space) 向量空間： 內積空間：

範例 1： Rn上的歐基里德內積 說明Rn上的點積符合內積的四個公理 解： 由定理 5.3可知點積符合內積的四個公理 因此為Rn上的內積

範例 2：Rn上的另一種內積 證明下列式子符合R2的內積定義 解：

注意： Rn上的一個內積型式

範例 3：一個非內積的函數 證明下列式子不是R3的一個內積 解： 令 不符合第4個公理 所以此式子不是R3的一個內積

定理 5.7：內積的性質 令u, v與w為內積空間V的向量且c是任何實數 (1) (2) (3) u的範數(norm)或長度(length) 注意：

u與v的距離 (distance) 兩個非零向量 u與v的夾角 (angle) 正交 (orthogonal) 若 　　，則稱u與v為正交

注意： (1) 若 則稱其為單位向量(unit vector) (2) (在v方向的單位向量) 非單位向量

範例 6：求內積 為一內積函數 解：

範數的性質 (1) (2) 若且唯若 (3) 距離的性質 (2) 若且唯若

定理 5.8： 若u與v為內積空間V的向量 (1) 科西 - 舒瓦茲不等式： (2) 三角不等式： (3) 畢氏定理：u與v成正交若且唯若 定理 5.4 定理 5.5 定理 5.6

正交投影 (orthogonal-projection) 令u與v為內積空間V上的兩個向量且 ， 則u正交投影到v可表示為 注意： 若 (v為單位向量)， 則u正交投影到v的式子可簡寫成

範例 10：求R3上的正交投影 用R3上的歐氏內積求 的正交投影 解：

定理 5.9：正交投影與距離 令u與v為內積空間V上的兩個向量且 ，則

摘要與復習 (5.2節之關鍵詞) inner product: 內積 inner product space: 內積空間 norm: 範數 distance: 距離 angle: 夾角 orthogonal: 正交 unit vector: 單位向量 normalizing: 單範化 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理 orthogonal projection: 正交投影

5.3 單範正交基底：Gram-Schmidt過程 正交 (orthogonal) 在內積空間V上的集合S稱為正交，若在S上每對向量均為正交 單範正交 (orthonormal) 若在S上每對向量均為正交且每個向量均為單位向量則稱S為單範正交 注意： 若S為基底，則分別稱為正交基底 (orthogonal basis) 或單範正交基底 (orthonormal basis)

範例 1： R3上一個非標準的單範正交基底 證明S為單範正交基底 解： 證明三個向量彼此為正交

證明三個向量的長度均為1 因此S是一個單範正交集合

範例 2： 的單範正交基底 在 上，使用下列的內積定義 此組標準基底 為單範正交 證明：

定理 5.10 ：正交集合為線性獨立 若 為內積空間V上一些非零向量所構成的正交集合，則S為線性獨立 證明： 因為S為正交且S上的每個向量都不為零向量

定理 5.10的推論 若V為n維的內積空間，則n個非零向量所構成的任意正交集合為V的基底。

範例 4：使用正交性質來測試基底 證明下列集合為 的基底 解： ：非零向量 (定理5.10的推論)

定理5.11：相對於單範正交基底的座標 若 為內積空間V的單範正交基底，則向量w相對於B的座標表示為 (唯一表示) 證明： 因為 為V的基底 為單範正交

注意： 若 為V的單範正交基底且 則w相對於B的座標矩陣為

範例 5：相對於單範正交基底的向量表示 求 相對於下列 單範正交基底的座標 解：

Gram-Schmidt單範正交化過程 為內積空間V的基底 為正交基底 為單範正交基底

範例 7：Gram-Schmidt單範正交化過程的應用 解：

正交基底 單範正交基底

範例 10：Gram-Schmidt單範正交化過程的另一種形式 求下列線性方程式齊次系統之解空間的單範正交基底 解： 此系統的增廣矩陣可化簡為

因此解空間的一組基底為 (正交基底) (單範正交基底)

摘要與復習 (5.3節之關鍵詞) orthogonal set: 正交集合 orthonormal set: 單範正交集合 orthogonal basis: 正交基底 orthonormal basis: 單範正交基底 linear independent: 線性獨立 Gram-Schmidt Process: Gram-Schmidt過程

5.4 數學模型與最小平方分析 W的正交補集 (orthogonal complement) 令W是內積空間V的一個子空間 (a)在V中的一個向量u被稱正交於W (orthogonal to W)， 若u正交W中的每一個向量 (b)在V中與W上每一個向量正交的所有向量所構成的 集合被稱為W的正交補集 (orthogonal complement) (讀 “ perp”) 注意：

注意： 範例：

直和(direct sum) 令 與 為 上的子空間。若每個向量 可被唯一寫成為 中向量 與 中向量 的和， 則 為 與 的直和而且我們可以寫成 定理 5.13：正交子空間的性質 令W為Rn的子空間，則下列性質為真 (1) (2) (3)

定理 5.14：在子空間的投影 (projection onto a subspace) 若 為內積空間上子空間W的一組單範正交基底且 ，則

範例 5：在上子空間的投影 求向量v在上子空間 的投影 解： W之正交基底 單範正交基底

可用後面之方法求：

定理 5.15：正交投影與距離 令W為V上的子空間且 ，則對所有 且 ，下式成立 (在W的所有向量中， 是最逼近於v的向量)

證明： 利用畢氏定理

注意： (1)在所有向量u的純量倍數中，v正交投影到u是 最逼近v的一個向量 (2)在子空間W的所有向量中，向量 是 最逼近v的向量

定理 5.16：矩陣的基本子空間 (fundamental subspaces) 若A為一mxn的矩陣，則 (1) (2) (3) (4)

範例 6：基本子空間 求下列矩陣的四個基本子空間 (列簡梯形形式) 解：

檢查：

範例 3： 令W是R4的子空間且 (a) 求一個W的基底 (b) 求一個W的正交補集的基底 解： (列簡梯形形式)

W的基底 的基底 注意：

最小平方問題 (least squares problem) 為線性方程式系統 (1) 如果此系統為一致性，我們可以使用高斯消去法 與反代法來解 x (2) 當系統為不一致性時，如何找出“最可能的”解，也 就是x的值使得 Ax 與 b 的差相當 的小。有一個方 法可以定義出“最可能的”，此法需要最小化 Ax-b 的範數。這個定義即是最小平方問題 的核心。

最小平方解 (least squares solution) 考慮一個有m個線性方程式和n個未知數的系統 Ax=b，最小平方問題是在Rn中找出使得 為最小的向量x ，此向量稱為Ax=b的最小平方解

(Ax=b 的一般方程式 (normal equations))

注意： 解 的最小平方問題相當於是在解其所相對的一般方程式 的明確解 定理： 對於任一線性系統 ，這其所相對的一般方程式 為一致性系統，且一般方程式的所有解是Ax=b 的最小平方解。此外，假如W是A的行空間，且x是Ax=b 的任一最小平方解，則b正交投影到W是

定理： 若A為一具有線性獨立行向量之mxn的矩陣，則對於每一個mx1的矩陣b，線性系統 Ax=b 有一唯一最小平方解。這解為 此外，假如W是A的行空間，則b正交投影到W是

範例 7：求解一般方程式 求下列系統的最小平方解 和求b正交投影到A的行空間

解： 這個一般方程式為

這個系統Ax=b 的最小平方解為 b的正交投影到A的行空間

摘要與復習 (5.4節之關鍵詞) orthogonal to W: 正交於W orthogonal complement: 正交補集 direct sum: 直和 projection onto a subspace: 在子空間的投影 fundamental subspaces: 基本子空間 least squares problem: 最小平方問題 normal equations: 一般方程式