1. Obstacle Detection and Environment Scanning by Computer Vision Technique
Presented by：曹憲中

2. 目標
　　發展一套有效的影像視覺系統，此系統能夠提供自走車自行偵測前方行進路線中，是否有障礙物阻擋，更進一步能夠辨識出障礙物的大小與位置，並回應給自走車系統，當作自走車規劃行進路線的依據。

3. 目標
　　從單一攝影機所得到的影像並不包含目標物體深度的資訊，所以必須使用到二個以上的攝影機，利用兩張目標物影像的角度不同產生的影像差，配合攝影機的相機投影距陣，來找出目標物與自走車之間的距離。更可以進一步應用在自走車周遭環境的建立上，只要加入攝影機的旋轉角度，經過座標旋轉，即可將數張影像的偵測結果組成周圍環境的大概相關位置。

4. 電腦視覺基礎理論 f 為攝影機焦距，λ = f / Zc。
如圖2.1 所示，我們給定一個在三維空間上之一點 Mc，其座標為 ( Xc, Yc, Zc )，則透視投影可用下式方程式表示之 (2.1)， 2.1 式是將三度空間的點 Mc ( Xc, Yc, Zc ) 投影到平面上的點 ( xc, yc )，此處， f 為攝影機焦距，λ = f / Zc，我們可以把這個關係寫成在齊次座標 (homogeneous coordinates) 上的線性映射 (linear mapping)，如 2.2 式所示，2.2 式中之 3×4 大小的矩陣稱為投影矩陣，它表示了三維投影到二維的映射關係。
f 為攝影機焦距，λ = f / Zc。

5. 電腦視覺基礎理論
　　我們知道影像平面本身是由像素組成，若設每個像素水平及垂直單位長度的倒數分別為 ku，kv，其單位為 像素數／長度，而點 ( u0, v0 ) 是光軸截影像平面那一點的像素位置，所以 Mc 點的影像投影在影像平面上之 m ( xc, yc ) 若以像素作為座標單位且對應參考於 ( u0, v0 ) 的表示值為 ( u, v )，則 u，v，可分別以 2.3 式及 2.4 式表示之。
2.3 式及 2.4 式以齊次座標系統表示為 2.5。
C 是一個 3×3 的上三角矩陣，稱為攝影機校正矩陣 (camera calibration matrix)。

6. 電腦視覺基礎理論
　　一般而言，不同座標系統下的點，可以借由各種轉換之組合來關連之，如果 Mw 是三維空間中的點，Mc 代表攝影機座標系統上的點，世界座標系統和攝影機座標系統之間的轉換，如圖 2.2 所示，可經由旋轉矩陣 R 及平移矩陣 T 來完成之，其間之關係可以以 2.6 式表示之。
將2.6 式寫成齊次座標系統後，則如2.7 式所示。

7. 電腦視覺基礎理論 最後綜合以上的 (2.2)(2.5)(2.7) 方程式我們可以得到
　　因此，從三度空間到平面影像，兩者間的關係可以經由一個 3X4 投影矩陣 P 來轉換。
，C，R 及 T 分別如 2.5 式，2.6 式所示。

8. Epipolar Geometry 之定義
　　在兩台相對位置固定的 CCD 攝影機，對三維空間影像有其相互關係，對空間中的某一定點所分別拍攝到的影像，二張影像內部的投
影幾何關係可以由〝同軸幾何〞（epipolar geometry）來描述，其與物體的大小、顏色或形狀均無關，主要的影響來自於兩部 CCD 攝影機的內部參數與相對位置，而 Fundamental Matrix 則是用來描述兩張影像間的同軸幾何關係。

9. Epipolar Geometry 之定義 Ol 與 Or 是左右兩 CCD 的相機中心，P 是三維世界座標上的某一點
Ol 與 Or 是左右兩 CCD 的相機中心，P 是三維世界座標上的某一點，則 Ol、Or 與 P 會構成一個平面，我們稱為 Epipolar plane，且 Epipolar plane 與左右影像平面分別相交於一直線 ul 與 ur，而 P 點投影在左右影像平面上的點為 ml 與 mr，左右攝影機中心 Ol 與 Or 的連線稱為〝基線〞（baseline），基線與左右影像平面的交點為 el 與 er，稱為軸極 (epipole)，也就是一個相機中心在另一個影像平面上的投影，
Ol 與 Or 是左右兩 CCD 的相機中心，P 是三維世界座標上的某一點
Ol、Or 與 P 會構成一個平面，我們稱為 Epipolar plane
P 點投影在左右影像平面上的點為 ml 與 mr，左右攝影機中心 Ol 與 Or 的連線稱為〝基線〞（baseline）
基線與左右影像平面的交點為 el 與 er，稱為軸極 (epipole)

10. Epipolar Geometry 之定義
上述所有要素則構成所謂的同軸幾何 (Epipolar geometry)。三維空間中所有座標落在 OlP 連線這條直線上的點都會投影在影像平面 I’ 上的同軸線 (epipolar line)，ur，反之亦然，而且所有的 epipolar line 都會通過 epipole，其間的關係稱為epipolar constraint，圖2.5為Epipolar geometry 的示意圖。
上述所有要素則構成所謂的〝同軸幾何〞 (Epipolar geometry)。三維空間中所有座標落在 OlP 連線這條直線上的點都會投影在影像平面 I’ 上的同軸線 (epipolar line)，ur，反之亦然，而且所有的 epipolar line 都會通過 epipole，其間的關係稱為 epipolar constraint。

11. Fundamental Matrix ur = Fml ul = FTmr
要描述一影像點與其同軸線之間的對應關係，用圖 2.5 來說明，
其關係式如下：
　　ur = Fml
　　ul = FTmr
F是個 3×3 的矩陣，稱為兩個影像間的Fundamental matrix。
假設已知 I 上之一點 ml，若希望在 I’ 上找到相對應 ml 的一點 mr，利用上述的 Epipolar geometry 特性可知，ml 經由 epipolar plane 必會落在相對應I’的 epipolar line 上，圖 2.5 為說明一個 epipolar line 的影像範例。
定義 Epipolar Geometry 的最主要功能就是要協助尋找兩張影像上點對點之間的對應關係。如此一來則只要在 ur 上尋找 ml 的對應點 mr，不必將搜尋範圍擴大到整張影像，所以搜尋的複雜度也從二維縮小成一維，從 O(n2) 變成 O(n)。

12. Planar Homography
在一個三維空間中的平面，投影到多個影像之間存在一特定關係，此關係稱為 planar homography，如圖 2.7 所示。
　　假設在三維空間中的平面 p 上有一點 Xp，投影在兩平面 I1 與 I2 上的影像分別為 x 與 x’，由它們之間的關係，可以定義出一個 3X3 的非奇異 (nonsingular) 矩陣 H，稱為 Homography matrix，使滿足下列式子：
x‘ = Hx　　　　　(2-25)
如果三維空間上的點不在平面 p 上，就不會產生上式的對應現象，也就是說會產生視差。

13. Planar Homography
　　假設 Mp 是三維空間平面 p 上的一點，M 也是三維空間上的點，但是它不在平面 p 上，M 與 Mp 投影在影像平面 I 上的點會重合在同一點 m，M 在影像平面 I’ 的投影點是 m‘，但是 m 經過homography matrix 的運算之後，對應點則是 　，也就是如 (2-25) 式所描述的 　 = Hm。

14. Planar Homography 由圖 2.8 即可看出， 與 m’ 顯然不是在同一點，如果要由
homography matrix 求得 m 在影像平面 I’ 的對應點 m’，就必須從下列式子來計算：
　　　　　　　　　　　　 = Hm + 　e’　　　　　(2-26)
此時 　≠ 0，純量　 就是由 homography 所產生的視差，這種關係就稱為平面衍生視差 (plane induced parallax)。

15. Planar Homography

16. Planar Homography

17. Planar Homography

18. Planar Homography

19. 危險空間
　　有一點要注意是，危險空間必須設定在左右兩隻攝影機視野都能包含的範圍，如此才會跟兩隻攝影機有所交集，否則會造成後續處理上的錯誤，因為電腦視覺系統基本上是依靠左右兩眼的影像視差，進而計算空間中的物體與攝影機之間或是世界座標原點之間的距離關係，這是設定危險空間所不能忽略的一點。
危險空間就是指自走車前方之一塊區域，當有物體或是障礙物進入此一區域，自走車必須能夠即時察覺，而能去作避障，或者是物體太過靠近，必須做立即停止的動作。

20. 基本立體視覺
　　有了三維物體在兩張影像上的對應點之後，深度的量測就只是基本的三角幾何問題了，其影像平面與三維物體的上視示意圖如圖 3.2

21. 基本立體視覺 Ol 與 Or 分別是左右兩攝影機的相機中心，f 是相機的焦距，T 是
兩攝影機中心之間的距離，它們之間的連線稱為基線 (baseline)，pl 與 pr 則是三維點投影在左右兩影像平面上的點，它們與影像中心的距離分別是 xl 與 xr，Z 則是基線與三維點 P 之間的距離。根據三角幾何的關係，它們有如下的關係存在
其中 d = xr - xl，稱為 disparity，也就是對應點在左右兩張影像上的位移差。

22. 基本立體視覺
　　要計算三維距離的必要條件，就是兩張影像對於世界座標上的同一點要有視差，有了視差才能算三維的距離，更簡單地說，兩張影像的視差就代表著距離，因為從不同角度去看同一物體，會分別成像在兩張影像的不同處。上述的視差是針對同一個三維世界點在不同影像上的投影，所以要求得視差，進一步去求三維距離，就必須有此投影點，而且兩張影像上的投影點都必須具備。

23. 景物特徵
　　本研究中採用 Shi 和 Tomasi 所提出之演算法來偵測特徵點，這個方法是尋找有較高的灰階強度變化量的小區塊，此區塊即定義為所謂的好的特徵點之區域。

24. 景物特徵
　　以範例來介紹區塊 (patch)。如圖 3.8，圖 3.8(a) 中對座標點 (105, 30) 取一個 12×12 的區塊，區塊放大後將會如圖3.8(b)。以 Ip(x) 來代表區塊在像素座標 x(u，v) 上的灰階值強度，則 x 點的水平方向的灰階影像梯度 gx 定義為
　　　　　gx(x(u,v)) = Ip(x(u,v)) - Ip(x(u-1,v))
垂直方向的灰階影像梯度 gy 可定義為
　　　　　gy(x(u,v)) = Ip(x(u,v)) - Ip(x(u,v-1))
以點(105,30)的區塊為例，　　代表著

25. 景物特徵
　　為了在影像中評估好的特徵點，我們首先先找出影像中的各像素之水平方向的灰階梯度 gx 及垂直方向的灰階梯度 gy，我們可以將這些水平方向的灰階梯度 gx 及垂直方向的灰階梯度 gy 組合成如 3.8 式之 2×2 的矩陣 Z：
　　令λ1 和 λ2 為 Z 的特徵值 (eigenvalues)，若兩個特徵值都很小代表區塊中的灰階強度大致都一致的。一個特徵值很大，另一個特徵值很小，代表單一方向性的圖案如物件之緣邊。兩個特徵值都很大，代表是個角(corner)或是胡椒鹽(salt-and-pepper)紋理。當兩個特徵值都很大時，該點適合作特徵點。

26. 景物特徵
　　我們所取得的特徵點比較希望是個角，故要求 Z 的兩個特徵值都要大，所以實作上若兩個特徵值 λ1 和 λ2 之中較小的那個值大於設定之門檻值λ，即是：
　　　　　min(λ1, λ2 )＞λ　　　　　　　　　　(3.9)
　　我們就定義該點為“好的特徵點”。這是因為單一方向性的圖案如物件之緣邊，只在一個方向上具有參考價值，因此不是一個好特徵，相同的道理，Harris 等人也將此方法用來做為邊角偵測。採用此法另一個優點為計算速度很快，因為它只需要對影像資料求得一階的灰階影像梯度，而且在改換位置求 Σgx2 ，Σgxgy，Σgygx，Σgy2 值時，這些值是由鄰近的值漸變而來，不需全部重新計算。

27. 景物特徵
若嘗試從圖3.9 找特徵點，我們可以看出在圖3.9 中，箱子的邊角影像的灰階值變化比較劇烈，它們是好的特徵點，另外，在箱子上的字體”EPSON”也是變化劇烈的地方，它們也應是個好的特徵點，因此依據3.9 式運算的結果如圖3.10 所示，在圖3.10 中，我們將具有好的特徵的影像點以黑點表示，黑點的分佈情況也符合這樣的趨勢。

28. 景物特徵
圖3.11 是將圖3.10 中之障礙物邊角的地方作局部放大。此例中所找到之良好特徵點是：1.影像灰階強度變化劇烈之處，可提升共軛點搜尋正確率；2.落在障礙物的邊角，可容易掌握障礙物定位後障礙物的外貌。

29. 障礙物定位流程
先用左右攝影機分別擷取下列兩張影像：

30. 障礙物定位流程
　　接下來是對危險空間的範圍內，作 Sobel 邊緣檢測的運算，然後對影像做二值化：

31. 障礙物定位流程
利用平面衍生視差的觀念，將圖 4.4 的左右兩眼影像疊合在一起，只要是不屬於地面的障礙物邊緣，都會產生視差，疊合之後的新影像會有重合的部分與不重合的部分，重合的部仍然是白色，而無法重合的視差部分則呈現灰色。
將圖 4.4 的左右兩眼影像依照 (3-10) 式疊合在一起

32. 障礙物定位流程
　　最後將灰色部分去除，只留下白色的部分，這就是最後所需要的障礙物輪廓線。

33. 障礙物定位流程
圖 4.6 是右眼影像疊在左眼影像上所得到的障礙物輪廓線，現在用 (3-11) 式來計算此障礙物輪廓線在右眼影像上的對應點，如此一來就能夠得到左右影像的對應點座標，代入 (3-12) 式，即可得到障礙物的三維座標。圖 4.7 就是其危險空間的上視圖，灰色的部分是自行定義的危險區域，黑色的記號則是圖 4.3 中危險空間內的障礙物。在本篇論文定義的危險區域範圍是一個長度 105 公分，寬度 45 公分的區域，而且整個危險區域座落在攝影機前方 70 公分處。

34. 各種障礙物的定位結果

35. 各種障礙物的定位結果

36. 各種障礙物的定位結果

37. 各種障礙物的定位結果

38. 各種障礙物的定位結果

39. 各種障礙物的定位結果

40. Reference
吳至仁，Real-Time Obstacle Detection and Sign Recognition，國立成功大學，工程科學系，碩士論文，中華民國九十一年。
陳柏安，Obstacle Detection and Environment Scanning by Computer Vision Technique for Automatic Vehicle System，國立成功大學，工程科學系，碩士論文，中華民國九十二年。

41. Thank you for your attention.