Digital Image Processing and Analysis (I)

What are images ? 廣義: image就是pictures 一種視覺化的方式來做紀錄或呈現 基本上人類是一種視覺化的生物,我門利用眼睛來接收大部分的資訊,而我們的腦也非常的習慣來對這些視覺化的資料做處理 在科學的領域上有句常說的話 “a picture is worth a thousands words”

波長 (/m) 10-12 10-10 10-8 10-6 10-4 10-2 1 102 104 Gamma rays X-rays UV IR microwaves FM radio 光 400 700 600 500 紫 藍 綠 黃 紅 (/nm)

然而光線並不是唯一被使用在科學影像上的參數,影像尚可由 狹義: Image是描述一個表面其參數是如何的變化 標準的視覺影像: 在一個2D的平面上光的強度變化程度 然而光線並不是唯一被使用在科學影像上的參數,影像尚可由 積體電路電流的溫度所形成 人動脈血液的流動形成 從遠方銀河放射來的X-ray所形成 當地震時地面產生的移動所形成 這些奇特的影像都會被轉換成我們所習慣的圖像 (如光所形成的影像),因此他們得以被人類的眼睛所估算

數位影像的結構 這個影像是由40,000個樣本在一個具有200個行和200個列的2D的陣列中組成,

每一個樣本我們將其稱之為像素(pixel) 像素是由一個從0 ~ 255的數字所構成 這個數字是和微波的能量從行星表面反射有關 為了表現將這樣的一個數字變為視覺化的影像,我們必須將每一個像數轉換成灰階,0代表黑色,255代表白色

影像的大小 典型的數位影像 : 500500 有時使用 會使用大於 10001000 例如 television, personnel computer applications, and general scientific research. 有時使用 會使用大於 10001000 例如 computer graphics, high-definition television, and 35 mm motion pictures. 偶而需要使用several thousand pixels per side 例如 digitized x-ray images, space photographs, and glossy advertisements in magazines.

影像的解析度

為什麼會想限制影像的大小: 因為大部分影像處理所碰到的困難其實都是在管理非常大量的資料 Ex: 一秒的數位化聲音約佔8KB 一秒的數位化影像約佔8MB

灰階 通常使用 256 gray levels 電腦記憶體儲存方便 人眼有自動平均的能力 人眼判別灰階的能力有限 a single byte is convenient for data management 人眼有自動平均的能力 the large number of pixels in an image compensate to a certain degree for a limited number of quantization steps 人眼判別灰階的能力有限 a brightness step size of 1/256 (0.39%) is smaller than the eye can perceive.

較精細的灰階能夠提供更多的資訊給電腦，雖然人眼看不見，但是較精細的灰階可能能夠使得電腦程式提供較好的結果，在這類情況下，常會使用較精細的灰階資訊。

彩色影像 使用3個數字來代表一個像素(RGB) 藉由呈現這3個數值的強度來表示像素 混合這三種顏色可以產生所有可能的顏色 通常使用1的Byte來儲存一個顏色,因此所有的顏色約 256x256x256 ≈ 16.8百萬

Image Process 簡單的說: Digital image processing (DIP): 就是利用各種方法來操作及修改影像 攝影師和物理學家可以利用一些化學物質或光學設備來完成一些影像處理的操作 Digital image processing (DIP): 利用電腦來進行影像處理 不單指影像處理,還包括影像如何取得,儲存和呈現

數位影像的技術實際上要來得比電腦發展早,在1920早期,報紙的圖片就以數位化的方式利用海底纜線來橫度大西洋 DIP一直等到電腦硬體發展到一定的技術時才漸漸熱門

Image Processing, Computer Vision and Computer Graphics All three are interrelated ! Image Processing: Images to Images. Image → enhanced, restored, feature-extracted, or compressed image data. Computer Vision: Images to Descriptions. Image → 2- or 3-D description or interpretation. Computer Graphics: Descriptions to Images. 2- or 3-D description → Image (synthesized) Pattern Recognition: (Classification) Transducer → Feature Extraction → Classification.

Example: Volume rendering for medical applications: Clean up the image: ( image processing ) Separate the regions of interest: segmentation. ( computer vision ) Render: ( computer graphics )

Digital Image Processing and Analysis (I) Image File Format

JPEG

JPEG Joint Photographic Experts Group (聯合圖像專家組織) 1991年公佈規範,屬於ISO 10918-1的標準 主要特性: 其設計目的用來壓縮全彩或黑白的自然寫實影像 用在照片或美術作品方面的表現繪比只有線條的圖形要來得恰當 主要用來處理靜態的影像,至於動態影像方面則有另一個技術稱之為MPEG

JPEG所採用的壓縮技術稱之為失真壓縮 ,即解壓縮之後所得的影像並不會與壓縮前的影像完全一樣 處理檔案的大小上具更大的壓縮比, 利於傳輸,相對地,在演算法的編碼及解碼上較費時 由於人類的眼睛雖然對於微小的亮度發生改變可以正確的感覺出來,但是對色彩些微的改變時,卻無法察覺

JPEG就是針對那些人類無法察覺到的色彩變化來進行壓縮,但是如果我們利用機器對影像進行分析,則由JPEG所產生出來微小的影像誤差有仍可能會產生錯誤,而這個錯誤是眼睛所觀察不到的

JPEG壓縮影像的原理 JPEG的壓縮法是利用離散餘弦轉 (Discrete Cosine Transform；DCT) 的壓縮技術來儲存靜態影像的檔案格式 JPEG利用DCT把整個影像壓縮成許多8x8像素的正方形格子所構成的「像素訊息方塊」並將之按照一定順序排列的方式儲存後進行壓縮，每一次壓縮都會捨棄若干頻率訊息，壓縮得越多，則捨棄的頻率訊息也越多

完整的影像 52 55 61 66 70 61 64 73 63 59 66 90 109 85 69 72 62 59 68 113 144 104 66 73 63 58 71 122 154 106 70 69 67 61 68 104 126 88 68 70 79 65 60 70 77 68 58 75 85 71 64 59 55 61 65 83 87 79 69 68 65 76 78 94 壓縮前 (512 bits) 8x8像素的區塊 壓縮比約5.6 : 1 DCT計算 1010110 0100 001 0100 0101 100001 0110 100011 001 100011 001 001 100101 11100110 110110 0110 11110100 000 1010 壓縮後 (92 bits) 量化 可變長度碼分配

JPEG檔之缺失及近年來之發展 網路上JPEG的圖檔只能一行一行地下載,直到全部下載完畢,才可以看到整個影像

JPEG2000 在2000年3月的東京會議,靜態圖像的新一代編碼方式「JPEG2000」的編碼演算法才告確定 其核心在於它的新演算法放棄了以原本所採用DCT為主的區塊編碼方式，而改用以離散小波轉換演算法為主的編碼方式 http://www.jpeg.org/JPEG2000.htm

BMP

BMP BMP (Bitmapped)影像是Microsoft公司自行規劃的影像檔案格式 BMP檔案格式是和顯示裝置無關的,所以又稱為DIB (Device-Independent Bitmap),這種格式的圖形檔可以是2色、16色、256色或是全彩(16777216色)

BMP檔案的特色 檔案結構只能存放一張資料 只儲存單色、16色、256色和全彩(16,777,216色)四種影像資料 影像資料可以選擇壓縮或不壓縮 Windows設計了兩種壓縮方式：RLE4和RLE8,其中RLE4只能處理16色的影像,而RLE8則只用在256色的影像資料 影像資料排列順序和一般影像檔有所不同 調色盤的資料結構特殊

BMP檔案的結構 分成三部分: BMP檔頭資料區 調色盤資料區 影像資料區

檔頭的大小固定為54個Bytes 檔案最前面兩個位元組為固定常數0x4D42 (字串BM) 調色盤的部分,只有全彩的BMP檔案內沒有調色盤資料,其餘的三種色彩模式(單色、16色和256色)都必須有調色盤資料 它儲存影像的資料順序是由下而上,由左而右,亦即BMP檔案是以螢幕的左下角作為起點,依據左至右,下而上的次序直到螢幕的右上角為止

檔案儲存格式 單色影像方面是以1個Byte儲存8個像素-調色盤會有2組 16色影像是以1個Byte儲存2個像素-調色盤有16組

調色盤由四個Byte (BGRA)組成：第一個Byte是藍色所佔的強度、第二個Byte是綠色所佔的強度、第三個Byte是紅色所佔的強度,第四個Byte則為保留位元 圖形是兩種顏色(黑白),則調色盤所佔的空間為8 Bytes 16色,則調色盤佔了64 Bytes 256色時,調色盤將佔去1024 Bytes 圖形為全彩時,圖形資料本身每個點就佔了3個Byte,正好可視為調色盤

TIFF

TIFF 全名為Tag Image File Format 其設計的原意是專門用來處理掃描器所產生的影像資料 而後逐一的增加檔案內的識別資訊與壓縮法，成為一種包容萬象的影像檔案格式

TIFF檔案的特色 可利用指標功能,儲存多張影像畫面 檔案內的資料區塊沒有固定的排列順序 可以制定私人用的標籤訊息 可接受多種不同的影像格式,除了一般的RGB外尚可接受CMYK (靛青,紫紅,黃,黑) 等影像模式 可儲存多份調色盤資料 調色盤資料型態和排列順序特殊 影像畫面可分割成幾個部分儲存

TIFF檔案的結構 主要由三種資料段所組成,檔頭、標籤資訊區段、影像資料區段 每個檔案內只有一個檔頭,而且必定位於檔案的最前端 標籤資訊區段內有多組標籤資訊,每一組標籤資訊的長度固定為12個Bytes

檔案儲存格式 單張影像及多張影像之儲存方式不同 單張影像: TIFF檔頭資料 標籤資訊區段 影像資料區段

多張影像 TIFF檔頭資料 標籤資訊區段 影像資料區段 …

TIFF檔頭資料的起點必為0x4949(II)或0x4D4D(MM) TIFF檔案內的調色盤有著特殊的儲存方式,首先是將1個Byte單位的顏色值改用2個Bytes儲存,如此一來,16色調色盤的資料原本是48 Bytes TIFF檔案還改變了調色盤的儲存方式: 一般影像檔案的調色盤是以RGB相間(RGBRGBRGBRGB…)的形式儲存 但是TIFF則是把調色盤中所有的紅色值先儲存,接著儲存綠色值,最後儲存藍色值,以RGB的色帶形式儲存(RRRR….GGGG….BBBB…..)

GIF

來自於Graphics Interchange Format的縮寫 這個檔案格式的設計是為了方便網路使用者傳送影像資料.如今,GIF檔案也已成為網路上最常使用的影像檔

GIF檔案的特色 檔案具有多元化結構,能夠儲存多張的影像畫面 根據區塊的第一個位元組(Byte)來尋找及辨識資料區塊 調色盤的資料有通用調色盤和局部調色盤兩種 採用改良的Lempel Ziv Welch(LZW)壓縮法,其演算法是屬於無失真式的壓縮 影像資料以1個Byte儲存1個像素 影像資料有兩種排列方式：循序排列與交錯排列 最多只能儲存256色的影像畫面

GIF檔案的結構 由七項資料單元所構成 GIF 表頭資料 通用調色盤 註解補充區段 圖形控制補充區段 影像資料區段 文字補充區段 應用補充區段

每一個影像資料區段內儲存一張影像畫面 四個補充區段也都可以在檔案中出現一次以上 而影像資料區段與四個補充區段中的第一個Byte是用來當作辨識的符號 若使用GIF檔案只是用來儲存影像資料時,這樣的GIF影像檔並不需要儲存這四個補充區段的資料