1. 1 Multimedia Systems 多媒體系統 國立政治大學 資訊科學系 沈錳坤

2. 多媒體 Multimedia: 整合 – Text( 文字 ) – Image( 影像 ) – Graphics( 圖形 ) – Audio( 音訊 ) – Video( 視訊 ) – Animation( 動畫 ) 等各種不同的媒體

3. Multimedia (cont.) 連續的媒體 (Continuous media) – 音訊、視訊、動畫 非連續的媒體 ( Discrete media) – 文字、圖形、影像

4. 多媒體系統的應用 Interactive video game （互動式電玩） News-On-Demand （隨選新聞） Movie-On-Demand （隨選電影） KTV-On-Demand （隨選 KTV) Game-On-Demand （隨選遊戲） Distance Learning （遠距教學） Videophone （視訊電話） Video conference （視訊會議） Multimedia e-mail （多媒體電子郵件） CSCW (Computer-Supported Cooperative Work) Tele-commuting （電子通勤）

5. 多媒體系統的應用（續） CD-Titles Electronic encyclopedias （電子百科全書） Multimedia magazines （多媒體雜誌） Digital libraries （數位圖書館） Digital museums （數位博物館） Information Kiosks （資訊站） WWW （全球資訊網）

6. 6 Images 影像

7. 數位影像 (Digital Images) 特徵 – 像素 (pixels, picture elements) – 顏色 (colors )

8. Digital Image (Cont.) Bitmap images (.bmp): – 黑白 (monochrome images) 1 像素 1 bit: 純白、純黑 – 灰階 (grayscale images) 1 像素 1 byte 每個像素 : 256 個等級的灰階 – 彩色 (color images) 1 像素 8 bits  256 色影像 color images 1 像素 24 bits  全彩影像

11. 顏色的模型 RGB (Red, Green, Blue) CMY (Cyan 藍綠, Magenta 紫紅, Yellow) YUV (Y: 亮度, U, V: 色度 ) – Y = 0.299R + 0.587G + 0.114B – U = B - Y – V = R - Y HSV (Hue 色度, Saturation 飽和度, Value 亮度 ) – Hue: 色系 – Saturation: 顏色純度 – Value: 明亮度

12. Y, U, V Colors

13. 影像壓縮 640 x 480 x 24 bits 全彩影像 = 7.4Mb 影像壓縮的原理 – 人類的視覺 – 像素的重複性 – 統計上的不均勻度 影像壓縮的標準 – GIF Graphics Interchange Format LZW – JPEG Joint Photographic Experts Group, – JPEG 2000

14. 326,321 Bytes

15. 46, 295 Bytes

16. 29,360 Bytes

17. 9,438 Bytes

18. Fractal Coding

19. 19 Audio 音訊

20. 數位 與 類比 數位 (Digital) 與類比 (Analog)

21. Digital Audio 音訊：聲波 特徵 – 振幅 (amplitude): 音量 – 頻率 (frequency): 音階、音高 – 相位 (phase): 聲音來源 – 波形 (wave form): 音色

22. 鋼琴的 Do 大鍵琴的 Do Happy Birthday

23. 音訊的檔案格式 Wave form:.wav,.au, ra, MIDI(Musical Instrument Digital Interface): mid 壓縮檔案 : mp3

24. 音訊壓縮 2 Bytes 44.1KHz 2 channel  2*44100*60*2 = 10MB per minute 壓縮原理：人類聽覺限制、音訊重複性、統計不均勻度 Audio Compression standards – MPEG-1 Layer 1,2,3 – MPEG 2 Layer 1,2,3 – MPEG-2 AAC – Dolby AC-3 (DVD, HDTV) – MPEG-4 （語音合成、音樂壓縮 )

25. 音訊壓縮的標準 sampling bits/schannelquality rate MPEG-1 Layer 132, 44.1, 48k32-448k1-2192k MPEG-1 Layer 232, 44.1, 48k32-448k1-2128k MPEG-1 Layer 332, 44.1, 48k32-320k1-296k MPEG-2 Layer 132, 44.1, 48k32-448k1~5.1192k 16,22.05,24k32-256k MPEG-2 Layer 232, 44.1, 48k32-384k1~5.1192k 16,22.05,24k8-160k1~5,1 MPEG-2 Layer 332, 44.1, 48k32-320k1~5.164k 16,22.05,24k8-160k1~5,1 MPEG-2 AAC8k~96k264.6(44.1k) 1~5.1384k( 原音） Dolby AC-332, 44.1k, 48k32~640k1~5.1 384k

26. 26 Video 視訊

27. Video 視訊 – 連續影像 (Still images) – Frame rate: 人類視覺暫留 24~30 frames per second 現有類比視訊系統視訊 – NTSC (National Television Systems Committee) Taiwan, North American, Japan – PAL(Phase Alternation Line) Western Europe except Franc – SECAM (Sequential Couleur Avec Memire) France & parts of Eastern Europe

28. 視訊壓縮標準 NTSC: 30*640*480*3  27.7MB/s  每小時 100GB Video Compressions Standards –Motion JPEG – H.261, H.263 – MPEG-1 – MPEG-2 – MPEG-4 ＊ MPEG: Motion Picture Expert Group

29. MPEG 壓縮的原理

30. 視訊檔案格式.avi.mpg.mov.rm

31. 31 Design Issues of Multimedia Systems 多媒體系統的研究課題

32. 多媒體系統 多媒體系統 : – 產生 (creation) – 處理 (processing) – 儲存 (storage) – 管理 (management) – 擷取 (retrieval) – 傳送 (transfer) – 呈現 (presentation) * 數位 & 互動 多媒體資訊

33. 多媒體系統的特色 多媒體整合 儲存空間的需求 及時的需求 服務品質的需求 同步的需求 互動性 標準化

34. 多媒體頻寬的需求 文字 : 1 byte per character 影像 (bitmapped graphics, photos, faxes) – 64 KB per image – 7.5 MB per image 音訊 – Phone voice 8 KHz/8 bits (mono): 6-44KB/s – Audio CD DA 44.1 KHz/16 bit: 176 KB/s

35. 多媒體頻寬的需求 (cont.) 動畫 – 15-19 frames/s – 320 x 640 x 16 pixels frame, 16 bit color, 16 frames/s: 2.5MB/s 視訊 – 24-30 frames/s – 640 x 480 x 24 pixels frame, 24 bit color, 30 frames/s: 27.7 MB/s

36. 多媒體資料的空間需求 500 pages text: 1MB 100 fax images (uncompressed): 6.4 MB 100 color images (compressed 15:1): 500MB 10 min animation (compressed 15:1): 100MB 10 min video (compressed 30:1): 550MB 1 hr. video (compressed 200:1): 1GB

37. 37 Authoring of Multimedia Systems 多媒體節目的編輯

40. 40 Video-On-Demand

41. System Architecture of VOD CD Juke Box Disk Array Set-Top-Box multimedia network Server

42. Streaming Media RealNetwork RealPlayer G2 Microsoft Windows Media Player 台北愛樂電台

43. 43 Content-Based Image Retrieval 以影像內容為主的查詢

44. 影像查詢的方式

46. Query By Image Example –users select most similar image from randomly displayed images. –The State Hermitage Museum, St. Petersburg, Russia - Powered by IBMThe State Hermitage Museum, St. Petersburg, Russia - Powered by IBM

47. Query By Image Example (cont.)

48. Relevance Feedback

49. Color Features Consideration of color feature –color model: RGB, HSV, YIQ, … –number of colors: 256, 166, 26, 3, … –color representation: color histogram Color histogram: n-dimensional color bins

50. Color Histogram

51. 紋路、材質 Brodatz collection

52. 形狀

53. 空間關係

55. 55 Content-Based Video Retrieval 根據視訊內容的查詢

56. 視訊瀏覽

57. 劇情為主的視訊瀏覽

58. 物體移動軌跡為主的視訊查詢

59. 物體移動軌跡與空間關係 為主的視訊查詢

60. 以例子為主的視訊查詢

61. 場景變換的偵測

62. 關鍵畫面的自動產生 Uniform extraction –first, last frames –uniform sampling Non-uniform extraction

63. 63 多媒體的智慧財產權管理 數位浮水印