1. M. Y. Sung 1 Networked Multimedia Systems 네트워크 기반 멀티미디어 시스템 S.V. Raghavan Satish K. Tripathi http://www.engr.ucr.edu/faculty/tripathi/visualaids/

2. M. Y. Sung 2 Chapter 1 Multimedia Systems Primer 멀티미디어 시스템 입문

3. M. Y. Sung 3 1.1 멀티미디어란 ? 인간의 기능을 자동화 인지 (perception) 보유 ( 기억 )(retention) 추론 (reasoning) 표현 (presentation) 컴퓨터가 전송 (transmission) 을 자동화 : distributed agents 등을 이용 인간의 기능을 자동화하는 두 가지 접근 인간을 대치 : flexible manufacturing system 모든 기능을 컴퓨터가 처리 인간을 위한 이기 (facilitating contrivances) : cooperative computing and teleconferencing system perception, retention, presentation 은 컴퓨터가, reasoning 은 사 람이 처리

4. M. Y. Sung 4 1.1 멀티미디어란 ? 인간의 오감 시각 : tangible (possible to code in digital form) 청각 : tangible 후각 : tangible ? 미각 : tangible ? 촉각 : tangible ? Multimedia : video, audio, data 코딩 (coding) 저장 또는 데이터베이스 (storage or databases) 자원 할당 또는 스케줄링 (resource allocation or scheduling) 네트워크를 통해 들어오는 여러 미디어 정보의 흐름 (flow of information in different media form through the network) 흐름에 따른 시간 동기화 (time synchronization across the flow) 성능 (performance)

5. M. Y. Sung 5 1.1 멀티미디어란 ? 미디어 (media) text digitized voice digitized video still digitized images graphics 같은 데이터들 멀티미디어 (multimedia) : 적어도 하나 이상의 연속 미디어 (video, audio) 와 이산 미디어 (text, image) 의 조합 멀티미디어 응용의 2 유형 stored : persistent live : non-persistent

6. M. Y. Sung 6

7. 7 1.2 왜 멀티미디어 ? 더욱 풍부 (much richer) 멀티미디어 데이터베이스 store the multimedia information in their original form ( 예 ) photograph, presentation 등을 포함하는 employee database 멀티미디어 회의 (multimedia conferencing) limited only by the imagination of the user

8. M. Y. Sung 8 1.3 멀티미디어 시스템이란 ? 멀티미디어 시스템 Data, voice, video, image, graphics 같은 멀티미디어 정보를 그들의 자연스 러운 형태대로 처리, 저장, 생성, 조작, 표출 (rendition) 하는 기계 분산 멀티미디어 시스템 (distributed multimedia system) 컴퓨터 네트워크 지원 OS 지원 멀티미디어 정보의 가장 흥미로운 특징 = 시간 관계 (temporal relationship) = 동기화 (synchronization)s 미디어 내부 미디어 사이 시간 관계에 관한 주요 논점 시간 관계가 어떻게 저장되나 ? 멀티미디어 정보가 어떻게 시간 관계를 엄격하게 지키면서 재생 (play back) 되나 ? ck so that the temporal relationships are strictly maintained? 그렇게 하기 위해 무엇이 필요한가 ?

9. M. Y. Sung 9 1.3.1 멀티미디어 정보의 성질 ‘ HELLO ’ in Data Audio Video Image Graphics 성질 대용량 (the volume) 동기화 (synchronization) 미디어 내 동기화 (intra-media synchronization) : 미디어 자체의 시간 제약 (time constraints) 미디어간 동기화 (inter-media synchronization)

10. M. Y. Sung 10

11. M. Y. Sung 11

12. M. Y. Sung 12

13. M. Y. Sung 13 1.3.2 멀티미디어 정보의 동기화 Inter-media synchronization 예 video of the lecture Image of the transparencies Audio of the lecture itself Stream = 각 미디어의 정보 단위 / 샘플들의 연속 (the series of information units/samples for each media) Video stream Image stream Audio stream 예에서의 Inter-media synchronization 순간들 Audio & video : t1, t2, t3, t5, t6 Audio & image : t1, t2, t5, t6 Image & video : t1, t2, t5, t6 All : t1, t2, t5, t6

14. M. Y. Sung 14

15. M. Y. Sung 15 1.3.3 멀티미디어 구성물 (multimedia formation) 개념 Media 응용은 Multimedia formation 들로 구성 멀티미디어 구성물 (multimedia formation) = multimedia stream 들로 구 성 Multimedia formation 의 각 streams 은 network 통해 receiving end 로 전 달된 후 재생되기 전에 receiver buffer 에서 multimedia formation 으로 재 형성 되어야 함 Multimedia formation 의 생성 Retrieved from disk as stored data Integrated from the live input

16. M. Y. Sung 16

17. M. Y. Sung 17 1.3.4 멀티미디어 시스템의 바람직한 기능들 매우 강력한 처리 능력 (Very high processing power) 멀티미디어 정보를 처리할 수 있는 파일 시스템 (A file system capable of handling multimedia information) 멀티미디어 정보의 고유한 특성을 이용할 수 있는 포맷 (File formats that exploit the inherent properties of the multimedia information) 멀티미디어 운영체제 (Multimedia operating system) 저장과 메모리 (Storage and memory) 네트워크 지원 (Network support) 소프트웨어 도구들 (Software tools)

18. M. Y. Sung 18 1.3.5 멀티미디어 시스템의 운영 관점 (operational view) Synchronization Within media Constant rate Constant size Audio : 8000 sample/sec * 8 bits Video : 30 frames * 620 * 480 * 24 bits Inter-media Synchronization 을 방해 통신대역 (communication bandwidth) 의 공유로 인한 비동시 성 (asynchrony) 전송 중의 손실 Multimedia formation 의 재구성 문제

19. M. Y. Sung 19 1.4 멀티미디어 시스템의 구성 요소 Capture devices Video camera, video cassette recorder, audio microphone, keyboard, mouse, etc. Storage devices CD-ROMs, disks Communication networks Ethernet (10 to 100 Mbps), Token Ring (100 Mbps), FDDI (100 Mbps), ATM (up to 1Gbps) Computer systems Pentium PCs, Workstations, MPEG, DSP hardware Display devices Df-quality speaker (audio), HDTV, SVGA, HiRes monitors

20. M. Y. Sung 20 1.5 멀티미디어 시스템의 유형 Type I : standalone Type II : peer-to-peer, dedicated links Type III : server-client, high-speed WAN

21. M. Y. Sung 21

22. M. Y. Sung 22

23. M. Y. Sung 23

24. M. Y. Sung 24

25. M. Y. Sung 25 1.6 멀티미디어 시스템의 활용 Multimedia System 의 분류 Multimedia Database Systems Multimedia Presentation Systems Multimedia Conferencing Systems 정보 생성 모드에 따른 분류 Orchestrated (Archived) : persistent Live : non-persistent 정보의 시간적 관계 (temporal relationship) 에 따른 분류 이산 (Discrete) : text, image, graphics 연속 (Continuous) : audio, video, animation

26. M. Y. Sung 26 1.6.1 멀티미디어 데이터베이스 도전해야 할 기능 (challenges) 대용량 데이터를 처리 (Handling the voluminous data) 여러 곳에서 온 데이터를 구조화 (Structuring data from different sources) 동기화 정보를 유지 (Maintaining the synchronization information) 효율적인 검색을 위한 적절한 질의어를 제공 (Providing a proper query language for efficient searching) 멀티미디어 정보의 특징 Non-persistent when created Persistent when retrieved from the database for rendition ( 예 ) Multimedia Digital Library On-demand multimedia server HDTV-on-demand server 2 modes Broadcast On-demand multimedia database server for virtual tourist

27. M. Y. Sung 27 1.6.2 멀티미디어 프리젠테이션 시스템 사용자의 제어 하에 재생됨 멀티미디어 데이터베이스의 도전 기능 + 사용자의 상호작용을 처리 (Handling the user interactions) (VCR-like)

28. M. Y. Sung 28 1.6.3 멀티미디어 회의 시스템 Video, voice, data, image, graphics 등이 생성되고, 전송되고, 실시간으 로 재생됨 (+ Later playback) 멀티미디어 프리젠테이션 시스템의 도전 기능 + 실시간으로 대용량 non-persistent 정보를 처리 (Dealing with large quantities of non- persistent information in real-time)

29. M. Y. Sung 29

30. M. Y. Sung 30 1.7 인터넷 현황 Ubiquitous internet 의 2 응용 WWW (World Wide Web) Annihilation of distance + With the traditional databases with ease Components URL (Uniform Resource Locator) HTML (Hyper-Text Markup Language) HTTP (Hyper-Text Transfer Protocol) : Downloading & Real-time Mbone (Multicast BackbONE) : University of California at Berkeley Multicast : sending packets to a group of destinations softwares sd (Session Directory) : interface to Mbone (joining the conferences) vat (Visual Audio Tool) : multicasts voice wb (White Board): multicasts text, images, graphics nv (Network Video) : multicasts video (X-window session)

31. M. Y. Sung 31

32. M. Y. Sung 32

33. M. Y. Sung 33 1.8 멀티미디어를 가능하게 하는 기술들 전송 기술 (Carrier Technology) : optical fiber, high capacity, high-speed, high reliability (computer communication + television + telephony) 스위칭 기술 (Switching Technology) : ATM, DQDB, FDDI, SMDS, frame relays (network layer and below) 프로토콜 기술 (Protocol Technology) : address location, address resolution, connection setup, multicasting, end-to-end control, QoS 응용 기술 (Application Technology) : new multimedia applications, user-friendly interface and equipments 센서, 코딩, 및 압축 기술 (Sensor, Coding and Compression Technology) : digital video camera, digital microphones, digital scanners, video codec, voice codec  built-in 데이터베이스 기술 (Database Technology) : large databases, integrated databases, federated databases  storing multimedia and retrieving with multimedia keys 소프트웨어 기술 (Software Technology) : distributed programming, parallel programming, object-oriented programming 컴퓨팅 기술 (Computation Technology) : high-performance processors, distributed environments, server-client computing 시스템 통함 기술 (System Integration Technology) : seamless integration (the most important)  모든 기술에 대한 재설계 / 재고려 (redesign/rethinking) 필요

34. M. Y. Sung 34

35. M. Y. Sung 35 다양성 Multimedia application span a large spectrum. At one end of the spectrum we have a simple presentation tool and at the other end we have a doctor performing brain microsurgery with the help of a consultant doctor located at the other side of the globe, both of them sharing a common database in another geographical location – all in real-time.

36. M. Y. Sung 36 1.9 마법의 단어 - QoS 네트워크에서 발생된 비동시성 (asynchrony) 이 동기화를 방해 Transfer-Store-Play : markers (time stamps) Transfer-Play 동기화를 보장하려면 충분한 대역폭을 보장 : 모든 전송에 최대 대역폭을 할당하면 자원 낭비를 초 래할 수 있으므로 네트워크 이용율을 극대화할 수 있는 적절한 ( 평균 ) 대역폭 할당 버퍼링 지원 : transmission delay 보상 및 multimedia formation 재구성 가능 Delay jitter 를 일정 한계 이내로 유지 QoS (Quality of Service) = delay, jitter, percentage of loss of packets 등에 대한 요구 및 이에 대한 서비스 Preferred QoS : ideal Guaranteed QoS : negotiation (application.vs. network) Acceptable QoS : minimum

37. M. Y. Sung 37

38. M. Y. Sung 38 1.9 마법의 단어 - QoS QoS 파라미터 통신 처리율 (Traffic throughput) : amount of data per unit time (bandwidth) 전송 지연 (Transmission delay) : end-to-end delay (absolute bound or probabilistic bound) 지연 지터 (Delay jitter) : delay variation 전송 신뢰성 (Transmission reliability) : loosing packets due to the limited size of buffers 동기화 (Synchronization) : inter-channel bounds on QoS parameters or multicast relationship

39. M. Y. Sung 39 1.10 시스템 설계 System Hardware : CPU, memory, I/O system for disks, NIU(network interface unit), display controller, audio controller, disk drives, display, microphones, speaker Sufficient speed Sufficiently large volume System Software : OS, file system, compilers. Utilities Large files Unconstrained block allocation : access time, latency Constrained block allocation : granularity, scattering parameters Real-time scheduling : started and completed on-time Communication Support : conforming to a QoS QoS High bandwidth Low end-to-end delay Bounded delay variation (jitter) Minimum packet loss Need for new protocols for high-speed network

40. M. Y. Sung 40