1. Selected areas in Image and Video Communication 371-2-1261
Chapter 1: Introduction to Image Processing
Dr. Ofer Hadar
Communication Systems Engineering Department
Ben-Gurion University of the Negev
This material is based on slides of to book Digital Image Processing, 2nd ed.
And the lecture of Alexei Efros:
15-463: Rendering and Image Processing
And the lecture of David Jacobs
CMSC 426: Image Processing (Computer Vision)
And the course of Prof. Shmuel Peleg:
Image Processing: 2007/2008
And the lecture of Yael Termin from Bar Ilan
April , 23, 2009
קורס עיבוד תמונה עבור אלביט מערכות

2. Overview Administrative Stuff Introduction What is this course about?
Transmission of Audio and Video Signals Over the Internet אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת

3. Administrative Stuff
Classes: Thursday, building 90 room 08:00-11:00.
TA: Evgeney Kaminsky
lecture notes
bulletin board
reading information
Transmission of Audio and Video Signals Over the Internet אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת

4. Administrative Stuff Grading Appearance at the class at list 80% - 5%
Homeworks – 45%
Are mandatory in group of 2 students
It will include open questions and Simulations.
Mini project (with simulations) and presentation – 50%
Transmission of Audio and Video Signals Over the Internet אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת

5. Administrative Stuff
Text Books
R. C. Gonzalez and R.E. Woods, Digital Image Processing, 3rd Ed., (2007).
 Y. Wang, J. Ostermann, Y. Zhang, Video Processing and Communications, Prentice-Hall, (2002)
Transmission of Audio and Video Signals Over the Internet אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת

6. Course Overview: Part 1: Image and Video processing
1.1: Introduction to Image Processing
1.2: Image Enhancement :Histogram Equalization, Point processing and spatial image processing
1.3: Image Enhancement: spatial frequency domain
1.4: Image and video restoration
1.5 : Image and video segmentation, Target detection, Automatic Target Detection (ATR)
Part 2: Advanced topics in Image and Video communication
2.1: Video quality measures
2.2: 3D Video compression -Multi view video coding
2.3: Rate distortion , complexity rate distortion and bit allocation
2.4: SVC coding in H.264 (SVC vs. MDC)
2.5: Video coding for Wirelles communication
Part 3: Students presentations
Transmission of Audio and Video Signals Over the Internet אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת

7. קורס עיבוד תמונה עבור אלביט מערכות
Image Formation
f(x,y) = reflectance(x,y) * illumination(x,y)
Reflectance in [0,1], illumination in [0,inf]
קורס עיבוד תמונה עבור אלביט מערכות

8. Sampling and Quantization
קורס עיבוד תמונה עבור אלביט מערכות

9. Sampling and Quantization
קורס עיבוד תמונה עבור אלביט מערכות

10. קורס עיבוד תמונה עבור אלביט מערכות
What is an image?
We can think of an image as a function, f, from R2 to R:
f( x, y ) gives the intensity at position ( x, y )
Realistically, we expect the image only to be defined over a rectangle, with a finite range:
f: [a,b]x[c,d]  [0,1]
A color image is just three functions pasted together. We can write this as a “vector-valued” function:
As opposed to [0..255]
קורס עיבוד תמונה עבור אלביט מערכות

11. קורס עיבוד תמונה עבור אלביט מערכות

12. קורס עיבוד תמונה עבור אלביט מערכות

13. קורס עיבוד תמונה עבור אלביט מערכות

14. קורס עיבוד תמונה עבור אלביט מערכות
Images as functions
Render with scanalyze????
קורס עיבוד תמונה עבור אלביט מערכות

15. קורס עיבוד תמונה עבור אלביט מערכות
What is a digital image?
We usually operate on digital (discrete) images:
Sample the 2D space on a regular grid
Quantize each sample (round to nearest integer)
If our samples are D apart, we can write this as:
f[i ,j] = Quantize{ f(i D, j D) }
The image can now be represented as a matrix of integer values
קורס עיבוד תמונה עבור אלביט מערכות

16. קורס עיבוד תמונה עבור אלביט מערכות
Image processing
An image processing operation typically defines a new image g in terms of an existing image f.
We can transform either the range of f.
Or the domain of f:
What kinds of operations can each perform?
Use photoshop to make something grayscale
קורס עיבוד תמונה עבור אלביט מערכות

17. קורס עיבוד תמונה עבור אלביט מערכות
Point Processing
The simplest kind of range transformations are these independent of position x,y:
g = t(f)
This is called point processing.
What can they do?
What’s the form of t?
Important: every pixel for himself – spatial information completely lost!
קורס עיבוד תמונה עבור אלביט מערכות

18. Basic Point Processing
קורס עיבוד תמונה עבור אלביט מערכות

19. קורס עיבוד תמונה עבור אלביט מערכות
Negative
קורס עיבוד תמונה עבור אלביט מערכות

20. קורס עיבוד תמונה עבור אלביט מערכות
Log
קורס עיבוד תמונה עבור אלביט מערכות

21. קורס עיבוד תמונה עבור אלביט מערכות
Image Enhancement
קורס עיבוד תמונה עבור אלביט מערכות

22. קורס עיבוד תמונה עבור אלביט מערכות
Contrast Stretching
קורס עיבוד תמונה עבור אלביט מערכות

23. קורס עיבוד תמונה עבור אלביט מערכות

24. קורס עיבוד תמונה עבור אלביט מערכות

25. קורס עיבוד תמונה עבור אלביט מערכות
Image Histograms
קורס עיבוד תמונה עבור אלביט מערכות

26. Cumulative Histograms
קורס עיבוד תמונה עבור אלביט מערכות

27. Histogram Equalization
קורס עיבוד תמונה עבור אלביט מערכות

28. Neighborhood Processing (filtering)
Q: What happens if I reshuffle all pixels within the image?
A: It’s histogram won’t change. No point processing will be affected…
Need spatial information to capture this.
קורס עיבוד תמונה עבור אלביט מערכות

29. Example of Image Processing Applications
קורס עיבוד תמונה עבור אלביט מערכות

30. Boundary Detection: Local cues
קורס עיבוד תמונה עבור אלביט מערכות

31. Boundary Detection: Local cues
קורס עיבוד תמונה עבור אלביט מערכות

32. קורס עיבוד תמונה עבור אלביט מערכות

33. קורס עיבוד תמונה עבור אלביט מערכות
Boundary Detection
קורס עיבוד תמונה עבור אלביט מערכות

34. קורס עיבוד תמונה עבור אלביט מערכות
(Sharon, Balun, Brandt, Basri)
קורס עיבוד תמונה עבור אלביט מערכות

35. קורס עיבוד תמונה עבור אלביט מערכות

36. קורס עיבוד תמונה עבור אלביט מערכות
Boundary Detection
Finding the Corpus Callosum
(G. Hamarneh, T. McInerney, D. Terzopoulos)
קורס עיבוד תמונה עבור אלביט מערכות

37. קורס עיבוד תמונה עבור אלביט מערכות
Texture
Photo
Pattern Repeated
קורס עיבוד תמונה עבור אלביט מערכות

38. קורס עיבוד תמונה עבור אלביט מערכות
Texture
Photo
Computer Generated
קורס עיבוד תמונה עבור אלביט מערכות

39. קורס עיבוד תמונה עבור אלביט מערכות
Tracking
(Comaniciu and Meer)
קורס עיבוד תמונה עבור אלביט מערכות

40. קורס עיבוד תמונה עבור אלביט מערכות
Tracking (
קורס עיבוד תמונה עבור אלביט מערכות

41. קורס עיבוד תמונה עבור אלביט מערכות
Stereo
קורס עיבוד תמונה עבור אלביט מערכות

42. קורס עיבוד תמונה עבור אלביט מערכות
Stereo
קורס עיבוד תמונה עבור אלביט מערכות

43. קורס עיבוד תמונה עבור אלביט מערכות
Stereo
קורס עיבוד תמונה עבור אלביט מערכות

44. קורס עיבוד תמונה עבור אלביט מערכות
Motion
קורס עיבוד תמונה עבור אלביט מערכות

45. קורס עיבוד תמונה עבור אלביט מערכות
Motion - Application (
קורס עיבוד תמונה עבור אלביט מערכות

46. קורס עיבוד תמונה עבור אלביט מערכות
Pose Determination
Visually guided surgery
קורס עיבוד תמונה עבור אלביט מערכות

47. קורס עיבוד תמונה עבור אלביט מערכות
Recognition - Shading
Lighting affects appearance
קורס עיבוד תמונה עבור אלביט מערכות

48. קורס עיבוד תמונה עבור אלביט מערכות

49. קורס עיבוד תמונה עבור אלביט מערכות