1. Robot\Machine Vision
Cherevatsky Boris

2. What is a Computer vision ?
Automatic understanding of images and videos by a computer (which could be plugged on the robot or standalone).
Computing properties of the 3D world out of visual data.
Algorithms and representations to allow a machine to recognize objects, people, scenes, and activities. (perception and interpretation)

3. Multi-view stereo for community photo collections
Some applications:
Multi-view stereo for community photo collections
Real-time stereo
Structure from motion
NASA Mars Rover
Pollefeys et al.
Goesele et al.

4. Some applications: Objects Activities Scenes Locations Text / writing
Faces
Gestures
Motions
Emotions…
amusement park
sky
The Wicked Twister
Cedar Point
Ferris wheel
ride
ride
12 E
Lake Erie
water
ride
tree
tree
people waiting in line
people sitting on ride
umbrellas
tree
maxair
carousel
deck
bench
tree
pedestrians

5. 3D Reconstruction:
Given many images of a certain scene we can use computer vision algorithms to reconstruct the 3D model.

6. Connection to other disciplines :
Artificial intelligence
Graphics
Machine learning
Computer vision
Mathematics
Image processing
Robotics
Algorithms

7. Image representation on Computer:
width 520
j=1
500 height
i=1
Intensity : [0,255]
I(176,201) = 164
I(194,203) has value 37

8. Color images, RGB color space :

9. Image formation – Pinhole Camera:
Pinhole camera is a simple model to approximate imaging process, perspective projection.
Image plane
Virtual image
pinhole
If we treat pinhole as a point, only one ray from any given point can enter the camera.

10. Perspective Projection
Far away objects appear smaller

11. Perspective Projection

12. Mathematical Equations

15. Perspective Projection & Calibration

16. Intrinsic parameters: from idealized world coordinates to pixel values
Perspective projection
W. Freeman

17. Intrinsic parameters But “pixels” are in some arbitrary spatial units
W. Freeman

18. Intrinsic parameters
Maybe pixels are not square
W. Freeman

19. Intrinsic parameters
We don’t know the origin of our camera pixel coordinates
W. Freeman

20. Intrinsic parameters
May be skew between camera pixel axes
W. Freeman

21. Intrinsic parameters, homogeneous coordinates
Using homogenous coordinates,
we can write this as:
or:
In pixels
In camera-based coords
W. Freeman

22. Extrinsic parameters: translation and rotation of camera frame
Non-homogeneous coordinates
Homogeneous coordinates
W. Freeman

23. Combining extrinsic and intrinsic calibration parameters, in homogeneous coordinates
pixels
Intrinsic
Camera coordinates
World coordinates
Extrinsic
Forsyth&Ponce
W. Freeman

24. Edge
Detection

25. גילוי שפות - Edge Detection
מפת שפות של התמונה
עיבוד תמונות ואותות במחשב

26. גילוי שפות - Edge Detection
נתייחס לתמונה כאל פונקציה רציפה f(x,y) .
הגרדיאנט של פונקציה זו:
כיוון הגרדיאנט מציין את הכיוון שבו רמות האפור משתנות באופן מכסימלי. גודל הגרדיאנט הוא ערך השיפוע המכסימלי.
עיבוד תמונות ואותות במחשב

27. עיבוד תמונות ואותות במחשב
הגרדיאנט - דוגמא
עיבוד תמונות ואותות במחשב

28. עיבוד תמונות ואותות במחשב
הגרדיאנט – דוגמא – המשך
>> i = double(imread('cameraman.tif'));
>> gradFilt = [ ; ; ]/2;
>> grad_x = imfilter(i , gradFilt , 'same' , 'replicate');
>> grad_y = imfilter(i , gradFilt' , 'same' , 'replicate');
>> [x,y] = meshgrid([1:size(i,2)] , [1:size(i,1)]);
>> figure; imshow(i , []); hold on;
>> quiver(x , y , grad_x , grad_y , 3 , 'm' , 'LineWidth' , 1);
עיבוד תמונות ואותות במחשב

29. עיבוד תמונות ואותות במחשב
הגרדיאנט – דוגמא נוספת
rice.png
עיבוד תמונות ואותות במחשב

30. קירוב הגרדיאנט של התמונה
על מנת לחשב את הגרדיאנט יש צורך לחשב נגזרת בכיוון x ו- y: 1 -1 -1 1 1 -1 2 -2 -1 -2 1 2
מסנן לחשוב
נגזרת בכיוון y
מסנן לחשוב
נגזרת בכיוון x
מסנן לחשוב
נגזרת בכיוון x
מסנן לחשוב
נגזרת בכיוון y
sobel
prewitt
עיבוד תמונות ואותות במחשב

31. גילוי שפות - Edge Detection
עיבוד תמונות ואותות במחשב

32. עיבוד תמונות ואותות במחשב
מהו ערך טוב לבחירת הסף?
T = 100
T = 70
T =40
T = 20
T = 10
T = 2
עיבוד תמונות ואותות במחשב

33. עיבוד תמונות ואותות במחשב
גילוי שפות ע"י Canny
אלטרנטיבה: Canny:
E=edges(I,’canny’)
עקרונות:
בוחרים אך ורק נקודות שהן "מקסימום מקומי" בעוצמת הגרדיאנט
בוחרים גרדיאנטים חלשים רק אם הם מחוברים לגרדיאנטים חזקים
עיבוד תמונות ואותות במחשב