1. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 1 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Calibration Issues Linear Models –Homography estimation H –Epipolar geometry F, E –Interior camera parameters K –Exterior camera parameters R,t –Camera pose R,t Interest Point Detection + Description Algorithms –Overdetermined systems of linear equations  Error Minimization –Direct Linear Transform – DLT –Normalization –Nonlinearities  iterative error minimization, Levenberg-Marquardt –Outliers  Robustness, RANSAC

2. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 2 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Pinhole Camera “real” camera image plane π i (x,y): Z cam = -f x y Z cam X cam Y cam “principal” point (x 0,y 0 ) “optical axis” p(x,y) P(X cam,Y cam,Z cam ) f “focal length” f 2D projection  3D scene p(x,y) ↔ line of sight = viewing direction P’(X cam ’,Y cam ’,Z cam ’) “Pinhole” C … “center of projection” C cam X Y Z P(X,Y,Z,1) P’(X’,Y’,Z’,1) R,tR,tR,tR,t p(x,y,1) “interior” camera parameters “interior” camera parameters – x 0, y 0, f, … “exterior” parameters “exterior” parameters – camera pose – R, t

3. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 3 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Pinhole Camera image plane π i (x,y): Z cam = -f x y Z cam X cam Y cam “principal” point (x 0,y 0 ) “optical axis” f C cam X Y Z P(X,Y,Z,1) P’(X’,Y’,Z’,1) R,tR,tR,tR,t p(x,y,1) P : 3 x 4 matrix “camera projection matrix” [Pollefeys p.24, eq. (3.8)]

4. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 4 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz The Basic Pinhole Model  Note: Figures taken from, notation following [Hartley,Zisserman] ~ … inhomog. coord. … homog. coord. … homog. coord.

5. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 5 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz The Basic Pinhole Model

6. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 6 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Principal Point Offset

7. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 7 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Principal Point Offset camera calibration matrix interior/internal parameters interior/internal orientation

8. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 8 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation 4 x 4 P 3 3 x 4 P 2 P 3

9. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 9 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation 3 x 4 projection matrix P 9 degrees of freedom 3 “internal parameters” in K 3 rotation angles in R 3 translations in C ~

10. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 10 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation Simplified notation: avoid explicit modeling of C

11. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 11 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Pinhole –3 parameters in K CCD –4 parameters Finite projective camera –5 parameters –“skew” s From Pinhole  Real Cameras: K mxmx mymy 3 x R, 3 x t 9 10 11

12. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 12 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Projective Camera Finite projective camera: –K is an upper triangular matrix –KR is non-singular General projective camera: –P is an arbitrary 3 x 4 matrix of rank 3 –P has also 11 degrees of freedom But: We model real cameras as finite projective cameras (+ lens distortion)

13. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 13 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Camera Calibration in Practice (1) Take –1 picture of a 3D calibration target, –or several pictures of a planar calibration target (take care so that all parameters can be recovered !) Establish point correspondences Calculate P –set of linear equations Decompose P

14. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 14 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz 3D Targets [Hartley + Zisserman][Heikkilä] Photogrammetry [Godding / Jähne] Many ways to build … Corners vs. circles (center of gravity) … Precision of building, attaching, … CNC measured points … EMT: coordinate measurement machine

15. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 15 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz 2D vs. 3D Targets f = 28mm, z ~ 300mm f = 50mm, z ~ 470mm f = 84mm, z ~ 720mm

16. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 16 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz 2D Targets f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm f = 84mm, z ~ 720mm arbitrary scaling ! arbitrary scaling ! – z/f ~ const. – closeup of toy car vs. real car at a distance … but: subtle differences in image quality ! but: subtle differences in image quality !

17. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 17 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Image Quality (1) f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm  lens distortion !

18. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 18 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Image Quality (2) f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm  “chromatic aberration”

19. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 19 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Lens Distortion Model Several ways to model Most common: –Radial lens distortion k i –Tangential lens distortion t j –Radial >> tangential –Polynomial approximation up to varying order (x 0,y 0 ) r x y

20. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 20 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Camera Calibration in Practice (2) Take –1 picture of a 3D calibration target, –or several pictures of a planar calibration target Establish point correspondences Calculate P –set of linear equations Decompose P A first estimate for linear Interior parameters ( K ) Add nonlinear relationships (model k i, t j ) Perform iterative optimization (w.r.t. some error) Enforce constraints (such as structure of K and R)

21. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 21 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz More Matrices … Homography H Projection P (K, R, t ) Multiple views: –Epipolar geometry –Uncalibrated stereo: “Fundamental” matrix F –Calibrated stereo: “Essential” matrix E –Stereo rig –Camera motion  many views  AR tracking

22. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 22 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (1) Figures from [Hartley + Zisserman] C, C’, x, x’, X are co-planar (lie in the “epipolar plane” π)

23. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 23 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (2) Assume that only C, C’, and x are known

24. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 24 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (3) π projects on “epipolar lines” l and l’ “baseline”: connects C, C’ “epipoles”: e, e’ C C’

25. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 25 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (4) When 3D position of X varies, π “rotates” about the baseline Family of planes – “epipolar pencil” – “Ebenenbüschel” C C’

26. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 26 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry – Example 1: Converging Cameras [Hartley+Zisserman]

27. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 27 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry – Example 2: Forward Translation [Hartley+Zisserman], [Pollefeys] e e’

28. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 28 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (1) We had an example: Homography H

29. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 29 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (2) Transfer x i via X i in π to x i ’ 2D homography H π maps each x i to x i ’ “skew-symmetric” matrix

30. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 30 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (3) F relates x in one image with its corresponding epipolar line l’ in the other image (all X in R 3 !): The corresponding point x’ must lie on l’: This relates to: How to estimate F?  Point correspondences

31. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 31 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz Calibration Issues Linear Models –Homography estimation H –Epipolar geometry F, E –Interior camera parameters K –Exterior camera parameters R,t –Camera pose R,t Interest Point Detection + Description Algorithms –Overdetermined systems of linear equations  Error Minimization –Direct Linear Transform – DLT –Normalization –Nonlinearities  iterative error minimization, Levenberg-Marquardt –Outliers  Robustness, RANSAC

32. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 32 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz A final word on E “Essential matrix” E –Similar to F –Relates calibrated stereo rig –Internal matrices K and K’ are known R, t “normalized coordinates”