Presentation is loading. Please wait.

Presentation is loading. Please wait.

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 1 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz.

Similar presentations


Presentation on theme: "Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 1 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz."— Presentation transcript:

1 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Calibration Issues Linear Models –Homography estimation H –Epipolar geometry F, E –Interior camera parameters K –Exterior camera parameters R,t –Camera pose R,t Interest Point Detection + Description Algorithms –Overdetermined systems of linear equations  Error Minimization –Direct Linear Transform – DLT –Normalization –Nonlinearities  iterative error minimization, Levenberg-Marquardt –Outliers  Robustness, RANSAC

2 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Pinhole Camera “real” camera image plane π i (x,y): Z cam = -f x y Z cam X cam Y cam “principal” point (x 0,y 0 ) “optical axis” p(x,y) P(X cam,Y cam,Z cam ) f “focal length” f 2D projection  3D scene p(x,y) ↔ line of sight = viewing direction P’(X cam ’,Y cam ’,Z cam ’) “Pinhole” C … “center of projection” C cam X Y Z P(X,Y,Z,1) P’(X’,Y’,Z’,1) R,tR,tR,tR,t p(x,y,1) “interior” camera parameters “interior” camera parameters – x 0, y 0, f, … “exterior” parameters “exterior” parameters – camera pose – R, t

3 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Pinhole Camera image plane π i (x,y): Z cam = -f x y Z cam X cam Y cam “principal” point (x 0,y 0 ) “optical axis” f C cam X Y Z P(X,Y,Z,1) P’(X’,Y’,Z’,1) R,tR,tR,tR,t p(x,y,1) P : 3 x 4 matrix “camera projection matrix” [Pollefeys p.24, eq. (3.8)]

4 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz The Basic Pinhole Model  Note: Figures taken from, notation following [Hartley,Zisserman] ~ … inhomog. coord. … homog. coord. … homog. coord.

5 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz The Basic Pinhole Model

6 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Principal Point Offset

7 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Principal Point Offset camera calibration matrix interior/internal parameters interior/internal orientation

8 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation 4 x 4 P 3 3 x 4 P 2 P 3

9 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation 3 x 4 projection matrix P 9 degrees of freedom 3 “internal parameters” in K 3 rotation angles in R 3 translations in C ~

10 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Camera Rotation and Translation Simplified notation: avoid explicit modeling of C

11 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Pinhole –3 parameters in K CCD –4 parameters Finite projective camera –5 parameters –“skew” s From Pinhole  Real Cameras: K mxmx mymy 3 x R, 3 x t

12 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Projective Camera Finite projective camera: –K is an upper triangular matrix –KR is non-singular General projective camera: –P is an arbitrary 3 x 4 matrix of rank 3 –P has also 11 degrees of freedom But: We model real cameras as finite projective cameras (+ lens distortion)

13 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Camera Calibration in Practice (1) Take –1 picture of a 3D calibration target, –or several pictures of a planar calibration target (take care so that all parameters can be recovered !) Establish point correspondences Calculate P –set of linear equations Decompose P

14 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz 3D Targets [Hartley + Zisserman][Heikkilä] Photogrammetry [Godding / Jähne] Many ways to build … Corners vs. circles (center of gravity) … Precision of building, attaching, … CNC measured points … EMT: coordinate measurement machine

15 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz 2D vs. 3D Targets f = 28mm, z ~ 300mm f = 50mm, z ~ 470mm f = 84mm, z ~ 720mm

16 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz 2D Targets f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm f = 84mm, z ~ 720mm arbitrary scaling ! arbitrary scaling ! – z/f ~ const. – closeup of toy car vs. real car at a distance … but: subtle differences in image quality ! but: subtle differences in image quality !

17 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Image Quality (1) f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm  lens distortion !

18 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Image Quality (2) f = 28mm, z ~ 280mm f = 50mm, z ~ 470mm  “chromatic aberration”

19 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Lens Distortion Model Several ways to model Most common: –Radial lens distortion k i –Tangential lens distortion t j –Radial >> tangential –Polynomial approximation up to varying order (x 0,y 0 ) r x y

20 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Camera Calibration in Practice (2) Take –1 picture of a 3D calibration target, –or several pictures of a planar calibration target Establish point correspondences Calculate P –set of linear equations Decompose P A first estimate for linear Interior parameters ( K ) Add nonlinear relationships (model k i, t j ) Perform iterative optimization (w.r.t. some error) Enforce constraints (such as structure of K and R)

21 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz More Matrices … Homography H Projection P (K, R, t ) Multiple views: –Epipolar geometry –Uncalibrated stereo: “Fundamental” matrix F –Calibrated stereo: “Essential” matrix E –Stereo rig –Camera motion  many views  AR tracking

22 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (1) Figures from [Hartley + Zisserman] C, C’, x, x’, X are co-planar (lie in the “epipolar plane” π)

23 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (2) Assume that only C, C’, and x are known

24 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (3) π projects on “epipolar lines” l and l’ “baseline”: connects C, C’ “epipoles”: e, e’ C C’

25 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry (4) When 3D position of X varies, π “rotates” about the baseline Family of planes – “epipolar pencil” – “Ebenenbüschel” C C’

26 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry – Example 1: Converging Cameras [Hartley+Zisserman]

27 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Epipolar Geometry – Example 2: Forward Translation [Hartley+Zisserman], [Pollefeys] e e’

28 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (1) We had an example: Homography H

29 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (2) Transfer x i via X i in π to x i ’ 2D homography H π maps each x i to x i ’ “skew-symmetric” matrix

30 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz The Fundamental Matrix F (3) F relates x in one image with its corresponding epipolar line l’ in the other image (all X in R 3 !): The corresponding point x’ must lie on l’: This relates to: How to estimate F?  Point correspondences

31 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz Calibration Issues Linear Models –Homography estimation H –Epipolar geometry F, E –Interior camera parameters K –Exterior camera parameters R,t –Camera pose R,t Interest Point Detection + Description Algorithms –Overdetermined systems of linear equations  Error Minimization –Direct Linear Transform – DLT –Normalization –Nonlinearities  iterative error minimization, Levenberg-Marquardt –Outliers  Robustness, RANSAC

32 Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, Augmented Reality VU 2 Calibration Axel Pinz A final word on E “Essential matrix” E –Similar to F –Relates calibrated stereo rig –Internal matrices K and K’ are known R, t “normalized coordinates”


Download ppt "Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 1 8.4.2008 Augmented Reality VU 2 Calibration Axel Pinz."

Similar presentations


Ads by Google