1. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 1 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Augmented Reality X Y Z Real scene, scene coordinates C xCxC yCyC zCzC R, t Camera(s) xVxV yVyV zVzV Visualization (screen, HMD) R, t Real table Augmented plant

2. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 2 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Example 1: ARToolkit

3. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 3 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Example 2: Structure + Motion [Schweighofer]

4. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 4 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Pinhole Camera real camera image plane π i (u,v): z = -f u v z x y principal point (u 0,v 0 ) optical axis p(u,v) P(x,y,z) f focal length f 2D projection 3D scene p(u,v) line of sight = viewing direction P(x,y,z) Pinhole C … center of projection C

5. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 5 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Geometry π 0... z = 0π i... z = f x z y x y u v p(u,v) P(x,y,z) P P !!! projective camera, normalized camera: f = 1 1 stationary camera 1 coordinate system (x,y,z) camera-centered coordinate system scene coordinate system Only points in π 0 are not projected to π i (u 0,v 0 ) C

6. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 6 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Images: Examples, Properties Impression of depth in images Parallel lines meet at infinity infinity is projected to finite location in the image horizon points at infinity, … [Triggs and Mohr]

7. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 7 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Images: Scaling

8. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 8 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Images: Foreshortening

9. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 9 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Images: Parallel Lines Meet [Sonka, Hlavac, Boyle]

10. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 10 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Geometry vs. Computer Vision points in π 1 straight lines of sight projective reconstruction geometry, precise known correspondences discrete pixels in π i sampling theorem lens distortion, aperture, depth of field oriented projective rec. in front of camera inherently imprecise estimation, minimization outliers robustness

11. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 11 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Example: Stereo Reconstruction P C1C1 C2C2 projective geometry computer vision P ~

12. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 12 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A unified geometric + algebraic framework Point Line Algebraic Projective Geometry (1)

13. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 13 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Duality point line Unified approach: projective n-space P n point (n+1) - vector Algebraic Projective Geometry (2)

14. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 14 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Homogeneous Coordinates in P n Equivalence class of vectors forms P 2 … projective plane Homogeneous coordinates, but only 2 DoF inhomogeneous

15. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 15 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Equivalence Class of Vectors Without further knowledge, such situations cannot be distingushed ! A further example: Equivalence ofa toy car, closeup shot, and real car, distant shot

16. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 16 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Point Line ideal points treated like any point x 30 Fluchtpunkte line at infinity the planes horizon The Projective Plane (1) intersection of parallel lines !

17. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 17 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz The Projective Plane (2) Adding the ideal points to R 2 leads to the projective plane P 2 Covers all homo- geneous coordinates [Hartley+Zisserman]

18. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 18 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz The Projective Plane (3) π Image of the horizon of π, line at infinity of π vanishing point, Fluchtpunkt = Bild eines Fernpunktes Projective geometry can map infinitely far points / lines to finite ones Projective geometry can map infinitely far points / lines to finite ones No difference between finite and infinite No difference between finite and infinite e.g. hyperbola is one continuous conic e.g. hyperbola is one continuous conic

19. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 19 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz There is also Projective Space P 3 … Points Planes Lines: 4 DoF Dual line L*: duality point plane duality L L*

20. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 20 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Transformations in P n projective transformation = collineation = projectivity = homography H Invertible mapping P n P n geradentreue Abbildung (n+1) x (n+1) matrix In P 2 : H has (n+1) 2 -1 DoF, H is non-singular

21. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 21 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Projective Transformations in P 2 Translation Rotation Scaling Any combination, e.g.

22. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 22 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Remark on Conics 2 nd degree equation in the plane Homog. coord: Conic C: Five DoF, 5 points define a conic

23. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 23 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Back to Homographies – Examples (1) Mapping between planes central projection may be expressed by x=Hx [Hartley+Zisserman]

24. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 24 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Back to Homographies – Examples (2) Removing projective distortion [Hartley+Zisserman]

25. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 25 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Back to Homographies – Examples (3) [Hartley+Zisserman]

26. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 26 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Transformation for Points, Lines, Conics Point Line Conic

27. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 27 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Hierarchy of Transformations / Geometries (1) Isometric / Euclidean –Invariants: length, angle, area Similarity –Invariants: ratios of length / areas, angle, parallel lines

28. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 28 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Hierarchy of Transformations / Geometries (2) Affine: – –6 DoF: 2 x scale λ 1,λ 2 ; 2 x rot. θ,Ф; 2 x translation –Invariants: parallel lines, ratios of parallel lengths, ratios of areas

29. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 29 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Hierarchy of Transformations / Geometries (3) Projective: –8 DoF: 2 x scale λ 1,λ 2 ; 2 x rot. θ,Ф; 2 x translation; 2 x line at infinity –Invariant: Cross-ratio CR of 4 collinear points ABCD

30. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 30 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Hierarchy of Transformations / Geometries (4) Projective 8dof Affine 6dof Similarity 4dof Euclidean 3dof In 2D, a square transforms to:

31. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 31 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz A Hierarchy of Transformations / Geometries (5) Projective 15dof Affine 12dof Similarity 7dof Euclidean 6dof In 3D, a cube transforms to:

32. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 32 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification In AR, we take perspective images, but we require metric (Euclidean) reconstruction! How? The stratification of 3D geometry [Pollefeys 2.2]

33. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 33 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification of 2D / 3D Geometry Many possibilities, many approaches Examples: –Known · directions –Known points, lines, planes at –Known lengths in the scene –IAC (self-calibration) –Known camera intrinsics Camera calibration + relative orientation Multiview geometry, structure+motion unknownscenes

34. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 34 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (1) Known points, line at infinity v1v1 v2v2 l1l1 l2l2 l4l4 l3l3 l perspectiveaffine

35. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 35 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (1) Known · directions affinemetric (similarity, unknown scale)

36. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 36 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (2) Known plane at infinity perspectiveaffine

37. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 37 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (2) Known · directions affinemetric (similarity, unknown scale)

38. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 38 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (3) Known lengths metric(similarity, unknown scale) metric(Euclidean, known scale) [Pollefeys IJCV99]

39. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 39 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Stratification Examples (4) ARToolkit perspective metric(Euclidean, known scale)

40. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 40 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Video AR is (rather) simple Known artificial targets / markers Uncalibrated perspective camera –But: collineation required –Problems when e.g. strong lens distortions Augmentation of the video frames Examples –Artoolkit –Kutulakos Can be related to scene coordinates, but requires ground truth for markers

41. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 41 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz ARToolkit Demo ISAR 2000 observers view immersive view

42. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 42 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Kutulakos Calibration-Free AR [IEEE Trans. Visualization and Graphics 1998]

43. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 43 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Field Maintenance Support [ARVIKA]

44. Institut für Elektrische Meßtechnik und Meßsignalverarbeitung Professor Horst Cerjak, 19.12.2005 44 11.3.2008 Augmented Reality VU 1 Projective Geometry Axel Pinz Scene Structure + Camera Motion (the harder, but more general approach to AR) Many possible approaches Monocular, calibrated, known natural landmarks [Ribo] Stereo, calibrated [Schweighofer] Monocular, calibrated [Murray] Monocular, uncalibrated [Pollefeys] –not (yet?) in real time ! calibration ! calibration ! unknownscene,unknown natural naturallandmarks