1. Vanishing Point Detection and Tracking
Jeongkyun Lee

2. Contents Vanishing Point Related Works Proposed Method Result
Vanishing Point Detection
Vanishing Point Tracking
Proposed Method
Result

3. Vanishing Point
A set of parallel lines in the scene is projected onto a set of lines in the image that meet in a common point, with a pin-hole camera.

4. Vanishing Point Intrinsic camera calibration Plane rectification
3D reconstruction
Orientation estimation
Stabilization
Etc.

5. Vanishing Point Gaussian unit sphere
A great circle: A projection of a line onto the unit sphere
Vanishing direction ⊥ Normal vectors of great circles

6. Rotation + Translation A projection of a vanishing direction
Vanishing Point
Rotational dependence
the vanishing points, are not affected by the camera translation, but are affected only by the camera rotation.
Homogeneous coordinates
Euclidean transformation
Rotation + Translation
Vanishing point
A projection of a vanishing direction

7. Vanishing Point Detection
Work space
Image space, Gaussian sphere, Projective space, etc.
Hough transform, Thales theory, etc.
Bounded area(a tessellated space or accumulation cells), Unbounded area
Clustering technique
Accumulation(Voting), RANSAC-based, etc.
Three orthogonal direction(Manhattan World), Coplanar, etc.
Estimation technique
EM algorithm, SVD, Weighted least squre
- 속도 향상을 위해 Bounded 방법이 주로 사용됨.
- Image plane 방법은 front-parallel한 line들에서 발생하는 VP를 검출하지 못함. 따라서 그러한 VP도 검출 가능한 Gaussian sphere 방법이 고안되었고, 최근에는 그 둘을 결합한 Projective plane 방법이 주로 사용됨. 다만, image plane에서 다른 work space로 변환할 때 오차가 발생함에 따라 그 오차를 방지하기 위해 최근에도 image plane을 쓰기도 함.
- clustering을 위해 주로 vote방법이 많이 사용되었지만, 최근 RANSAC 방법을 통해 속도를 향상시키고자 함. Voting 및 RANSAC을 위해 논문마다 다양한 cost function을 제안됨.
- 최근의 방법들은 대개 three orthogonal direction, 즉, Manhattan world 가정을 사용함. RANSAC과 함께 사용되어 VP의 추출 가능성을 향상시킴. 다만, 이를 위해 vertical 방향을 가정하는 등의 제약사항이 존재함.
- 실시간성을 위해 voting 방법 보다는 RANSAC 방법을 선호.

8. Vanishing Point Detection
Nieto at al. PRL 2011
추출된 line들과 vanishing point를 동시에 EM algorithm을 통해 추정
Almansa at al. TPAMI 2003
Image plane 위에서 어떠한 prior도 없이 vanishing point를 추정하는 방법
- 최근 연구는 EM을 이용하여 line과 VP를 동시에 최적화함. 검출된 line의 오차가 VP를 계산하는데 가장 크게 작용하기 때문.

9. Vanishing Point Tracking
매 프레임 VP 검출 후, 가까운 VP를 매칭하는 방법
매 프레임 검출된 VPs로부터 Orthogonal한 tripod를 형성하여 매칭하는 방법
- VP의 tracking을 위해서 주로 Manhattan world 가정을 사용하여 세 축을 매칭시키는 방법을 이용함. (VP의 tracking이라기 보다는 tripod의 matching에 가까움) 따라서, three orthogonal direction의 VP가 필수적으로 검출되어야 함. 매칭된 tripod는 동시에 영상간 rotation 정보를 제공함. (이때, vertical 축은 항상 영상의 위를 향하는 등의 제약조건이 존재함.)

10. Vanishing Point Tracking
Hornacek at al. CVPR 2011
RANSAC-based / Manhattan world / SVD / tripod matching

11. Related Works VP와 관련된 문제들
Line detection의 오차가 VP estimation의 정확도에 큰 영향을 줌에 따라 이를 최소화 하는 방법 연구
Work space의 변환 시 발생하는 error를 최소화 하기 위해 image plane에서 연산
VP를 이용하여 Rotation 추정
Tessellated 영역에 대해 동일한 weight를 가질 수 있도록 하기 위한 영역 설정 방법

12. Real-time Orientation and Vanishing Point Tracking
System modeling
State vector
Dynamic model
Measurement model

13. Real-time Orientation and Vanishing Point Tracking
Initialization
Vanishing Direction: VP detection open source 사용
Measurement acquisition: Line tracking
EDLines 를 이용하여 Line segment 검출 (~10ms)
Line의 길이, gradient의 크기 및 방향 등을 비교하여 매칭
Feature management
New line feature: 검출된 line 중에 vanishing direction과의 평행성이 일정 회전 동안 threshold 이하 일 때
Line removal: 추정된 vanishing direction과 검출된 line의 평행성이 일정 threshold 이하 일 때, 또는 line이 일정 프레임 이상 검출되지 않을 때

14. Result
Synthetic data

15. Result
Singularity 1

16. Result
Singularity 2

17. Result
ROVE + Line tracking + Line feature management

18. Result
ROVE + EDLines

19. Result Computational time Matlab 에서 Feature management : 3~5 ms
Prediction : 2 ms
Measurement search ( Line detection + Line matching ) : 40~45 ms
Update : 1ms

20. Thank you!