1. 계층적 particle 필터를 이용한 다관절 상체 추적과 SVM을 이용한 포즈 인식
가톨릭 대학교 컴퓨터 공학과
조상현 강행봉

2. Contents Introduction Related Work
Hierarchical propagated Particle Filter
System Overview
Loose-Limbed Model and Color distribution
Particle-Propagation
Estimate the state
Experimental Result
Conclusion

3. 1. Introduction 휴먼 포즈(Human Pose) -> 신체 부위들의 공간적 구성
다 관절체(articulated structure) 구조의 추적 문제
높은 차원 상태 벡터로 인한 계산 복잡도

4. 2. 관련 연구 작은 로컬 이미지 특징(small local image feature) 기반 방법 전체 특징을 매칭하는
방법으로 신체 부위를
구별하지 않음.
Clean background가 요구됨
Recognizing Posture in Pictures with Successive Convexification and Linear Programming [Hao Jiang, Ze-Nian Li, and Mark S. Drew]

5. 2. 관련 연구(Cont.) 사람의 신체부위와 그것들의 공간적 구성에 기반한 방법 높은 계산 복잡도와 추적의 어려움
사람의 신체부위와 그것들의 공간적 구성에 기반한 방법
높은 계산 복잡도와
추적의 어려움
옷의 변화와 겹침(occlusion)
등에 민감
Recognizing Posture in Pictures with Successive Convexification and Linear Programming [Hao Jiang, Ze-Nian Li, and Mark S. Drew]

6. 2. 관련 연구(Cont.) Tracking using Color based Particle Filter
[Katja Nummiaro et al.]
Top-down 방식
전 프레임에서의 위치를 기반으로
particle을 생성하고 생성된
particle을 검증(verify)하는 과정을
통해 현 프레임에서의 위치 추정
복잡한 환경에서도 비교적
좋은 추적 성능을 가짐
(partial occlusion, rotation, scale)

7. 2. 관련 연구(Cont.) Multicues 2D articulated pose tracking
using particle filtering
and belief propagation
on factor graphs
[Philippe Noriega and Olivier Bernier]

8. 칼라 기반 partclr filter를 이용한
2. System Overview
입력 이미지
AdaBoost 알고리즘을
이용한
얼굴 및 상체 검출
칼라 정보를
상박과 하박 검출
칼라 기반 partclr filter를 이용한
얼굴 및 몸통 추적
제안한 particle filter를
상박, 하박과 손 추적
SVM을 이용한
포즈 인식
raise up left right fore-arm
초기화 단계
(Initial stage)
추적 단계
(Tracking Stage)
인식 단계
(Recognition Stage)

9. Loose-Limbed 그래프 모델과 칼라 분포
Left upper-arm
Left fore-arm
Upper Body
Head
Right upper-arm
Right fore-arm
Right hand
Left hand

10. Loose-Limbed 그래프 모델과 칼라 분포(cont.)

11. 초기화(Initialization) Ada-Boost Algorithm 이용해 몸통 검출
검출된 몸통의 위치를 이용해 얼굴 위치 추정
검출된 위치를 이용해 각 신체 부위의 칼라 모 델 초기화

13. Particle-Propagation
State-Vector
Pose-State-Vector

14. Particle-Propagation(cont.)

15. Particle Verification
각 particle 의 가중치를 계산하기 위해 Bhattacharyya distance 를 이용

16. Estimate the State
T 프레임에서의 신체부위의 위치는 다음과 같다.

17. SVM을 이용한 포즈 인식 SVM(Support Vector Machine)
유명한 데이터 분류기로서 속성만으로 이루 어진 테스트 집합의 데이터 인스턴스의 목 표값(target value)을 추정

18. SVM을 이용한 포즈 인식(cont.)

19. 3. 실험결과 및 분석 실험환경 CPU : Core 2 Duo 2.0Ghz RAM : 2GB
Image size : 320 * 240
Particle 개수 : 개

20. 초기화 및 상박 추적 결과
(a) 원본 이미지
(b) 머리 및 몸통 검출
(c) 상박에 대한 샘플 생성
(d) 상박 추적 결과

21. (a) 기존의 particle filter을 이용해 왼손 추적을 한 경우
(b) 제안한 방법을 이용해 왼손 추적을 한 경우

23. (a) T-form
(b) raise up left arm
(c) rise up right arm
(d) raise up left and right arm

25. (a) T-form
(b) raise up left arm
(c) rise up right fore-arm
(d) Lower the left and right arm

26. (a) T-form
(b) raise up left right fore-arm
(c) rise up left fore-arm
(d) raise up right fore-arm

27. Sequence
pose
Seq 1
(#759)
Seq 2
(#680)
Seq 3
(#732)
Total
Error
T-form
(#1124) 1
0.09
raise up left
fore-arm
(#209) 2
1.44
raise up right
(#123)
0.81
raise up left right
(#151) 13
8.6
raise up left arm
(#145)
raise up right arm
(#157) 2 6
5.09
raise up arm
(#161)
lower the left and right arm
(#64)
Total Error
0.26
1.17
2.18

28. 결론 칼라 기반 계층적 생성 particle-filter를 이용 한 다관절체 추적 기법 제안
제안한 방법은 신체적 구조를 이용해 적은 샘플을 이용하고도 좋은 성능의 추적결과를 얻음.

29. 향후과제
3D 추적으로의 확장
칼라 뿐만이 아닌 다른 특징을 첨가하여 좀 더 강건한 추적 기법 개발

30. Thanks for
your attention