이번 영상에서는 제가 PR 278번째로 소개드린 적 있었던 RAFT의 Point Tracking 버전 논문입니다. 보통 Object Traking은 주어진 bounding box를 track하는 task를 말하는데 본 논문에서는 첫 프레임에 주어진 point를 따라가는 task를 다루고 있습니다. 논문 제목에서 이야기 하듯이, 주어진 point 하나를 따라가는 것보다 여러 point를 함께 따라가면서 서로 정보를 주고받는 등의 interaction을 하는 것이 tracking 성능 향상에 도움이 된다는 것이 이 논문의 main idea입니다. 논문 링크: https://arxiv.org/abs/2307.07635 영상 링크: https://youtu.be/BDfTSm3_hys

1. CoTracker: It is Better to
Track Together
PR-455
Hyeongmin Lee
Twelve Labs

2. 2023.7.14 공개
Meta AI
arXiv (NeurIPS Format)

3. Somoothness Constraint [PR-302]

4. Somoothness Constraint [PR-302]

5. Optical Flow + Tracking
“Tracking Together”

6. Notations
Data
Input Output

7. Features
Image Features
Track Features
⇒ properties of
each track point
⇒
(Like RAFT)

8. Correlation Feature

9. Tokens

10. Initialization
Windowed Inference

11. Other Details
Grid-Time Factorization
⇒
Point Sampling

12. Experiments

13. Experiments

14. Experiments

15. “Alignment”
Conclusion
Struggling to break down the barrier between video understanding and pixel
correspondence, but it's still not easy.