T-Rex, One shot Object Detection 서비스

https://github.com/IDEA-Research/T-Rex

GitHub - IDEA-Research/T-Rex: T-Rex2: Towards Generic Object Detection via Text-Visual Prompt Synergy

 

 

Object Detection 뿐만 아니라 많은 task에서 labeling이 가장 문제다. 이미지 같은 데이터에서 하나씩 박스를 치려면 시간도, 비용도 너무 많이 필요하다. 그래서 일부 데이터 수집해서 학습 후 해당 모델로 나머지 데이터를 추론하는 과정(Pseudo-labeling)을 쓰기도 하는데 이 과정을 줄여줄 수 있는 서비스다.

 

 

 

 

T-Rex는 박스 1개만 라벨링을 해도 나머지를 다 찾을 수 있게 해주는 labeling 보조 프로그램이다. 사용해보니 로컬로 돌릴 수 있는 형식의 오픈소스는 아니고, 해당 사이트를 이용해야 한다. 편리하긴 했으나 기능적 한계가 있고, 이미지마다 박스 1개를 계속 쳐줘야 해서 불편하다. 해당 영상에서는 한번에 다 되는 것 같은데 아마도 전체 영상 1개라 다 되는 것 같다. 여러 다른 이미지들에 사용하게는 아직 기능상 안해놓은 듯 하다.

 

 

물론 One-shot learning을 쓰거나, Grounded-SAM 같은 모델을 쓸 수도 있다.

다만 One-shot learning은 정확도가 너무 낮고, SAM 같은 모델은 추론 시간이 오래 걸려서 적합하지 않다. 현재로서는 일부 데이터로 학습 후 Pseudo-labeling을 하는 게 가장 효율적인 방법인 것 같다.