3차 해커톤(팀 프로젝트)

현재 팀 프로젝트로 준비중인 옷 추천 시스템에서 추천 뿐만 아니라,
그 옷의 나의 착용 사진도 GAN을 이용해 만들어 주어 어울리는지도 알려주는 것을 계획하고 있습니다.
제가 맡은 쪽은 CV(GAN)쪽으로 CP-VTON+라는 모델과 데이터셋이 있다는 소리(가능성)를 듣고 참여하게 되었습니다.
아직 팀은 구성되어있지만 프로젝트를 시작하기 전으로 모델과 데이터 셋이 궁금하기도 하고,
CV는 나 말고 한 분이 더 있는데 그 분은 프론트엔드도 맡게 되어 일의 부담을 덜 수 있도록 하는 겸 알아보았습니다.

VITON이라는 데이터 셋을 가지고 최근 연구 동향을 살펴 보겠습니다.

일단 용어 정리로 기본 데이터 셋은 VITON이라고 하는 것으로 보입니다.
Virtual Try-On의 약자로 VTON이라고도 불립니다.

2018년

“VITON:An image-based virtual try-on network”(2018):
3D정보 없이 생성모델로 옷을 어느정도 입히는 것이 가능하다는 것을 발표하였다.
‘CP-VTON’(2018):VITON에서 조금 더 데이터 전처리에 신경써 만들었다고 나옵니다.

2019년

Segmentation Learning으로 VTON의 강화와 더불어 여러 논문이 나왔습니다.

2020년

CP-VTON+,CloTH-VTON라는 모델이 나왔습니다.
두 개의 모델의 차이는 논문에 나오는 2D와 3D의 접근법에서의 차이로 볼 수 있습니다.
기본적으로 2D이미지 사진의 기반인 것은 동일 합니다. 3D모델링을 추가한 것으로 해석하였습니다.

2021년

CloTH-VTON+: cloth-VTON보다 성능을 높힌 것으로 나왔습니다.
Parser-Free VTON:개인적으로 혁신을 느낀 것이 데이터의 전처리가 중요한 앞의 모델들의 단점을 self-supervised와 비슷하게 해결했다고 보는 모델이다.
앞의 모델들은 다 Segmentation이 중요해서 데이터가 잘 전처리가 되지않았다면 이상하게 결과가 나옵니다. 이 문제를 해결한 논문으로 보았습니다.
Disentangeld Cycle Consistency for Highly-realistic VTON: DCTON모델로 부르며 2개의 생성모델로 서로서로 만들어보는 것입니다.

위의 모델과 논문들 말고 더 많은 모델과 논문이 있지만 코드가 없거나 논문에 다른 모델과의 비교가 명확하지 않으면 적지 않았습니다.

팀결성 당시 CP-VTON+만 보고 방향을 잡았지만 다른 모델들을 알아보고 어느 것이 더 나은지 회의를 통해 완전히 정하면 그 모델이 어떤 단점을 가졌는지 파악하기 쉬워졌다고 생각합니다.(아직 모델안정함 5/4 기준)