SKT Fellowship: Virtual Try-On 기술 개발

https://www.sktaifellowship.com/1bf551b2-17bf-467c-ae07-44c82019b528

01. Virtual Try-On 기술 개발

 

지원 자격이 안 되어서 지원조차 못 해보는 게 너무 아쉬운 프로젝트..

 

혹시 몰라 기억해두고자 스크랩해서 가볍게 정리만 한 포스팅.

 

 

 

e-Commerce 활성화를 위해 Virtual Try-On 서비스를 도입하고 있는 유명한 패션, 악세사리, 뷰티 업체들이 증가하고 있습니다. 

 

온라인상에서 사용자가 실제 상품을 fitting 하지 못하는 한계를 극복하고 오프라인보다 수월하게 fitting/make-up을 가상으로 시도할 수 있는 사용자 친화적인 서비스를 선보이고 있습니다. 

 

 

Computer Vision 분야에서 GAN 기반의 연구들이 Virtual Ttry-On 태스크의 성능 향상에 기여했음에도 불구하고, 

 

상용 서비스에 접목 하기에는 다소 아쉬운 부분들이 있었습니다. 

 

최근 Diffusion 기반의 Virtual Try-On 기술 연구 및 개발이 공개 됨에 따라 보다 Realistic한 결과가 나타나고 있습니다. 

 

드디어 서비스에 본 기술을 접목할 시기가 온 것 같다고 생각되어 신규 서비스 발굴을 위한 PoC(Proof of Concept) 연구를 함께 하고자 합니다.

 

Our diffusion model sends images to their own neural network (a U-net) to generate the output: a photorealistic image of the person wearing the garment.

 

하지만 여전히 General 서비스 상용화를 위해 해결해야 할 숙제가 많이 남아있다고 판단하고 있습니다. 

 

현재 에이닷에서 취급하는 스포츠 영상에서의 인물들은 자세가 역동적인 경우가 많아 기존 SOTA 기술로 상용서비스를 커버하기 어려운 점이 있기 떄문이죠. 

 

Diffusion 모델 기반의 Virtual Try-On 네트워크에 대한 추가 학습을 통해 인물의 체형 혹은 의류 형태의 아티팩트를 최소할 수 있도록 고도화 개발에 집중하려 합니다. 

 

또한 논문에서 어필하는 단순 정량적인 성능 지표보다는 주관적 User-Study를 통해 최적의 Model과 Chcekpoint를 찾고자 합니다. 

 

모델 원리 도식화

 

프로젝트 목적:
- Virtual Try-On 관련 기술 동향 파악 및 분석
- 차별화 방안 모색 및 기술 구현
- Target 서비스에 Customization하기 위한 추가 학습 및 추론 테스트
- 간단한 App Demo 준비

 

자격 요건
Computer Vision  기반의 Video/Image Processing 연구 개발 경험 있는 분
Generative AI 연구 및 개발 경험 있는 분
Python 자유자재 활용 가능

 

우대 사항
App(iOS or AOS) 개발 혹은 데모 App 개발 가능하신 분
특허 출원 및 논문 투고 경험 있으신 분

 

 

A(에이닷).미디어서비스 팀은 무슨 일을 할까요?
에이닷 사용자들의 미디어 서비스 경험을 더욱 풍부하게 만드는 미디어 AI기술을 개발하고 있습니다. 

저희가 담당하고 있는 AI Shorts 서비스 외에도 영상 내 하이라이트를 자동으로 추출하는 AI Highlight와 

사용자 선호도 기반 콘텐츠 추천 및 serving하는 AI Curation 기술 등을 서비스하고 있습니다.

 

 

 

참고자료:

https://humanaigc.github.io/outfit-anyone/

Outfit Anyone

https://blog.google/products/shopping/virtual-try-on-google-generative-ai/

How AI makes virtual try-on more realistic

https://arxiv.org/html/2311.04811v2

Image-Based Virtual Try-On: A Survey