AI / ML Research

Image animation은 source image의 고정된 물체가 driving video를 따라 살아 움직이도록 하는 기술이다. 최근 연구들은 사전 지식 없이 unsupervised 한 방식으로 임의의 물체에 motion을 transfer 하는 방식을 시도하고 있다. 하지만 현재의 unsupervised 한 방식은 source와 driving image 간의 pose gap 차이가 크면 매우 어려워진다. 이 논문에서는 이러한 이슈를 극복할 수... [Read More]

Discriminator는 GAN 네트워크 학습에서 진짜와 합성된 샘플을 비교홤으로써 중요한 역할을 수행한다. real data의 분포는 똑같지만, 합성 데이터의 분포는 generator가 진화하면서 계속 바뀌기 때문에, discriminator에 대한 bi-classification 작업에 대해 영향을 준다. 저자는 discriminator의 능력에 대한 즉석 조정이 이런 시간에 따라 달라지는 작업에서 더 좋은 성능을 가져온다고 주장한다. Dynamic D로 칭하는 학습... [Read More]

deep fake 기술은 source와 target 이 이미지 또는 비디오인 face swapping 알고리즘을 나타낸다. 연구자들은 정교한 GAN, autoencoder, 그리고 다른 정확하면서 강인한 알고리즘을 조사해왔다. 하지만, 결과는 사람이 평가하기에 완벽하지 않다. 이 연구에서, 우리는 image-to-image 그리고 image-to-video face swapping을 위한 새로운 one-shot 파이프라인을 제안한다 - GHOST(Generative High-fidelity One Shot Transfer). 저자는 FaceShifter... [Read More]

contrastive learning을 self-supervised representation learning에 적용하는 것이 최근에 재기되면서, unsupervised training의 SOTA 성능을 가져오고 있다. 현대의 batch contrastive 접근 방식은 triplet, max-margin, N-pair loss 와 같은 전통적인 contrastive loss 보다 월등한 성능을 보여준다. 이 논문에서, 저자는 self-supervised batch contrastive 접근방식을 fully-supervised 한 셋팅으로 label에 대한 정보를 효과적으로 사용함을 보일 것이다.... [Read More]

face swap 모델은 그 생성 퀄리티로 인해 많은 주목을 받고 있지만, 복잡한 모델 구조와 loss function으로 인해 성공적인 학습에는 많은 주의를 요한다. 저자는 복잡한 hand-crafted 디자인을 제외하고 빠르고 안정적인 학습을 가능하게 하는 새로운 face swap 모델인 Smooth-swap 을 제안한다. Smooth-swap의 주요 아이디어는 identity embedding에 smooth를 생성하여, 안정적인 gradient 흐름을 제공하는... [Read More]