AI / ML Research

저자는 사람의 지침으로 이미지를 수정하는 방법을 소개한다. image와 모델이 수행해야 할 지침을 입력하면 모델은 이 지침을 따라서 이미지를 수정한다. 이 문제를 위한 학습데이터를 얻기위해 두개의 large pretrained model, language model (GPT-3) 와 text-to-image model (Stable Diffusion)의 정보를 통합하여 대규모의 image editing 데이터를 만들었다. 저자의 conditional diffusion model 인 InstructPix2Pix는 직접... [Read More]

이 논문은 로컬-글로벌 방식으로 Identity 일관성을 유지하면서 조화로운 고화질 얼굴 생성을 달성한 새로운 RAFSwap(Region-Aware face swap) 네트워크를 제안한다. 1) Local Face Region-Aware (FRA) branch는 잘못 정렬된 crossscale semantic 상호 작용을 효과적으로 모델링하기 위해 트랜스포머를 사용하여 local id 관련 특징들을 augment 한다. 2) Global Source Feature-Adaptive (SFA) branch는 id-consistent swapped face를... [Read More]

현대의 GAN은 ReLU 및 LeakyReLU를 포함한 discriminator에서 piecewise linear activation을 주로 사용한다. 이러한 모델은 각 조각이 입력 공간의 부분집합을 처리하고, 부분 집합 당 기울기가 일정한 piecewise 선평 맵핑을 학습한다. 이러한 종류의 discriminator에 대해서 저자는 입력 공간에서 piecewise k-Lipschitz 제약을 보장하는 새로운 입력 종속 정규화 방법인 gradient normalization (GraN)을 제시한다. Spectral... [Read More]

최근 consistency cost를 discriminator에 적용함으로써 GAN의 성능이 발전해 왔다. 저자는 이 테크닉을 몇가지 방법으로 개선시켰다. 먼저 consistency regularization은 GAN 샘플에 artifact가 어떻게 생기는지 소개하고 어떻게 이를 고칠 수 있는지 설명한다. 그다음 consistency regularization에 몇가지 수정을 더해 성능을 개선할 수 있는 방법을 제안한다. 저자는 수많은 실험을 거쳐서 정량적으로 이 방법이 성능을... [Read More]

Data Augmentation 은 분류기의 강인성과 정확도를 향상시키기 위해 넓게 연구되어 왔다. 하지만 이전 연구에서 이미지를 합성하는 GAN 모델의 성능 개선을 위한 image augmentation의 잠재성에 대한 연구는 되지 않았다. 이 논문에서 저자는 GAN 학습을 위한 다양한 augmentation 테크닉에 대해 다양한 셋팅으로 테스트하며 그 효율성을 보여준다. 그리고 vanilla GAN과 regularization과 함께 쓴... [Read More]