Where the light is

Srivastava, Akash, et al. "Veegan: Reducing mode collapse in gans using implicit variational learning." Advances in neural information processing systems 30 (2017). Generative model이 데이터 분포의 특정 class들만을 생성하게 되는 것을 mode collapse라고 합니다. GAN이 생성하는 데이터 품질이 뛰어나지만, 종종 mode collapse 됩니다. 이 문제를 해결하기 위하여 VEEGAN 을 제안합니다. VEEGAN의 핵심은 reconstructor network 입니다. Generator는 Gaussian random noise를 입력하면 image를 ..

DALL-E는 입력으로 받은 텍스트의 개념을 이미지로 생성하는 모델입니다. 아래와 같이 현실 세계에 존재하지 않을 법한 이미지도 텍스트의 묘사와 유사하게, 고품질로 생성하여 많은 주목을 받았습니다. DALL·E: Creating Images from Text We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language. openai.com 본 포스트에서는 DALL-E의 핵심 구성요소 중 하나인 VQ-VAE에 대하여 설명합니다. VQ-VAE 논문과 특히 https://ml.berkeley.edu/blog/pos..

Reimers, Nils, and Iryna Gurevych. "Sentence-bert: Sentence embeddings using siamese bert-networks." arXiv preprint arXiv:1908.10084 (2019). BERT는 masked word prediction과 next sentence prediction와 같은 unsupervised task로 학습됩니다. 그렇기 때문에 BERT의 출력 embedding vector는 sentence clustering에 적합하지 않습니다. Next sentence prediction task로 모든 문장을 pair로 입력할 수 있긴 하지만, 문장의 개수가 n개이면 n(n-1)/2개의 comparison을 하기 때문에 비효율적..

Liu, Bingchen, et al. "Towards faster and stabilized gan training for high-fidelity few-shot image synthesis." International Conference on Learning Representations. 2020. StyleGAN2와 같은 GAN 모델의 SOTA들을 학습하기 위해선 고성능의 GPU 들과 많은 양의 이미지들이 필요합니다. 하지만 현실 세계에서는 컴퓨팅 버짓이나 학습에 활용될 이미지들이 부족합니다. Pretrained model을 사용하는 것이 하나의 방법일 수 있지만, 생성하고자 하는 데이터에 적절한 모델이 없거나 fine-tuning한 경우 성능이 떨어질 수도 있습니다.본 논문에서는 하나의 GPU와..

Jia, Ruipeng, et al. "Neural extractive summarization with hierarchical attentive heterogeneous graph network." Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2020. Extractive summarization의 최신 연구들은 gold summary와 높은 semantic similarity를 가지면서 선택된 문장들 간의 redundancy를 줄이는데 집중되어 있습니다. 하지만 문장들 간의 dependency를 정확히 모델링하는 것은 여전히 어렵습니다. 본 논문에서는 단어와 문장들을 포함한 ..

Liu, Yang. "Fine-tune BERT for extractive summarization." arXiv preprint arXiv:1903.10318 (2019). 모델 소개 및 구조 설명 BERT를 extractive summarization에 맞게 fine-tune한 논문입니다. BERTSUM이라는 이름으로 통용되는 모델입니다. Summarization task는 abstractive, extractive summarization으로 나뉩니다. Abstractive summarization은 새로운 문장들을 생성하여 요약하는 방법이고, extractive summarization은 전체 문장에서 요약문에 포함될 문장들을 선택하여 요약하는 방법입니다. 다시 말해, m개의 문장을 포함하는 do..

Lewis, Mike, et al. "Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension." arXiv preprint arXiv:1910.13461 (2019). BART는 Sequence-to-sequence 모델의 사전 학습을 위한 denoising autoencoder 입니다. 표준적인 Transformer 기반의 아키텍쳐로, 1) BERT나 GPT와 같은 다른 사전 학습 스킴의 일반화로 볼 수 있는 것과 2) 다양한 노이징 방법으로 텍스트를 변경했다는 점들이 큰 특징입니다. BART는 텍스트를 임의로 변경하고 이를 원복하는 방식으로 모델을 학습시..

Abstract StyleGAN의 artifact가 있음이 보고 됨. 이 artifact의 특징들을 분석하고, 모델과 훈련 방식을 개선: Generator의 normalization 개선. Progressive growing 대신 다른 훈련 방식 도입. Path length regularizer 도입. Generator로 하여금 latent code와 이미지의 mapping을 더 좋게 할 수 있도로 정규화 -> 이미지 품질 향상. Introduction Characteristic artifacts in StyleGAN 기존 StyleGAN: mapping network + AdaIN + random noise / progressive growing -> less entangled! StyleGAN으로 생..

Karras, Tero, Samuli Laine, and Timo Aila. "A style-based generator architecture for generative adversarial networks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. 의 내용을 다른 논문/포스트들의 내용을 참조하여 덧붙이고 설명한 글 입니다. 1. Introduction&Motivation 1.1 GAN [1] GAN(generative adversarial network)은 Goodfellow가 2014년에 제안한 머신러닝 프레임워크로, 두 네트워크가 서로 경쟁해가며 학습하는 Generative mo..