textdiffusion1 [Paper review] Compressed and Smooth Latent Space for TextDiffusion Modeling Preprint. Under reviewhttps://arxiv.org/abs/2506.21170Viacheslav Meshchaninov, Egor Chimbulatov, Alexander Shabalin, Aleksandr Abramov, Dmitry VetrovIntroductionAutoregressive(AR) 언어 모델은 텍스트 생성 분야에서 지배적으로 자리매김하고 있다. 이는 다음 토큰 예측 과제로서 teacher forcing 방식을 사용하여 최적화하는데, 이러한 순차적 분해 방식은 여러 구조적 bottlenecks을 야기한다.디코딩은 본질적으로 순차적인 방식이기 때문에, 생성할 시퀀스의 길이가 길어질수록 생성 시간도 선형적으로 증가한다.exposure bias 로 인해 초기의 작은 오류가.. 2025. 7. 17. 이전 1 다음
