Attention Is All You Need는 순환·합성곱 없이 어텐션을 중심으로 구성한 Transformer를 제안한 논문이다. 이 글에서는 원 논문의 기본 모델을 기준으로 입력 임베딩부터 출력 확률까지 흐름을 정리한다.Self-Attention은 같은 시퀀스의 위치들을 직접 연결한다. Multi-Head Attention은 서로 다른 학습 투영을 사용해 여러 표현 공간에서 정보를 모은다. Self-Attention 자체가 이 논문에서 처음 제안된 것은 아니다.또한, Self-Attention을 기반으로 한 병렬 연산이 가능해짐에 따라, 순차적 처리의 한계를 극복하고 훨씬 빠른 학습이 가능해졌다.이로 인해 트랜스포머 모델은 NLP 분야에서 새로운 패러다임을 제시한 혁신적인 논문으로 평가된다. http..
