이번 글은 Attention 메커니즘을 풀어서 설명해보겠습니다당!Attention 이란?"어떤 단어에 더 집중할지 결정하는 메커니즘" 각 단어가 다른 단어에 어느 정도 '집중할지'를 계산해서 더 중요한 정보에 가중치를 부여하는 방식Attention의 기본 작동 원리는 하나의 문장 안에서 단어들끼리 서로 얼마나 관련 있는지 계산하는 것입니다. (Self Attention 기준) Step-by-step 정리1. Query, Key, Value 만들기입력된 단어(벡터)마다 3개의 다른 벡터를 만듭니다.Query내가 지금 집중하고 싶은 "기준점"Key비교 대상이 되는 "모든 단어들"Value실제 정보를 담고 있는 값 (결국 더해질 정보들) 2. Query와 모든 Key의 유사도를 계산Query 벡터와 모든 Ke..