귀하는 로그인되어 있지 않습니다. 이대로 편집하면 귀하의 IP 주소가 편집 기록에 남게 됩니다.스팸 방지 검사입니다. 이것을 입력하지 마세요!=== 양방향성(Bidirectionality) === 기존의 언어 모델(예: Word2Vec, GloVe, ELMo)이나 순차적 모델(예: RNN, LSTM)은 단어의 맥락을 한 방향(왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽)으로만 학습하는 한계가 있었다. 반면, BERT는 트랜스포머의 자기 주의(self-attention) 메커니즘을 활용하여 문장 내 모든 단어가 서로 상호작용할 수 있도록 설계되었다. 이는 주어진 단어가 문장 내에서 앞뒤 단어의 맥락을 동시에 고려함으로써, 보다 정확한 의미 파악을 가능하게 한다. 예를 들어, "은행"이라는 단어는 문맥에 따라 "금융기관" 또는 "강둑"을 의미할 수 있다. BERT는 문장의 전체 맥락을 이해함으로써 이러한 모호성을 효과적으로 해결한다. 이러한 양방향성은 BERT가 기존 모델 대비 더 풍부한 언어 표현을 학습할 수 있게 해주는 핵심 요소이다. 편집 요약 가온 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 가온 위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요. 또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요! 취소 편집 도움말 (새 창에서 열림)