BERT 편집하기 (부분)

== 개요 ==
BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리(NLP, Natural Language Processing) 분야에서 혁신적인 변화를 가져온 딥러닝 모델로, [[Google Research|Google Research 팀]]에 의해 개발되었다. 이 모델은 2018년 10월에 공개되었으며, [https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding]라는 논문으로 발표되었다. BERT는 트랜스포머(Transformer) 아키텍처를 기반으로 하여, 문장의 양방향적(bidirectional) 맥락을 학습할 수 있는 능력 덕분에 다양한 NLP 작업에서 뛰어난 성능을 보여준다. 깃허브 코드는 {{깃허브/저장소|google-research|bert}}에서 확인할 수 있다.

BERT는 사전 학습(pre-training)과 추가 학습(fine-tuning)이라는 두 단계로 작동하며, 특히 대량의 라벨링되지 않은 데이터(unlabeled data)를 활용하여 일반적인 언어 이해 능력을 학습한 후, 특정 작업(downstream task)에 맞게 모델을 최적화한다. 이러한 구조는 전이 학습(transfer learning) 개념을 NLP에 성공적으로 적용한 사례로 평가받는다. BERT의 등장 이후, 다양한 변형 모델(예: RoBERTa, DistilBERT, ALBERT)이 개발되었으며, 현재까지도 NLP 연구와 응용 분야에서 중요한 기반 기술로 사용되고 있다.