BERT 편집하기 (부분)

=== 사전 학습 과정 ===
BERT는 사전 학습을 통해 일반적인 언어 이해 능력을 학습한다. 사전 학습은 두 가지 주요 작업으로 구성된다.

* '''마스크된 언어 모델링(Masked Language Modeling, MLM)''':
** 입력 문장의 단어 중 15%를 무작위로 선택하여 마스킹한다.
** 선택된 단어는 다음과 같이 처리된다:
*** 80%는 [MASK] 토큰으로 대체.
*** 10%는 무작위 단어로 대체.
*** 10%는 원래 단어로 유지.
** 모델은 마스킹된 단어를 예측함으로써 문맥을 이해하는 능력을 학습한다.
** 예를 들어, "I love to [MASK] books."라는 입력에서 [MASK]를 "read"로 예측한다.

* '''다음 문장 예측(Next Sentence Prediction, NSP)''':
** 두 문장이 주어졌을 때, 두 번째 문장이 첫 번째 문장의 실제 다음 문장인지 예측한다.
** 학습 데이터는 다음과 같이 구성된다:
*** 50%는 실제로 연속하는 문장 쌍으로 구성.
*** 50%는 무작위로 선택된 문장 쌍으로 구성.
** 모델은 [CLS] 토큰의 출력을 사용하여 이진 분류를 수행한다.
** 예를 들어, "I love reading books. [SEP] Reading helps me relax."는 실제 다음 문장이지만, "I love reading books. [SEP] The sky is blue."는 무작위 문장이다.

사전 학습은 대규모 데이터셋(예: BooksCorpus, 영어 위키피디아)에서 수행되며, 모델은 손실 함수를 최소화하도록 학습된다.