BERT 편집하기 (부분)

=== 추가 학습(Fine-tuning) ===
사전 학습된 BERT 모델은 특정 NLP 작업에 맞게 추가 학습을 수행한다. 추가 학습은 비교적 간단하며, 다음과 같은 단계를 포함한다.

* 작업별 입력 데이터를 준비한다.
** 예: 질의 응답 작업에서는 질문과 문단을 준비하고, 답변의 시작과 끝 위치를 레이블로 지정한다.
* 모델의 출력 레이어를 작업에 맞게 수정한다.
** 예: 문장 분류 작업에서는 [CLS] 토큰의 출력을 이진 분류 레이어로 전달한다.
* 작업별 데이터와 레이블을 사용하여 모델을 최적화한다.
** 최적화는 경사 하강법(gradient descent)을 통해 수행되며, 학습률은 일반적으로 작게 설정된다(예: 2e-5).

추가 학습은 다양한 NLP 작업에서 뛰어난 성능을 발휘한다. 예를 들어:
* '''문장 분류''': GLUE 벤치마크(예: SST-2, CoLA)에서 사용.
* '''질의 응답''': SQuAD 데이터셋에서 질문에 대한 답변을 예측.
* '''개체명 인식(NER)''': CoNLL-2003 데이터셋에서 명사(예: 사람, 장소, 조직)를 식별.
* '''문장 유사도''': STS-B 데이터셋에서 두 문장의 의미적 유사도를 평가.