GPT-1 편집하기 (부분)

=== 훈련 과정 ===

==== 1단계: 비지도 사전 훈련 ====
'''BooksCorpus''' 데이터셋을 사용해서 훈련했다.<ref>약 7,000권의 책으로 구성된 데이터셋이다.</ref> 이 단계에서는 다음 단어를 예측하는 '''언어 모델링''' 작업을 수행한다.

목적 함수는 다음과 같다:
:<math>L_1(\mathcal{U}) = \sum_i \log P(u_i | u_{i-k}, ..., u_{i-1}; \Theta)</math>

여기서:
* <math>\mathcal{U} = \{u_1, ..., u_n\}</math>은 토큰 시퀀스
* <math>k</math>는 컨텍스트 윈도우 크기
* <math>\Theta</math>는 모델 파라미터

==== 2단계: 지도 미세 조정 ====
특정 작업에 맞는 라벨이 있는 데이터로 추가 훈련을 진행한다. 이때는 다음과 같은 목적 함수를 사용한다:

:<math>L_2(\mathcal{C}) = \sum_{(x,y)} \log P(y | x^1, ..., x^m)</math>

최종 목적 함수는 두 손실을 결합한다:
:<math>L_3(\mathcal{C}) = L_2(\mathcal{C}) + \lambda \cdot L_1(\mathcal{C})</math>

~~수식이 어렵다고? 그냥 "언어 배우기 + 특정 작업 배우기"라고 생각하면 된다.~~