귀하는 로그인되어 있지 않습니다. 이대로 편집하면 귀하의 IP 주소가 편집 기록에 남게 됩니다.스팸 방지 검사입니다. 이것을 입력하지 마세요!== 역사 == 대형 언어 모델의 기원은 RNN 및 CNN 기반의 시퀀스-투-시퀀스(Seq2Seq) 모델에 있으며, 2014년 Bahdanau 등이 제안한 어텐션 기법이 그 출발점이다. 2017년 발표된 Transformer는 recurrence와 convolution을 배제하고 오직 어텐션만으로 문맥을 학습하여 병렬 학습이 가능해졌으며, 이는 GPT, BERT 등 수많은 후속 연구의 토대를 마련했다. 2018년 OpenAI의 GPT-1(약 1.17억 파라미터)은 텍스트 생성 능력을 선보였고, 2019년 GPT-2(15억 파라미터)는 보다 풍부한 문장 생성을 통해 주목받았다. 2020년 출시된 GPT-3(1750억 파라미터)는 few-shot 학습을 통해 예시만으로 다양한 과제를 처리할 수 있음을 입증했다. 이후 구글 PaLM, Meta LLaMA, Anthropic Claude 등이 잇따라 대형 모델을 발표하며 경쟁이 심화되었다. 편집 요약 가온 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 가온 위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요. 또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요! 취소 편집 도움말 (새 창에서 열림)