귀하는 로그인되어 있지 않습니다. 이대로 편집하면 귀하의 IP 주소가 편집 기록에 남게 됩니다.스팸 방지 검사입니다. 이것을 입력하지 마세요!== 개요 == Electra 모델은 자연어 처리를 위한 심층 학습 모델로, [[Google Research|Google Research 팀]]에 의해 개발되었으며, 기존의 [[BERT|BERT 모델]]을 개선한 형태이다. ICLR 2020에 발표한 pre-training 모델이다. ELECTRA는 '''E'''fficiently '''L'''earning an '''E'''ncoder that '''C'''lassifies '''T'''oken '''R'''eplacements '''A'''ccurately의 줄임말로, 번역하면 '정확하게 토큰 대체를 분류하는 인코더를 효율적으로 학습하기'라는 뜻이다. 전통적인 BERT 모델은 [[Masked Language Model|MLM]] 방식을 사용하여 일부 단어를 가리고 (마스킹하고) 그 단어를 예측하도록 훈련하는 반면, Electra는 [[Replaced Token Detection|RTD]] 이라는 새로운 방식을 사용한다. ELECTRA 논문은 [https://openreview.net/pdf?id=r1xMH1BtvB ICLR 2020 paper ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators] 라는 이름으로 공개하여 확인할 수 있고, 깃허브 코드는 {{깃허브/저장소|google-research|electra}} 에서 확인 가능하다. 편집 요약 가온 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 가온 위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요. 또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요! 취소 편집 도움말 (새 창에서 열림)