요약 편집하기 (부분)

== AI와 자동 요약 ==

=== 개요 ===

자동 요약(Automatic Text Summarization)은 [[자연어 처리]](NLP) 분야의 핵심 과제 중 하나로, 컴퓨터가 자동으로 텍스트를 요약하는 기술을 말한다. 1950년대부터 연구가 시작되었으며, 2010년대 이후 [[딥러닝]]의 발전으로 급격한 성능 향상이 이루어졌다.

자동 요약 시스템을 평가하는 핵심 질문은 다음 세 가지이다:
* '''내용 충실성(Content Faithfulness)''' : 원문의 핵심 내용이 요약에 정확하게 반영되었는가?
* '''사실 정확성(Factual Accuracy)''' : 요약에 포함된 정보가 사실적으로 정확한가?
* '''가독성(Readability/Fluency)''' : 요약이 자연스럽고 읽기 쉬운가?

=== 발전 과정 ===

==== 통계 기반 접근 (1950s~2000s) ====

자동 요약 연구의 시초는 1958년 루hn(Luhn)의 연구로 거슬러 올라간다.<ref>Luhn, H. P. (1958). The Automatic Creation of Literature Abstracts. ''IBM Journal of Research and Development'', 2(2), 159–165.</ref> 그는 단어 빈도수를 기반으로 문서의 중요 문장을 선별하는 방법을 제안했으며, 이것이 TF(Term Frequency) 기반 추출 요약의 원형이다.

이후 TF-IDF(Term Frequency-Inverse Document Frequency), 문장 위치 가중치, 단어 공출현 그래프 등 통계적 방법이 발전했다. 2004년 미할체아(Mihalcea)와 타라우(Tarau)가 제안한 '''TextRank'''<ref>Mihalcea, R., & Tarau, P. (2004). TextRank: Bringing Order into Texts. ''Proceedings of EMNLP 2004''.</ref>는 구글의 PageRank 알고리즘을 텍스트 그래프에 적용하여 외부 데이터 없이도 비지도 방식으로 문장 중요도를 계산하는 방법으로, 현재도 널리 사용되는 고전적 알고리즘이다.

==== 신경망 기반 접근 (2015~2019) ====

[[순환신경망(RNN)]]과 [[장단기 기억(LSTM)]]을 활용한 인코더-디코더 구조가 생성형 요약을 가능하게 했다. 러쉬(Rush) 등이 2015년 제안한 어텐션 기반 요약 모델<ref>Rush, A. M., Chopra, S., & Weston, J. (2015). A Neural Attention Model for Abstractive Sentence Summarization. ''Proceedings of EMNLP 2015''.</ref>은 신경망 기반 자동 요약의 출발점이 되었다.

이 시기에 CNN/DailyMail, XSum 등 대규모 요약 데이터셋이 구축되어 모델 학습과 평가의 표준 기반이 마련되었다.

==== 트랜스포머 기반 접근 (2019~현재) ====

2017년 구글이 제안한 [[트랜스포머(Transformer)]] 아키텍처와 2018년 [[BERT]]의 등장은 자동 요약을 포함한 NLP 전 분야에 혁명적 변화를 가져왔다.

요약 전용 사전 훈련 모델의 계보:

{| class="wikitable" style="width:100%"
|-
! 모델 !! 발표 기관 !! 연도 !! 특징
|-
| BERT || Google || 2018 || 양방향 인코더. 주로 추출 요약에 활용
|-
| GPT-2 || OpenAI || 2019 || 단방향 생성 모델. 제로샷 요약 시연
|-
| BART || Facebook AI || 2019 || 노이즈 제거 자동인코더 방식. 생성 요약에 최적화
|-
| T5 || Google || 2019 || 모든 NLP 태스크를 텍스트-투-텍스트로 통일
|-
| PEGASUS || Google || 2019 || 요약 특화 사전 훈련 (Gap Sentence Generation)
|-
| GPT-3/4 || OpenAI || 2020/2023 || 대형 언어 모델. 퓨샷·제로샷 요약 가능
|-
| LLaMA 2/3 || Meta || 2023/2024 || 오픈소스 대형 언어 모델
|-
| Claude 3/3.5/4 || Anthropic || 2024/2025 || 장문 처리 및 고충실 요약에 강점
|}

국내에서는 NAVER의 '''HyperCLOVA''', KAKAO의 '''KoGPT''', SKT의 '''KoBART''' 등 한국어 특화 모델이 개발되어 한국어 자동 요약에 활용되고 있다.

=== 평가 지표 ===

자동 요약의 품질은 주로 다음과 같은 지표로 평가한다.

==== ROUGE ====

'''ROUGE(Recall-Oriented Understudy for Gisting Evaluation)'''는 자동 요약 분야의 사실상 표준 평가 지표로, 2004년 린(Lin)이 제안했다.<ref>Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. ''Text Summarization Branches Out'', pp. 74–81.</ref>

{| class="wikitable" style="width:70%"
|+ ROUGE 지표 종류
|-
! 지표 !! 설명
|-
| ROUGE-1 || 단일 단어(unigram) 겹침 비율
|-
| ROUGE-2 || 두 단어 연속(bigram) 겹침 비율
|-
| ROUGE-L || 최장 공통 부분 수열(Longest Common Subsequence, LCS) 기반
|-
| ROUGE-SU || Skip-bigram 및 unigram 조합 기반
|-
| ROUGE-W || 연속 LCS에 가중치를 부여한 버전
|}

ROUGE는 참조 요약(Reference Summary)과의 단어 겹침을 측정하므로, 의미적으로 동일하지만 다른 단어를 사용한 좋은 요약이 낮은 점수를 받을 수 있다는 한계가 있다.

==== BERTScore ====

단어 겹침 대신 BERT 임베딩을 활용하여 의미적 유사도를 측정하는 지표로, ROUGE의 한계를 일부 보완한다.<ref>Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. ''ICLR 2020''.</ref>

==== QAEval / FactCC / SummaC ====

요약의 '''사실 정확성(Factual Consistency)'''을 전용으로 평가하는 지표들이다. 생성형 요약의 환각 문제가 부각되면서 이러한 사실 기반 평가의 중요성이 커졌다.

=== 현재 주요 활용 사례 ===

* '''NAVER CLOVA Summary''' : 뉴스 기사 3줄 요약 서비스. 네이버 뉴스 기사에 AI 자동 요약이 적용됨
* '''카카오 뷰(View)''' : 큐레이션 채널의 콘텐츠 자동 요약 및 추천
* '''Notion AI''' : 문서 작업 시 자동 요약, 회의록 작성 지원
* '''Microsoft Copilot''' : Word 문서 요약, Teams 회의록 자동 요약, Outlook 이메일 스레드 요약
* '''Google Workspace Duet AI''' : Gmail 스레드 요약, Docs 문서 요약
* '''YouTube Summary with ChatGPT''' : 유튜브 영상의 자막을 요약하는 브라우저 확장 프로그램
* '''Anthropic Claude''' : 논문, 계약서, 보고서 등 장문 문서 요약. 최대 수십만 토큰의 컨텍스트 처리 가능
* '''법률 AI 플랫폼(로톡, 엘박스 등)''' : 판례 요약, 계약서 핵심 조항 추출

=== 한계와 과제 ===

현재 AI 자동 요약의 주요 기술적 한계:

'''환각(Hallucination)''' 문제가 가장 심각하다. 원문에 없는 수치, 인명, 날짜, 사실을 생성하는 오류로, 특히 의료·법률·금융 등 사실 정확성이 중요한 분야에서 치명적이다. 이를 해결하기 위해 검색 증강 생성(RAG, Retrieval-Augmented Generation) 기법이 활발히 연구·적용되고 있다.

'''장문 처리 한계'''는 컨텍스트 창(Context Window) 제한으로 인해 매우 긴 문서를 한 번에 처리하기 어렵다는 것이다. 수백 페이지짜리 보고서나 법원 판결문을 처리하려면 청킹(Chunking) 기법 등의 우회 방법이 필요하다. 다만 Claude 3.5 이후 버전에서는 수십만 토큰 수준의 컨텍스트가 지원되어 이 문제가 크게 완화되었다.

'''언어 불균형''' 문제로, 학습 데이터가 영어에 편중되어 있어 한국어·아랍어·스와힐리어 등 비영어권 언어에서의 성능이 영어 대비 낮다.

'''도메인 이탈(Domain Shift)''' 문제는 일반 텍스트로 학습된 모델이 의학·법률·특허 등 전문 분야 텍스트에서 성능이 저하되는 현상이다.

'''추론 기반 요약''' 능력도 아직 부족하다. 텍스트에 명시되지 않은 함의나 행간을 파악하여 요약에 반영하는 것은 여전히 인간 수준에 미치지 못한다.

'''평가 지표의 한계'''로는 ROUGE 등 자동 평가 지표가 인간의 실제 요약 품질 판단과 괴리가 크다는 점이 꾸준히 지적된다. 이에 인간 평가(Human Evaluation)가 병행되어야 한다는 주장이 많지만, 시간과 비용이 크게 소요된다는 현실적 제약이 있다.