요약 편집하기 (부분)

=== 평가 지표 ===

자동 요약의 품질은 주로 다음과 같은 지표로 평가한다.

==== ROUGE ====

'''ROUGE(Recall-Oriented Understudy for Gisting Evaluation)'''는 자동 요약 분야의 사실상 표준 평가 지표로, 2004년 린(Lin)이 제안했다.<ref>Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. ''Text Summarization Branches Out'', pp. 74–81.</ref>

{| class="wikitable" style="width:70%"
|+ ROUGE 지표 종류
|-
! 지표 !! 설명
|-
| ROUGE-1 || 단일 단어(unigram) 겹침 비율
|-
| ROUGE-2 || 두 단어 연속(bigram) 겹침 비율
|-
| ROUGE-L || 최장 공통 부분 수열(Longest Common Subsequence, LCS) 기반
|-
| ROUGE-SU || Skip-bigram 및 unigram 조합 기반
|-
| ROUGE-W || 연속 LCS에 가중치를 부여한 버전
|}

ROUGE는 참조 요약(Reference Summary)과의 단어 겹침을 측정하므로, 의미적으로 동일하지만 다른 단어를 사용한 좋은 요약이 낮은 점수를 받을 수 있다는 한계가 있다.

==== BERTScore ====

단어 겹침 대신 BERT 임베딩을 활용하여 의미적 유사도를 측정하는 지표로, ROUGE의 한계를 일부 보완한다.<ref>Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., & Artzi, Y. (2020). BERTScore: Evaluating Text Generation with BERT. ''ICLR 2020''.</ref>

==== QAEval / FactCC / SummaC ====

요약의 '''사실 정확성(Factual Consistency)'''을 전용으로 평가하는 지표들이다. 생성형 요약의 환각 문제가 부각되면서 이러한 사실 기반 평가의 중요성이 커졌다.