Llms.txt 편집하기 (부분)

== 등장 배경 ==

=== AI와 웹의 충돌 ===

현대의 웹사이트는 사람이 보기 좋게 만들어져 있다. [[HTML]], [[CSS]], [[JavaScript]]가 뒤엉켜 있고, 광고 배너, 내비게이션 메뉴, 쿠키 동의창, 소셜 공유 버튼, 사이트맵 링크 등 '''실제 콘텐츠와 무관한 요소들'''이 페이지의 상당 부분을 차지한다. 사람은 이걸 눈으로 걸러낼 수 있지만, [[LLM]]은 그렇지 못하다.

[[대규모 언어 모델]]이 특정 웹페이지의 내용을 참고하여 답변을 생성할 때(일명 [[RAG|검색 증강 생성, RAG]]), 모델은 해당 페이지의 HTML 전체를 읽어야 한다. 이 과정에서 몇 가지 심각한 문제가 발생한다.

# '''노이즈 문제''' : 실제 필요한 정보가 HTML 태그, 광고, 메뉴, 푸터 등의 쓸모없는 텍스트에 묻혀버린다.
# '''컨텍스트 창 낭비''' : LLM의 [[컨텍스트 창|컨텍스트 윈도우(context window)]]는 유한하다. 쓸모없는 내용으로 공간을 낭비하면 정작 중요한 정보를 담을 공간이 줄어든다.
# '''탐색 불가 문제''' : 수천 페이지짜리 문서 사이트에서 AI가 어떤 페이지가 중요한지 알 방법이 없다. 사이트맵(sitemap.xml)은 모든 URL을 나열할 뿐, 어떤 페이지가 가장 중요한지 알려주지 않는다.
# '''JavaScript 렌더링 문제''' : SPA([[싱글 페이지 애플리케이션]]) 등 JS로 렌더링되는 콘텐츠는 AI 크롤러가 아예 읽지 못하는 경우가 많다.

=== 기존 표준의 한계 ===

{| class="wikitable"
|+ '''기존 웹 표준과 llms.txt의 비교'''
|-
! style="background:#3c5a9a;color:white;width:15%" | 파일
! style="background:#3c5a9a;color:white;width:20%" | 대상
! style="background:#3c5a9a;color:white;width:30%" | 역할
! style="background:#3c5a9a;color:white;width:35%" | 한계
|-
| <code>'''robots.txt'''</code>
| 검색엔진 크롤러
| 크롤링 허용/차단 URL 지정
| 어떤 페이지가 중요한지, 콘텐츠가 무엇인지 설명 불가
|-
| <code>'''sitemap.xml'''</code>
| 검색엔진
| 전체 URL 목록 제공
| 우선순위 정보가 제한적, 콘텐츠 맥락 없음
|-
| '''schema.org'''
| 검색엔진(구조화 데이터)
| 페이지 내 구조화 데이터 마크업
| 개별 페이지 단위, 사이트 전체 맥락 제공 불가
|-
| <code>'''llms.txt'''</code>
| AI 어시스턴트 / LLM
| 중요 페이지 큐레이션 + 사이트 설명
| 공식 표준 아님, AI 크롤러 지원 아직 초기 단계
|}

제레미 하워드는 이 문제를 인식하고, '''AI 시대에 맞는 새로운 웹 표준'''이 필요하다는 결론을 내렸다. 마치 1994년에 [[마르틴 코스터(Martijn Koster)]]가 검색엔진 크롤러를 위한 robots.txt를 만들었듯이, AI를 위한 유사한 파일이 필요하다는 것이었다.

=== 제안의 역사 ===

{| class="wikitable"
|+ '''llms.txt 주요 연혁'''
|-
! style="background:#3c5a9a;color:white;" | 날짜
! style="background:#3c5a9a;color:white;" | 사건
|-
| 2024년 9월 3일
| 제레미 하워드, llms.txt 표준 최초 제안. llmstxt.org 공개
|-
| 2024년 11월
| [[Mintlify]], 호스팅하는 모든 문서 사이트에 llms.txt 자동 생성 기능 롤아웃. 사실상 하룻밤 사이에 Anthropic, Cursor, Coinbase, Pinecone 등 수천 개 사이트가 llms.txt를 갖게 됨
|-
| 2024년 말
| Anthropic, Claude 문서에 llms.txt 도입. llms.txt 지원 공식 확인
|-
| 2025년 초
| Stripe, Cloudflare, Vercel, Supabase, Zapier, Hugging Face 등 주요 개발자 플랫폼 잇달아 도입
|-
| 2025년 7월
| Google의 게리 일스(Gary Illyes), llms.txt를 공식 지원하지 않는다고 확인. 존 뮬러(John Mueller)는 폐기된 키워드 메타 태그에 비유해 논란
|-
| 2025년 11월
| SE Ranking, 30만 도메인 분석 결과 발표. llms.txt 보유 여부와 AI 인용 상관관계 측정 불가 판정
|-
| 2026년 Q1
| 전체 도메인 기준 약 10% 수준 채택률 기록. 주류 SaaS, 퍼블리싱으로 확대
|-
| 2026년 5월 7일
| 크롬 라이트하우스(Lighthouse) 13.3, llms.txt 존재 여부를 감사(audit) 항목에 추가
|-
| 2026년 6월 (현재)
| 약 844,000개 이상 웹사이트 도입. IDE 에이전트(Cursor, Claude Code 등)에서 실질적 활용 증가세
|}