AI 검색·SEO
llms.txt 꼭 만들어야 하나요? robots.txt·사이트맵과 차이
llms.txt는 AI에게 사이트 요약과 주요 링크를 알려 주자는 제안 단계 파일로 필수는 아닙니다. robots.txt와 차이를 정리했습니다.

llms.txt는 꼭 만들어야 하는 파일이 아닙니다. 사이트의 핵심 내용과 주요 페이지 링크를 AI가 읽기 쉬운 형식으로 정리해 두자는 제안에서 나온 파일이고, 공식 표준으로 정해진 것도 아닙니다. 어떤 AI 서비스가 이 파일을 언제, 어떻게 읽는지 정해진 규칙도 없습니다. 만드는 데 품이 많이 들지 않으니 있어서 나쁠 건 없지만, 그보다 먼저 확인할 일이 있습니다.
llms.txt는 어떤 파일인가요
2024년에 제안된 형식으로, 사이트 최상위 주소에 「/llms.txt」라는 텍스트 파일을 두는 방식입니다. 안에는 마크다운 형식으로 다음 내용을 적습니다.
- 사이트 이름
- 무엇을 하는 곳인지 짧은 요약
- 주요 페이지 링크와 한 줄 설명
- 덜 중요한 참고 링크(선택)
비유하자면 AI에게 건네는 사이트 안내 책자입니다. 페이지가 수백 개인 사이트에서 이 사이트를 이해하려면 이 페이지들부터 보라고 골라 주는 역할을 합니다. 그래서 개발 문서처럼 분량이 많은 사이트에서 먼저 쓰이기 시작했습니다. 메뉴가 열 개 남짓인 동네 매장 홈페이지라면 이 파일이 대신해 줄 일이 그리 많지 않습니다.
robots.txt·사이트맵과는 하는 일이 다릅니다
세 파일 모두 사이트 최상위에 두지만 역할은 각각입니다.
| 구분 | robots.txt | 사이트맵(sitemap.xml) | llms.txt |
|---|---|---|---|
| 역할 | 어떤 로봇이 어디까지 들어와도 되는지 정함 | 사이트에 있는 페이지 주소 목록 | 사이트 요약과 골라 둔 주요 링크 |
| 읽는 쪽 | 검색로봇, AI 크롤러 | 검색엔진 | AI 도구(읽을지는 서비스마다 다름) |
| 형식 | 정해진 규칙 문법 | XML | 마크다운 |
| 표준 여부 | 인터넷 표준 문서로 정리됨 | 주요 검색엔진이 지원 | 제안 단계 |
| 없을 때 | 모든 로봇에 열려 있는 것으로 봄 | 링크를 따라가며 페이지를 찾음 | 확인된 불이익 없음 |
AI 크롤러의 출입을 실제로 정하는 파일은 robots.txt입니다. llms.txt를 아무리 잘 써도 robots.txt에서 AI 크롤러를 막아 두었다면, 규칙을 지키는 크롤러는 페이지를 가져가지 않습니다.
먼저 볼 것은 robots.txt입니다
브라우저 주소창에 「우리 홈페이지 주소/robots.txt」를 입력하면 지금 설정이 바로 보입니다. 이런 줄이 있는지 확인하세요.
- 모든 로봇(User-agent: *)에 「Disallow: /」가 걸린 경우: 검색로봇과 AI 크롤러가 모두 막혀 있습니다. 개발 중에 걸어 둔 설정이 오픈 뒤에도 남아 있는 경우입니다.
- 특정 이름의 로봇만 막힌 경우: AI 서비스들은 자기 크롤러 이름을 공개하고 있어서, 이름별로 허용과 차단을 따로 정할 수 있습니다. 누가 왜 막았는지 제작사에 물어보세요.
- 사이트맵 주소가 적혀 있는지: robots.txt에 사이트맵 위치를 한 줄 적어 두면 검색로봇이 찾기 쉽습니다.
AI 크롤러를 막을지 열지는 사업 판단입니다. 콘텐츠가 AI 학습에 쓰이는 것을 원하지 않는 사업자는 막기도 합니다. 서비스에 따라 학습용 크롤러와 검색·답변용 크롤러를 나눠 두기도 하니, 이름을 확인하고 정하면 됩니다. AI 답변에 우리 업체가 언급되기를 바라는 음식점·병원·학원이라면 적어도 검색·답변용 크롤러까지 막고 있지는 않은지 보셔야 합니다.
robots.txt에 문제가 없는데도 이상하다면 호스팅이나 보안 서비스의 봇 차단 기능을 확인하세요. 이 기능이 AI 크롤러를 막고 있는 경우도 있습니다.
그래도 만든다면 이렇게 씁니다
llms.txt를 두기로 했다면 짧고 정확하게 씁니다. 동네 인테리어 업체라면 이 정도 구성이면 충분합니다.
| 넣을 내용 | 예시 |
|---|---|
| 첫 줄 사이트 이름 | ○○인테리어 |
| 한두 줄 요약 | 송파구 아파트 리모델링·부분 시공 업체. 상담, 실측, 견적, 시공, 사후 점검 순서로 진행 |
| 주요 페이지 | 시공 사례, 비용 안내, 진행 절차, 자주 묻는 질문, 오시는 길. 각각 링크와 한 줄 설명 |
| 연락처 | 상호, 주소, 대표번호를 홈페이지와 같은 표기로 |
쓸 때 지킬 점은 세 가지입니다. 홈페이지에 없는 내용을 llms.txt에만 적지 않습니다. 확인할 수 없는 자랑이나 홍보 문구 없이 사실만 담습니다. 서비스나 가격이 바뀌면 홈페이지와 같은 날 고칩니다. 오래 방치된 llms.txt는 틀린 안내문이 됩니다.
우선순위로 놓고 보면
AI 검색 대응을 처음 시작하는 사업자라면 이 순서를 권합니다.
- robots.txt와 보안 설정에서 검색로봇·AI 크롤러가 막혀 있지 않은지 확인
- 네이버 서치어드바이저와 Google Search Console에 사이트맵 제출
- 서비스별 설명 페이지와 FAQ처럼 질문에 답하는 페이지 갖추기
- 상호·주소·전화번호를 모든 채널에서 같게 맞추기
- 여유가 있으면 llms.txt 작성
llms.txt를 넣었다고 AI 답변에 나온다는 보장은 없습니다. 「llms.txt만 설치하면 AI에 노출된다」는 제안을 받았다면 무엇을 근거로 하는 말인지 물어보세요. 1~4번이 비어 있다면 그쪽을 먼저 채우는 편이 낫습니다.
미래애드원은 SEO·AEO·GEO 통합 최적화에서 크롤링·색인 점검, 구조화 데이터, 질문 테스트 기록을 함께 진행합니다. AI 검색 최적화의 큰 그림은 GEO란 무엇인가요? SEO와 같은 점, 다른 점에 정리해 두었습니다.
자주 묻는 질문
아닙니다. AI 크롤러는 llms.txt가 없어도 일반 페이지를 읽습니다. 막혀 있지 않다면 홈페이지 본문 자체가 기본 자료입니다.
도구에 따라 다릅니다. 사이트 최상위에 파일을 직접 올릴 수 없는 도구도 있습니다. 이 경우 억지로 만들 필요는 없고, robots.txt와 사이트맵 설정을 먼저 확인하세요.
어떤 이름을 막았는지에 따라 다릅니다. 검색로봇까지 함께 막으면 검색 노출에도 영향이 갑니다. 이름별 규칙을 바꾸기 전에 각 서비스가 공개한 크롤러 설명을 확인하세요.




