AEO: AI 에이전트 시대의 새로운 최적화 전략

안녕하세요, Tom입니다.

최근에 Google의 Addy Osmani가 Agentic Engine Optimization(AEO)이라는 개념을 소개했어요. SEO가 검색 엔진을 위한 최적화라면, AEO는 AI 코딩 에이전트를 위한 최적화예요. 이 블로그도 3개월간 SEO 삽질을 꽤 했는데, 이제는 또 다른 차원의 최적화가 필요한 시대가 오고 있더라고요.

AI 에이전트는 문서를 다르게 읽어요

사람은 문서를 탐색하듯 읽어요. 목차를 훑고, 관심 있는 섹션으로 스크롤하고, 평균 4~8분 동안 여러 페이지를 오가죠. 이 과정에서 체류 시간, 스크롤 깊이, 클릭 같은 분석 지표가 쌓여요.

그런데 AI 에이전트는 완전히 달라요. HTTP 요청 한두 번으로 전체 페이지를 통째로 가져와요. 클라이언트 사이드 JavaScript는 실행하지 않고, 스크롤도 클릭도 없어요. 기존 웹 분석 도구에는 아무런 흔적이 남지 않죠.

참고: Claude Code는 axios/1.8.4, Cursor는 HEAD 프로브 후 GET, Aider는 Headless Chromium(Playwright)을 사용해요. 각 에이전트마다 고유한 접근 패턴이 있어서 서버 로그를 보면 구분할 수 있어요.

토큰 수가 새로운 문서 지표가 됐어요

AEO에서 가장 핵심적인 통찰은 이거예요. 토큰 수가 문서 품질의 일급 지표가 됐다는 것.

에이전트에게 컨텍스트 윈도우는 곧 한계예요. 문서가 너무 크면 에이전트는 조용히 그 문서를 버려요. 에러 메시지도 없이요. 그리고 자기가 이미 알고 있는 파라메트릭 지식으로 대충 답을 만들어내죠. 이게 바로 할루시네이션이 발생하는 경로 중 하나예요.

Osmani가 제시한 토큰 목표치는 이래요.

실제로 Cisco의 REST API 가이드는 193,217 토큰이었는데, 대부분의 에이전트 컨텍스트 윈도우를 초과해서 사실상 사용 불가능한 문서였다고 해요.

AEO 6계층 스택

Osmani는 AEO를 6개 계층으로 정리했어요.

1. 접근 제어 (robots.txt) — 에이전트 크롤러를 차단하고 있지 않은지 확인해요. 이건 이 블로그에서도 겪은 문제예요. robots.txt가 OG 이미지 경로를 막고 있었던 걸 뒤늦게 발견한 적이 있거든요. AI 에이전트도 마찬가지로 잘못 설정된 robots.txt 때문에 조용히 차단당할 수 있어요.

2. 발견 (llms.txt) — 도메인 루트에 Markdown 형식의 사이트맵을 두는 거예요. 에이전트가 사이트 전체를 크롤링하지 않고도 어떤 문서가 있는지 파악할 수 있게 해줘요.

3. 기능 시그널링 (skill.md) — API가 "무엇을 할 수 있는지"를 선언적으로 알려주는 파일이에요. 호출 방법이 아니라 능력 자체를 설명하는 거죠.

4. 콘텐츠 포맷팅 — 깔끔한 Markdown 제공, 일관된 제목 구조, 설명 바로 뒤에 코드 예시 배치. 결론을 먼저 쓰는 구조가 중요해요.

5. 토큰 수 공개 — 페이지별 토큰 수를 메타데이터나 HTTP 헤더로 노출해서 에이전트가 컨텍스트 할당을 미리 판단할 수 있게 해요.

6. "Copy for AI" 버튼 — 깔끔한 Markdown 컨텍스트를 클립보드에 복사하는 버튼. 개발자가 에이전트에게 더 나은 컨텍스트를 직접 전달할 수 있게 해줘요.

AGENTS.md의 부상

README.md가 사람을 위한 프로젝트 진입점이라면, AGENTS.md는 AI 에이전트를 위한 진입점이에요. 프로젝트 구조, API 문서 링크, 개발 샌드박스 정보, 레이트 리밋, 코드 컨벤션 등을 포함해요.

사실 이 블로그 프로젝트에도 CLAUDE.md라는 비슷한 파일이 있어요. Claude Code가 프로젝트 컨텍스트를 빠르게 파악할 수 있도록 기술 스택, 디렉토리 구조, 커밋 컨벤션을 정리해 둔 건데, AEO 관점에서 보면 이미 비슷한 실천을 하고 있었던 셈이에요.

이 블로그의 SEO 경험에서 본 AEO

3개월간 블로그를 운영하면서 느낀 건, 기본적인 SEO조차 제대로 하기 어렵다는 거였어요. JSON-LD 스키마, sitemap.xml, OG 이미지, robots.txt 설정까지 하나씩 고쳐 나갔는데, 그때마다 "기계가 이 사이트를 어떻게 보는가"를 고민해야 했어요.

AEO는 그 연장선에 있어요. 다만 대상이 Googlebot에서 Claude Code, Cursor, Cline 같은 코딩 에이전트로 바뀐 거죠. 그리고 이 에이전트들은 검색 결과 페이지를 만들어주는 게 아니라, 직접 코드를 작성하는 데 문서를 소비해요. 문서가 에이전트에게 안 읽히면, 그 라이브러리는 에이전트가 추천하지 않게 되는 거예요.

당장 할 수 있는 것들

Osmani가 제안한 실행 순서는 현실적이에요.

1. robots.txt 감사 — 10분이면 돼요
2. llms.txt 추가 — 몇 시간 정도
3. 토큰 수 측정과 공개 — 주말 프로젝트
4. 주요 API에 skill.md 작성
5. "Copy for AI" 버튼 추가
6. AI 트래픽 모니터링 설정

주의: AEO가 SEO를 대체하는 건 아니에요. 최적의 문서는 사람에게는 스캔하기 쉽고, 기계에게는 파싱하기 쉬운 문서예요. 두 가지가 충돌하는 경우는 생각보다 적어요.

AI 에이전트 트래픽은 이미 상당하고, 계속 늘어나고 있어요. 지금 대응하지 않으면 분석 도구에 잡히지 않는 유령 트래픽만 쌓이게 될 거예요. SEO를 넘어서 AEO까지, 이제는 기계를 위한 최적화도 진지하게 고민해야 할 때예요.

원문: Agentic Engine Optimization (AEO) - Addy Osmani