🤖 Agentic Engine Optimization (AEO): как оптимизировать сайт под AI-агентов в 2026 году

SEO вы знаете. GEO — уже слышали. Теперь пришло время познакомиться с AEO — Agentic Engine Optimization.

Пока вы шлифуете мета-теги и строите ссылочный профиль, к вашему сайту всё чаще приходят не люди. Claude Code, Cursor, Cline, Aider — AI-агенты, которые сами читают документацию, сами принимают решения и сами выполняют задачи. И если ваш сайт не готов к такому гостю, он просто не получит ни одного «заказа» от нейросети.

В этой статье — разбор нового подхода, который уже используют лидеры рынка. С конкретными шагами, инструментами и чек-листом.

Что такое Agentic Engine Optimization (AEO)

Agentic Engine Optimization (AEO) — это практика структурирования, форматирования и подачи контента таким образом, чтобы AI-агенты могли его реально использовать — не только люди.

Аналогия простая: SEO мы оптимизируем под поисковых роботов и поведение людей. AEO — та же идея, но для другого потребителя: автономных AI-агентов, которые самостоятельно запрашивают, парсят и анализируют ваш контент.

Пять ключевых критериев, которые важны для агентов:

• Обнаруживаемость — может ли агент найти вашу документацию без рендеринга JavaScript?
• Парсируемость — читается ли контент машиной без интерпретации визуальной вёрстки?
• Токенная эффективность — вписывается ли контент в контекстное окно агента без обрезки?
• Сигнализация возможностей — говорит ли документация, что умеет ваш API, а не только как его вызвать?
• Контроль доступа — разрешает ли ваш robots.txt AI-трафик?

Если хотя бы один пункт не выполняется — агент либо полностью игнорирует ваш контент, либо генерирует неверные ответы. И вы об этом никогда не узнаете, потому что никакой аналитики не сработает.

Как AI-агенты на самом деле читают ваш сайт

Это важно понять, потому что разрыв с поведением человека — колоссальный.

Человек

Заходит на главную → переходит в нужный раздел → листает, читает пару абзацев → запускает пример кода → кликает по 2–3 ссылкам → проводит на сайте 4–8 минут. Ваша аналитика фиксирует всё.

AI-агент

Делает один GET-запрос → получает всю страницу → парсит как текст → вырезает HTML-шум → считает токены → либо использует как контекст, либо молча выбрасывает, потому что страница слишком тяжёлая.

Никакого скролла. Никаких кликов. Время на сайте — 400 миллисекунд. В вашей аналитике — тишина.

Исследование HTTP-трафика девяти крупных AI-агентов показало, что они сжимают многостраничную навигацию в 1–2 запроса. Весь привычный «путь пользователя» схлопывается в одно серверное событие.

Цифровые отпечатки агентов

По этим User-Agent’ам можно вычислить AI-трафик прямо в логах сервера:

Агент	Сигнатура	Особенность поведения
Claude Code	axios/1.8.4	GET по требованию
Cursor	got (sindresorhus/got)	HEAD-проба → GET
Cline	curl/8.4.0	GET + sweep OpenAPI/Swagger
Aider	Headless Chromium	Полный Mozilla/Safari UA
Windsurf	colly	Go-краулер
Junie	curl/8.4.0	Последовательные GET

Когда начнёте их искать — удивитесь, сколько AI-трафика уже есть в ваших логах прямо сейчас.

Токены — новая первоклассная метрика

Это самая недооценённая часть всей истории.

У агентов нет бесконечного контекста. Практический предел — 100К–200К токенов. Когда документ слишком длинный, происходит одно из четырёх — и ни одно не хорошее:

• Тихое обрезание — часть информации просто теряется
• Полный пропуск документа — агент берёт что-то покороче
• Чанкование — добавляет задержку и риск ошибок
• Галлюцинация — агент опирается на параметрические знания и выдумывает

Целевые токенные нормы для страниц

Тип страницы	Рекомендуемый лимит
Быстрый старт / Getting Started	< 15 000 токенов
Отдельная страница API Reference	< 25 000 токенов
Концептуальные гайды	< 20 000 токенов
Полный API Reference	Разбить по ресурсам/эндпоинтам

Если вы не отслеживаете токенный вес своих страниц — вы упускаете сигнал, который агенты используют для принятия решений.

AEO-стек: что конкретно нужно сделать

AEO — не один инструмент, а набор слоёв. Разберём каждый.

Слой 1. robots.txt — первый барьер

Это первое, что проверяет агент перед запросом. Неправильно настроенный robots.txt, который блокирует AI-краулеров, делает ваш сайт невидимым для них — без единой ошибки в логах.

Что сделать:

• Проверьте robots.txt на блокировки AI User-Agent’ов (Anthropic, OpenAI, Google, Perplexity)
• Явно разрешите их, если нужно
• Изучите agent-permissions.json — новый стандарт для точного управления автоматизированным доступом

Слой 2. llms.txt — карта сайта для AI

Представьте это как sitemap.xml, только для нейросетей. Плоский Markdown-файл на yourdomain.com/llms.txt — структурированный каталог вашей документации с описаниями, чтобы агент понял, что именно здесь искать.

Правила хорошего llms.txt:

• Описания говорят о том, что агент найдёт, а не просто название страницы
• Указывайте токенный вес ключевых страниц
• Организуйте по задачам, не по продуктовой иерархии
• Сам файл — не более 5 000 токенов

Слой 3. skill.md — декларация возможностей

llms.txt говорит, где что лежит. skill.md говорит, что ваш продукт умеет делать.

Вместо того чтобы агент угадывал возможности из длинных текстов, skill.md декларирует их явно: что умею, что нужно на входе, какие ограничения, где документация.

Это позволяет агенту принять решение — способен ли ваш API решить задачу пользователя — ещё до того, как он потратит контекст на полное чтение.

Слой 4. Форматирование контента

Даже при идеальной обнаруживаемости — контент должен легко читаться машиной.

• Markdown вместо HTML — у многих платформ есть URL с суффиксом .md. Сделайте это доступным. Markdown даёт значительно меньше токенного шума.
• Структура для сканирования — последовательные заголовки H1→H2→H3 без пропусков, код сразу после тезиса.
• Убрать навигационный шум — сайдбары, хлебные крошки, футеры не нужны в парсируемом тексте.
• Главное — в начало: первые 500 токенов должны отвечать на три вопроса: что это, что умеет, как начать.

Слой 5. Токенный вес как метаданные

Простая, но мощная механика: публикуйте токенный вес страниц — в llms.txt, в мета-теге или HTTP-заголовке.

Это даёт агенту информацию для умного решения: загрузить полностью или взять только нужный раздел. Реализация на сервере — несложная: количество символов ÷ 4 = приблизительное число токенов.

Слой 6. Кнопка «Скопировать для AI»

Когда разработчик работает в IDE с AI-ассистентом и хочет добавить документацию в контекст — он копирует из браузера вместе с навигацией, футером и прочим мусором. Кнопка «Скопировать для AI» отдаёт чистый Markdown.

Anthropic и Cloudflare уже запустили такую механику. Усилий минимум — пользы максимум.

AGENTS.md: новый README для AI-агентов

Как README.md стал точкой входа для людей, изучающих репозиторий, — AGENTS.md становится точкой входа для AI-агентов.

Когда кодинговый агент открывает проект, он ищет AGENTS.md в корне и подтягивает эти инструкции во все последующие задачи.

Что должно быть в хорошем AGENTS.md:

• Структура проекта и ключевые файлы
• Ссылки на API/сервисную документацию
• Доступные dev-sandbox и тестовые среды
• Рейт-лимиты и ограничения
• Предпочтительные паттерны и конвенции кода
• Ссылки на MCP-серверы (если есть)

Мониторинг AI-реферального трафика

Это можно сделать прямо сейчас, без каких-либо изменений на сайте.

Реферальные источники, которые стоит отслеживать в аналитике:

• claude.ai/referral
• chatgpt.com/(none)
• gemini.google.com/referral
• perplexity.ai/referral
• copilot.microsoft.com/referral

Плюс — мониторьте HTTP-сигнатуры в серверных логах: axios/1.8.4, curl/8.4.0, colly, got (sindresorhus/got). Это прямой AI-трафик без реферера.

Когда у вас появится сегмент AI-трафика — вы сможете измерить реальный эффект от всех остальных изменений.

Полный чек-лист AEO-готовности сайта

📡 Обнаруживаемость

• Файл llms.txt существует в корне сайта со структурированным индексом
• robots.txt не блокирует известные AI User-Agent’ы
• Файл agent-permissions.json определяет правила доступа для автоматических клиентов
• В репозиториях есть AGENTS.md со ссылками на документацию

🗂 Структура контента

• Страницы доступны в чистом Markdown (не только рендеренный HTML)
• Каждая страница начинается с чёткого outcome-statement в первых 200 словах
• Заголовки корректны и иерархически выверены (H1→H2→H3)
• Примеры кода идут сразу после поясняющего текста
• Параметры — в таблицах, не в прозе

⚖️ Токенная экономика

• Токенный вес отслеживается для каждой страницы документации
• Ни одна страница не превышает 30 000 токенов без стратегии чанкования
• Токенные веса указаны в llms.txt для ключевых страниц
• Токенный вес доступен как метаданные страницы (мета-тег или HTTP-заголовок)

🎯 Сигнализация возможностей

• Файлы skill.md описывают, что умеет каждый сервис/API
• Каждый skill содержит: возможности, входные данные, ограничения, ключевые ссылки
• MCP-сервер доступен для прямой агентской интеграции (если применимо)

📊 Аналитика

• AI-реферальные источники сегментированы в веб-аналитике
• Серверные логи отслеживают HTTP-сигнатуры AI-агентов
• Установлен базовый показатель соотношения AI/человеческого трафика

🛠 UX-мост

• Кнопка «Скопировать для AI» есть на страницах документации
• Markdown-источник доступен по URL-конвенции (например, добавление .md)

С чего начать прямо сейчас

Если смотришь на этот список и думаешь, с чего взяться — вот приоритетная последовательность:

1. Проверь robots.txt — 10 минут работы, предотвращает полную блокировку агентов
2. Добавь llms.txt — несколько часов, мгновенный прирост обнаруживаемости
3. Измерь токенный вес страниц — задача на выходные с высоким КПД
4. Напиши skill.md для топ-3 API/сервисов — начни с того, к чему агенты тянутся чаще всего
5. Добавь кнопку «Скопировать для AI» — мало усилий, хороший сигнал
6. Настрой мониторинг AI-трафика — даст данные для обоснования всего остального

Итог

SEO научило нас: мало создать хороший контент — его нужно подать так, как это работает для реального трафика эпохи. AEO — тот же урок, но для нового потребителя.

AI-агенты уже генерируют значительную долю трафика к технической документации. Они ведут себя принципиально иначе, чем люди. И большинство сайтов к этому не готово.

Те, кто двигается первым, получат реальное преимущество: их API и сервисы будут теми, которые агенты рекомендуют, успешно интегрируют и возвращаются к ним снова. Остальные столкнутся с растущим разрывом между качеством контента и успехом агентских задач — тихий провал, который крайне сложно отладить.

Хорошая новость: оптимизация под агентов делает документацию лучше и для людей тоже. Дисциплины пересекаются больше, чем расходятся.

Начни с llms.txt. Напиши skill.md. Проверь robots.txt. Измерь токены.

Если хочешь внедрить AEO для своего сайта или разобраться, насколько он сейчас готов к AI-агентам — пиши в Telegram.