13 октября 2026

🧩 Все переписывают тексты. А краулер GPT видит пустой файл

«ChatGPT не знает вашу компанию» — и первая реакция стандартная: добавить экспертизы, расписать FAQ, набить страницы контентом. Логично выглядит, но работает через раз.

Потому что GPTBot, ClaudeBot и остальные AI-краулеры часто не исполняют JavaScript. Если сайт собирается во фронтенде, до модели доезжает пустой HTML-каркас — хоть десять экспертных статей туда положи.

Статья разбирает три точки потери: доступ (robots.txt, WAF, серверные логи), рендеринг (CSR против пререндеринга критичных данных в исходнике) и сигналы (llms.txt, Schema.org, скорость ответа). Конкретные проверки прилагаются — curl с user-agent бота, сравнение исходника и DOM, анализ логов на визиты AI-ботов.

Про GEO/AEO написано уже много, но большинство этих текстов крутятся вокруг качества контента. Здесь хотя бы объясняют, почему качество — задача номер два, если до модели физически ничего не доезжает. Технический базис, который стоит пройти разово по своим проектам.

Разбор целиком — Habr - SEO

Источник Habr - SEO
Все новости Telegram MAX