32% из 459 протестированных сайтов не пустили хотя бы одного AI-краулера. ClaudeBot закрыт на 28% сайтов, GPTBot — на 26%. На виртуальном хостинге цифры уходят в 40–80%.
Пока SEO-рынок пишет про FAQ-блоки, микроразметку и «экспертный тон» для GEO, треть участников этого ритуала физически закрыта для нейросетей. Причём из 157 заблокированных сайтов у 156 в robots.txt ни слова о запретах. Блокирует хостинг — автоматически, без ведома владельца. Beget, Timeweb, REG.RU.
Нейросеть не цитирует страницу, которую не смогла скачать. Проблема серверная, а курсы по GEO продают контентную. Яндекс.Нейро это не задевает, потому что она работает через поисковый индекс. Для ChatGPT, Claude и Perplexity — уже история другая.
Проверить несложно: три curl-запроса с разными User-Agent — Chrome, GPTBot, ClaudeBot. Браузер отдаёт 200, боты получают 403 — у вас проблема. Решается через поддержку хостинга.