Два года веб-мастера старательно добавляли Disallow: /GPTBot в robots.txt и считали себя защищёнными. Гари Ильес объяснил, что именно они защищали: ничего.
robots.txt создавался для управления краулингом. Он решает одно — зайдёт ли бот на страницу. То, что происходит с уже собранными данными, регулируется через opt-out программы и авторское право, а не через конфиг обхода. Это два процесса с разными механизмами контроля, и смешивать их было удобно, но неверно.
Масштаб заблуждения впечатлял: статьи «как закрыть сайт от ИИ», плагины, автогенераторы robots.txt с AI-секцией. Всё это реально ограничивало краулинг, но не защищало данные от попадания в обучающие датасеты.
Пока отрасль занималась этой иллюзией, нейровыдача спокойно формировала свои предпочтения. В неё попадает источник с весомым оригинальным содержанием — успешная блокировка краулера в этом уравнении роли не играет.