Спор «LLM умеет/не умеет технический аудит» застрял в 2023 году. Пока одни доказывали, что модель не знает HTTP, другие уже вынесли краулинг в tool calling и оставили LLM только оркестрацию. Разница принципиальная.
На Хабре вышел разбор агентной архитектуры для SEO с реальным стеком и кодом. Playwright + Firecrawl на сборе, DeepSeek V4 Pro на оркестрации ($0.44 за млн токенов), sentence-transformers на кластеризации семантики — и честный список где это не работает.
Не работает — и автор это признаёт — на сайтах от 500K URL, где классический краулер стабильнее просто потому что многопоточность. И стоит дороже, если модель читает полный HTML каждой страницы: токены обойдутся дороже годовой лицензии Semrush. Это не оговорка мелким шрифтом, а половина реального применения.
Рабочий сценарий — гибрид для небольших сайтов и точечных задач: проверить одну страницу, кластеризовать семантику, оценить донора по косинусному сходству. Там это дешевле и быстрее ручного разбора. Screaming Frog от стола не убирай.
Подробный разбор с кодом для каждого слоя: Habr - SEO