Парсеры — то, с чего начинались все наши платформы. Мы собираем данные для собственных сервисов каждый день, поэтому знаем, где источник врёт, где меняется разметка и как держать сбор годами, а не одну неделю. Под задачу пишем отдельный сборщик.
Разговор про сбор данных лучше начинать с границ — так обе стороны экономят время. Мы работаем с тем, что источник показывает всем: открытые страницы, публичные каталоги, цены на витрине, справочники организаций. Это те же данные, которые видит любой посетитель, только собранные и приведённые в порядок.
Персональные данные, закрытые разделы и содержимое за авторизацией — не наша работа. Если задача упирается в них, мы говорим об этом сразу, а не выясняем на середине проекта, когда бюджет уже потрачен.
Написать парсер несложно. Сложно, чтобы он работал через год.
Самая частая причина. Сайт обновили, разметка поехала — сборщик продолжает работать и складывать пустоту. Без проверок качества это замечают через недели, когда решения уже приняты по мусору.
Цена без копеек, цена со скидкой вместо обычной, единицы измерения вперемешку. Формально сбор работает, фактически данными нельзя пользоваться.
Сборщик бьёт по источнику так, что тот начинает отвечать ошибками или блокирует. Аккуратный темп — не вежливость, а условие того, что сбор проживёт долго.
Капчи, лимиты, проверки поведения. Часть источников закрывается целенаправленно — это оценивается на постановке, а не выясняется в процессе.
Парсер написали, запустили и забыли. Через полгода выясняется, что половина источников отвалилась, а отчёты всё это время строились по остаткам.
То, что работало на тысяче страниц, встаёт на миллионе. Архитектуру сбора приходится закладывать сразу под тот объём, до которого задача дорастёт.
Что собираем, откуда, как часто и в каком виде нужен результат. Здесь же оцениваем, отдаёт ли источник данные вообще — и если нет, говорим об этом до, а не после.
Собираем небольшой объём и показываем: то ли это, что вы ждали. На этом шаге почти всегда выясняется, что нужно чуть другое, — и это нормально, пока не написан весь сбор.
Ставим сбор на расписание, настраиваем выгрузку в нужном формате и проверки качества — они и ловят момент, когда источник поменялся.
Следим за источниками и чиним, когда те меняются. Именно этот пункт отличает работающий сбор от парсера, который когда-то запустили.
Два формата: собрать данные или построить систему, которая собирает их сама.
Подходит, когда нужны сами данные: каталог, цены конкурентов, отраслевая база.
Подходит, когда данные нужны постоянно и на них завязан процесс, а не разовое решение.
Дальше цена зависит от числа источников, объёма, периодичности сбора и того, насколько источник сопротивляется автоматическому обходу: сайт, отдающий данные спокойно, и сайт с защитой от автоматики — это разная работа при одинаковом результате.
Сопровождение считается отдельно. Именно оно отличает работающий сбор от парсера, который когда-то запустили: источники меняют вёрстку, и без присмотра сбор молча ломается.
Мы собираем то, что источник показывает всем: открытые страницы, публичные каталоги, цены на витрине. Персональные данные, закрытые разделы и содержимое за авторизацией — не наша работа.
Если задача упирается в такие данные, мы говорим об этом сразу, а не выясняем на середине проекта.
Готовая программа рассчитана на типовой сайт и ломается на нетиповом. Мы пишем сборщик под конкретный источник и конкретную задачу.
А главное — сопровождаем его. Разовый сбор можно сделать чем угодно; сбор, который работает год, требует, чтобы кто-то чинил его после каждого изменения на стороне источника.
Это происходит регулярно и является нормальной частью жизни любого сбора. У нас на такие изменения стоят проверки: если структура данных поехала, мы видим это по контролю качества, а не по жалобе клиента через месяц.
Починка входит в сопровождение.
Часть источников защищается — капчами, лимитами, блокировками. Мы оцениваем это на этапе постановки и честно говорим, что реально, что дорого, а что не выйдет вообще.
Обещать сбор с источника, который его не отдаёт, — значит взять деньги за заведомо не решаемую задачу.
Как удобно: Excel или CSV, если данные смотрит человек; выгрузка в вашу базу или CRM, если их обрабатывает система; API, если нужно забирать по запросу.
Формат обсуждается до начала работ, потому что он влияет на то, как устроен сам сбор.
Да, разовая выгрузка — обычный формат. Учтите только, что данные устаревают: цены и наличие живут дни, каталоги — недели, справочники организаций — месяцы.
Если решение по ним будет приниматься через полгода, разумнее сразу ставить сбор на расписание.
Парсер под задачу — от 20 000 ₽: источник, набор полей, формат выгрузки, разовый сбор или запуск по расписанию.
Расширенный — от 50 000 ₽: с обвязкой (хранение, регулярный запуск, контроль сбоев), детализированной статистикой по сборам и обогащением контактов.
Дальше цена зависит от числа источников, объёма и того, насколько источник сопротивляется автоматическому обходу. Сопровождение считается отдельно — источники меняются, и без присмотра сбор молча ломается.
Прототип на небольшом объёме — обычно одна-две недели: мы показываем первые данные, чтобы вы убедились, что собирается именно то, что нужно.
Полный запуск зависит от объёма и от того, сколько источников в работе.
Сбор данных к SEO отношения не имеет — это отдельная линия работ. Мониторинг цен конкурентов, наполнение каталога, отраслевые базы, поиск клиентов по сегменту: всё это задачи бизнеса, а не поискового продвижения.
Берём задачу целиком или закрываем один участок — как удобнее вам.
Топ по продающим запросам — с Бустом на ускорение и отчётом по месяцам.
ПодробнееСсылки с собственной биржи MainLink: подбор доноров, проверка качества каждой площадки, контроль индексации.
ПодробнееПолный разбор сайта и круглосуточный контроль состояния на CheckSite: доступность, скорость, ошибки, изменения в выдаче.
ПодробнееКонтекстно-тематическая реклама в Contema — нашем аналоге РСЯ — и доставка лидов через Windexa, включая кастомные сборщики под ваш сегмент.
ПодробнееСайты и сервисы, которые не придётся переделывать под продвижение.
Подробнее