Каждый день в открытом интернете публикуется огромное количество информации, за которую компании ещё двадцать лет назад платили бы шпионам. Цены конкурентов, наличие товаров на их складах, новые позиции в ассортименте, отзывы покупателей, вакансии (по которым видно, куда конкурент собирается расти), объявления о продаже, тендеры, упоминания Вашего бренда. Всё это лежит на виду, бесплатно, и обновляется каждый час. Проблема только в том, что человек физически не способен это всё прочитать. А программа способна.
Парсинг это автоматический сбор информации из открытых источников. Синтаксический анализ это следующий шаг: превращение собранного сырого текста в структурированные данные, с которыми можно работать. Вместе они дают бизнесу то, что я называю «периферийным зрением»: способность видеть рынок вокруг себя постоянно, а не урывками, когда у маркетолога дошли руки сделать анализ конкурентов.
Собрать мало, нужно понять
Многие думают, что парсинг это просто скачать страницы. Скачать действительно просто, этому учат на первом курсе. Сложность начинается потом. Один магазин пишет цену как «1 299 грн», другой как «1299.00», третий показывает две цены, старую и новую, четвёртый прячет цену до входа в аккаунт, а пятый называет тот же самый товар совершенно иначе и кладёт его в другую категорию. Сайты меняют вёрстку без предупреждения, и вчерашний сборщик сегодня приносит пустоту.
Вот здесь и нужен синтаксический анализ. Это как работа переводчика, который получил стопку писем на десяти диалектах и должен свести их в одну таблицу на литературном языке. Нужно распознать, где цена, где название, где характеристика, сопоставить один и тот же товар у разных продавцов, отбросить мусор и заметить, когда источник сломался. Без этой части парсинг даёт не данные, а свалку. Со свалкой работать нельзя, её можно только хранить, и это дорого.
Где это превращается в деньги
Я видел много проектов парсинга, и окупаются из них те, где данные сразу встроены в решение, которое кто-то принимает. Вот несколько типичных примеров.
- Динамическое ценообразование. Интернет-магазин знает цены основных конкурентов по ключевым позициям и автоматически корректирует свои в заданных пределах. Не нужно быть самым дешёвым везде, достаточно не быть самым дорогим там, где покупатель сравнивает.
- Поиск лидов. Объявления о покупке, тендеры, новые компании в реестрах, вакансии, говорящие о том, что компания растёт и ей скоро понадобится Ваш продукт. Система собирает, фильтрует и отдаёт менеджеру уже отсортированный список.
- Мониторинг упоминаний. Отзывы о Вашем бренде и о конкурентах на площадках, в СМИ, на форумах. Негатив замечен через час, а не через месяц, когда он уже стал «общим мнением».
- Анализ ассортимента. Какие товары появились у конкурентов, что у них постоянно отсутствует (значит, спрос выше предложения), какие категории растут.
Обратите внимание, что во всех случаях в конце стоит действие: изменить цену, позвонить, ответить на отзыв, закупить товар. Если действия нет, парсинг превращается в красивый дашборд, который смотрят первые две недели.
Однажды клиент попросил нас собрать «всё, что можно» о его рынке. Мы честно собрали: десятки источников, сотни тысяч позиций, красивые графики. Через месяц он признался, что открывал отчёт дважды. Тогда мы сели и выбросили девяносто процентов собранного, оставив одну таблицу: позиции, где конкурент дешевле больше чем на заданный порог, и позиции, которых у конкурента нет в наличии. Эту таблицу его закупщик открывал каждое утро. Меньше данных, больше денег. Так бывает почти всегда.
Честные ограничения
Я бы покривил душой, если бы не сказал о рисках. Во-первых, юридическом. Собирать открытые данные в целом законно, но у сайтов есть условия использования, у персональных данных есть защита, и есть разница между сбором цен и сбором чужих баз клиентов. Мы в Ingello всегда начинаем проект с разговора о том, что собирать можно, а что нет, и иногда этот разговор заканчивает проект. Во-вторых, этическом и техническом: нельзя заваливать чужой сайт тысячами запросов в секунду. Хороший сборщик ведёт себя как вежливый посетитель, а не как толпа на распродаже. В-третьих, поддержка: источники меняются постоянно, и парсер без мониторинга через полгода тихо умирает, а Вы продолжаете принимать решения по устаревшим данным.
Парсер без мониторинга похож на часового, который уснул, но продолжает стоять на посту. Снаружи всё выглядит нормально.
Как начать
Если идея кажется Вам интересной, начните не с выбора инструмента, а с одного вопроса: какое одно решение в Вашем бизнесе Вы принимали бы лучше, если бы знали больше о рынке? Цена на сто ключевых товаров? Список компаний, которым прямо сейчас нужен Ваш сервис? Реакция покупателей на новинку конкурента? Выберите одно, найдите пять-десять источников, где эта информация лежит открыто, и сделайте пилот на месяц. Измерьте, изменилось ли решение и что это дало в деньгах.
У нас в компании сбор и анализ открытых данных давно стал частью ежедневной работы: так устроены наши собственные системы поиска клиентов и мониторинга рынка, и тот же подход мы переносим в проекты клиентов, связывая собранные данные с CRM и складом в Forma, чтобы они попадали туда, где принимаются решения. Информация вокруг Вас уже есть. Вопрос только в том, кто первым её прочитает. Внимательных Вам роботов, коллеги.
