Щодня у відкритому інтернеті публікується величезна кількість інформації, за яку компанії ще двадцять років тому платили б шпигунам. Ціни конкурентів, наявність товарів на їхніх складах, нові позиції в асортименті, відгуки покупців, вакансії (з яких видно, куди конкурент збирається рости), оголошення про продаж, тендери, згадки Вашого бренду. Усе це лежить на видноті, безкоштовно, і оновлюється щогодини. Проблема лише в тому, що людина фізично не здатна це все прочитати. А програма здатна.
Парсинг це автоматичний збір інформації з відкритих джерел. Синтаксичний аналіз це наступний крок: перетворення зібраного сирого тексту на структуровані дані, з якими можна працювати. Разом вони дають бізнесу те, що я називаю «периферійним зором»: здатність бачити ринок довкола себе постійно, а не уривками, коли в маркетолога дійшли руки зробити аналіз конкурентів.
Зібрати мало, треба зрозуміти
Багато хто думає, що парсинг це просто завантажити сторінки. Завантажити справді просто, цього вчать на першому курсі. Складність починається потім. Один магазин пише ціну як «1 299 грн», другий як «1299.00», третій показує дві ціни, стару й нову, четвертий ховає ціну до входу в акаунт, а пʼятий називає той самий товар зовсім інакше й кладе його в іншу категорію. Сайти змінюють верстку без попередження, і вчорашній збирач сьогодні приносить порожнечу.
Ось тут і потрібен синтаксичний аналіз. Це як робота перекладача, який отримав стос листів десятьма діалектами й мусить звести їх в одну таблицю літературною мовою. Треба розпізнати, де ціна, де назва, де характеристика, зіставити той самий товар у різних продавців, відкинути сміття й помітити, коли джерело зламалося. Без цієї частини парсинг дає не дані, а звалище. Зі звалищем працювати не можна, його можна лише зберігати, і це дорого.
Де це перетворюється на гроші
Я бачив багато проєктів парсингу, і окуповуються з них ті, де дані одразу вбудовані в рішення, яке хтось ухвалює. Ось кілька типових прикладів.
- Динамічне ціноутворення. Інтернет-магазин знає ціни основних конкурентів на ключові позиції й автоматично коригує свої в заданих межах. Не треба бути найдешевшим скрізь, досить не бути найдорожчим там, де покупець порівнює.
- Пошук лідів. Оголошення про купівлю, тендери, нові компанії в реєстрах, вакансії, що свідчать про зростання компанії й про те, що їй незабаром знадобиться Ваш продукт. Система збирає, фільтрує й віддає менеджерові вже відсортований список.
- Моніторинг згадок. Відгуки про Ваш бренд і про конкурентів на майданчиках, у ЗМІ, на форумах. Негатив помічено за годину, а не за місяць, коли він уже став «загальною думкою».
- Аналіз асортименту. Які товари зʼявилися в конкурентів, чого в них постійно немає (отже, попит вищий за пропозицію), які категорії ростуть.
Зверніть увагу, що в усіх випадках наприкінці стоїть дія: змінити ціну, зателефонувати, відповісти на відгук, закупити товар. Якщо дії немає, парсинг перетворюється на гарний дашборд, який дивляться перші два тижні.
Якось клієнт попросив нас зібрати «все, що можна» про його ринок. Ми чесно зібрали: десятки джерел, сотні тисяч позицій, гарні графіки. За місяць він зізнався, що відкривав звіт двічі. Тоді ми сіли й викинули девʼяносто відсотків зібраного, лишивши одну таблицю: позиції, де конкурент дешевший більш ніж на заданий поріг, і позиції, яких у конкурента немає в наявності. Цю таблицю його закупівельник відкривав щоранку. Менше даних, більше грошей. Так буває майже завжди.
Чесні обмеження
Я покривив би душею, якби не сказав про ризики. По-перше, юридичний. Збирати відкриті дані загалом законно, але в сайтів є умови використання, у персональних даних є захист, і є різниця між збором цін і збором чужих баз клієнтів. Ми в Ingello завжди починаємо проєкт із розмови про те, що збирати можна, а що ні, і іноді ця розмова завершує проєкт. По-друге, етичний і технічний: не можна засипати чужий сайт тисячами запитів на секунду. Добрий збирач поводиться як чемний відвідувач, а не як натовп на розпродажі. По-третє, підтримка: джерела змінюються постійно, і парсер без моніторингу за пів року тихо помирає, а Ви й далі ухвалюєте рішення за застарілими даними.
Парсер без моніторингу схожий на вартового, який заснув, але й далі стоїть на посту. Ззовні все виглядає нормально.
Як почати
Якщо ідея здається Вам цікавою, почніть не з вибору інструмента, а з одного питання: яке одне рішення у Вашому бізнесі Ви ухвалювали б краще, якби знали більше про ринок? Ціна на сотню ключових товарів? Список компаній, яким просто зараз потрібен Ваш сервіс? Реакція покупців на новинку конкурента? Оберіть одне, знайдіть пʼять-десять джерел, де ця інформація лежить відкрито, і зробіть пілот на місяць. Виміряйте, чи змінилося рішення і що це дало в грошах.
У нашій компанії збір і аналіз відкритих даних давно став частиною щоденної роботи: так влаштовані наші власні системи пошуку клієнтів і моніторингу ринку, і той самий підхід ми переносимо в проєкти клієнтів, повʼязуючи зібрані дані з CRM і складом у Forma, щоб вони потрапляли туди, де ухвалюють рішення. Інформація довкола Вас уже є. Питання лише в тому, хто першим її прочитає. Уважних Вам роботів, колеги.
