Парсинг на заказ · мониторинг цен · аудит для компаний

Собираем данные для вашего бизнеса

Не файл на 50 000 строк, с которым непонятно что делать, а ответ на вопрос, ради которого вы за данными и пришли.

Для тех, кто не знает, с чего начать

У вас уже есть вопрос.
Ответ на него лежит в открытых данных.

Вы каждый день принимаете решения на ощущениях, потому что цифр нет и непонятно, где их взять. А они есть — на сайтах конкурентов, в карточках маркетплейсов, в отзывах, в объявлениях о работе. Просто разбросаны по тысячам страниц и не сложены в таблицу.

Карточки товаров конкурентов, их цены, наличие, описания

Вы увидите, чем их предложение отличается от вашего в глазах покупателя: где у них шире ассортимент, где короче срок, где дешевле доставка. Сравнение идёт позиция к позиции.

Цены по вашему списку товаров у всех, кто их продаёт

Медиана рынка, ваше место в ней и история изменений. Станет видно, кто двигает цену первым и сколько держится акция. Дальше можно не гадать, а реагировать в тот же день.

Отзывы на вас и на конкурентов — маркетплейсы, сторы, карты

Тысяча отзывов — это десяток повторяющихся тем. Вы получите их доли, динамику и сравнение: на что жалуются вам, а на что им. Обычно это разные вещи, и там же лежит следующая задача для команды.

Все продавцы и товары в категории, за период

Сколько игроков, как поделена выдача, какой реальный разброс цен и есть ли сочетание характеристик, которого никто не закрывает. Ответ приходит до того, как вы вложили деньги, а не после.

Вакансии по официальным API hh.ru и «Работа России»

Реальная медиана вилки по вашей роли и городу, как она менялась, какие требования стали появляться чаще. И заодно — кого прямо сейчас нанимают конкуренты, а это лучший индикатор их планов.

01

Вы описываете задачу словами, без техзадания: что хотите понять и зачем.

02

Мы говорим, решается она или нет, откуда возьмём данные и чего в них не будет.

03

Показываем пробную выгрузку на 50–100 строк. До оплаты. Вы видите формат своими глазами.

04

Отдаём отчёт с выводами: ответ на исходный вопрос и таблицу, из которой он посчитан.

Описать свою задачу

Отвечаем в течение рабочего дня. Если задача не решается или решается дешевле без нас — скажем прямо.

Работаем только с общедоступными данными. Не собираем персональные данные, не обходим капчу и авторизацию. Иногда из-за этого отказываемся от заказа — и говорим об этом в первом сообщении, а не после предоплаты.

Направления

Что мы делаем

Telegram-боты и мини-приложения

Бот хорош как почтальон: разносит приглашения, принимает «Иду» и «Не могу», напоминает. Хранить анкеты и личные данные он не должен — для этого есть мини-приложение и ваш сервер в России.

стоимость — по задаче, обсуждаем индивидуально Подробнее

Мониторинг цен

Не разовая выгрузка, а постоянное наблюдение. Вы видите не сегодняшнюю цену, а кривую за месяцы — и узнаёте об изменении в тот же час.

от 8 000 ₽ в месяц Подробнее

Аудит цен бренда

Один срез вместо догадок: сколько стоит ваш товар у вас, у других продавцов и у частных лиц — и какая из цен на карточке настоящая.

от 15 000 ₽ Подробнее

Финансы селлера

Маркетплейс сам считает, сколько вам должен. Мы пересчитываем по его же отчётам и показываем, где цифры не сходятся — с суммами и основаниями.

от 15 000 ₽ Подробнее

Аналитика маркетплейсов

Не выгрузка товаров, а ответ на вопрос. Сколько денег в нише, кто её держит, где свободно, по какой цене реально продавать.

от 25 000 ₽ Подробнее

Анализ отзывов

Тысяча отзывов — это не тысяча мнений, а десяток повторяющихся тем. Мы находим эти темы, считаем их доли и показываем, как они меняются во времени.

от 6 000 ₽ Подробнее

Анализ вакансий

По вакансиям видно то, чего компания о себе не рассказывает: куда она растёт, какие технологии внедряет, сколько готова платить на самом деле.

от 20 000 ₽ Подробнее

Проверка документов

Каждый документ по отдельности выглядит безупречно. Ошибки живут между документами — там, где человек уже не может удержать всё разом в голове.

от 15 000 ₽ Подробнее

Разовый парсинг

Самая простая из наших услуг и обычно первая. Нужен разовый срез — соберём, покажем пробную выгрузку до оплаты, отдадим в удобном формате.

от 5 000 ₽ Подробнее

Посмотреть все услуги — 10

Данные — это половина работы, вторая половина — форма подачи

Обычная история: заказчик получает Excel на 50 000 строк, открывает его один раз и больше не возвращается. Данные вроде есть, а пользы нет. Datamill собирает открытые данные и отвечает за результат отчётом с выводами.

Поэтому мы всегда спрашиваем, что вы будете с этими данными делать, и от ответа зависит формат: кому-то нужна таблица со сводкой, кому-то — файл, который открывается двойным кликом и позволяет отфильтровать нужное, а кому-то вообще не нужна выгрузка — нужен сигнал в Telegram в тот момент, когда конкурент опустил цену.

Что вы получаете, кроме самих данных

  • Структуру. Приведённые типы, единые единицы измерения, убранные дубли, разобранные составные поля. Таблицу удобно фильтровать и считать сразу.
  • Историю. При регулярном сборе видно не только текущее значение, но и как оно менялось. Именно история отвечает на вопросы, ради которых обычно и заказывают сбор данных.
  • Только изменения. Отдельный срез с тем, что поменялось с прошлой выгрузки — чтобы не перечитывать одно и то же каждую неделю.
  • Понятную передачу. Инструкция, что где лежит, и договорённость о том, как вы получаете обновления дальше.

Чем это отличается от «скрипта за 1500 рублей»

Скрипт отдают один раз, и дальше он ваш: сайт поменял вёрстку — вы остались с ошибкой в консоли.

Мы держим регулярные сборщики на собственном сервере под наблюдением, с логами, перезапуском и уведомлением, если сбор не прошёл. Разница становится заметна месяца через три.

Есть и вторая разница, менее заметная. Мы разобрали 4 437 объявлений об услугах сбора данных и посчитали, как часто исполнители вообще упоминают, какие данные будут собраны и где проходит граница. Получилось семеро — подробности в разборе рынка.

С чего начать чтение

Если задача ещё не оформлена, начните с двух статей: «Как поставить задачу на парсинг» и «Парсинг или API: что выбрать». Вопрос о законности мы разобрали в статье «Законен ли парсинг сайтов»: там таблица норм со ссылками на тексты законов и то, где мы проводим границу.

Если вас интересуют рынок и конкуренты, у нас есть разборы сайта конкурента, отзывов о конкурентах и рынка труда. Продавцам на Wildberries пригодится статья про отчёт о реализации, а тем, кто хочет собрать данные сам, — парсинг на Python. Если отчёты живут в таблицах, посмотрите, как нейросеть помогает с таблицами, а владельцам Telegram-каналов — про статистику канала.

Частые вопросы

Сколько стоит собрать данные?

Разовый парсинг — от 5 000 ₽. Проверка документов — от 15 000 ₽. Анализ отзывов — от 6 000 ₽. Аудит цен бренда на маркетплейсах и сверка финансов селлера — от 15 000 ₽. Конкурентный анализ вакансий — от 20 000 ₽. Аналитика маркетплейсов — от 25 000 ₽. Мониторинг цен — от 8 000 ₽ в месяц, это подписка. Проверка торговой стратегии — от 10 000 ₽, торговый бот — от 22 000 ₽. Точная цена называется после описания задачи.

Как быстро будет результат?

Простая выгрузка — один-два дня. Сложная площадка, где данные подгружаются скриптами, — до недели. Аналитическое исследование с отчётом — от недели. Срок называем после того, как посмотрим конкретные страницы.

Законно ли это?

Мы работаем только с общедоступной информацией: товарами, ценами, каталогами, отзывами, вакансиями. Персональные данные физических лиц не собираем, капчу и техническую защиту не обходим, чужими учётными записями не пользуемся.

Что если сайт-источник изменится и сборщик сломается?

При регулярном сборе сборщик живёт на нашем сервере, и следим за ним мы. Изменилась вёрстка источника — правим без дополнительной оплаты, это входит в абонентскую плату.

Можно посмотреть на вашу работу до заказа?

Да. Два наших сборщика отзывов опубликованы в открытом каталоге Apify и бесплатны — запустите на любом приложении и посмотрите на данные. Плюс на сайте есть разбор рынка на 4 437 объявлениях с живым HTML-отчётом.

Примеры работ

Кейсы: задачи и результаты

Telegram-бот для записи на съёмки

Анкеты — на бумаге, людей на съёмку ищут звонками и в группах WhatsApp. А «просто бот с анкетой» переложил бы на агентство риски по закону о персональных данных.

Агентство просило «бота в Telegram». Мы предложили схему, в которой бот только разносит приглашения, а анкеты уходят на сервер агентства в России. Это кейс о проектировании, поэтому цифр работы здесь нет.

Читать разбор

Аудит цен бренда на WB и Ozon

Бренд видит свою цену в кабинете, но не видит, сколько продавцов торгует его товаром рядом, по какой цене и на чьих карточках. Поиск по маркетплейсу этого не показывает.

Мы взяли 15 самых популярных товаров бренда натуральной косметики MIX*** и за один день посмотрели, кто ещё продаёт их на Wildberries и Ozon и по какой цене. Демпинга почти не нашлось. Нашлись сотни предложений в разы дороже бренда и три разные цены одного крема в трёх каналах.

Читать разбор

Мониторинг вакансий как сервис

Разовый отчёт устаревает через месяц, а клиенту, который платит за аналитику, нужно видеть свежие цифры без ручной выгрузки и быть уверенным, что они совпадают с сайтами.

После первого отчёта о зарплатах мерчендайзеров заказчик решил продавать такую аналитику своим клиентам. Разовая выгрузка превратилась в сервис: данные собираются каждый месяц, у каждого клиента свой кабинет, а мы отвечаем за то, чтобы цифры в отчёте совпадали с сайтами.

Читать разбор

Все кейсы

Оценка задачи

Опишите, что нужно собрать

Напишите в Telegram или на почту своими словами, можно голосовым. Ответим в течение рабочего дня. Перед оплатой покажем пробную выгрузку на 50–100 строк, чтобы вы увидели формат данных.

Что полезно указать в первом сообщении — на странице контактов.