ПРОЕКТ

Сбор структурированных контактных данных с сайтов

Разработка индивидуального ПО, Сбор данных с сайтов, Извлечение контактных данных, Разработка многоразового сборщика данных, Очистка и проверка данных, Экспорт в CSV и Excel, Экспорт в JSON, Данные, подготовленные для CRM

  • Отрасль: Исследование рынка
  • Хорватия Местоположение: Хорватия
  • Срок реализации: 10 недель
  • Технологии: Python, JavaScript / TypeScript (Node.js)
3 месяца

Этот клиент тратит много времени на сбор контактной и деловой информации с сайтов компаний, из общедоступных баз данных и онлайн-каталогов. Индивидуальное решение принимает URL источников и выбранные поля, извлекает контактные записи, очищает и проверяет их, а затем возвращает команде по исследованию рынка подготовленные файлы. Повторный сбор снижает зависимость от ручного ввода данных.

Краткое содержание

Проблема

Клиент тратит много времени на ручной сбор и проверку контактных данных.

Решение

Создан многоразовый сборщик для извлечения, очистки, проверки и обработки данных с указанных сайтов.

Результат

ПО предназначено для сокращения ручного сбора данных и повторной работы в процессах исследования рынка.

История клиента

Клиент - хорватская компания, занимающаяся исследованием рынка. Она собирает названия компаний, адреса электронной почты и номера телефонов с сайтов компаний, из общедоступных баз данных и онлайн-каталогов.

Физические адреса и другая деловая информация также входят в состав данных.

Команда подготавливает контактные данные для анализа рынка, развития бизнеса, телефонных переговоров и импорта в CRM. Ручной сбор, повторные проверки и дубликаты отнимают время и создают дополнительную работу.

Запрос был простым: извлекать выбранные поля контактов из определенных источников, при необходимости повторять сбор и предоставлять чистые структурированные файлы.

Решение построено вокруг экрана настройки источников, мониторинга выполнения, области очистки данных и настроек экспорта. До использования записи можно было просмотреть.

Клиент хотел

  1. Извлекать поля контактов с сайтов, из баз данных, каталогов и онлайн-источников
  2. Запускать многоразовый сборщик данных и получать его исходный код или ноутбук
  3. Очищать, проверять, обрабатывать и удалять дубликаты собранных записей
  4. Экспортировать структурированные данные в формате CSV, Excel, JSON или разделенных рабочих книг

Почему готовое ПО не подошло

Готовые инструменты извлечения данных охватывают только часть задачи, но их описания не определяют точные поля клиента, правила очистки и выходные файлы. Требовалось индивидуальное решение, объединяющее в одном процессе повторяемый сбор данных, проверку, удаление дубликатов, подготовленные рабочие книги и многоразовый код.

Обзор проекта

Решение создано с учетом реальных источников, полей и правил клиента. На первом экране перед началом сбора указываются URL сайтов, поля контактов и настройки повторного сбора.

Для сбора данных из одного или нескольких источников создана панель мониторинга. В ней отображаются статус выполнения, URL источников, собранные записи и примечания о загрузке или доступе.

Затем записи очищаются и проверяются. Совпадения дубликатов, статус проверки, поля контактов и категории остаются видимыми, поэтому специалист по обработке данных может подготовить единый список контактов.

Последний экран предназначен для практической передачи данных. Очищенные записи экспортируются в формате CSV, Excel или JSON, а инструкции по настройке и примечания к процессу сохраняются вместе с файлом.

Сборщик данных использует повторно применяемый код и может быть адаптирован под правила клиента. Документация и обучающие материалы помогают самостоятельно работать с системой.

Основные реализованные функции

  • Настройка списка сайтов и источников
  • Извлечение выбранных полей контактов
  • Многоразовый и повторно запускаемый сбор данных
  • Мониторинг выполнения сбора данных
  • Сбор адресов электронной почты и номеров телефонов
  • Проверка и очистка записей
  • Обнаружение и удаление дубликатов
  • Категоризация контактных данных
  • Экспорт в CSV, Excel и JSON

Можно добавить

+ Регулярное обновление базы данных Excel + Проверка электронной почты и доменов + Категоризация по ключевым словам + Категоризация по дате + Обзор исходного кода + Дополнительные методы сбора данных

Кто еще может использовать это решение

Эти компании сталкиваются с похожей задачей, поэтому решение можно адаптировать под их источники, поля и правила передачи данных.

Компания, оказывающая бизнес-услуги

Задача Собирает информацию о компаниях и контактах из общедоступных сайтов и каталогов.
Как помогает решение Решение извлекает выбранные поля, удаляет повторяющиеся записи и подготавливает файлы для импорта в CRM или развития бизнеса.
Бизнес-услуги

Компания, оказывающая профессиональные услуги

Задача Составляет списки контактов с сайтов компаний и онлайн-источников.
Как помогает решение Решение собирает адреса электронной почты, номера телефонов и деловую информацию в структурированные файлы.
Профессиональные услуги

Технологический стек

Python

Сбор данных и автоматизация браузера

Python поддерживает навигацию по сайтам, анализ страниц и извлечение данных с помощью браузера.

JavaScript / TypeScript (Node.js)

Обработка структурированных файлов

JavaScript и TypeScript поддерживают обработку структурированных файлов.

Scrapy

Навигация по сайтам и сбор данных

Scrapy (система для навигации по сайтам и сбора данных) собирает записи из определенных источников.

BeautifulSoup

Анализ HTML-страниц

BeautifulSoup (библиотека для чтения информации с веб-страниц) анализирует содержимое страниц и находит указанные поля.

selenium

Извлечение с помощью браузера

selenium (инструмент управления веб-браузером) помогает извлекать данные, когда для загрузки требуется браузер.

csv-parse

Чтение и анализ CSV

csv-parse (библиотека Node.js для чтения CSV-файлов) читает структурированные данные CSV.

maatwebsite/excel

Экспорт в Excel и CSV

maatwebsite/excel (пакет Laravel для файлов Excel и CSV) поддерживает аккуратную передачу электронных таблиц.

jsonify

Обработка данных JSON

jsonify (библиотека JavaScript для работы с JSON) поддерживает записи JSON без изменения глобальных объектов.

CSV, Excel, JSON

Передача структурированных данных

Эти форматы передают очищенные контактные записи для анализа, импорта в CRM и других бизнес-задач.

Интеграции

CRM systems

Решение экспортирует очищенные контактные записи в форматах, подходящих для импорта в CRM.

Excel

Решение экспортирует упорядоченные контактные данные и подготовленные рабочие книги в файлы Excel.

CSV files

Решение читает и записывает разделенные запятыми контактные записи для структурированного обмена данными.

JSON files

Решение предоставляет структурированные записи в формате JSON системам, которые его используют.

Email verification service

Сервис проверки электронной почты может проверять адреса электронной почты и домены перед передачей данных.

Результат

Определить точные источники и поля до начала сбора

На первом экране запрос на сбор остается конкретным. URL сайтов, списки источников и выбранные поля контактов определяют, что собирает сборщик данных.

Как это работает

  1. ПО сохраняет указанные сайты и списки источников.
  2. ПО сохраняет выбранные поля, например электронную почту, номер телефона и почтовый адрес.
  3. ПО сохраняет настройки повторного сбора для последующих запусков.
  • Адреса электронной почты и номера телефонов отображаются как отдельные поля контактов.
  • В выбранные поля можно включить физические адреса и деловую информацию.
Настройка источников и полей

Настройка источников и полей

Функции, используемые на этом экране
Сбор данных с сайтов Сбор адресов электронной почты Извлечение номеров телефонов Извлечение физических адресов

Отслеживать процесс извлечения и собранные записи

Панель мониторинга сбора отображает в одном месте URL источников, статус выполнения и извлеченные записи. Предупреждения о доступе и примечания о загрузке позволяют видеть работу источников во время сбора.

До этапа очистки команда четко видит записи, возвращенные одним или несколькими сайтами.

Как это работает

  1. Scrapy (система для навигации по сайтам и сбора данных) собирает данные из перечисленных источников.
  2. BeautifulSoup (библиотека для анализа веб-страниц) читает содержимое сайтов и извлекает указанные поля.
  3. ПО отображает статус выполнения, URL источников, извлеченные данные и примечания о загрузке или доступе.
  • Данные собираются с нескольких страниц и сайтов.
  • Сборщик данных можно перезапустить с использованием повторно применяемых правил.
Примечание: Правила сбора должны соответствовать работе сайтов, условиям платформ, законам о конфиденциальности, GDPR и другим применимым требованиям.
Мониторинг выполнения сбора данных

Мониторинг выполнения сбора данных

Функции, используемые на этом экране
Сбор данных с сайтов Извлечение данных

Подготовить более чистые контактные записи

Экран очистки предоставляет специалисту по обработке данных единое место для просмотра статуса проверки, совпадений дубликатов и категорий. До экспорта контактные записи остаются упорядоченными.

Индикаторы дубликатов помогают отличать повторяющиеся записи от корректного списка контактов, а категории подготавливают данные к анализу или коммуникации.

Как это работает

  1. ПО отображает в таблице контактов адреса электронной почты, номера телефонов и почтовые адреса.
  2. ПО сравнивает записи и показывает совпадения дубликатов и статус проверки.
  3. ПО применяет категории к очищенным контактным записям.
  • Записи можно категоризировать по датам или ключевым словам.
  • Для предотвращения дубликатов можно использовать сервис удаления дубликатов данных.
Очистка записей и удаление дубликатов

Очистка записей и удаление дубликатов

Функции, используемые на этом экране
Обработка контактных данных Предотвращение дубликатов Сервис удаления дубликатов данных Очистка больших наборов данных Категоризация данных Извлечение контактной информации

Предоставлять данные в формате, используемом командой

Экран экспорта превращает проверенные записи в данные, готовые для передачи на анализ или импорта в CRM. CSV, Excel и JSON обеспечивают гибкую передачу данных без изменения полей источников.

Инструкции по настройке и примечания к процессу связаны с настройками передачи, поэтому команде проще понять, как работает сбор данных.

Как это работает

  1. ПО подготавливает очищенные контактные записи для вывода в CSV, Excel или JSON.
  2. ПО создает сводку файла в выбранном формате.
  3. ПО предоставляет ссылки на инструкции по настройке или примечания к процессу.
  • CSV-файлы поддерживают структурированный обмен данными.
  • Файлы Excel поддерживают разделенные рабочие книги.
  • JSON-файлы поддерживают использование данных между системами.
Настройки экспорта и передачи данных

Настройки экспорта и передачи данных

Функции, используемые на этом экране
Экспорт списков контактов компаний Инструмент экспорта в Excel Обработка данных CSV

Что дает решение

С помощью этого решения компания по исследованию рынка может:

  • Собирать указанные контактные и деловые поля из определенных онлайн-источников
  • Повторно запускать правила сбора для регулярного сбора данных
  • Проверять статус проверки и совпадения дубликатов перед передачей данных
  • Обрабатывать записи по таким категориям, как даты или ключевые слова
  • Экспортировать чистые контактные данные для анализа и импорта в CRM
  • Поддерживать многоразовый код, инструкции по настройке и примечания к процессу

Смогли бы готовые системы выполнить эту задачу?

Перед разработкой решения задача была сопоставлена с готовыми продуктами на основе их собственных описаний.

Что нужно клиенту API для сбора веб-данных Zyte, Scrapfly, ScrapingBee Инструменты сбора веб-данных Octoparse, Oxylabs ПО для извлечения данных Data Extraction Индивидуальное решение
Извлечение полей контактов из источников частично
Повторный запуск сборщика данных с исходным кодом — частично частично
Очистка записей и удаление дубликатов — частично
Экспорт структурированных файлов контактов
Соответствие собственным правилам клиента: этапам, ролям, отчетам — — —
Все действия в одном месте — — —
Отсутствие ручных действий между программами частично — частично

На основе общедоступных описаний продуктов и их категорий.

Готовые продукты обеспечивают доступ к сайтам, навигацию, извлечение данных и передачу файлов, а универсальное ПО для извлечения данных охватывает более широкий спектр задач получения данных.

Готового продукта достаточно, если задаче требуется только одна из этих функций. Этому клиенту требовалось собственное ПО, поскольку обязательные поля, правила очистки, категории, многоразовый код и экспорт должны были работать вместе в одном месте.

Продукты описывают автоматизированный сбор, но для правил клиента по проверке, удалению дубликатов и передаче данных все равно требуется адаптированный процесс.

В итоге

В итоге решение создано для устранения ручной работы на пути от общедоступных онлайн-источников до чистых файлов контактов.

FAQ

Планируете создать похожую систему? Ознакомьтесь с ответами ниже и узнайте, как сочетаются сбор данных, структурированный экспорт и индивидуальные правила.

Нужно что-то похожее? Давайте обсудим
Или посмотрите другие проекты