PROJEKTAS

Struktūrizuotų kontaktinių duomenų rinkimas iš svetainių

Individualios programinės įrangos kūrimas, Svetainių duomenų rinkimas, Kontaktinių duomenų išgavimas, Pakartotinai naudojamo duomenų rinkiklio kūrimas, Duomenų valymas ir tikrinimas, CSV ir Excel eksportas, JSON eksportas, CRM paruošti duomenys

  • Sritis: Rinkos tyrimai
  • Kroatija Vieta: Kroatija
  • Įgyvendinimo trukmė: 10 savaitės
  • Technologijos: Python, JavaScript / TypeScript (Node.js)
3 mėnesiai

Šis klientas daug laiko skiria kontaktinei ir verslo informacijai rinkti iš įmonių svetainių, viešų duomenų bazių ir internetinių katalogų. Individualus svetainių duomenų rinkimo sprendimas priima šaltinių URL ir pasirinktus laukus, išgauna kontaktų įrašus, juos išvalo bei patikrina ir rinkos tyrimų komandai grąžina sutvarkytus failus. Pakartotinai naudojamas rinkimas sumažina priklausomybę nuo rankinio duomenų įvedimo.

Santrauka

Problema

Klientas daug laiko skiria kontaktiniams duomenims rinkti ir tikrinti rankiniu būdu.

Sprendimas

Sukurtas pakartotinai naudojamas duomenų rinkiklis nurodytiems svetainių duomenims išgauti, valyti, tikrinti ir tvarkyti.

Rezultatas

Programinė įranga skirta sumažinti rankinį duomenų rinkimą ir pakartotinį darbą rinkos tyrimų procesuose.

Kliento istorija

Klientas yra rinkos tyrimų įmonė iš Kroatijos. Ji renka įmonių pavadinimus, el. pašto adresus ir telefono numerius iš įmonių svetainių, viešų duomenų bazių ir internetinių katalogų.

Fiziniai adresai ir kita verslo informacija taip pat yra duomenų dalis.

Komanda rengia kontaktinius duomenis rinkos analizei, verslo plėtrai, pokalbiams telefonu ir importui į CRM. Rankinis rinkimas, pasikartojantys tikrinimai ir pasikartojantys įrašai eikvoja laiką bei sukuria papildomo darbo.

Užklausa buvo paprasta: iš apibrėžtų šaltinių išgauti pasirinktus kontaktų laukus, prireikus pakartoti rinkimą ir pateikti švarius struktūrizuotus failus.

Sprendimas sukurtas aplink šaltinių sąrankos ekraną, vykdymo stebėjimą, duomenų valymo sritį ir eksporto nustatymus. Prieš naudojimą įrašus buvo galima peržiūrėti.

Klientas pageidavo

  1. Išgauti kontaktų laukus iš svetainių, duomenų bazių, katalogų ir internetinių šaltinių
  2. Paleisti pakartotinai naudojamą duomenų rinkiklį ir gauti jo išeities kodą arba užrašinę
  3. Išvalyti, patikrinti, sutvarkyti ir pašalinti surinktų įrašų dublikatus
  4. Eksportuoti struktūrizuotus duomenis CSV, Excel, JSON arba suskirstytų darbaknygių formatu

Kodėl netiko paruošta programinė įranga

Paruošti duomenų išgavimo įrankiai apima dalį užduoties, tačiau jų aprašymai kartu neapibrėžia tikslių kliento laukų, valymo taisyklių ir išvesties failų. Reikėjo individualaus sprendimo, kuris viename procese sujungtų pakartojamą duomenų rinkimą, tikrinimą, dublikatų šalinimą, sutvarkytas darbaknyges ir pakartotinai naudojamą kodą.

Projekto apžvalga

Sprendimas sukurtas pagal realius kliento šaltinius, laukus ir taisykles. Pirmajame ekrane prieš pradedant rinkimą nurodomi svetainių URL, kontaktų laukai ir pasikartojančio rinkimo nustatymai.

Duomenų rinkimui iš vieno ar kelių šaltinių sukurtas rinkimo stebėjimo skydas. Jame vienoje vietoje rodoma vykdymo būsena, šaltinių URL, surinkti įrašai ir įkėlimo ar prieigos pastabos.

Vėliau įrašai valomi ir peržiūrimi. Dublikatų atitikmenys, tikrinimo būsena, kontaktų laukai ir kategorijos lieka matomi, todėl duomenų tvarkytojas gali parengti nuoseklų kontaktų sąrašą.

Paskutinis ekranas pritaikytas praktiniam duomenų perdavimui. Jame sutvarkyti įrašai eksportuojami CSV, Excel arba JSON formatu, o sąrankos instrukcijos ir proceso pastabos išsaugomos kartu su failu.

Duomenų rinkiklis naudoja pakartotinai pritaikomą kodą ir gali būti suderintas su kliento taisyklėmis. Dokumentacija ir mokomoji medžiaga padeda savarankiškai dirbti su sistema.

Pagrindinės įdiegtos funkcijos

  • Svetainių ir šaltinių sąrašo sąranka
  • Pasirinktų kontaktų laukų išgavimas
  • Pakartotinai naudojamas ir iš naujo paleidžiamas duomenų rinkimas
  • Duomenų rinkimo vykdymo stebėjimas
  • El. pašto adresų ir telefono numerių rinkimas
  • Įrašų tikrinimas ir valymas
  • Dublikatų aptikimas ir šalinimas
  • Kontaktinių duomenų kategorizavimas
  • CSV, Excel ir JSON eksportas

Galima pridėti

+ Pasikartojantys Excel duomenų bazės atnaujinimai + El. pašto ir domenų tikrinimas + Kategorizavimas pagal raktažodžius + Kategorizavimas pagal datą + Išeities kodo apžvalga + Papildomi duomenų rinkimo metodai

Kas dar gali naudoti šį sprendimą

Šios įmonės susiduria su panašia užduotimi, todėl tą patį sprendimą galima pritaikyti jų šaltiniams, laukams ir duomenų perdavimo taisyklėms.

Verslo paslaugų įmonė

Užduotis Ji renka įmonių ir kontaktinę informaciją iš viešų svetainių bei katalogų.
Kaip padeda sprendimas Sprendimas išgauna pasirinktus laukus, pašalina pasikartojančius įrašus ir parengia failus importui į CRM arba verslo plėtrai.
Verslo paslaugos

Profesionalių paslaugų įmonė

Užduotis Ji sudaro kontaktų sąrašus iš įmonių svetainių ir internetinių šaltinių.
Kaip padeda sprendimas Sprendimas renka el. pašto adresus, telefono numerius ir verslo informaciją į struktūrizuotus failus.
Profesionalios paslaugos

Technologijų paketas

Python

Duomenų rinkimas ir naršyklės automatizavimas

Python palaiko svetainių naršymą, puslapių analizę ir išgavimą naudojant naršyklę.

JavaScript / TypeScript (Node.js)

Struktūrizuotų failų apdorojimas

JavaScript ir TypeScript palaiko struktūrizuotų failų apdorojimą.

Scrapy

Svetainių naršymas ir duomenų rinkimas

Scrapy (sistemoms svetainėse naršyti ir duomenims rinkti skirta sistema) renka įrašus iš apibrėžtų šaltinių.

BeautifulSoup

HTML puslapių analizė

BeautifulSoup (biblioteka, skaitanti informaciją iš tinklalapių) analizuoja puslapių turinį ir randa nurodytus laukus.

selenium

Išgavimas naudojant naršyklę

selenium (žiniatinklio naršyklę valdantis įrankis) padeda išgauti duomenis, kai įkėlimo procesui reikalinga naršyklė.

csv-parse

CSV skaitymas ir analizė

csv-parse (Node.js biblioteka CSV failams skaityti) skaito struktūrizuotus CSV duomenis.

maatwebsite/excel

Excel ir CSV eksportas

maatwebsite/excel (Laravel paketas Excel ir CSV failams) palaiko tvarkingą skaičiuoklių perdavimą.

jsonify

JSON duomenų tvarkymas

jsonify (JavaScript biblioteka darbui su JSON) palaiko JSON įrašus nekeisdama globalių objektų.

CSV, Excel, JSON

Struktūrizuotų duomenų perdavimas

Šie formatai perduoda sutvarkytus kontaktų įrašus analizei, importui į CRM ir kitoms verslo reikmėms.

Integracijos

CRM systems

Sprendimas eksportuoja sutvarkytus kontaktų įrašus CRM importui tinkamais formatais.

Excel

Sprendimas eksportuoja suskirstytus kontaktinius duomenis ir sutvarkytas darbaknyges Excel failais.

CSV files

Sprendimas skaito ir įrašo kableliais atskirtus kontaktų įrašus struktūrizuotam duomenų mainams.

JSON files

Sprendimas pateikia struktūrizuotus įrašus JSON formatu sistemoms, kurios jį naudoja.

Email verification service

El. pašto tikrinimo paslauga gali patikrinti el. pašto adresus ir domenus prieš perduodant duomenis.

Rezultatas

Prieš rinkimą nustatyti tikslius šaltinius ir laukus

Pirmajame ekrane rinkimo užklausa išlieka konkreti. Svetainių URL, šaltinių sąrašai ir pasirinkti kontaktų laukai apibrėžia, ką renka duomenų rinkiklis.

Kaip tai veikia

  1. Programinė įranga išsaugo nurodytas svetaines ir šaltinių sąrašus.
  2. Programinė įranga išsaugo pasirinktus laukus, pavyzdžiui, el. paštą, telefono numerį ir pašto adresą.
  3. Programinė įranga išsaugo pasikartojančio rinkimo nustatymus pakartotiniams vykdymams.
  • El. pašto adresai ir telefono numeriai pateikiami kaip atskiri kontaktų laukai.
  • Į pasirinktus laukus galima įtraukti fizinius adresus ir verslo informaciją.
Šaltinių ir laukų sąranka

Šaltinių ir laukų sąranka

Šiame ekrane naudojamos funkcijos
Svetainių duomenų rinkimas El. pašto adresų rinkimas Telefono numerių išgavimas Fizinių adresų išgavimas

Stebėti išgavimo eigą ir surinktus įrašus

Rinkimo stebėjimo skydas vienoje vietoje pateikia šaltinių URL, vykdymo būseną ir išgautus įrašus. Prieigos įspėjimai ir įkėlimo pastabos leidžia matyti šaltinių veikimą rinkimo metu.

Prieš valymo etapą komanda aiškiai mato iš vienos ar kelių svetainių grąžintus įrašus.

Kaip tai veikia

  1. Scrapy (sistema svetainėms naršyti ir duomenims rinkti) renka duomenis iš išvardytų šaltinių.
  2. BeautifulSoup (biblioteka tinklalapiams analizuoti) skaito svetainių turinį ir išgauna nurodytus laukus.
  3. Programinė įranga rodo vykdymo būseną, šaltinių URL, išgautus duomenis ir įkėlimo ar prieigos pastabas.
  • Duomenys renkami iš kelių puslapių ir svetainių.
  • Duomenų rinkiklį galima paleisti iš naujo naudojant pakartotinai pritaikomas taisykles.
Pastaba: Rinkimo taisyklės turi atitikti svetainių veikimą, platformų sąlygas, privatumo įstatymus, BDAR ir kitus taikomus reikalavimus.
Duomenų rinkimo vykdymo stebėjimas

Duomenų rinkimo vykdymo stebėjimas

Šiame ekrane naudojamos funkcijos
Svetainių duomenų rinkimas Duomenų išgavimas

Parengti švaresnius kontaktų įrašus

Valymo ekranas suteikia duomenų tvarkytojui vieną vietą peržiūrėti tikrinimo būseną, dublikatų atitikmenis ir kategorijas. Prieš eksportą kontaktų įrašai išlieka sutvarkyti.

Dublikatų indikatoriai padeda atskirti pasikartojančius įrašus nuo tinkamo kontaktų sąrašo, o kategorijos paruošia duomenis analizei ar komunikacijai.

Kaip tai veikia

  1. Programinė įranga kontaktų lentelėje rodo el. pašto adresus, telefono numerius ir pašto adresus.
  2. Programinė įranga palygina įrašus ir rodo dublikatų atitikmenis bei tikrinimo būseną.
  3. Programinė įranga pritaiko kategorijas sutvarkytiems kontaktų įrašams.
  • Įrašus galima kategorizuoti pagal datas arba raktažodžius.
  • Dublikatų prevencijai galima pasitelkti duomenų dublikatų šalinimo paslaugą.
Įrašų valymas ir dublikatų šalinimas

Įrašų valymas ir dublikatų šalinimas

Šiame ekrane naudojamos funkcijos
Kontaktinių duomenų tvarkymas Dublikatų prevencija Duomenų dublikatų šalinimo paslauga Didelių duomenų rinkinių valymas Duomenų kategorizavimas Kontaktinės informacijos išgavimas

Pateikti duomenis komandos naudojamu formatu

Eksporto ekranas peržiūrėtus įrašus paverčia praktiškai perduodamais duomenimis analizei ar importui į CRM. CSV, Excel ir JSON leidžia lanksčiai perduoti duomenis nekeičiant šaltinių laukų.

Sąrankos instrukcijos ir proceso pastabos lieka susietos su perdavimo nustatymais, todėl komandai lengviau suprasti, kaip veikia duomenų rinkimas.

Kaip tai veikia

  1. Programinė įranga parengia sutvarkytus kontaktų įrašus CSV, Excel arba JSON išvesčiai.
  2. Programinė įranga sukuria pasirinkto formato failo santrauką.
  3. Programinė įranga pateikia nuorodas į sąrankos instrukcijas arba proceso pastabas.
  • CSV failai palaiko struktūrizuotus duomenų mainus.
  • Excel failai palaiko suskirstytas darbaknyges.
  • JSON failai palaiko duomenų naudojimą tarp sistemų.
Eksporto ir perdavimo nustatymai

Eksporto ir perdavimo nustatymai

Šiame ekrane naudojamos funkcijos
Įmonių kontaktų sąrašų eksportas Excel eksporto įrankis CSV duomenų tvarkymas

Ką suteikia sprendimas

Naudodama šį sprendimą rinkos tyrimų įmonė gali:

  • Rinkti nurodytus kontaktų ir verslo laukus iš apibrėžtų internetinių šaltinių
  • Pakartotinai paleisti rinkimo taisykles pasikartojančiam duomenų rinkimui
  • Prieš perduodant peržiūrėti tikrinimo būseną ir dublikatų atitikmenis
  • Tvarkyti įrašus pagal tokias kategorijas kaip datos ar raktažodžiai
  • Eksportuoti švarius kontaktinius duomenis analizei ir importui į CRM
  • Prižiūrėti pakartotinai naudojamą kodą, sąrankos instrukcijas ir proceso pastabas

Ar paruoštos sistemos galėtų atlikti šį darbą?

Prieš kuriant sprendimą užduotis buvo palyginta su paruoštais produktais pagal jų pačių aprašymus.

Ko reikia klientui Žiniatinklio duomenų rinkimo API Zyte, Scrapfly, ScrapingBee Žiniatinklio duomenų rinkimo įrankiai Octoparse, Oxylabs Duomenų išgavimo programinė įranga Data Extraction Individualus sprendimas
Kontaktinių laukų išgavimas iš šaltinių iš dalies
Pakartotinis duomenų rinkiklio paleidimas su išeities kodu — iš dalies iš dalies
Įrašų valymas ir dublikatų šalinimas — iš dalies
Struktūrizuotų kontaktų failų eksportas
Atitinka paties kliento taisykles: etapus, vaidmenis, ataskaitas — — —
Visi veiksmai vienoje vietoje — — —
Nėra rankinių veiksmų tarp programų iš dalies — iš dalies

Pagal viešus produktų ir jų kategorijų aprašymus.

Paruošti produktai apima prieigą prie svetainių, naršymą, duomenų išgavimą ir failų perdavimą, o bendroji duomenų išgavimo programinė įranga apima platesnį duomenų gavimą.

Paruošto produkto pakanka, kai užduočiai reikia tik vienos iš šių dalių. Šiam klientui reikėjo nuosavos programinės įrangos, nes privalomi laukai, valymo taisyklės, kategorijos, pakartotinai naudojamas kodas ir eksportas turėjo veikti kartu vienoje vietoje.

Produktai aprašo automatizuotą rinkimą, tačiau kliento peržiūros, tikrinimo, dublikatų šalinimo ir perdavimo taisyklėms vis tiek reikalingas pritaikytas procesas.

Galiausiai

Galiausiai sprendimas sukurtas tam, kad pašalintų rankinį darbą kelyje nuo viešų internetinių šaltinių iki švarių kontaktų failų.

DUK

Svarstote kurti panašią sistemą? Perskaitykite toliau pateiktus atsakymus ir sužinokite, kaip tarpusavyje dera duomenų rinkimas, struktūrizuotas eksportas ir individualios taisyklės.

Reikia kažko panašaus? Pasikalbėkime
Arba peržiūrėkite daugiau projektų