Prezentare generală
Condițiile concurențiale, prețurile, cataloagele de produse, fluxurile de știri și informațiile publice din diverse sectoare se schimbă constant. Monitorizarea manuală necesită timp și poate duce la înregistrări incomplete. Platforma de colectare a datelor web urmărește să compileze informații din surse adecvate prin sarcini repetabile și să ofere echipelor de date rezultate consecvente. Organizațiile pot defini adresele surselor și regulile de corespondență a câmpurilor, pot stabili frecvența colectării, pot urmări rezultatele sarcinilor, pot elimina înregistrările duplicate și pot transfera rezultatele către sistemele lor analitice sau operaționale. Utilizarea trebuie să respecte condițiile surselor și autorizația legală; platforma nu promite eludarea restricțiilor de acces ale site-urilor și nici colectarea neautorizată de date cu caracter personal. Propunere de valoare: sistematizați sarcinile repetitive de colectare a datelor, rămâneți la curent cu modificările și susțineți procesele decizionale cu date actuale și trasabile. Avantaje principale • O singură platformă: sursele, sarcinile de colectare, înregistrările și rezultatele într-un singur panou. • Informații actualizate: reduceți efortul verificărilor manuale prin colectare programată și monitorizarea modificărilor. • Date mai curate: normalizarea câmpurilor, validare și verificări ale înregistrărilor duplicate. • Utilizare flexibilă: scenarii pentru comerț electronic, retail, finanțe, media și tehnologie. • White Label: oferiți servicii de colectare a datelor cu propria marcă și propriul domeniu. Scenarii de utilizare pe sectoare • Comerț electronic: seturi de date adecvate pentru compararea cataloagelor de produse autorizate, a modificărilor de preț și a caracteristicilor produselor. • Retail: monitorizarea anunțurilor privind magazinele și campaniile, a datelor publice din cataloage și a tendințelor pieței. • Finanțe: compilarea ratelor, anunțurilor și indicatorilor de piață publicați în surse de informații financiare licențiate sau publice. • Media: monitorizarea centralizată a RSS, publicațiilor publice, etichetelor de subiect și actualizărilor de conținut. • Tehnologie: monitorizarea versiunilor de produse disponibile public, a documentației tehnice și a știrilor din sector. Poziționarea produsului Y11-002 Platforma de colectare a datelor web se concentrează pe obținerea legală de informații din surse web externe, gestionarea surselor și pregătirea datelor. Y11-001 Platforma de business intelligence și dashboard-uri vizualizează datele; Y11-003 Software de integrare a datelor și ETL gestionează fluxul și transformarea datelor între sisteme; Y11-004 Software de analiză a clienților și vânzărilor este specializat în performanța clienților și a vânzărilor. Funcțiile de colectare, curățare, monitorizare a modificărilor și export ale Y11-002 nu sunt module comercializate separat. Întrebări frecvente Se pot colecta date de pe orice site web? Nu. Se evaluează accesibilitatea tehnică a sursei, condițiile de utilizare și autorizația legală. Se pot monitoriza prețurile concurenților? Monitorizarea poate fi configurată pentru date definite în contract, din surse utilizate în mod legal și cu acces autorizat. Care este frecvența actualizărilor? Aceasta se stabilește în funcție de condițiile sursei, limitele de frecvență și capacitatea instalării. Datele pot fi obținute prin Excel sau API? Da, exporturile autorizate și transferul prin API sunt furnizate în limitele convenite în contract. Inteligența artificială creează automat categorii? Clasificarea cu AI depinde de modelul și serviciul definite opțional în scopul proiectului; este acceptată clasificarea standard manuală sau bazată pe reguli. Pot vinde servicii clienților mei? Da, puteți oferi servicii sub propria marcă; se aplică separat costurile serviciilor externe și limitele de capacitate. Se livrează codul sursă? Nu. Se acordă o licență de utilizare perpetuă; codul sursă și drepturile de proprietate intelectuală rămân la KMKSOFT.
Identitatea produsului
- Codul produsului
- Y11-002
- Denumirea globală a produsului
- Web Data Collection Platform
- Categoria principală
- Analiza datelor și raportare
- Tipul produsului
- Software White Label unic și integrat
- Industrii
- Comerț electronic, retail, finanțe, media, tehnologie
- Domeniul licenței
- O singură marcă / o singură instalare principală de producție; fără taxă de licență KMK per client final
- Găzduire
- KMKCloud sau infrastructură adecvată; tarifată separat.
- Asistență tehnică standard
- 12 luni
Funcționalități standard
- Gestionarea surselor web
- Înregistrarea URL-urilor țintă autorizate, a domeniilor, tipurilor de date, responsabililor și notelor privind accesul.
- Sarcini de colectare
- Sarcini de preluare a datelor unice sau recurente, asociate unei surse și unei scheme de date.
- Programare și periodicitate
- Executarea sarcinilor la intervale stabilite și monitorizarea stării ultimei rulări.
- Analizarea paginilor HTML
- Extragerea titlurilor, linkurilor, prețurilor, descrierilor și câmpurilor structurate din paginile adecvate.
- Paginare și urmărirea linkurilor
- Colectarea datelor din pagini de listare și detaliu, în măsura permisă de regulile sursei.
- Conexiuni API și fluxuri de date
- Utilizarea API-urilor autorizate, a RSS și a altor surse similare, care pot fi citite automat.
- Șabloane de corespondență a câmpurilor
- Asocierea datelor sursei cu câmpurile și tipurile de date țintă.
- Curățarea datelor
- Normalizarea câmpurilor goale și a formatelor de text, dată, număr și monedă.
- Verificarea înregistrărilor duplicate
- Semnalarea sau îmbinarea duplicatelor pe baza câmpurilor și a cheilor de corespondență.
- Monitorizarea modificărilor
- Compararea rezultatelor colectării curente cu cele anterioare pentru a identifica diferențe de preț, stoc, text sau înregistrări.
- Reguli de validare a datelor
- Verificări ale câmpurilor obligatorii, formatelor așteptate, intervalelor de valori și coerenței.
- Clasificare pe categorii și etichetare
- Clasificarea seturilor de date după categorie, subiect, marcă sau câmpuri definite.
- Căutare și filtre avansate
- Filtrarea înregistrărilor după sursă, dată, stare, categorie și valori ale câmpurilor.
- Previzualizarea și editarea datelor
- Examinarea înregistrărilor colectate în tabele și efectuarea de corecții de către utilizatorii autorizați.
- Exporturi CSV și Excel
- Exportul datelor în fișiere pentru utilizatorii autorizați.
- Furnizarea datelor prin API
- Transferul înregistrărilor către aplicații externe, în limitele scopului și ale regulilor de securitate.
- Coada de sarcini și monitorizarea stării
- Vizualizarea sarcinilor în așteptare, în curs, finalizate și eșuate.
- Jurnale de erori și reîncercări
- Înregistrarea expirărilor de timp, modificărilor de format și problemelor de conexiune; reîncercări controlate.
- Încărcarea surselor și limite de frecvență
- Executarea solicitărilor cu respectarea limitelor de frecvență, a concurenței și a intervalelor adecvate.
- Notificări și alerte
- Notificări pentru administratori în cazul eșecului unei sarcini și al modificărilor importante.
- Separarea spațiilor de lucru
- Separarea surselor și a zonelor de date în funcție de client, echipă și proiect.
- Permisiuni pentru utilizatori și roluri
- Permisiuni pentru gestionarea surselor, rularea sarcinilor, vizualizarea datelor și export.
- Istoricul operațiunilor și audit
- Înregistrarea modificărilor critice, a acțiunilor utilizatorilor și a rulărilor sarcinilor.
- Rapoarte privind sursele și calitatea datelor
- Măsurători privind rata de succes, numărul de înregistrări, tipurile de erori și gradul de completare a datelor.
- Personalizarea mărcii
- Setări pentru logo, culori, numele platformei, domeniu și aspectul interfeței.
- Politici de păstrare și ștergere
- Definirea perioadelor de păstrare/ștergere pentru fiecare sursă, client și set de date.
Model de operare White Label
Drept de utilizare perpetuă a versiunii software pentru o singură marcă și o singură instalare principală de producție, definite în contract. Titularul licenței poate furniza servicii unui număr nelimitat de clienți finali sub propria marcă; se aplică limitele infrastructurii și ale serviciilor terțe. Codul sursă și drepturile de proprietate intelectuală rămân la KMKSOFT; transferul codului nu este inclus în licență. Instalarea inițială, adaptarea inițială a mărcii, instruirea de bază și suportul tehnic standard pentru primele 12 luni sunt incluse în limitele definite în contract. Găzduirea, proxy-urile/furnizorii externi de date, taxele de utilizare API, stocarea și integrările personalizate pot fi tarifate separat. După primele 12 luni, mentenanța, suportul și actualizările de versiune se stabilesc printr-un acord separat.
Specificații tehnice
- Panou de administrare și acces
- Panou de administrare web adaptat pentru mobil; acces pe bază de rol, sesiune securizată și înregistrarea operațiunilor critice.
- Straturi de sarcini și date
- Planificator de sarcini, coadă, conexiuni la surse, reguli de analizare și straturi de stocare a datelor.
- Limite de frecvență și reîncercări
- Limite de frecvență a solicitărilor/concurență pentru fiecare sursă; retragere în caz de eroare și reîncercări controlate.
- Evaluarea utilizării legale
- Evaluarea utilizării în raport cu robots.txt, condițiile de utilizare, permisiunile de acces, proprietatea intelectuală și cerințele privind protecția datelor.
- Surse care necesită autentificare
- Sursele care necesită autentificare se pot accesa numai cu un cont de utilizator autorizat și în conformitate cu condițiile de utilizare ale sursei respective.
- Metode excluse din scop
- Eludarea CAPTCHA, a măsurilor anti-bot sau a controalelor de acces, precum și colectarea neautorizată de date cu caracter personal, nu sunt incluse în scopul standard.
- Modificări ale surselor
- Modificările structurii paginilor sursă pot necesita mentenanța regulilor de analizare; nu se garantează colectarea neîntreruptă de date pentru toate site-urile.
- Stocare și izolarea datelor
- Regulile de stocare, backup, păstrare a jurnalelor, ștergere și izolare a datelor se configurează conform contractului.
- Operațiuni asistate de inteligență artificială
- Extragerea câmpurilor sau categorizarea automată asistată de AI se furnizează numai dacă este inclusă în scopul proiectului și printr-un serviciu de model adecvat.
- Capacitate și volum de lucru
- Frecvența colectării, numărul surselor, volumul de lucru și limita de înregistrări se stabilesc în contract, în funcție de fezabilitatea infrastructurii.
Acest document descrie scopul standard de livrare vizat pentru produs. Compatibilitatea surselor, autorizația legală, tipurile de date, volumul de lucru, capacitatea, integrările și criteriile de acceptare se stabilesc în ofertă și în contractul final; nu se garantează accesul necondiționat la orice sursă.
Livrare și acceptare
- Panou și grupuri de permisiuni
- Se verifică accesul la panoul de administrare cu marcă proprie și grupurile de permisiuni.
- Teste pentru sarcini și programare
- Se testează crearea sarcinilor și rularea programată folosind sursele eșantion selectate în contract, pentru care există permisiune de acces.
- Teste de pregătire a datelor
- Se demonstrează corespondența câmpurilor, curățarea, validarea și verificarea duplicatelor pentru cel puțin o sursă eșantion.
- Teste de modificări, erori și export
- Detectarea modificărilor, jurnalizarea erorilor, reîncercările, fișierul de export și accesul API se verifică în scenariile definite.
- Separarea datelor și audit
- Se verifică separarea datelor între utilizatori, permisiunile de export și jurnalul de audit.
- Instruire și acceptare
- Se finalizează instruirea de bază a utilizatorilor, notele tehnice de utilizare și procesul-verbal de acceptare.
- Calendarul de livrare
- Numărul exact de surse, volumul de lucru, durata și calendarul de livrare se convin în oferta/anexa la contract.
Licență și condiții comerciale
- Prețul licenței
- 5.800 USD — licență software cu plată unică.
- Natura licenței
- Drept de utilizare a versiunii, cu plată unică și pe termen nelimitat, pentru o singură marcă și o singură instalare principală.
- Scopul produsului
- Funcțiile de colectare, curățare, monitorizare a modificărilor și export fac parte dintr-un singur software integrat; nu sunt module comercializate separat.
- Clienți finali
- Titularul licenței poate furniza servicii unui număr nelimitat de clienți finali sub propria marcă; KMKSOFT nu percepe taxă de licență software per client final. Se aplică separat costurile infrastructurii și ale serviciilor externe, precum și limitele de capacitate.
- Codul sursă
- Codul sursă și drepturile de proprietate intelectuală rămân la KMKSOFT; transferul codului nu este inclus în licență.
- Asistență tehnică
- În primele 12 luni sunt incluse instalarea inițială, adaptarea inițială a mărcii, instruirea de bază și asistența tehnică standard. După primele 12 luni, mentenanța, asistența și actualizările de versiune se stabilesc printr-un acord separat.
- Costuri suplimentare
- Găzduirea, stocarea datelor, proxy-urile/furnizorii externi de date, taxele de utilizare API, integrările personalizate și dezvoltările suplimentare pot fi tarifate separat.
- Calendarul de livrare
- Numărul exact de surse, volumul de lucru și durata livrării se stabilesc în ofertă/contract după verificarea accesului la surse și a scopului tehnic. Proces recomandat: definirea nevoilor și a surselor țintă → evaluarea drepturilor de acces și utilizare → clarificarea scopului și a scenariilor de acceptare → instalarea White Label → configurarea surselor și a câmpurilor de date → testare, instruire și livrare.
Livrare și conformitate
Acest document descrie scopul standard de livrare vizat pentru produs. Compatibilitatea surselor, autorizația legală, tipurile de date, volumul de lucru, capacitatea, integrările și criteriile de acceptare se stabilesc în ofertă și în contractul final; nu se garantează accesul necondiționat la orice sursă.