Pregled
Tržišni uslovi, cene, katalozi proizvoda, vesti i javno dostupne sektorske informacije stalno se menjaju. Ručno praćenje oduzima vreme i može dovesti do nepotpunih evidencija. Platforma za prikupljanje veb podataka namenjena je prikupljanju informacija iz odgovarajućih izvora kroz ponovljive zadatke i obezbeđivanju doslednih rezultata za timove koji rade s podacima. Organizacije mogu da definišu adrese izvora i pravila mapiranja polja, odrede učestalost prikupljanja, prate rezultate zadataka, uklanjaju duplirane zapise i prenose rezultate u svoje analitičke ili operativne sisteme. Upotreba mora biti u skladu s uslovima izvora i zakonskim ovlašćenjima; platforma ne obećava zaobilaženje ograničenja pristupa sajtovima niti prikupljanje ličnih podataka bez ovlašćenja. Prednost: Učinite ponavljajuće poslove prikupljanja podataka sistematičnim, pratite promene i podržite procese odlučivanja ažurnim podacima koji se mogu pratiti. Glavne prednosti • Jedinstvena platforma: izvori, zadaci prikupljanja, zapisi i rezultati na jednom mestu. • Ažurne informacije: planirano prikupljanje i praćenje promena smanjuju potrebu za ručnim proverama. • Čistiji podaci: normalizacija polja, provera valjanosti i kontrola dupliranih zapisa. • Fleksibilna upotreba: scenariji za e-trgovinu, maloprodaju, finansije, medije i tehnologiju. • White Label: pružanje usluge prikupljanja podataka pod sopstvenim brendom i domenom. Sektorski scenariji upotrebe • E-trgovina: skupovi podataka za poređenje dozvoljenih kataloga proizvoda, promena cena i karakteristika proizvoda. • Maloprodaja: praćenje obaveštenja o poslovnicama i kampanjama, javnih kataloških podataka i tržišnih trendova. • Finansije: prikupljanje objavljenih kamatnih stopa, obaveštenja i tržišnih pokazatelja iz licenciranih ili otvorenih finansijskih izvora. • Mediji: centralizovano praćenje RSS-a, javnih objava, oznaka tema i ažuriranja sadržaja. • Tehnologija: praćenje javno dostupnih verzija proizvoda, tehničke dokumentacije i vesti iz sektora. Pozicioniranje proizvoda Y11-002 Platforma za prikupljanje veb podataka usmerena je na zakonito pribavljanje informacija iz spoljnih veb izvora, upravljanje izvorima i pripremu podataka. Y11-001 Platforma za poslovnu inteligenciju i kontrolne table vizuelno prikazuje podatke; Y11-003 Softver za integraciju podataka i ETL upravlja tokovima podataka i transformacijama između sistema; Y11-004 Softver za analitiku klijenata i prodaje specijalizovan je za učinak klijenata i prodaje. Funkcije prikupljanja, čišćenja, praćenja promena i izvoza podataka u Y11-002 nisu moduli koji se zasebno prodaju. Često postavljana pitanja Da li se podaci mogu prikupljati sa svakog veb-sajta? Ne. Proceniće se tehnička dostupnost izvora, uslovi korišćenja i zakonska ovlašćenja. Da li je moguće pratiti cene konkurenata? Praćenje se može podesiti za podatke definisane ugovorom, iz izvora koji se mogu koristiti zakonito i kojima je pristup dozvoljen. Koliko često se podaci ažuriraju? Učestalost se određuje prema uslovima izvora, ograničenjima brzine i kapacitetu instalacije. Mogu li se podaci preuzeti u Excel formatu ili putem API-ja? Da, ovlašćeni izvozi i prenos putem API-ja obezbeđuju se u obimu dogovorenom ugovorom. Da li veštačka inteligencija automatski kreira kategorije? Klasifikacija uz AI zavisi od modela i usluge koji su opciono obuhvaćeni projektom; podržana je standardna ručna klasifikacija i klasifikacija zasnovana na pravilima. Mogu li da prodajem uslugu svojim klijentima? Da, uslugu možete nuditi pod sopstvenim brendom; troškovi spoljnih usluga i ograničenja kapaciteta i dalje važe. Da li se isporučuje izvorni kod? Ne. Dodeljuje se licenca za trajno korišćenje; izvorni kod i prava intelektualne svojine ostaju vlasništvo KMKSOFT-a.
Identitet proizvoda
- Šifra proizvoda
- Y11-002
- Globalni naziv proizvoda
- Web Data Collection Platform
- Glavna kategorija
- Analiza podataka i izveštavanje
- Tip proizvoda
- Jedinstveni, integrisani White Label softver
- Delatnosti
- E-trgovina, maloprodaja, finansije, mediji, tehnologija
- Obim licence
- Jedan brend / jedna glavna produkciona instalacija; nema KMK naknade za licencu po krajnjem klijentu
- Hosting
- KMKCloud ili odgovarajuća infrastruktura; naplaćuje se zasebno.
- Standardna tehnička podrška
- 12 meseci
Standardne funkcije
- Upravljanje veb izvorima
- Evidentiranje dozvoljenih ciljnih URL adresa, domena, vrsta podataka, odgovornih osoba i napomena o pristupu.
- Zadaci prikupljanja
- Jednokratni ili ponavljani zadaci za preuzimanje podataka, povezani s izvorom i šemom podataka.
- Planiranje i učestalost
- Pokretanje zadataka u određenim intervalima i praćenje statusa poslednjeg pokretanja.
- Raščlanjivanje HTML stranica
- Izdvajanje naslova, veza, cena, opisa i strukturisanih polja sa odgovarajućih stranica.
- Paginacija i praćenje veza
- Prikupljanje podataka sa stranica sa spiskovima i detaljima, kada pravila izvora to dozvoljavaju.
- Povezivanje API-ja i tokova podataka
- Korišćenje ovlašćenih API-ja, RSS-a i sličnih mašinski čitljivih izvora.
- Predlošci za mapiranje polja
- Mapiranje podataka izvora u ciljna polja i tipove podataka.
- Čišćenje podataka
- Normalizacija praznih polja i formata zapisa, datuma, brojeva i valuta.
- Provera dupliranih zapisa
- Označavanje ili objedinjavanje ponovljenih zapisa prema poljima i ključevima za mapiranje.
- Praćenje promena
- Poređenje s prethodnim rezultatima prikupljanja radi utvrđivanja razlika u ceni, zalihama, tekstu ili zapisima.
- Pravila za proveru podataka
- Provere obaveznih polja, očekivanih formata, raspona vrednosti i doslednosti.
- Kategorisanje i označavanje
- Klasifikovanje skupova podataka prema kategoriji, temi, brendu ili definisanim poljima.
- Pretraga i napredni filteri
- Filtriranje zapisa prema izvoru, datumu, statusu, kategoriji i vrednostima polja.
- Pregled i uređivanje podataka
- Pregled prikupljenih zapisa u tabeli i ispravke koje obavljaju ovlašćeni korisnici.
- Izvoz u CSV i Excel formate
- Izvoz podataka u datoteke za ovlašćene korisnike.
- Dostavljanje podataka putem API-ja
- Prenos zapisa u spoljne aplikacije u skladu s obimom i bezbednosnim pravilima.
- Red čekanja zadataka i praćenje statusa
- Prikaz zadataka na čekanju, u toku, završenih i neuspešnih.
- Evidencija grešaka i ponovni pokušaji
- Evidentiranje isteka vremena, promena formata i problema s vezom; kontrolisani ponovni pokušaji.
- Opterećenje izvora i ograničenja brzine
- Slanje zahteva uz poštovanje definisanih ograničenja brzine, istovremenosti i odgovarajućih intervala.
- Obaveštenja i upozorenja
- Obaveštavanje administratora o neuspelim zadacima i važnim promenama.
- Razdvajanje radnih prostora
- Odvajanje izvora i podataka prema klijentu, timu i projektu.
- Korisničke uloge i dozvole
- Dozvole za upravljanje izvorima, pokretanje zadataka, pregled podataka i izvoz.
- Istorija aktivnosti i revizijski zapis
- Evidentiranje važnih izmena, korisničkih aktivnosti i pokretanja zadataka.
- Izveštaji o izvorima i kvalitetu podataka
- Merenja uspešnosti, broja zapisa, vrsta grešaka i popunjenosti podataka.
- Prilagođavanje brenda
- Podešavanje logotipa, boja, naziva platforme, domena i izgleda interfejsa.
- Pravila čuvanja i brisanja
- Definisanje rokova čuvanja i brisanja za svaki izvor, klijenta i skup podataka.
White Label poslovni model
Pravo na trajno korišćenje verzije softvera za jedan brend i jednu glavnu produkcionu instalaciju, kako je definisano ugovorom. Vlasnik licence može da pruža usluge neograničenom broju krajnjih klijenata pod sopstvenim brendom; ograničenja infrastrukture i usluga trećih strana i dalje važe. Izvorni kod i prava intelektualne svojine ostaju vlasništvo KMKSOFT-a; prenos koda nije uključen u licencu. Početna instalacija, početno prilagođavanje brenda, osnovna obuka i standardna tehnička podrška tokom prvih 12 meseci uključeni su u obimu utvrđenom ugovorom. Hosting, proxy usluge / spoljni dobavljači podataka, naknade za korišćenje API-ja, skladištenje i prilagođene integracije mogu se dodatno naplaćivati. Održavanje, podrška i ažuriranja verzija nakon prvih 12 meseci ugovaraju se zasebno.
Tehnička specifikacija
- Administrativni panel i pristup
- Veb administrativni panel prilagođen mobilnim uređajima; pristup zasnovan na ulogama, bezbedne sesije i evidencija kritičnih aktivnosti.
- Slojevi zadataka i podataka
- Planer zadataka, red čekanja, povezivanje izvora, pravila za raščlanjivanje i slojevi za skladištenje podataka.
- Ograničenja brzine i ponovni pokušaji
- Ograničenja brzine zahteva i istovremenosti po izvoru; povlačenje pri grešci i kontrolisani ponovni pokušaji.
- Procena zakonitosti korišćenja
- Procena korišćenja u skladu sa robots.txt, uslovima korišćenja, dozvolama pristupa, intelektualnom svojinom i propisima o zaštiti podataka.
- Izvori koji zahtevaju prijavu
- Povezivanje sa izvorima koji zahtevaju prijavu moguće je samo preko naloga ovlašćenog korisnika i u skladu s uslovima korišćenja datog izvora.
- Metode izvan obima
- Zaobilaženje CAPTCHA provera, mera protiv botova ili kontrola pristupa, kao i prikupljanje ličnih podataka bez ovlašćenja, nisu uključeni u standardni obim.
- Promene izvora
- Promene strukture izvorne stranice mogu zahtevati održavanje pravila za raščlanjivanje; ne garantuje se neprekidno prikupljanje podataka sa svih sajtova.
- Skladištenje i izolacija podataka
- Pravila za skladištenje, pravljenje rezervnih kopija, čuvanje evidencija, brisanje i izolaciju podataka podešavaju se u skladu s ugovorom.
- Obrada uz podršku veštačke inteligencije
- Izdvajanje polja ili automatsko kategorisanje uz AI obezbeđuje se samo ako je uključeno u obim projekta i uz odgovarajuću uslugu modela.
- Kapacitet i obim obrade
- Učestalost prikupljanja, broj izvora, obim obrade i ograničenje broja zapisa utvrđuju se ugovorom na osnovu procene infrastrukture.
Ovaj dokument opisuje planirani standardni obim isporuke proizvoda. Usklađenost izvora, zakonska ovlašćenja, vrste podataka, obim posla, kapacitet, integracije i kriterijumi prihvatanja potvrđuju se u ponudi i konačnom ugovoru; ne garantuje se bezuslovan pristup svakom izvoru.
Isporuka i prihvatanje
- Panel i grupe dozvola
- Proveravaju se pristup brendiranom administrativnom panelu i grupe dozvola.
- Provere zadataka i planiranja
- Testiraju se kreiranje zadataka i planirano pokretanje na ugovorno odabranim uzorcima izvora kojima je pristup dozvoljen.
- Provere pripreme podataka
- Prikazuju se mapiranje polja, čišćenje, provera valjanosti i kontrola dupliranih zapisa za najmanje jedan uzorak izvora.
- Provere promena, grešaka i izvoza
- Otkrivanje promena, evidencija grešaka, ponovni pokušaji, datoteka za izvoz i pristup API-ju proveravaju se u definisanim scenarijima.
- Razdvajanje podataka i revizija
- Proveravaju se razdvajanje podataka među korisnicima, dozvole za izvoz i revizijski zapis.
- Obuka i prihvatanje
- Završavaju se osnovna obuka korisnika, tehničke napomene za upotrebu i zapisnik o prihvatanju.
- Plan isporuke
- Tačan broj izvora, obim posla, trajanje i rok isporuke dogovaraju se u dodatku ponude/ugovora.
Licencni i komercijalni uslovi
- Cena licence
- 5.800 USD — jednokratna softverska licenca.
- Vrsta licence
- Jednokratno, trajno pravo korišćenja verzije za jedan brend i jednu glavnu instalaciju.
- Obim proizvoda
- Funkcije prikupljanja, čišćenja, praćenja promena i izvoza deo su jednog integrisanog softvera; ne prodaju se kao zasebni moduli.
- Krajnji klijenti
- Vlasnik licence može da pruža usluge neograničenom broju krajnjih klijenata pod sopstvenim brendom; KMKSOFT ne naplaćuje licencu za softver po krajnjem klijentu. Ograničenja infrastrukture, troškovi spoljnih usluga i kapacitet i dalje važe.
- Izvorni kod
- Izvorni kod i prava intelektualne svojine ostaju vlasništvo KMKSOFT-a; prenos koda nije uključen u licencu.
- Tehnička podrška
- Tokom prvih 12 meseci uključeni su početna instalacija, početno prilagođavanje brenda, osnovna obuka i standardna tehnička podrška. Održavanje, podrška i ažuriranja verzija nakon prvih 12 meseci ugovaraju se zasebno.
- Dodatni troškovi
- Hosting, skladištenje podataka, proxy usluge / spoljni dobavljači podataka, naknade za korišćenje API-ja, prilagođene integracije i dodatni razvoj mogu se naplaćivati zasebno.
- Plan isporuke
- Tačan broj izvora, obim posla i rok isporuke utvrđuju se u ponudi/ugovoru nakon potvrde pristupa izvorima i tehničkog obima. Predloženi postupak: utvrđivanje potreba i ciljnih izvora → procena prava pristupa i korišćenja → definisanje obima i scenarija prihvatanja → White Label instalacija → podešavanje izvora i polja podataka → testiranje, obuka i isporuka.
Isporuka i usklađenost
Ovaj dokument opisuje planirani standardni obim isporuke proizvoda. Usklađenost izvora, zakonska ovlašćenja, vrste podataka, obim posla, kapacitet, integracije i kriterijumi prihvatanja potvrđuju se u ponudi i konačnom ugovoru; ne garantuje se bezuslovan pristup svakom izvoru.