Przegląd
Warunki konkurencji, ceny, katalogi produktów, kanały informacyjne i publiczne informacje branżowe nieustannie się zmieniają. Ręczne monitorowanie jest czasochłonne i może prowadzić do braków w danych. Platforma do gromadzenia danych z sieci ma na celu zbieranie informacji z odpowiednich źródeł za pomocą powtarzalnych zadań oraz dostarczanie zespołom danych spójnych wyników. Organizacje mogą definiować adresy źródeł i reguły mapowania pól, określać częstotliwość pobierania, monitorować wyniki zadań, usuwać zduplikowane rekordy oraz przekazywać wyniki do systemów analitycznych lub operacyjnych. Korzystanie zgodnie z warunkami źródeł i posiadanymi uprawnieniami prawnymi jest niezbędne; platforma nie obiecuje omijania ograniczeń dostępu do witryn ani nieuprawnionego gromadzenia danych osobowych. Propozycja wartości: Uporządkuj powtarzalne zadania związane z gromadzeniem danych, śledź zmiany i wspieraj procesy decyzyjne aktualnymi, możliwymi do prześledzenia danymi. Najważniejsze zalety • Jedna platforma: źródła, zadania pobierania, rekordy i wyniki w jednym panelu. • Aktualne informacje: ogranicz ręczną kontrolę dzięki planowemu pobieraniu i monitorowaniu zmian. • Czystsze dane: normalizacja pól, walidacja i kontrola duplikatów. • Elastyczne zastosowanie: scenariusze dla e-commerce, handlu detalicznego, finansów, mediów i technologii. • White Label: oferowanie usług gromadzenia danych pod własną marką i domeną. Zastosowania branżowe • E-commerce: zbiory danych z dozwolonych katalogów produktów, zmian cen i cech produktów, przygotowane do porównań. • Handel detaliczny: monitorowanie komunikatów o placówkach i promocjach, publicznych danych katalogowych oraz trendów rynkowych. • Finanse: gromadzenie publikowanych kursów, komunikatów i wskaźników rynkowych z licencjonowanych lub publicznych źródeł informacji finansowych. • Media: centralne monitorowanie RSS, publicznych publikacji, tagów tematycznych i aktualizacji treści. • Technologia: monitorowanie publicznych informacji o wersjach produktów, dokumentacji technicznej i wiadomości branżowych. Pozycjonowanie produktu Y11-002 Platforma do gromadzenia danych z sieci koncentruje się na zgodnym z prawem pozyskiwaniu informacji z zewnętrznych źródeł internetowych, zarządzaniu źródłami i przygotowywaniu danych. Y11-001 Platforma Business Intelligence i dashboardów wizualizuje dane; Y11-003 Oprogramowanie do integracji danych i ETL zarządza przepływem i transformacją danych między systemami; Y11-004 Oprogramowanie do analityki klientów i sprzedaży specjalizuje się w analizie klientów i wyników sprzedaży. Funkcje gromadzenia, czyszczenia, śledzenia zmian i eksportu danych w Y11-002 nie są sprzedawane jako oddzielne moduły. Często zadawane pytania Czy można pobierać dane z każdej witryny? Nie. Ocenia się dostępność techniczną źródła, jego warunki użytkowania i uprawnienia prawne. Czy można monitorować ceny konkurencji? Monitorowanie można skonfigurować dla danych określonych w umowie i pochodzących ze źródeł zgodnych z prawem, do których użytkownik ma uprawniony dostęp. Jaka jest częstotliwość aktualizacji? Jest ustalana zależnie od warunków źródła, limitów szybkości i wydajności wdrożenia. Czy dane można pobierać w formacie Excel lub przez API? Tak, dozwolony eksport danych i przekazywanie przez API są dostępne w zakresie uzgodnionym w umowie. Czy sztuczna inteligencja automatycznie tworzy kategorie? Klasyfikacja AI zależy od modelu i usługi określonych jako opcjonalny zakres; obsługiwana jest standardowa klasyfikacja ręczna lub oparta na regułach. Czy mogę sprzedawać tę usługę swoim klientom? Tak; możesz oferować usługę pod własną marką. Nadal obowiązują koszty usług zewnętrznych i limity wydajności. Czy przekazywany jest kod źródłowy? Nie. Udzielana jest licencja na bezterminowe korzystanie; kod źródłowy i prawa własności intelektualnej pozostają przy KMKSOFT.
Tożsamość produktu
- Kod produktu
- Y11-002
- Nazwa globalna
- Web Data Collection Platform
- Główna kategoria
- Analityka danych i raportowanie
- Typ produktu
- Jedno, zintegrowane oprogramowanie White Label
- Branże
- E-commerce, handel detaliczny, finanse, media, technologia
- Zakres licencji
- Jedna marka / jedna główna instalacja produkcyjna; brak opłaty licencyjnej KMK za klienta końcowego
- Hosting
- KMKCloud lub odpowiednia infrastruktura; rozliczane osobno.
- Wsparcie techniczne
- 12 miesięcy
Standardowe funkcje
- Zarządzanie źródłami internetowymi
- Zapisywanie dozwolonych docelowych adresów URL, domen, typów danych, osób odpowiedzialnych i uwag dotyczących dostępu.
- Zadania pobierania danych
- Jednorazowe lub cykliczne zadania pobierania danych powiązane ze źródłem i schematem danych.
- Harmonogram i częstotliwość
- Uruchamianie zadań w określonych odstępach i monitorowanie stanu ostatniego uruchomienia.
- Parsowanie stron HTML
- Pobieranie tytułów, linków, cen, opisów i ustrukturyzowanych pól z odpowiednich stron.
- Paginacja i śledzenie linków
- Gromadzenie danych ze stron list i szczegółów, o ile zezwalają na to reguły źródła.
- Połączenia z API i strumieniami danych
- Korzystanie z autoryzowanych interfejsów API, RSS i podobnych źródeł odczytywanych maszynowo.
- Szablony mapowania pól
- Mapowanie danych źródłowych na pola docelowe i typy danych.
- Czyszczenie danych
- Normalizacja pustych pól, pisowni oraz formatów dat, liczb i walut.
- Kontrola duplikatów
- Oznaczanie lub łączenie duplikatów na podstawie pól i kluczy mapowania.
- Śledzenie zmian
- Porównywanie wyników z poprzednimi pobraniami w celu wykrywania różnic w cenach, stanach magazynowych, tekstach lub rekordach.
- Reguły walidacji danych
- Kontrola wymaganych pól, oczekiwanych formatów, zakresów wartości i spójności.
- Kategorie i etykiety
- Klasyfikowanie zbiorów danych według kategorii, tematu, marki lub zdefiniowanych pól.
- Wyszukiwanie i zaawansowane filtry
- Filtrowanie rekordów według źródła, daty, statusu, kategorii i wartości pól.
- Podgląd i edycja danych
- Przeglądanie zebranych rekordów w tabeli i wprowadzanie korekt przez upoważnione osoby.
- Eksport CSV i Excel
- Eksport danych do plików dla upoważnionych użytkowników.
- Udostępnianie danych przez API
- Przekazywanie rekordów do aplikacji zewnętrznych w uzgodnionym zakresie i zgodnie z zasadami bezpieczeństwa.
- Kolejka zadań i monitorowanie statusu
- Podgląd zadań oczekujących, uruchomionych, zakończonych i zakończonych błędem.
- Rejestry błędów i ponawianie prób
- Rejestrowanie przekroczeń czasu, zmian formatu i problemów z połączeniem oraz kontrolowane ponawianie prób.
- Obciążenie źródeł i limity szybkości
- Wysyłanie żądań z poszanowaniem określonych limitów szybkości, współbieżności i odpowiednich odstępów.
- Powiadomienia i alerty
- Powiadomienia administratorów o niepowodzeniach zadań i istotnych zmianach.
- Podział obszarów roboczych
- Oddzielanie źródeł i obszarów danych według klienta, zespołu i projektu.
- Uprawnienia użytkowników i role
- Uprawnienia do zarządzania źródłami, uruchamiania zadań, przeglądania danych i eksportu.
- Historia działań i audyt
- Rejestrowanie istotnych zmian, działań użytkowników i uruchomień zadań.
- Raporty o źródłach i jakości danych
- Pomiar wskaźników powodzenia, liczby rekordów, typów błędów i kompletności danych.
- Personalizacja marki
- Ustawienia logo, kolorów, nazwy platformy, domeny i wyglądu interfejsu.
- Zasady przechowywania i usuwania
- Określanie okresów przechowywania i usuwania danych według źródła, klienta i zbioru danych.
Model White Label
Prawo do bezterminowego korzystania z wersji oprogramowania dla jednej marki i jednej głównej instalacji produkcyjnej określonych w umowie. Licencjobiorca może świadczyć usługi pod własną marką nieograniczonej liczbie klientów końcowych; obowiązują ograniczenia infrastruktury i usług stron trzecich. Kod źródłowy i prawa własności intelektualnej pozostają przy KMKSOFT; przekazanie kodu nie jest objęte licencją. Początkowa instalacja, podstawowe dostosowanie marki, szkolenie podstawowe i standardowe wsparcie techniczne przez pierwsze 12 miesięcy są objęte zakresem określonym w umowie. Hosting, proxy/dostawcy danych zewnętrznych, opłaty za korzystanie z API, przechowywanie danych i integracje niestandardowe mogą być wyceniane osobno. Konserwacja, wsparcie i aktualizacje wersji po pierwszych 12 miesiącach wymagają osobnych uzgodnień.
Specyfikacja techniczna
- Panel administracyjny i dostęp
- Responsywny panel administracyjny dostępny przez przeglądarkę; dostęp oparty na rolach, bezpieczne sesje i rejestrowanie istotnych działań.
- Warstwy zadań i danych
- Harmonogram zadań, kolejka, połączenia ze źródłami, reguły parsowania i warstwy przechowywania danych.
- Limity szybkości i ponawianie prób
- Limity szybkości żądań i współbieżności dla każdego źródła; wycofanie przy błędzie i kontrolowane ponawianie prób.
- Ocena zgodności z prawem
- Ocena korzystania z uwzględnieniem robots.txt, warunków świadczenia usług, uprawnień dostępu, własności intelektualnej i wymogów ochrony danych.
- Źródła wymagające logowania
- Połączenie ze źródłami wymagającymi logowania jest możliwe wyłącznie przy użyciu autoryzowanego konta użytkownika i zgodnie z warunkami korzystania z danego źródła.
- Metody poza zakresem
- Omijanie CAPTCHA, zabezpieczeń antybotowych lub kontroli dostępu oraz nieuprawnione gromadzenie danych osobowych nie wchodzą w standardowy zakres.
- Zmiany w źródłach
- Zmiany struktury stron źródłowych mogą wymagać konserwacji reguł parsowania; nie gwarantuje się nieprzerwanego pobierania danych ze wszystkich witryn.
- Przechowywanie i izolacja danych
- Zasady przechowywania, kopii zapasowych, okresów przechowywania dzienników, usuwania i izolacji danych są konfigurowane zgodnie z umową.
- Operacje wspomagane przez sztuczną inteligencję
- Ekstrakcja pól lub automatyczna kategoryzacja wspomagana przez AI są dostępne wyłącznie wtedy, gdy uwzględniono je w zakresie projektu i zapewniono odpowiednią usługę modelu.
- Wydajność i wolumen przetwarzania
- Częstotliwość pobierania, liczba źródeł, wolumen przetwarzania i limity rekordów są określane w umowie na podstawie analizy wykonalności infrastruktury.
Niniejszy dokument określa docelowy standardowy zakres sprzedaży produktu. Zgodność źródeł, uprawnienia prawne, typy danych, wielkość obciążenia, wydajność, integracje i kryteria odbioru zostaną potwierdzone w ofercie i ostatecznej umowie; nie gwarantuje się bezwarunkowego dostępu do każdego źródła.
Dostawa i odbiór
- Panel i grupy uprawnień
- Weryfikacja dostępu do panelu administracyjnego z brandingiem oraz grup uprawnień.
- Testy zadań i harmonogramu
- Test tworzenia zadań i ich planowego uruchamiania na przykładowych źródłach wybranych w umowie, do których dostęp jest dozwolony.
- Testy przygotowania danych
- Demonstracja mapowania pól, czyszczenia, walidacji i kontroli duplikatów na podstawie co najmniej jednego przykładowego źródła.
- Testy zmian, błędów i wyników
- Weryfikacja wykrywania zmian, rejestrowania błędów, ponawiania prób, pliku wynikowego i dostępu przez API w określonych scenariuszach.
- Separacja danych i audyt
- Kontrola separacji danych między użytkownikami, uprawnień eksportu i rejestru audytowego.
- Szkolenie i odbiór
- Ukończenie podstawowego szkolenia użytkowników, przekazanie notatek technicznych dotyczących użytkowania i podpisanie protokołu odbioru.
- Harmonogram dostawy
- Dokładna liczba źródeł, obciążenie, czas realizacji i harmonogram dostawy są uzgadniane w ofercie lub załączniku do umowy.
Warunki licencji
- Opłata licencyjna
- 5 800 USD — jednorazowa licencja na oprogramowanie.
- Charakter licencji
- Jednorazowe, bezterminowe prawo do korzystania z wersji oprogramowania dla jednej marki i jednej głównej instalacji.
- Zakres produktu
- Funkcje gromadzenia, czyszczenia, śledzenia zmian i eksportu danych stanowią część zintegrowanego oprogramowania; nie są sprzedawane jako oddzielne moduły.
- Klienci końcowi
- Licencjobiorca może świadczyć usługi pod własną marką nieograniczonej liczbie klientów końcowych; KMKSOFT nie pobiera opłaty licencyjnej za oprogramowanie od każdego klienta końcowego. Nadal obowiązują koszty infrastruktury i usług zewnętrznych oraz limity wydajności.
- Kod źródłowy
- Kod źródłowy i prawa własności intelektualnej pozostają przy KMKSOFT; przekazanie kodu nie jest objęte licencją.
- Wsparcie techniczne
- Początkowa instalacja, podstawowe dostosowanie marki, szkolenie podstawowe i standardowe wsparcie techniczne są objęte pierwszymi 12 miesiącami. Konserwacja, wsparcie i aktualizacje wersji po pierwszych 12 miesiącach wymagają osobnych uzgodnień.
- Dodatkowe koszty
- Hosting, przechowywanie danych, proxy/dostawcy danych zewnętrznych, opłaty za korzystanie z API, integracje niestandardowe i dodatkowe prace programistyczne mogą być wyceniane osobno.
- Harmonogram dostawy
- Dokładna liczba źródeł, obciążenie i czas dostawy zostaną określone w ofercie lub umowie po potwierdzeniu dostępu do źródeł i zakresu technicznego. Proponowany proces: określenie potrzeb i źródeł docelowych → ocena dostępu i praw do korzystania → uzgodnienie zakresu i scenariuszy odbioru → wdrożenie White Label → konfiguracja źródeł i pól danych → testy, szkolenie i dostawa.
Dostawa i zgodność
Niniejszy dokument określa docelowy standardowy zakres sprzedaży produktu. Zgodność źródeł, uprawnienia prawne, typy danych, wielkość obciążenia, wydajność, integracje i kryteria odbioru zostaną potwierdzone w ofercie i ostatecznej umowie; nie gwarantuje się bezwarunkowego dostępu do każdego źródła.