Przegląd
Systemy ERP, CRM, księgowe, e-commerce, magazynowe i raportowe często wykorzystują różne struktury danych. Niezgodne dane mogą prowadzić do powtarzalnego ręcznego przesyłania, niespójnych raportów i opóźnionych decyzji. Oprogramowanie do integracji danych i ETL ma na celu przekształcenie przepływu danych między tymi systemami w zarządzany, monitorowany i powtarzalny proces. Użytkownicy definiują autoryzowane źródła danych, tworzą mapowania źródło–cel, reguły transformacji i harmonogramy. Przepływy można zaplanować, a dla odpowiednich źródeł skonfigurować przyrostowe przesyłanie danych. Wyniki uruchomień, rejestry błędów i kontrole jakości danych można śledzić w centralnym panelu. Rodzaj i zakres integracji zależą od API, uprawnień dostępu i ograniczeń technicznych danego systemu. Propozycja wartości: Standaryzuj powtarzalne zadania przesyłania danych, zwiększaj spójność danych między różnymi systemami i twórz bardziej niezawodne przepływy danych dla systemów analitycznych. Najważniejsze korzyści • Centralne zarządzanie: Połączenia integracyjne, przepływy danych i historia uruchomień w jednym panelu. • Mniej pracy ręcznej: Zaplanowane transfery i wielokrotnego użytku reguły transformacji. • Kontrolowana jakość danych: Walidacja typów, wymaganych pól, duplikatów i reguł biznesowych. • Widoczność operacyjna: Wykrywanie błędów, ponawianie prób, powiadomienia i ścieżki audytu. • White Label: Oferuj platformę klientom końcowym pod własną marką i domeną. Przykłady zastosowań w branżach • Finanse: Kontrolowana konsolidacja danych z autoryzowanych źródeł księgowych, bankowych i raportowych. • Produkcja: Łączenie danych ERP, magazynowych, produkcyjnych i jakościowych w celach raportowych lub w hurtowniach danych. • Logistyka: Synchronizacja danych zamówień, wysyłek, magazynów i dostaw między systemami. • Handel detaliczny: Przesyłanie danych sklepów, e-commerce, produktów i zapasów do wspólnych modeli danych. • Technologie: Przesyłanie danych z API aplikacji SaaS do systemów analitycznych, raportowych lub operacyjnych. Pozycjonowanie produktu Y11-003, oprogramowanie do integracji danych i ETL, koncentruje się na łączeniu źródeł danych w przedsiębiorstwie, ich transformacji i orkiestracji niezawodnego przesyłania. Y11-001, platforma analityki biznesowej i dashboardów, wizualizuje dane; Y11-002, platforma gromadzenia danych internetowych, pozyskuje dane ze źródeł internetowych; Y11-004, oprogramowanie do analityki klientów i sprzedaży, zapewnia analizę wyników handlowych. Funkcje Y11-003 związane z połączeniami, transformacją, harmonogramowaniem, kontrolą i monitorowaniem nie są sprzedawane jako osobne moduły. Często zadawane pytania Czy można połączyć się z każdym systemem? Nie. Możliwość połączenia zależy od technicznego dostępu do danego systemu, uprawnień API, zezwoleń i uzgodnionego zakresu. Czy obsługiwane są ETL i ELT? Docelowy zakres produktu jest projektowany z myślą o obu podejściach. Wybór stosowanego przepływu pracy zależy od źródła danych i architektury systemu docelowego. Czy dane mogą być aktualizowane automatycznie? Tak, w określonych odstępach czasu, a w przypadku odpowiednich źródeł — z wykorzystaniem metody transferu przyrostowego. Czy możliwe jest przesyłanie danych w czasie rzeczywistym? Wymagania dotyczące specjalnego transferu w czasie rzeczywistym lub opartego na zdarzeniach są ustalane w umowie po odrębnej analizie technicznej. Czy można używać oprogramowania z systemem ERP lub CRM? Jeśli dostępne jest odpowiednie API, dostęp do bazy danych lub plików, można skonfigurować integrację z systemami określonymi w umowie. Jak monitorować rekordy, w których wystąpił błąd? Uruchomienia przepływów i przyczyny błędów są rejestrowane. Uprawnieni użytkownicy mogą je sprawdzać i, jeśli pozwalają na to warunki, ponawiać próbę. Czy przekazywany jest kod źródłowy? Nie. Udzielane jest bezterminowe prawo do korzystania z wersji oprogramowania; prawa własności intelektualnej i kod źródłowy pozostają przy KMKSOFT. Czy mogę świadczyć usługi swoim klientom? Tak, możesz świadczyć usługi nieograniczonej liczbie klientów końcowych pod jedną licencjonowaną marką. Obowiązują limity infrastruktury i podmiotów zewnętrznych.
Tożsamość produktu
- Kod produktu
- Y11-003
- Nazwa globalna
- Data Integration & ETL Software
- Główna kategoria
- Analityka danych i raportowanie
- Typ produktu
- Jedno zintegrowane oprogramowanie White Label
- Branże
- Finanse, produkcja, logistyka, handel detaliczny, technologie
- Zakres licencji
- Jedna marka / jedna główna instalacja produkcyjna; brak opłaty licencyjnej KMK za klienta końcowego
- Hosting
- KMKCloud lub odpowiednia infrastruktura; usługa jest dodatkowo płatna.
- Wsparcie techniczne
- 12 miesięcy
Standardowe funkcje
- Katalog źródeł danych
- Centralne definiowanie połączeń z bazami danych, API, plikami i obsługiwanymi usługami.
- Weryfikacja połączeń
- Kontrola danych dostępowych, stanu połączenia i podstawowych uprawnień podczas konfiguracji.
- Połączenia z bazami danych
- Odczyt z baz danych SQL uzgodnionych w umowie i zapis do odpowiednich celów.
- Połączenia z REST API
- Pobieranie danych z autoryzowanych punktów końcowych API i przesyłanie ich do odpowiedniego docelowego API.
- Transfer oparty na plikach
- Import i eksport w określonych formatach, takich jak CSV, Excel i JSON.
- Projektowanie przepływów ETL / ELT
- Definiowanie źródła, kroków transformacji i celu jako wizualnego lub konfigurowanego przepływu.
- Mapowanie pól
- Mapowanie kolumn i pól źródłowych na schematy docelowe; zarządzanie nazwami i typami pól.
- Konwersja typów danych
- Konwersja dat, liczb, tekstu, walut i innych popularnych typów za pomocą reguł.
- Filtrowanie danych
- Ograniczanie zakresu transferu na podstawie warunków, zakresów dat, statusów rekordów i powiązanych pól.
- Łączenie i wzbogacanie
- Dopasowywanie i łączenie zestawów danych za pomocą odpowiednich kluczy oraz tworzenie pól pochodnych.
- Kontrola zduplikowanych rekordów
- Wykrywanie powielonych rekordów za pomocą kluczy unikatowych i reguł danych.
- Reguły jakości danych
- Walidacja wymaganych pól, długości, formatów, zakresów wartości i spójności.
- Transfer przyrostowy
- Przetwarzanie wyłącznie zmienionych danych w odpowiednich źródłach za pomocą znaczników czasu lub kluczy zmian.
- Transfer zbiorczy
- Przetwarzanie określonych zestawów danych partiami o kontrolowanym rozmiarze.
- Harmonogramowanie
- Uruchamianie przepływów ręcznie, o określonej dacie lub cyklicznie.
- Zależne przepływy pracy
- Zarządzanie kolejnością i warunkami wstępnymi etapów ładowania danych.
- Zapis danych w systemie docelowym
- Ładowanie danych do autoryzowanych baz danych, API i celów plikowych na podstawie reguł.
- Obsługa błędów i wyjątków
- Rejestrowanie przyczyn niepowodzeń wierszy i zadań oraz bezpieczne ponawianie prób.
- Punkty kontrolne
- Śledzenie postępu transferu i wznawianie go od miejsca przerwania w odpowiednich scenariuszach.
- Panel monitorowania
- Wyświetlanie powodzenia lub niepowodzenia, czasu trwania, liczby wierszy i stanu uruchomienia.
- Ostrzeżenia i powiadomienia
- Powiadomienia o utracie połączenia, niepowodzeniu przepływu lub naruszeniu jakości danych.
- Dzienniki i ścieżka audytu
- Rejestrowanie wersji przepływu, uruchomień, działań użytkowników i zdarzeń związanych z wykonaniem.
- Wersjonowanie przepływów
- Śledzenie zmian w definicjach mapowania i transformacji oraz planowanie ich wycofywania.
- Uprawnienia użytkowników i role
- Rozdzielanie uprawnień do tworzenia źródeł, edycji i uruchamiania przepływów oraz przeglądania wyników.
- Rozdzielenie obszarów roboczych
- Oddzielanie połączeń i przepływów według klienta, zespołu lub projektu.
- Bezpieczne zarządzanie danymi uwierzytelniającymi
- Zarządzanie hasłami do połączeń zgodnie z zasadami uprawnień i przechowywania, bez wyświetlania ich jawnym tekstem.
- Raporty transferu
- Raportowanie wolumenu zadań, opóźnień, błędów i wskaźników powodzenia transferu.
- Widok White Label
- Dostosowanie logo, nazwy marki, kolorów firmowych, domeny i interfejsu.
Model White Label
Bezterminowe prawo do korzystania z dostarczonej wersji oprogramowania dla jednej marki i jednej głównej instalacji produkcyjnej określonych w umowie. Licencjobiorca może świadczyć usługi nieograniczonej liczbie klientów końcowych pod własną marką; obowiązują limity infrastruktury, systemów źródłowych i podmiotów zewnętrznych. Kod źródłowy i prawa własności intelektualnej pozostają przy KMKSOFT; przekazanie kodu źródłowego nie jest objęte licencją. Początkowe dostosowanie marki, instalacja, podstawowe szkolenie i standardowe wsparcie techniczne przez pierwsze 12 miesięcy są objęte zakresem określonym w umowie. Hosting, baza danych, pamięć masowa, zewnętrzne API, licencje na połączenia z systemami stron trzecich i prace programistyczne na zamówienie mogą być wyceniane osobno. Utrzymanie, wsparcie i aktualizacje nowych wersji po pierwszych 12 miesiącach wymagają osobnych uzgodnień.
Specyfikacja techniczna
- Komponenty platformy
- Internetowy panel zarządzania; katalog połączeń, projektowanie przepływów, harmonogram, kolejka, silnik transformacji i komponenty monitorowania.
- Ochrona dostępu i danych uwierzytelniających
- Dostęp do połączeń ze źródłami i celami wyłącznie za pośrednictwem autoryzowanych kont; zasada najmniejszych uprawnień i ochrona danych uwierzytelniających.
- Szyfrowanie i maskowanie
- Odpowiednie szyfrowanie komunikacji podczas transferu danych, maskowanie danych wrażliwych w dziennikach oraz zasady przechowywania danych.
- Powtarzalna logika przetwarzania
- Powtarzalna i testowalna logika przetwarzania na etapach mapowania schematów, transformacji, walidacji i zapisu w systemie docelowym.
- Wymagania dotyczące spójności
- Wymagania dotyczące ponawiania przetwarzania, częściowych niepowodzeń, kolejności i spójności są określane w zależności od rodzaju integracji.
- Transfer przyrostowy i CDC
- Możliwość zastosowania transferu przyrostowego/CDC zależy od metod obsługiwanych przez źródłową bazę danych lub API.
- Komponenty poza zakresem
- Strumieniowanie zdarzeń w czasie rzeczywistym, niestandardowe konektory dostawców i infrastruktura big data są objęte zakresem wyłącznie wtedy, gdy zostały wyraźnie wskazane w umowie.
- Systemy stron trzecich
- Integracje z istniejącymi systemami ERP, CRM, księgowymi i usługami bankowymi zależą od API i warunków licencyjnych odpowiednich produktów.
- Wydajność i odtwarzanie
- Wymagania projektowe określają jakość danych, kopie zapasowe, odtwarzanie, wydajność przetwarzania, współbieżność i limity przechowywania.
- Zgodność z ochroną danych
- Uprawnienia dostępu, rejestrowanie i procesy usuwania danych są konfigurowane zgodnie z KVKK i mającymi zastosowanie obowiązkami w zakresie ochrony danych.
Niniejszy dokument opisuje docelowy standardowy zakres sprzedaży produktu. Lista gotowych integracji, wydajność, uprawnienia do systemów źródłowych i docelowych, wolumen danych oraz kryteria akceptacji są ostatecznie ustalane w umowie. Nie gwarantuje się bezwarunkowej zgodności ze wszystkimi systemami ani braku jakiejkolwiek utraty danych.
Dostawa i odbiór
- Panel i obszary robocze
- Weryfikowane są panel zarządzania z marką, uprawnienia i separacja klientów lub obszarów roboczych.
- Testy dostępu do połączeń
- Przeprowadzane są testy dostępu do co najmniej jednego źródła i jednego celu wybranych w umowie.
- Test przykładowego przepływu
- W przykładowym przepływie pobierane są dane źródłowe, stosowane są reguły mapowania pól, transformacji i jakości, a następnie demonstrowany jest zapis w systemie docelowym.
- Testy harmonogramowania i obsługi błędów
- Testowane są zaplanowane uruchomienia, stany powodzenia i niepowodzenia, ostrzeżenia, dzienniki oraz kontrolowane ponawianie prób.
- Testy bezpieczeństwa
- Weryfikowane są scenariusze nieautoryzowanego dostępu użytkowników, widoczności danych uwierzytelniających i rejestrowania działań.
- Kryteria sukcesu i harmonogram
- Wielkość transferu, kryteria sukcesu, struktura danych, próg wydajności i harmonogram dostawy są doprecyzowywane w załączniku do oferty.
- Szkolenie i odbiór
- Kończą się podstawowe szkolenie użytkowników, przygotowanie notatek dotyczących obsługi technicznej i sporządzenie protokołu odbioru.
Warunki licencji
- Opłata licencyjna
- 12 000 USD — jednorazowa opłata za licencję oprogramowania.
- Charakter licencji
- Jednorazowe, bezterminowe prawo do korzystania z wersji oprogramowania dla jednej marki i jednej głównej instalacji.
- Zakres produktu
- Funkcje połączeń, transformacji, harmonogramowania, kontroli i monitorowania stanowią część jednego zintegrowanego oprogramowania; nie są osobno sprzedawanymi modułami.
- Klienci końcowi
- Licencjobiorca może świadczyć usługi nieograniczonej liczbie klientów końcowych pod własną marką; KMKSOFT nie pobiera opłaty licencyjnej za oprogramowanie od każdego klienta końcowego. Obowiązują limity infrastruktury, systemów źródłowych i podmiotów zewnętrznych.
- Kod źródłowy
- Kod źródłowy i prawa własności intelektualnej pozostają przy KMKSOFT; przekazanie kodu źródłowego nie jest objęte licencją.
- Wsparcie techniczne
- Przez pierwsze 12 miesięcy obejmuje początkowe dostosowanie marki, instalację, podstawowe szkolenie i standardowe wsparcie techniczne. Utrzymanie, wsparcie i aktualizacje nowych wersji po pierwszych 12 miesiącach wymagają osobnych uzgodnień.
- Dodatkowe koszty
- Hosting, bazy danych, pamięć masowa, zewnętrzne API i usługi danych, niestandardowe konektory, licencje na połączenia z systemami stron trzecich i dodatkowe prace programistyczne mogą być wyceniane osobno.
- Harmonogram dostawy
- Termin dostawy jest określany w umowie po weryfikacji systemów, z którymi należy nawiązać połączenie, oraz zakresu technicznego. Proponowany przebieg: Identyfikacja systemów źródłowych i docelowych → analiza dostępu, uprawnień i wolumenu danych → uzgodnienie reguł transferu i scenariuszy odbioru → instalacja White Label → konfiguracja przepływów integracyjnych → testy, szkolenie i dostawa.
Dostawa i zgodność
Niniejszy dokument opisuje docelowy standardowy zakres sprzedaży produktu. Lista gotowych integracji, wydajność, uprawnienia do systemów źródłowych i docelowych, wolumen danych oraz kryteria akceptacji są ostatecznie ustalane w umowie. Nie gwarantuje się bezwarunkowej zgodności ze wszystkimi systemami ani braku jakiejkolwiek utraty danych.