KMK
Заявете лиценз
Y11-002 / Анализ на данни и отчетност

Платформа за събиране на уеб данни

Платформата за събиране на уеб данни е цялостен софтуер с White Label, който позволява на организациите редовно да събират, почистват, класифицират и подготвят за използване необходимите им данни от разрешени уеб източници или такива, до които имат право на достъп. Тя обединява в една платформа управление на източници, планирано събиране, проверка на данни, проследяване на промени, отчитане и експортиране. Лицензирайте софтуера под собствената си марка и предлагайте на клиентите си решение за събиране и наблюдение на данни.

Общ преглед

Условията на конкуренция, цените, продуктовите каталози, новинарските потоци и публичната секторна информация се променят непрекъснато. Ръчното проследяване отнема време и може да доведе до непълни записи. Платформата за събиране на уеб данни цели да събира информация от подходящи източници чрез повтаряеми задачи и да предоставя последователни резултати на екипите за данни. Организациите могат да задават адреси на източници и правила за съпоставяне на полета, да определят честота на събиране, да проследяват резултатите от задачите, да премахват дублиращи се записи и да прехвърлят резултатите към аналитичните или оперативните си системи. Използването трябва да е съобразено с условията на източниците и законовите правомощия; платформата не обещава заобикаляне на ограниченията за достъп на сайтове или неразрешено събиране на лични данни. Предложение за стойност: Систематизирайте повтарящите се задачи за събиране на данни, следете промените и подпомагайте процесите на вземане на решения с актуални и проследими данни. Основни предимства • Една платформа: Източници, задачи за събиране, записи и резултати в един панел. • Актуална информация: Намаляване на ръчната проверка чрез планирано събиране и проследяване на промени. • По-чисти данни: Нормализиране на полета, проверка и контрол за дублиращи се записи. • Гъвкава употреба: Сценарии за електронна търговия, търговия на дребно, финанси, медии и технологии. • White Label: Предлагане на услуга за събиране на данни със собствена марка и домейн. Секторни сценарии на употреба • Електронна търговия: Набори от данни за разрешени продуктови каталози, промени в цените и сравнение на продуктови характеристики. • Търговия на дребно: Проследяване на съобщения за обекти и кампании, публични каталожни данни и пазарни тенденции. • Финанси: Събиране на публикувани лихвени проценти, съобщения и пазарни показатели от лицензирани или публично достъпни финансови източници. • Медии: Централизирано проследяване на RSS, публични публикации, тематични етикети и актуализации на съдържанието. • Технологии: Проследяване на публично достъпна информация за продуктови версии, техническа документация и секторни новини. Позициониране на продукта Y11-002 Платформа за събиране на уеб данни е насочена към законосъобразното получаване на информация от външни уеб източници, управлението на източници и подготовката на данни. Y11-001 Платформа за бизнес разузнаване и табла визуализира данни; Y11-003 Софтуер за интеграция на данни и ETL управлява потока и трансформацията на данни между системи; Y11-004 Софтуер за анализ на клиенти и продажби е специализиран в клиентските показатели и резултатите от продажбите. Функциите на Y11-002 за събиране, почистване, проследяване на промени и експортиране на данни не се продават като отделни модули. Често задавани въпроси Могат ли да се извличат данни от всеки уебсайт? Не. Оценяват се техническата достъпност на източника, условията за използване и законовото право на достъп. Могат ли да се проследяват цените на конкурентите? Може да се конфигурира проследяване на данни, определени в договора, от източници, които са законосъобразни и до които има разрешен достъп. Каква е честотата на актуализиране? Тя се определя според условията на източника, ограниченията за скорост и капацитета на инсталацията. Могат ли данните да се получават чрез Excel или API? Да, разрешените експортирания и прехвърлянето чрез API се предоставят в обхвата, договорен в договора. Създава ли изкуственият интелект автоматично категории? Класификацията с AI зависи от модела и услугата, включени като опция в определения обхват на проекта; поддържа се стандартна класификация ръчно или чрез правила. Мога ли да продавам услугата на клиентите си? Да; можете да предлагате услугата под собствената си марка, като разходите за външни услуги и ограниченията на капацитета се прилагат отделно. Предоставя ли се изходният код? Не. Предоставя се лиценз за безсрочно ползване; изходният код и правата на интелектуална собственост остават собственост на KMKSOFT.

Идентификация на продукта

Продуктов код
Y11-002
Глобално име на продукта
Web Data Collection Platform
Основна категория
Анализ на данни и отчетност
Тип продукт
Единен, цялостен софтуер с White Label
Отрасли
Електронна търговия, търговия на дребно, финанси, медии, технологии
Обхват на лиценза
Една марка / една основна производствена инсталация; няма лицензионна такса на KMK за всеки краен клиент
Хостинг
KMKCloud или подходяща инфраструктура; таксува се отделно.
Стандартна техническа поддръжка
12 месеца

Стандартни функции

Управление на уеб източници
Записване на разрешени целеви URL адреси, домейни, типове данни, отговорни лица и бележки за достъпа.
Задачи за събиране
Еднократни или повтарящи се задачи за извличане на данни, свързани с източник и схема на данните.
Планиране и периодичност
Изпълнение на задачи през определени интервали и проследяване на състоянието на последното изпълнение.
Анализиране на HTML страници
Извличане на заглавия, връзки, цени, описания и структурирани полета от подходящи страници.
Странициране и проследяване на връзки
Събиране на данни от списъчни и подробни страници, доколкото правилата на източника го позволяват.
Свързване с API и потоци от данни
Възможност за използване на оторизирани API, RSS и подобни машинночетими източници.
Шаблони за съпоставяне на полета
Съпоставяне на данните от източника с целеви полета и типове данни.
Почистване на данни
Нормализиране на празни полета, правописни формати, дати, числа и валутни формати.
Контрол на дублиращи се записи
Маркиране или обединяване на повторения според полета и ключове за съпоставяне.
Проследяване на промени
Сравняване на разликите в цени, наличности, текст или записи с резултати от предишни събирания.
Правила за проверка на данни
Проверки за задължителни полета, очакван формат, диапазон на стойностите и съгласуваност.
Категоризиране и етикетиране
Класифициране на набори от данни по категория, тема, марка или зададени полета.
Търсене и разширени филтри
Филтриране на записи по източник, дата, състояние, категория и стойности на полета.
Преглед и редактиране на данни
Преглед на събраните записи в таблица и извършване на корекции от упълномощени лица.
Експортиране в CSV и Excel
Експортиране на данни във файлове за упълномощени потребители.
Предоставяне на данни чрез API
Прехвърляне на записи към външни приложения в рамките на обхвата и правилата за сигурност.
Опашка със задачи и проследяване на състоянието
Видимост на задачите, които предстоят, изпълняват се, приключили са или са с грешка.
Регистриране на грешки и повторни опити
Записване на изтичане на времето, промени във формата и проблеми с връзката; контролирани повторни опити.
Натоварване на източниците и ограничения за скорост
Изпращане на заявки с уважение към зададените ограничения за скорост и паралелност и подходящите интервали.
Известия и предупреждения
Уведомления за администратори при неуспешни задачи и значителни промени.
Разделяне на работни пространства
Разделяне на области с източници и данни по клиент, екип и проект.
Потребителски права и роли
Права за управление на източници, изпълнение на задачи, преглед на данни и експортиране.
История на операциите и одит
Записване на критични промени, потребителски действия и изпълнения на задачи.
Отчети за източници и качество на данните
Показатели за успеваемост, брой записи, типове грешки и пълнота на данните.
Персонализиране на марката
Настройки за лого, цветове, име на платформата, домейн и облик на интерфейса.
Политики за съхранение и изтриване
Определяне на срокове за съхранение и изтриване за всеки източник, клиент и набор от данни.

Модел на работа White Label

Право на безсрочно ползване на версията на софтуера за една марка и една основна производствена инсталация, определени в договора. Притежателят на лиценза може да обслужва неограничен брой крайни клиенти под собствената си марка; ограниченията на инфраструктурата и услугите на трети страни остават в сила. Изходният код и правата на интелектуална собственост остават собственост на KMKSOFT; прехвърлянето на кода не е включено в лиценза. Първоначалната инсталация, началната адаптация на марката, основното обучение и стандартната техническа поддръжка през първите 12 месеца са включени в обхвата, определен в договора. Хостингът, proxy/външните доставчици на данни, таксите за използване на API, съхранението и специалните интеграции могат да се таксуват отделно. Поддръжката, обслужването и актуализациите на версиите след първите 12 месеца се договарят отделно.

Техническа спецификация

Панел за управление и достъп
Уеб базиран адаптивен панел за управление; достъп според роли, сигурна сесия и запис на критични операции.
Слоеве за задачи и данни
Планировчик на задачи, опашка, връзки към източници, правила за анализиране и слоеве за съхранение на данни.
Ограничения за скорост и повторни опити
Ограничения за скорост на заявките и паралелност за всеки източник; отлагане и контролирани повторни опити при грешка.
Оценка на законосъобразността на използването
Оценка на използването съобразно robots.txt, условията за ползване, разрешенията за достъп, интелектуалната собственост и изискванията за защита на данните.
Източници, изискващи влизане
Връзка към източници, изискващи влизане, е възможна само чрез оторизиран потребителски профил и в съответствие с условията за използване на съответния източник.
Методи извън обхвата
Заобикалянето на CAPTCHA, мерките срещу ботове или контролите за достъп, както и неразрешеното събиране на лични данни, не са включени в стандартния обхват.
Промени в източниците
Промените в структурата на страниците на източника може да изискват поддръжка на правилата за анализиране; не се гарантират непрекъснати данни от всички сайтове.
Съхранение и изолиране на данни
Правилата за съхранение, архивиране, съхраняване на регистрационни файлове, изтриване и изолиране на данни се конфигурират съгласно договора.
Операции с помощта на изкуствен интелект
Извличането на полета или автоматичното категоризиране с помощта на AI се предоставят само ако са включени в обхвата на проекта и при използване на подходяща услуга за модел.
Капацитет и обем на работа
Честотата на събиране, броят на източниците, обемът на работа и ограниченията за записи се определят в договора въз основа на оценка на инфраструктурната осъществимост.

Този документ описва целевия стандартен обхват на продукта при продажба. Съвместимостта на източниците, законовите правомощия, видовете данни, обемът на работа, капацитетът, интеграциите и критериите за приемане се уточняват в офертата и окончателния договор; не се поема ангажимент за безусловен достъп до всеки източник.

Доставка и приемане

Панел и групи с права
Потвърждават се достъпът до панела за управление с марката и групите с права.
Тестове на задачи и планиране
Тества се създаването и планираното изпълнение на задачи с избрани в договора примерни източници, до които достъпът е разрешен.
Тестове за подготовка на данни
Демонстрират се съпоставяне на полета, почистване, проверка и контрол на дублиращи се записи за поне един примерен източник.
Тестове за промени, грешки и резултати
Откриването на промени, регистрирането на грешки, повторните опити, изходният файл и достъпът до API се проверяват в определени сценарии.
Разделяне на данни и одит
Проверяват се разделянето на данните между потребителите, правата за експортиране и одитният журнал.
Обучение и приемане
Приключват се основното обучение на потребителите, техническите бележки за използване и протоколът за приемане.
График за доставка
Точният брой източници, натоварването, сроковете и графикът за доставка се договарят в приложението към офертата/договора.

Лицензионни и търговски условия

Лицензионна такса
5 800 USD — еднократен лиценз за софтуера.
Вид на лиценза
Еднократно право за безсрочно ползване на версията за една марка и една основна инсталация.
Обхват на продукта
Функциите за събиране, почистване, проследяване на промени и експортиране на данни са част от един интегриран софтуер; не се продават като отделни модули.
Крайни клиенти
Притежателят на лиценза може да обслужва неограничен брой крайни клиенти под собствената си марка; KMKSOFT не начислява лицензионна такса за софтуера за всеки краен клиент. Разходите за инфраструктура и външни услуги, както и ограниченията на капацитета, се прилагат отделно.
Изходен код
Изходният код и правата на интелектуална собственост остават собственост на KMKSOFT; прехвърлянето на кода не е включено в лиценза.
Техническа поддръжка
През първите 12 месеца са включени първоначалната инсталация, началната адаптация на марката, основното обучение и стандартната техническа поддръжка. Поддръжката, обслужването и актуализациите на версиите след първите 12 месеца се договарят отделно.
Допълнителни разходи
Хостингът, съхранението на данни, proxy/външните доставчици на данни, таксите за използване на API, специалните интеграции и допълнителните разработки могат да се таксуват отделно.
График за доставка
Точният брой източници, натоварването и срокът за доставка се определят в офертата/договора след потвърждаване на достъпа до източниците и техническия обхват. Препоръчителен процес: Определяне на нуждите и целевите източници → оценка на правата за достъп и използване → уточняване на обхвата и сценариите за приемане → инсталация с White Label → конфигуриране на източниците и полетата с данни → тестване, обучение и доставка.

Доставка и съответствие

Този документ описва целевия стандартен обхват на продукта при продажба. Съвместимостта на източниците, законовите правомощия, видовете данни, обемът на работа, капацитетът, интеграциите и критериите за приемане се уточняват в офертата и окончателния договор; не се поема ангажимент за безусловен достъп до всеки източник.