Обзор
Условия конкуренции, цены, каталоги товаров, новостные ленты и общедоступная отраслевая информация постоянно меняются. Ручной мониторинг отнимает время и может приводить к неполным данным. Платформа сбора веб-данных предназначена для сбора информации из подходящих источников посредством повторяемых задач и предоставления специалистам по данным согласованных результатов. Организации могут задавать адреса источников и правила сопоставления полей, определять периодичность сбора, отслеживать результаты задач, удалять дубликаты и передавать результаты в аналитические или операционные системы. Использование должно соответствовать условиям источников и требованиям законодательства; платформа не обещает обход ограничений доступа к сайтам или сбор персональных данных без разрешения. Ценностное предложение: систематизируйте повторяющиеся задачи по сбору данных, отслеживайте изменения и поддерживайте принятие решений актуальными данными с возможностью их проверки. Ключевые преимущества • Единая платформа: источники, задачи сбора, записи и результаты в одной панели. • Актуальная информация: плановый сбор данных и отслеживание изменений помогают сократить объём ручного контроля. • Более чистые данные: нормализация полей, проверка и контроль дубликатов. • Гибкое применение: сценарии для электронной коммерции, розничной торговли, финансов, СМИ и технологий. • White Label: предоставление услуг по сбору данных под собственным брендом и доменным именем. Отраслевые сценарии использования • Электронная коммерция: наборы данных, подходящие для сравнения разрешённых каталогов товаров, изменений цен и характеристик товаров. • Розничная торговля: мониторинг объявлений о филиалах и рекламных акциях, открытых данных каталогов и рыночных тенденций. • Финансы: сбор публикуемых ставок, объявлений и рыночных индикаторов из лицензированных или открытых источников финансовой информации. • СМИ: централизованный мониторинг RSS, открытых публикаций, тематических меток и обновлений контента. • Технологии: мониторинг общедоступных сведений о версиях продуктов, технической документации и отраслевых новостях. Позиционирование продукта Y11-002 Платформа сбора веб-данных предназначена для законного получения информации из внешних веб-источников, управления источниками и подготовки данных. Y11-001 Платформа бизнес-аналитики и панелей мониторинга визуализирует данные; Y11-003 Программное обеспечение для интеграции данных и ETL управляет потоками и преобразованием данных между системами; Y11-004 Программное обеспечение для аналитики клиентов и продаж специализируется на клиентах и показателях продаж. Функции сбора данных, очистки, отслеживания изменений и экспорта в Y11-002 не продаются как отдельные модули. Часто задаваемые вопросы Можно ли собирать данные с любого веб-сайта? Нет. Оцениваются техническая доступность источника, условия использования и наличие законных оснований. Можно ли отслеживать цены конкурентов? Мониторинг данных, определённых договором, можно настроить для источников, использование которых законно и доступ к которым разрешён. Какова периодичность обновления? Она определяется с учётом условий источника, ограничений частоты запросов и мощности установки. Можно ли получать данные в Excel или через API? Да, разрешённый экспорт и передача через API предоставляются в объёме, согласованном в договоре. Создаёт ли искусственный интеллект категории автоматически? Классификация с помощью ИИ зависит от модели и сервиса, включённых в проект; поддерживается стандартная ручная классификация и классификация на основе правил. Могу ли я продавать услуги своим клиентам? Да, вы можете предлагать услуги под собственным брендом; при этом действуют отдельные расходы на внешние сервисы и ограничения по мощности. Предоставляется ли исходный код? Нет. Предоставляется лицензия на бессрочное использование; исходный код и права интеллектуальной собственности остаются у KMKSOFT.
Идентификация продукта
- Код продукта
- Y11-002
- Глобальное название продукта
- Web Data Collection Platform
- Основная категория
- Анализ данных и отчётность
- Тип продукта
- Единое комплексное программное обеспечение White Label
- Отрасли
- Электронная коммерция, розничная торговля, финансы, СМИ, технологии
- Область действия лицензии
- Один бренд / одна основная производственная установка; плата KMK за лицензию на каждого конечного клиента не взимается
- Хостинг
- KMKCloud или подходящая инфраструктура; оплачивается отдельно.
- Стандартная техническая поддержка
- 12 мес.
Стандартные функции
- Управление веб-источниками
- Сохранение разрешённых целевых URL, доменов, типов данных, ответственных лиц и примечаний о доступе.
- Задачи сбора данных
- Разовые или повторяющиеся задачи получения данных, связанные с источником и схемой данных.
- Планирование и периодичность
- Запуск задач с заданными интервалами и отслеживание статуса последнего запуска.
- Разбор HTML-страниц
- Извлечение заголовков, ссылок, цен, описаний и структурированных полей с подходящих страниц.
- Пагинация и отслеживание ссылок
- Сбор данных со страниц списков и подробных страниц в соответствии с правилами источника.
- Подключение API и потоков данных
- Использование авторизованных API, RSS и других машиночитаемых источников.
- Шаблоны сопоставления полей
- Сопоставление данных источника с целевыми полями и типами данных.
- Очистка данных
- Нормализация пустых полей, написания, дат, чисел и форматов валют.
- Контроль дубликатов
- Обнаружение или объединение повторов на основе полей и ключей сопоставления.
- Отслеживание изменений
- Сравнение с результатами предыдущего сбора: цен, наличия, текста или записей.
- Правила проверки данных
- Проверка обязательных полей, ожидаемого формата, диапазона значений и согласованности.
- Категоризация и маркировка
- Классификация наборов данных по категориям, темам, брендам или заданным полям.
- Поиск и расширенные фильтры
- Фильтрация записей по источнику, дате, статусу, категории и значениям полей.
- Предварительный просмотр и редактирование данных
- Просмотр собранных записей в таблице и внесение исправлений уполномоченными пользователями.
- Экспорт в CSV и Excel
- Экспорт данных в файлы для авторизованных пользователей.
- Предоставление данных через API
- Передача записей во внешние приложения в рамках согласованного объёма и правил безопасности.
- Очередь задач и отслеживание статуса
- Отображение ожидающих, выполняющихся, завершённых и завершившихся ошибкой задач.
- Журналы ошибок и повторные попытки
- Регистрация тайм-аутов, изменений формата и проблем подключения; контролируемый повторный запуск.
- Нагрузка на источник и ограничения скорости
- Выполнение запросов с соблюдением заданной частоты, параллельности и допустимых интервалов.
- Уведомления и предупреждения
- Уведомления администраторов о сбоях задач и значимых изменениях.
- Разделение рабочих пространств
- Разделение источников и областей данных по клиентам, командам и проектам.
- Права пользователей и роли
- Права на управление источниками, запуск задач, просмотр данных и экспорт.
- История операций и аудит
- Регистрация критических изменений, действий пользователей и запусков задач.
- Отчёты об источниках и качестве данных
- Показатели успешности, количества записей, типов ошибок и заполненности данных.
- Настройка бренда
- Настройка логотипа, цветов, названия платформы, доменного имени и внешнего вида интерфейса.
- Политики хранения и удаления
- Определение сроков хранения и удаления для источников, клиентов и наборов данных.
Модель работы White Label
Право на бессрочное использование версии программного обеспечения для одного бренда и одной основной производственной установки, определённых договором. Лицензиат может обслуживать неограниченное число конечных клиентов под собственным брендом; ограничения инфраструктуры и сторонних сервисов сохраняются. Исходный код и права интеллектуальной собственности остаются у KMKSOFT; передача кода не входит в лицензию. Первоначальная установка, начальная адаптация бренда, базовое обучение и стандартная техническая поддержка в течение первых 12 месяцев включены в объёме, установленном договором. Хостинг, прокси и внешние поставщики данных, плата за использование API, хранение данных и специальные интеграции могут оплачиваться отдельно. После первых 12 месяцев обслуживание, поддержка и обновления версий согласовываются отдельно.
Технические характеристики
- Панель управления и доступ
- Веб-панель управления с адаптацией для мобильных устройств; ролевой доступ, защищённая сессия и журнал критических операций.
- Слои задач и данных
- Планировщик задач, очередь, подключения к источникам, правила разбора и уровни хранения данных.
- Ограничения скорости и повторные попытки
- Ограничения частоты запросов и параллельности для каждого источника; задержка и контролируемые повторные попытки при ошибках.
- Оценка законности использования
- Оценка использования с учётом robots.txt, условий обслуживания, разрешений доступа, интеллектуальной собственности и требований защиты данных.
- Источники, требующие входа
- Подключение к источникам, требующим входа, возможно только с учётной записью уполномоченного пользователя и с соблюдением условий использования соответствующего источника.
- Методы вне объёма
- Обход CAPTCHA, антибот-защиты или средств контроля доступа, а также сбор персональных данных без разрешения не входят в стандартный объём.
- Изменения источников
- Изменения структуры страниц источника могут потребовать обслуживания правил разбора; бесперебойный сбор данных со всех сайтов не гарантируется.
- Хранение и изоляция данных
- Правила хранения, резервного копирования, хранения журналов, удаления и изоляции данных настраиваются согласно договору.
- Операции с поддержкой искусственного интеллекта
- Извлечение полей или автоматическая категоризация с поддержкой ИИ предоставляются только при включении в проект и наличии подходящего сервиса модели.
- Мощность и объём работ
- Периодичность сбора, число источников, объём работ и лимит записей определяются в договоре с учётом оценки инфраструктуры.
Этот документ описывает целевой стандартный объём поставки продукта. Совместимость источников, законные основания, типы данных, объём работ, мощность, интеграции и критерии приёмки окончательно согласовываются в предложении и итоговом договоре; безусловный доступ к каждому источнику не гарантируется.
Поставка и приёмка
- Панель и группы доступа
- Проверяются доступ к панели управления с фирменным оформлением и группы разрешений.
- Проверка задач и планирования
- Создание задач и их запуск по расписанию проверяются на выбранных договором примерных источниках с разрешённым доступом.
- Проверка подготовки данных
- На примере как минимум одного источника демонстрируются сопоставление полей, очистка, проверка и контроль дубликатов.
- Проверка изменений, ошибок и результатов
- Обнаружение изменений, журналирование ошибок, повторные попытки, файл экспорта и доступ к API проверяются по заданным сценариям.
- Разделение данных и аудит
- Проверяются разделение данных пользователей, права на экспорт и журнал аудита.
- Обучение и приёмка
- Проводится базовое обучение пользователей, предоставляются технические инструкции и оформляется акт приёмки.
- График поставки
- Точное число источников, объём работ, сроки и график поставки согласовываются в приложении к предложению или договору.
Лицензионные и коммерческие условия
- Стоимость лицензии
- 5 800 USD — разовая лицензия на программное обеспечение.
- Тип лицензии
- Разовое право на бессрочное использование версии для одного бренда и одной основной установки.
- Объём продукта
- Функции сбора данных, очистки, отслеживания изменений и экспорта являются частью единого программного обеспечения и не продаются как отдельные модули.
- Конечные клиенты
- Лицензиат может обслуживать неограниченное число конечных клиентов под собственным брендом; KMKSOFT не взимает плату за программную лицензию на каждого конечного клиента. При этом действуют отдельные расходы на инфраструктуру и внешние сервисы, а также ограничения по мощности.
- Исходный код
- Исходный код и права интеллектуальной собственности остаются у KMKSOFT; передача кода не входит в лицензию.
- Техническая поддержка
- В течение первых 12 месяцев включены первоначальная установка, начальная адаптация бренда, базовое обучение и стандартная техническая поддержка. После первых 12 месяцев обслуживание, поддержка и обновления версий согласовываются отдельно.
- Дополнительные расходы
- Хостинг, хранение данных, прокси и внешние поставщики данных, плата за использование API, специальные интеграции и дополнительные разработки могут оплачиваться отдельно.
- График поставки
- Точное число источников, объём работ и срок поставки определяются в предложении или договоре после проверки доступности источников и технического объёма. Рекомендуемый процесс: определение потребностей и целевых источников → оценка доступа и прав использования → уточнение объёма и сценариев приёмки → установка White Label → настройка источников и полей данных → тестирование, обучение и передача.
Поставка и соответствие требованиям
Этот документ описывает целевой стандартный объём поставки продукта. Совместимость источников, законные основания, типы данных, объём работ, мощность, интеграции и критерии приёмки окончательно согласовываются в предложении и итоговом договоре; безусловный доступ к каждому источнику не гарантируется.