Présentation
Les conditions concurrentielles, les prix, les catalogues de produits, les flux d’actualités et les informations sectorielles publiques évoluent en permanence. Le suivi manuel prend du temps et peut entraîner des données manquantes. La Plateforme de collecte de données web vise à réunir des informations provenant de sources appropriées au moyen de tâches reproductibles et à fournir des résultats cohérents aux équipes data. Les organisations peuvent définir les URL des sources et les règles de correspondance des champs, déterminer la fréquence de collecte, suivre les résultats des tâches, éliminer les doublons et transférer les résultats vers leurs systèmes analytiques ou opérationnels. L’utilisation doit respecter les conditions des sources et les autorisations légales ; la plateforme ne promet ni de contourner les restrictions d’accès des sites ni de collecter des données personnelles sans autorisation. Proposition de valeur : systématisez les tâches répétitives de collecte de données, soyez informé des changements et appuyez vos décisions sur des données récentes et traçables. Principaux avantages • Une plateforme unique : sources, tâches de collecte, enregistrements et résultats réunis dans un seul tableau de bord. • Des informations à jour : réduction du suivi manuel grâce à la collecte planifiée et au suivi des changements. • Des données plus propres : normalisation des champs, validation et contrôle des doublons. • Une utilisation flexible : scénarios dans le commerce électronique, la distribution, la finance, les médias et la technologie. • White Label : proposez des services de collecte de données sous votre propre marque et nom de domaine. Cas d’usage sectoriels • Commerce électronique : jeux de données adaptés à la comparaison de catalogues de produits autorisés, de variations de prix et de caractéristiques des produits. • Distribution : suivi des annonces de magasins et de campagnes, des données de catalogues ouverts et des tendances du marché. • Finance : compilation des taux, annonces et indicateurs de marché publiés par des sources d’informations financières ouvertes ou sous licence. • Médias : suivi centralisé des flux RSS, publications ouvertes, mots-clés thématiques et mises à jour de contenu. • Technologie : suivi des versions de produits accessibles au public, de la documentation technique et de l’actualité sectorielle. Positionnement du produit Y11-002 Plateforme de collecte de données web se concentre sur l’obtention légale d’informations depuis des sources web externes, la gestion des sources et la préparation des données. Y11-001 Plateforme de veille stratégique et de tableaux de bord visualise les données ; Y11-003 Logiciel d’intégration de données et ETL gère les flux et les transformations de données entre systèmes ; Y11-004 Logiciel d’analyse des clients et des ventes est spécialisé dans l’analyse des clients et des performances commerciales. Les fonctions de collecte, de nettoyage, de suivi des changements et d’exportation des données de Y11-002 ne sont pas vendues comme des modules distincts. Questions fréquentes Peut-on collecter des données sur tous les sites web ? Non. L’accessibilité technique de la source, ses conditions d’utilisation et les autorisations légales sont évaluées. Peut-on suivre les prix des concurrents ? Le suivi peut être configuré pour les données définies dans le contrat et provenant de sources utilisées légalement et accessibles avec autorisation. Quelle est la fréquence des mises à jour ? Elle est déterminée en fonction des conditions de la source, des limites de débit et de la capacité de l’installation. Les données peuvent-elles être récupérées en Excel ou via une API ? Oui, les exports autorisés et le transfert par API sont fournis dans le périmètre convenu au contrat. L’IA crée-t-elle automatiquement les catégories ? La classification par IA dépend du modèle et du service définis en option dans le périmètre du projet ; la classification manuelle ou basée sur des règles est prise en charge. Puis-je vendre ce service à mes clients ? Oui ; vous pouvez proposer le service sous votre propre marque, sous réserve des coûts des services externes et des limites de capacité. Le code source est-il livré ? Non. Une licence d’utilisation perpétuelle est accordée ; le code source et les droits de propriété intellectuelle restent la propriété de KMKSOFT.
Identité du produit
- Code produit
- Y11-002
- Nom international
- Web Data Collection Platform
- Catégorie principale
- Analyse de données et reporting
- Type de produit
- Logiciel White Label unique et intégré
- Secteurs
- Commerce électronique, distribution, finance, médias, technologie
- Portée de la licence
- Une marque / une installation principale de production ; aucuns frais de licence KMK par client final
- Hébergement
- KMKCloud ou infrastructure adaptée ; facturation séparée.
- Support technique
- 12 mois
Fonctionnalités
- Gestion des sources web
- Enregistrement des URL cibles autorisées, domaines, types de données, responsables et notes d’accès.
- Tâches de collecte
- Tâches de collecte de données ponctuelles ou récurrentes, liées à une source et à un schéma de données.
- Planification et périodicité
- Exécution des tâches à intervalles définis et suivi de leur dernier état d’exécution.
- Analyse des pages HTML
- Extraction des titres, liens, prix, descriptions et champs structurés depuis des pages adaptées.
- Pagination et suivi des liens
- Collecte de données sur les pages de liste et de détail autorisées par les règles de la source.
- Connexions aux API et aux flux de données
- Utilisation d’API autorisées, de flux RSS et d’autres sources lisibles par machine similaires.
- Modèles de correspondance des champs
- Correspondance des données sources avec les champs cibles et les types de données.
- Nettoyage des données
- Normalisation des champs vides, de l’orthographe, des formats de date, de nombre et de devise.
- Contrôle des doublons
- Signalement ou fusion des doublons selon les champs et les clés de correspondance.
- Suivi des changements
- Comparaison des résultats de collecte avec les précédents pour détecter les écarts de prix, de stock, de texte ou d’enregistrements.
- Règles de validation des données
- Contrôles des champs obligatoires, formats attendus, plages de valeurs et cohérence.
- Catégorisation et étiquetage
- Classement des jeux de données par catégorie, sujet, marque ou champs définis.
- Recherche et filtres avancés
- Filtrage des enregistrements par source, date, état, catégorie et valeurs de champs.
- Prévisualisation et modification des données
- Consultation des enregistrements collectés dans un tableau et corrections par les utilisateurs autorisés.
- Exports CSV et Excel
- Exportation des données sous forme de fichiers pour les utilisateurs autorisés.
- Mise à disposition des données par API
- Transfert des enregistrements vers des applications externes, conformément au périmètre et aux règles de sécurité.
- File d’attente et suivi des tâches
- Visibilité sur les tâches en attente, en cours, terminées et en échec.
- Journaux d’erreurs et nouvelles tentatives
- Enregistrement des délais d’attente dépassés, changements de format et problèmes de connexion ; nouvelles tentatives contrôlées.
- Charge des sources et limites de débit
- Envoi de requêtes respectueuses des limites de débit et de concurrence définies, ainsi que des intervalles appropriés.
- Notifications et alertes
- Notifications aux administrateurs en cas d’échec d’une tâche ou de changement important.
- Séparation des espaces de travail
- Séparation des sources et des espaces de données par client, équipe et projet.
- Autorisations des utilisateurs et des rôles
- Autorisations de gestion des sources, d’exécution des tâches, de consultation des données et d’exportation.
- Historique des opérations et audit
- Enregistrement des changements importants, des opérations des utilisateurs et des exécutions de tâches.
- Rapports sur les sources et la qualité des données
- Mesures du taux de réussite, du nombre d’enregistrements, des types d’erreurs et du taux de complétude des données.
- Personnalisation de la marque
- Paramètres du logo, des couleurs, du nom de la plateforme, du nom de domaine et de l’apparence de l’interface.
- Politiques de conservation et de suppression
- Définition des durées de conservation et de suppression pour chaque source, client et jeu de données.
Modèle White Label
Droit d’utilisation perpétuelle de la version du logiciel pour une seule marque et une seule installation principale de production, telles que définies au contrat. Le titulaire de la licence peut fournir des services à un nombre illimité de clients finaux sous sa propre marque ; les limites liées à l’infrastructure et aux services tiers restent applicables. Le code source et les droits de propriété intellectuelle restent la propriété de KMKSOFT ; la cession du code n’est pas comprise dans la licence. La première installation, l’adaptation initiale de la marque, la formation de base et les 12 premiers mois d’assistance technique standard sont inclus dans le périmètre défini au contrat. L’hébergement, les proxys/fournisseurs de données externes, les frais d’utilisation des API, le stockage et les intégrations spécifiques peuvent être facturés séparément. Après les 12 premiers mois, la maintenance, l’assistance et les mises à jour de version font l’objet d’un accord distinct.
Spécifications techniques
- Panneau d’administration et accès
- Panneau d’administration web adaptatif aux mobiles ; accès par rôle, session sécurisée et journalisation des opérations importantes.
- Couches de tâches et de données
- Planificateur de tâches, file d’attente, connexions aux sources, règles d’analyse et couches de stockage des données.
- Limites de débit et nouvelles tentatives
- Limites de débit des requêtes et de concurrence par source ; temporisation exponentielle et nouvelles tentatives contrôlées en cas d’erreur.
- Évaluation de l’utilisation légale
- Évaluation de l’utilisation au regard de robots.txt, des conditions d’utilisation, des autorisations d’accès, de la propriété intellectuelle et des règles de protection des données.
- Sources nécessitant une connexion
- Les sources nécessitant une connexion peuvent être accessibles uniquement avec un compte utilisateur autorisé et dans le respect des conditions d’utilisation de la source concernée.
- Méthodes exclues du périmètre
- Le contournement des CAPTCHA, des mesures anti-bot ou des contrôles d’accès, ainsi que la collecte non autorisée de données personnelles, ne font pas partie du périmètre standard.
- Évolutions des sources
- Les changements de structure des pages sources peuvent nécessiter la maintenance des règles d’analyse ; aucune garantie de collecte ininterrompue n’est donnée pour tous les sites.
- Stockage et isolation des données
- Les règles de stockage, de sauvegarde, de conservation des journaux, de suppression et d’isolation des données sont configurées conformément au contrat.
- Traitements assistés par l’IA
- L’extraction de champs ou la catégorisation automatique assistées par l’IA ne sont fournies que si elles sont incluses dans le périmètre du projet et avec un service de modèle adapté.
- Capacité et volume de traitement
- La fréquence de collecte, le nombre de sources, le volume de traitement et les limites d’enregistrements sont définis au contrat en fonction de l’évaluation de l’infrastructure.
Ce document décrit le périmètre standard visé pour la commercialisation du produit. La compatibilité des sources, les autorisations légales, les types de données, le volume de travail, la capacité, les intégrations et les critères d’acceptation sont arrêtés dans l’offre et le contrat définitif ; aucun accès inconditionnel à toutes les sources n’est promis.
Livraison et réception
- Panneau et groupes d’autorisations
- L’accès au panneau d’administration personnalisé et les groupes d’autorisations sont vérifiés.
- Tests des tâches et de la planification
- La création et l’exécution planifiée de tâches sont testées avec des sources représentatives sélectionnées dans le contrat, accessibles avec autorisation.
- Tests de préparation des données
- La correspondance des champs, le nettoyage, la validation et le contrôle des doublons sont présentés pour au moins une source représentative.
- Tests des changements, erreurs et exports
- La détection des changements, la journalisation des erreurs, les nouvelles tentatives, les fichiers d’exportation et l’accès à l’API sont vérifiés dans les scénarios définis.
- Séparation des données et audit
- La séparation des données entre utilisateurs, les autorisations d’exportation et les journaux d’audit sont vérifiés.
- Formation et acceptation
- La formation de base des utilisateurs, les notes d’utilisation technique et le procès-verbal d’acceptation sont finalisés.
- Calendrier de livraison
- Le nombre définitif de sources, la charge de travail, la durée et le calendrier de livraison sont convenus dans l’offre/l’annexe au contrat.
Conditions commerciales
- Prix de la licence
- 5 800 USD — licence logicielle à paiement unique.
- Nature de la licence
- Droit d’utilisation perpétuelle de la version, à paiement unique, pour une marque et une installation principale.
- Périmètre du produit
- Les fonctions de collecte, de nettoyage, de suivi des changements et d’exportation des données font partie d’un logiciel intégré unique ; elles ne sont pas vendues comme des modules distincts.
- Clients finaux
- Le titulaire de la licence peut fournir des services à un nombre illimité de clients finaux sous sa propre marque ; KMKSOFT ne facture pas de licence logicielle par client final. Les coûts d’infrastructure et de services externes ainsi que les limites de capacité restent applicables.
- Code source
- Le code source et les droits de propriété intellectuelle restent la propriété de KMKSOFT ; la cession du code n’est pas comprise dans la licence.
- Assistance technique
- La première installation, l’adaptation initiale de la marque, la formation de base et l’assistance technique standard sont incluses pendant les 12 premiers mois. Après les 12 premiers mois, la maintenance, l’assistance et les mises à jour de version font l’objet d’un accord distinct.
- Frais supplémentaires
- L’hébergement, le stockage des données, les proxys/fournisseurs de données externes, les frais d’utilisation des API, les intégrations spécifiques et les développements supplémentaires peuvent être facturés séparément.
- Calendrier de livraison
- Le nombre définitif de sources, la charge de travail et le délai de livraison sont définis dans l’offre/le contrat après vérification de l’accès aux sources et du périmètre technique. Processus proposé : définition des besoins et des sources cibles → évaluation des droits d’accès et d’utilisation → clarification du périmètre et des scénarios d’acceptation → installation White Label → configuration des sources et des champs de données → tests, formation et livraison.
Délais et conformité
Ce document décrit le périmètre standard visé pour la commercialisation du produit. La compatibilité des sources, les autorisations légales, les types de données, le volume de travail, la capacité, les intégrations et les critères d’acceptation sont arrêtés dans l’offre et le contrat définitif ; aucun accès inconditionnel à toutes les sources n’est promis.