Visão geral
As condições de concorrência, os preços, os catálogos de produtos, os feeds de notícias e as informações públicas do setor mudam continuamente. O acompanhamento manual consome tempo e pode resultar em registros incompletos. A Plataforma de Coleta de Dados da Web tem como objetivo reunir informações de fontes adequadas por meio de tarefas repetíveis e oferecer resultados consistentes às equipes de dados. As organizações podem definir endereços das fontes e regras de mapeamento de campos, estabelecer a frequência de coleta, monitorar os resultados das tarefas, eliminar registros duplicados e transferir os dados para seus sistemas analíticos ou operacionais. O uso deve respeitar as condições da fonte e a autorização legal; a plataforma não promete contornar restrições de acesso a sites nem coletar dados pessoais sem autorização. Proposta de valor: sistematize tarefas recorrentes de coleta de dados, acompanhe alterações e apoie os processos de tomada de decisão com dados atuais e rastreáveis. Principais vantagens • Plataforma única: fontes, tarefas de coleta, registros e resultados em um só painel. • Informações atualizadas: coleta programada e monitoramento de alterações para reduzir o trabalho de verificação manual. • Dados mais limpos: normalização de campos, validação e verificações de registros duplicados. • Uso flexível: cenários de comércio eletrônico, varejo, finanças, mídia e tecnologia. • White Label: ofereça serviços de coleta de dados com sua própria marca e domínio. Casos de uso por setor • Comércio eletrônico: conjuntos de dados adequados para comparar catálogos de produtos, alterações de preços e características de produtos de fontes permitidas. • Varejo: monitoramento de comunicados de lojas e campanhas, dados de catálogos públicos e tendências de mercado. • Finanças: compilação de taxas, comunicados e indicadores de mercado publicados em fontes de informação financeira licenciadas ou abertas. • Mídia: acompanhamento centralizado de RSS, publicações abertas, etiquetas de assunto e atualizações de conteúdo. • Tecnologia: monitoramento de versões de produtos, documentação técnica e notícias do setor disponíveis publicamente. Posicionamento do produto Y11-002 Plataforma de Coleta de Dados da Web concentra-se na obtenção legal de informações de fontes externas da web, na gestão de fontes e na preparação de dados. Y11-001 Plataforma de Business Intelligence e Dashboards visualiza dados; Y11-003 Software de Integração de Dados e ETL gerencia o fluxo e a transformação de dados entre sistemas; Y11-004 Software de Análise de Clientes e Vendas é especializado no desempenho de clientes e vendas. As funções de coleta, limpeza, monitoramento de alterações e exportação de dados do Y11-002 não são módulos vendidos separadamente. Perguntas frequentes É possível coletar dados de qualquer site? Não. São avaliadas a disponibilidade técnica da fonte, suas condições de uso e a autorização legal. É possível monitorar preços de concorrentes? O monitoramento pode ser configurado para dados definidos no contrato, em fontes cujo uso seja legal e para as quais haja autorização de acesso. Qual é a frequência das atualizações? Ela é definida de acordo com as condições da fonte, os limites de velocidade e a capacidade da instalação. É possível obter os dados em Excel ou por API? Sim. As exportações autorizadas e a transferência por API são oferecidas conforme o escopo acordado no contrato. A inteligência artificial cria categorias automaticamente? A classificação por IA depende do modelo e do serviço definidos no escopo opcional; a classificação manual ou baseada em regras é compatível. Posso vender serviços aos meus clientes? Sim. Você pode oferecer serviços com sua própria marca, sujeitos aos custos de serviços externos e aos limites de capacidade. O código-fonte é entregue? Não. É concedida uma licença de uso por prazo indeterminado; o código-fonte e os direitos de propriedade intelectual permanecem com a KMKSOFT.
Identidade do produto
- Código
- Y11-002
- Nome global
- Web Data Collection Platform
- Categoria principal
- Análise de dados e relatórios
- Tipo
- Software White Label único e integrado
- Setores
- Comércio eletrônico, varejo, finanças, mídia, tecnologia
- Escopo da licença
- Uma marca / uma instalação principal de produção; sem taxa de licença KMK por cliente final
- Hospedagem
- KMKCloud ou infraestrutura adequada; cobrada à parte.
- Suporte técnico
- 12 meses
Recursos padrão
- Gestão de fontes web
- Registre URLs de destino autorizadas, domínios, tipos de dados, responsáveis e observações de acesso.
- Tarefas de coleta
- Tarefas de coleta de dados pontuais ou recorrentes, vinculadas à fonte e ao esquema de dados.
- Agendamento e periodicidade
- Execute tarefas em intervalos definidos e acompanhe o status da execução mais recente.
- Análise de páginas HTML
- Extraia títulos, links, preços, descrições e campos estruturados de páginas adequadas.
- Paginação e acompanhamento de links
- Colete dados em páginas de listagem e de detalhes, quando permitido pelas regras da fonte.
- Conexões com API e feeds de dados
- Use APIs autorizadas, RSS e fontes semelhantes legíveis por máquina.
- Modelos de mapeamento de campos
- Mapeie os dados da fonte para os campos de destino e seus tipos de dados.
- Limpeza de dados
- Normalize campos vazios e formatos de escrita, data, número e moeda.
- Verificação de registros duplicados
- Sinalize ou combine duplicatas de acordo com os campos e as chaves de correspondência.
- Monitoramento de alterações
- Compare resultados de coletas anteriores para identificar diferenças de preço, estoque, texto ou registro.
- Regras de validação de dados
- Verifique campos obrigatórios, formatos esperados, intervalos de valores e consistência.
- Categorização e etiquetagem
- Classifique conjuntos de dados por categoria, assunto, marca ou campos definidos.
- Pesquisa e filtros avançados
- Filtre registros por fonte, data, status, categoria e valores de campos.
- Pré-visualização e edição de dados
- Examine os registros coletados em uma tabela e faça correções autorizadas.
- Exportações CSV e Excel
- Exporte dados em arquivos para usuários autorizados.
- Disponibilização de dados por API
- Transfira registros para aplicativos externos, conforme o escopo e as regras de segurança.
- Fila de tarefas e acompanhamento de status
- Visualize tarefas pendentes, em execução, concluídas e com erro.
- Registros de erros e novas tentativas
- Registre tempos limite, alterações de formato e problemas de conexão; faça novas tentativas controladas.
- Carga das fontes e limites de velocidade
- Faça requisições respeitando limites de velocidade definidos, concorrência e intervalos adequados.
- Notificações e alertas
- Notifique administradores sobre falhas em tarefas e alterações importantes.
- Separação de espaços de trabalho
- Separe fontes e áreas de dados por cliente, equipe e projeto.
- Permissões de usuário e função
- Defina permissões para gerenciar fontes, executar tarefas, visualizar dados e exportá-los.
- Histórico de atividades e auditoria
- Registre alterações críticas, ações de usuários e execuções de tarefas.
- Relatórios de fontes e qualidade de dados
- Meça taxa de sucesso, número de registros, tipos de erro e preenchimento dos dados.
- Personalização da marca
- Configure logotipo, cores, nome da plataforma, domínio e aparência da interface.
- Políticas de retenção e exclusão
- Defina períodos de retenção e exclusão por fonte, cliente e conjunto de dados.
Modelo White Label
Direito de uso por prazo indeterminado da versão do software para uma única marca e uma única instalação principal de produção, conforme definido no contrato. O licenciado pode prestar serviços sob sua própria marca a um número ilimitado de clientes finais; aplicam-se os limites de infraestrutura e de serviços de terceiros. O código-fonte e os direitos de propriedade intelectual permanecem com a KMKSOFT; a transferência do código não está incluída na licença. A instalação inicial, a adaptação inicial da marca, o treinamento básico e os primeiros 12 meses de suporte técnico padrão estão incluídos no escopo definido no contrato. Hospedagem, proxy, provedores de dados externos, uso de API, armazenamento e integrações personalizadas podem ser cobrados à parte. Após os primeiros 12 meses, manutenção, suporte e atualizações de versão serão objeto de acordo separado.
Especificações técnicas
- Painel de administração e acesso
- Painel de administração web responsivo para dispositivos móveis, com acesso baseado em funções, sessão segura e registro de operações críticas.
- Camadas de tarefas e dados
- Camadas de agendamento de tarefas, filas, conexões com fontes, regras de análise e armazenamento de dados.
- Limites de velocidade e novas tentativas
- Limites de velocidade de requisições e concorrência por fonte; recuo e novas tentativas controladas em caso de erro.
- Avaliação de uso legal
- Avalie o uso conforme robots.txt, termos de serviço, permissões de acesso, propriedade intelectual e requisitos de proteção de dados.
- Fontes que exigem login
- Fontes que exigem login podem ser conectadas somente com uma conta de usuário autorizada e de acordo com as condições de uso da fonte.
- Métodos fora do escopo
- Contornar CAPTCHA, medidas anti-bot ou controles de acesso, bem como coletar dados pessoais sem autorização, não faz parte do escopo padrão.
- Alterações nas fontes
- Mudanças na estrutura das páginas de uma fonte podem exigir manutenção das regras de análise; não há garantia de dados ininterruptos para todos os sites.
- Armazenamento e isolamento de dados
- As regras de armazenamento, backup, retenção de logs, exclusão e isolamento de dados são configuradas conforme o contrato.
- Processos assistidos por inteligência artificial
- A extração de campos ou a categorização automática assistida por IA só será oferecida se incluída no escopo do projeto e com um serviço de modelo adequado.
- Capacidade e volume de trabalho
- A frequência de coleta, o número de fontes, o volume de trabalho e o limite de registros serão definidos no contrato conforme a viabilidade da infraestrutura.
Este documento define o escopo padrão de venda previsto para o produto. A compatibilidade das fontes, a autorização legal, os tipos de dados, o volume de trabalho, a capacidade, as integrações e os critérios de aceitação serão confirmados na proposta e no contrato final; não se promete acesso irrestrito a todas as fontes.
Entrega e aceitação
- Painel e grupos de permissões
- O acesso ao painel de administração com a marca e os grupos de permissões serão verificados.
- Testes de tarefas e agendamento
- A criação de tarefas e sua execução programada serão testadas com fontes de exemplo selecionadas no contrato, com acesso autorizado.
- Testes de preparação de dados
- O mapeamento de campos, a limpeza, a validação e a verificação de registros duplicados serão demonstrados em pelo menos uma fonte de exemplo.
- Testes de alterações, erros e resultados
- A detecção de alterações, o registro de erros, as novas tentativas, o arquivo de saída e o acesso à API serão verificados em cenários definidos.
- Separação de dados e auditoria
- Serão verificadas a separação de dados entre usuários, as permissões de exportação e os registros de auditoria.
- Treinamento e aceitação
- O treinamento básico de usuários, as notas técnicas de uso e o termo de aceitação serão concluídos.
- Cronograma de entrega
- O número definitivo de fontes, a carga de trabalho, os prazos e o cronograma de entrega serão acordados no anexo da proposta ou do contrato.
Condições comerciais
- Preço da licença
- 5.800 USD — licença de software paga uma única vez.
- Natureza da licença
- Direito de uso por prazo indeterminado da versão, pago uma única vez, para uma marca e uma instalação principal.
- Escopo do produto
- As funções de coleta, limpeza, monitoramento de alterações e exportação de dados fazem parte de um único software integrado; não são módulos vendidos separadamente.
- Clientes finais
- O licenciado pode prestar serviços sob sua própria marca a um número ilimitado de clientes finais; a KMKSOFT não cobra taxa de licença de software por cliente final. Aplicam-se à parte os custos de infraestrutura e de serviços externos, bem como os limites de capacidade.
- Código-fonte
- O código-fonte e os direitos de propriedade intelectual permanecem com a KMKSOFT; a transferência do código não está incluída na licença.
- Suporte técnico
- Os primeiros 12 meses incluem a instalação inicial, a adaptação inicial da marca, o treinamento básico e o suporte técnico padrão. Após os primeiros 12 meses, manutenção, suporte e atualizações de versão serão objeto de acordo separado.
- Custos adicionais
- Hospedagem, armazenamento de dados, proxy, provedores de dados externos, tarifas de uso de API, integrações personalizadas e desenvolvimento adicional podem ser cobrados à parte.
- Cronograma de entrega
- O número definitivo de fontes, a carga de trabalho e o prazo de entrega serão definidos na proposta ou no contrato após a confirmação do acesso às fontes e do escopo técnico. Processo recomendado: definição das necessidades e das fontes desejadas → avaliação do acesso e dos direitos de uso → definição do escopo e dos cenários de aceitação → instalação White Label → configuração das fontes e dos campos de dados → testes, treinamento e entrega.
Entrega e conformidade
Este documento define o escopo padrão de venda previsto para o produto. A compatibilidade das fontes, a autorização legal, os tipos de dados, o volume de trabalho, a capacidade, as integrações e os critérios de aceitação serão confirmados na proposta e no contrato final; não se promete acesso irrestrito a todas as fontes. Os recursos descritos representam o escopo de entrega previsto; fontes, capacidade, integrações e aceitação serão confirmadas no contrato final. Nenhum resultado comercial é garantido.