Colete dados públicos com responsabilidade
Infraestrutura para coleta de dados autorizada, extração estruturada e processamento agendado.
Conteúdo revisado · Português (BR)
- Arquitetura a avaliar
- HTTP direto / automação de navegador
- Pontos de partida preparados
- 5 planos
- Responsabilidades
- Aplicação, direitos e recuperação
Uma lista final adequada, não software instalado ou inventário ativo.
Mantenha estes em vista.
- HTTP direto / automação de navegador.
- Permissão e restrição são controles separados.
- Mantenha um registro de coleta reproduzível.
HTTP direto / automação de navegador
Requisições diretas podem ser mais leves que um navegador quando os dados públicos permitidos estão disponíveis sem JavaScript. Playwright e Puppeteer iniciam processos de navegador que precisam de um orçamento de concorrência e memória. Use uma fila limitada, cache e backoff; uma contagem ilimitada de workers pode sobrecarregar tanto seu servidor quanto o alvo.
Permissão e restrição são controles separados
Revise robots.txt, os termos do alvo, permissões de acesso e obrigações de dados pessoais. Estes não são intercambiáveis e nenhuma jurisdição de servidor torna toda coleta lícita. Não contorne a autenticação nem trate um CAPTCHA como autorização para escalar a coleta.
Mantenha um registro de coleta reproduzível
Registre a fonte permitida, o cronograma, a política de repetição, o esquema e os requisitos de exclusão. Endereços de data center podem ter taxa limitada; nenhum endereço residencial ou serviço de resolução de CAPTCHA está incluído aqui. Qualquer regra futura de substituição de IP deve ser acordada e não pode ser usada para evadir reputação ou restrições de acesso.
Permissão antes da escala
Revise os termos de acesso à fonte, direitos sobre os dados, diretivas de robots e regras aplicáveis. Use APIs publicados quando disponíveis e evite coletar informações pessoais além do seu propósito legítimo.
Projete para a contenção
Controle a concorrência, respeite os limites de taxa e tente novamente com backoff. Separe a aquisição da análise e do armazenamento para que uma indisponibilidade de destino não cause uma rajada de solicitações repetidas.
Mantenha um registro útil
Registre resultados de jobs, categorias de erro e timestamps de origem enquanto limita payloads sensíveis. Armazene proveniência suficiente para reproduzir o conjunto de dados e remova informações que você não precisa mais.
Capacidade a considerar.
Combine estes pontos de partida com a aplicação representativa. A instalação de software e o inventário ativo não estão conectados; a especificação exata e o total do período vêm do catálogo.
Umbra 4
Equilibre quatro CPUs virtuais AMD EPYC e 8 GB de memória ECC com 120 GB de armazenamento NVMe para vários serviços ou uma aplicação em crescimento. Esta configuração KVM inclui um snapshot semanal, 6 TB de transferência mensal em uma porta de 1 Gbps e um nível de mitigação de rede de 20 Gbps.
- Computação
- 4 vCPU (AMD EPYC)
- Memória
- 8 GB DDR4 ECC
- Armazenamento
- 120 GB NVMe SSD
- Transferência
- 6 TB / mês
cobrado mensalmente
Umbra 8
Aloque oito CPUs virtuais AMD EPYC, 16 GB de memória ECC e 240 GB de armazenamento NVMe para aplicações mais movimentadas, workers e bancos de dados. Snapshots diários complementam o acesso root no KVM, com 10 TB de transferência mensal em uma porta de 1 Gbps e um nível de mitigação de rede de 40 Gbps.
- Computação
- 8 vCPU (AMD EPYC)
- Memória
- 16 GB DDR4 ECC
- Armazenamento
- 240 GB NVMe SSD
- Transferência
- 10 TB / mês
cobrado mensalmente
Dusk 4
Mova o trabalho remoto e aplicações Windows para quatro CPUs virtuais, 8 GB de memória DDR4 e 120 GB de armazenamento SSD. A configuração inclui licenciamento Windows, acesso de administrador e uma opção multiusuário RDP, além de 6 TB de transferência mensal e um nível de mitigação de rede de 20 Gbps.
- Computação
- 4 vCPU (Xeon)
- Memória
- 8 GB DDR4
- Armazenamento
- 120 GB SSD
- Transferência
- 6 TB / mês
cobrado mensalmente
Dusk 8
Dê a aplicações Windows mais pesadas oito CPUs virtuais, 16 GB de memória DDR4 e 240 GB de armazenamento SSD. Administrador RDP e uma configuração que suporta até 20 usuários ficam ao lado de uma porta 1 Gbps, 10 TB de transferência mensal e um nível de mitigação de rede 40 Gbps.
- Computação
- 8 vCPU (Xeon)
- Memória
- 16 GB DDR4
- Armazenamento
- 240 GB SSD
- Transferência
- 10 TB / mês
cobrado mensalmente
Eclipse Ryzen
Use um Ryzen 9 5950X dedicado com 16 núcleos físicos, 32 threads e 64 GB de memória ECC para serviços com uso intensivo de computação. Dois discos 1 TB NVMe em RAID-1 fornecem armazenamento espelhado, com acesso IPMI, uma porta 1 Gbps e 50 TB de transferência mensal.
- Computação
- AMD Ryzen 9 5950X (16c / 32t @ 3.4 GHz)
- Memória
- 64 GB DDR4 ECC
- Armazenamento
- 2× 1 TB NVMe (RAID-1)
- Transferência
- 50 TB / mês
cobrado mensalmente
Antes que esta carga de trabalho entre em produção.
- Verifique o CPU, a memória, o disco, a transferência e a porta do plano exato.
- Escolha uma região listada e verifique o uso permitido da carga de trabalho.
- Teste a aplicação representativa e uma restauração independente.
Perguntas, respondidas.
Imagens de automação de navegador já estão disponíveis?
A lista de imagens local é a lista do catálogo; Playwright ou Puppeteer não é pré-instalado pelo configurador. Construa uma pilha de navegador mantida apenas em uma imagem de produção compatível.
Uma mudança de IP resolve um limite de taxa upstream?
Não. Respeite as permissões e limites do destino, reduza a concorrência e use backoff. Mudanças de endereço não devem ser usadas para evadir controles de acesso ou reputação.
IPs residenciais ou resolução de CAPTCHA estão incluídos?
Nenhuma integração desse tipo está conectada ou prometida aqui. Um servidor de data center não é um serviço de proxy residencial.
A coleta é lícita em todos os países oferecidos?
Nenhuma alegação de legalidade universal é feita. Revise permissões, termos e deveres de dados pessoais tanto para a coleta quanto para seu uso pretendido.
O que é mantido no espaço de trabalho da minha conta?
Sua configuração, plano selecionado, imagem, localização e período de cobrança são mantidos com as referências do pedido e da solicitação de pagamento. Cotações, leituras do estado de pagamento e conversas de suporte permanecem vinculadas à sua conta. Leia os detalhes de atendimento separadamente do estado de pagamento.