Collectez les données publiques de manière responsable
Infrastructure pour la collecte de données autorisée, l'extraction structurée et le traitement planifié.
Contenu révisé · Français
- Architecture à évaluer
- HTTP direct / automatisation du navigateur
- Points de départ préparés
- 5 forfaits
- Responsabilités
- Application, droits et récupération
Une liste restreinte adaptée, pas un logiciel installé ni un inventaire en direct.
Gardez ces éléments en vue.
- HTTP direct / automatisation du navigateur.
- L'autorisation et la retenue sont des contrôles distincts.
- Tenez un registre de collecte reproductible.
HTTP direct / automatisation du navigateur
Les requêtes directes peuvent être plus légères qu'un navigateur lorsque les données publiques autorisées sont disponibles sans JavaScript. Playwright et Puppeteer lancent des processus de navigateur qui nécessitent un budget de concurrence et de mémoire. Utilisez une file d'attente bornée, la mise en cache et le backoff ; un nombre illimité de workers peut surcharger à la fois votre serveur et la cible.
L'autorisation et la retenue sont des contrôles distincts
Vérifiez robots.txt, les conditions de la cible, les autorisations d'accès et les obligations en matière de données personnelles. Ceux-ci ne sont pas interchangeables et aucune juridiction de serveur ne rend toute collecte licite. Ne contournez pas l'authentification et ne traitez pas un CAPTCHA comme une autorisation d'intensifier la collecte.
Tenez un registre de collecte reproductible
Enregistrez la source autorisée, le calendrier, la politique de nouvelle tentative, le schéma et les exigences de suppression. Les adresses de centre de données peuvent être limitées en débit ; aucune adresse résidentielle ni service de résolution de CAPTCHA n'est inclus ici. Toute future règle de remplacement d'IP doit être convenue et ne peut pas servir à contourner la réputation ou les restrictions d'accès.
L'autorisation avant l'échelle
Examinez les conditions d'accès à la source, les droits sur les données, les directives relatives aux robots et les règles applicables. Utilisez les APIs publiés lorsqu'ils sont disponibles et évitez de collecter des informations personnelles au-delà de votre objectif légitime.
Concevez pour la retenue
Contrôlez la concurrence, respectez les limites de débit et réessayez avec un backoff. Séparez l'acquisition de l'analyse et du stockage afin qu'une panne de destination ne provoque pas une rafale de requêtes répétées.
Conservez un enregistrement utile
Enregistrez les résultats des tâches, les catégories d'erreurs et les horodatages sources tout en limitant les charges utiles sensibles. Stockez suffisamment de provenance pour reproduire le jeu de données et supprimez les informations dont vous n'avez plus besoin.
Capacité à considérer.
Associez ces points de départ à l’application représentative. L’installation logicielle et l’inventaire en direct ne sont pas liés ; la spécification exacte et le total de la période proviennent du catalogue.
Umbra 4
Équilibrez quatre vCPU AMD EPYC et 8 GB de mémoire ECC avec 120 GB de stockage NVMe pour plusieurs services ou une application en croissance. Cette configuration KVM inclut un instantané hebdomadaire, 6 TB de transfert mensuel sur un port 1 Gbps et un palier d'atténuation réseau 20 Gbps.
- Calcul
- 4 vCPU (AMD EPYC)
- Mémoire
- 8 GB DDR4 ECC
- Stockage
- 120 GB NVMe SSD
- Transfert
- 6 TB / mois
facturé mensuellement
Umbra 8
Allouez huit AMD EPYC virtuels CPUs, 16 GB de mémoire ECC et 240 GB de stockage NVMe aux applications, workers et bases de données plus sollicités. Des instantanés quotidiens complètent l'accès root sur KVM, avec 10 TB de transfert mensuel sur un port 1 Gbps et un palier d'atténuation réseau 40 Gbps.
- Calcul
- 8 vCPU (AMD EPYC)
- Mémoire
- 16 GB DDR4 ECC
- Stockage
- 240 GB NVMe SSD
- Transfert
- 10 TB / mois
facturé mensuellement
Dusk 4
Déplacez le travail à distance et les applications Windows sur quatre CPUs virtuels, 8 GB de mémoire DDR4 et 120 GB de stockage SSD. La configuration inclut une licence Windows, un accès administrateur et une option multi-utilisateur RDP, ainsi que 6 TB de transfert mensuel et un palier d'atténuation réseau de 20 Gbps.
- Calcul
- 4 vCPU (Xeon)
- Mémoire
- 8 GB DDR4
- Stockage
- 120 GB SSD
- Transfert
- 6 TB / mois
facturé mensuellement
Dusk 8
Offrez aux applications Windows plus lourdes huit CPUs virtuels, 16 GB de mémoire DDR4 et 240 GB de stockage SSD. L'accès administrateur RDP et une configuration prenant en charge jusqu'à 20 utilisateurs s'accompagnent d'un port Gbps de 1, de 10 TB de transfert mensuel et d'un palier d'atténuation réseau Gbps de 40.
- Calcul
- 8 vCPU (Xeon)
- Mémoire
- 16 GB DDR4
- Stockage
- 240 GB SSD
- Transfert
- 10 TB / mois
facturé mensuellement
Eclipse Ryzen
Utilisez un Ryzen 9 5950X dédié avec 16 cœurs physiques, 32 threads et 64 GB de mémoire ECC pour les services gourmands en calcul. Deux disques 1 TB NVMe en RAID-1 fournissent un stockage en miroir, avec un accès IPMI, un port 1 Gbps et 50 TB de transfert mensuel.
- Calcul
- AMD Ryzen 9 5950X (16c / 32t @ 3.4 GHz)
- Mémoire
- 64 GB DDR4 ECC
- Stockage
- 2× 1 TB NVMe (RAID-1)
- Transfert
- 50 TB / mois
facturé mensuellement
Avant que cette charge de travail ne soit mise en production.
- Vérifier le CPU, la mémoire, le disque, le transfert et le port du forfait exact.
- Choisissez une région répertoriée et vérifiez l'utilisation autorisée de la charge de travail.
- Testez l'application représentative et une restauration indépendante.
Questions, réponses.
Les images d'automatisation de navigateur sont-elles déjà disponibles ?
La liste d’images locale est la liste du catalogue ; Playwright ou Puppeteer n’est pas préinstallé par le configurateur. Ne construisez une pile de navigateur maintenue que sur une image de production compatible.
Un changement d'IP résout-il une limite de débit en amont ?
Non. Respectez les permissions et limites de la cible, réduisez la concurrence et utilisez un backoff. Les changements d'adresse ne doivent pas être utilisés pour contourner les contrôles d'accès ou de réputation.
Des IP résidentielles ou la résolution de CAPTCHA sont-elles incluses ?
Aucune telle intégration n’est connectée ni promise ici. Un serveur de centre de données n’est pas un service de proxy résidentiel.
La collecte est-elle licite dans chaque pays proposé ?
Aucune revendication de légalité universelle n’est faite. Examinez les autorisations, les conditions et les obligations en matière de données personnelles pour la collecte et son usage prévu.
Que conserve-t-on dans l'espace de travail de mon compte ?
Votre configuration, le plan sélectionné, l'image, l'emplacement et la durée de facturation sont conservés avec les références de la commande et de la demande de paiement. Les devis, les lectures de l'état du paiement et les conversations de support restent liés à votre compte. Lisez les détails d'exécution séparément de l'état du paiement.