Recopila datos públicos de forma responsable

Las solicitudes directas pueden ser más ligeras que un navegador cuando los datos públicos permitidos están disponibles sin JavaScript. Playwright y Puppeteer lanzan procesos de navegador que necesitan un presupuesto de concurrencia y memoria. Use una cola acotada, caché y retroceso; un número ilimitado de trabajadores puede sobrecargar tanto su servidor como el objetivo.

Revisa robots.txt, los términos del objetivo, los permisos de acceso y las obligaciones sobre datos personales. No son intercambiables y ninguna jurisdicción de servidor hace que toda recopilación sea lícita. No eludas la autenticación ni trates un CAPTCHA como autorización para escalar la recopilación.

Registra la fuente permitida, el calendario, la política de reintentos, el esquema y los requisitos de eliminación. Las direcciones de centros de datos pueden tener límite de tasa; aquí no se incluye ninguna dirección residencial ni servicio de resolución de CAPTCHA. Cualquier futura regla de sustitución de IP debe acordarse y no puede usarse para evadir restricciones de reputación o acceso.

Revise los términos de acceso a la fuente, los derechos sobre los datos, las directivas para robots y las normas aplicables. Utilice APIs publicados cuando estén disponibles y evite recopilar información personal más allá de su propósito legítimo.

Controla la concurrencia, respeta los límites de velocidad y reintenta con retroceso exponencial. Separa la adquisición del análisis y el almacenamiento para que una caída del destino no provoque una ráfaga de solicitudes repetidas.

Registra los resultados de los trabajos, las categorías de errores y las marcas de tiempo de origen limitando las cargas útiles sensibles. Almacena suficiente procedencia para reproducir el conjunto de datos y elimina la información que ya no necesites.