robots.txt

robots.txt es un archivo de texto plano en la raíz de un dominio que les dice a los clientes automatizados qué rutas no deberían pedir. Es una convención, publicada en 1994 y todavía lo más parecido que tiene la web a una señal estándar de intención.

No es un control de acceso, y no es un contrato.

Qué es en realidad

User-agent: *
Disallow: /private/
Crawl-delay: 10

Tres cosas que vale la pena entender:

• Es orientativo. Nada lo hace cumplir. Un cliente que lo ignore recibe la página igual.
• No es autenticación. Cualquier cosa genuinamente privada necesita un inicio de sesión, no una línea Disallow. Listar una ruta en robots.txt casi que la anuncia.
• Expresa intención. Que es precisamente la razón de que ignorarlo sea difícil de defender después, sea cual sea la posición legal.

Dónde queda legalmente

Incumplir robots.txt no es ilegal en sí mismo, y el archivo no es una condición de servicio que hayas aceptado. Las preguntas legales distintas son las condiciones de servicio de la plataforma — un asunto contractual, y Meta v. Bright Data (2024) sostuvo que el scraping de datos públicos sin haber iniciado sesión no queda sujeto a condiciones que nunca aceptaste — y la protección de datos, que es otra cosa aparte y está cubierta en datos personales.

Esas tres se confunden constantemente, incluso por parte de proveedores que citan una para insinuar otra. Son independientes: puedes estar limpio en las tres, o en ninguna.

Por qué sigue importando

Dos razones prácticas más allá del principio:

• Crawl-delay es información. Un sitio que te dice el intervalo que tolera te ha dicho algo útil sobre sus límites de frecuencia antes de que los descubras siendo bloqueado.
• Es la señal más barata de cómo te va a tratar un sitio. Un dominio que lo prohíbe todo y toma la huella de sus clientes no va a volverse más amable con el volumen — mira huella TLS para ver cómo es eso en la práctica.

La posición honesta

La relación de un producto de datos con robots.txt es una elección real con contrapartidas reales, y lo correcto es declararla en lugar de dejarla implícita. Nuestro propio razonamiento sobre qué fuentes recolectamos y cuáles dejamos en paz — varias de ellas descartadas por motivos de licencia y no técnicos — está escrito fuente por fuente en fuentes.