Robots.txt, noindex o acceso privado: qué control necesitas

Tres objetivos que requieren controles diferentes

Robots.txt comunica restricciones de rastreo a los robots que respetan ese protocolo. No es una contraseña. La directiva noindex solicita que una página no se incluya en el índice, pero el buscador necesita poder acceder a esa directiva para procesarla. La autenticación y la autorización restringen quién puede obtener el contenido desde el servidor.

Construye una tabla con cuatro columnas: grupo de URLs, público permitido, presencia deseada en buscadores y responsable. Una factura necesita autorización; una página pública de confirmación puede necesitar noindex; una combinación de filtros irrelevante puede requerir una estrategia de rastreo. No asignes una misma solución a las tres situaciones porque comparten la palabra «ocultar».

Fuentes: Google Search Central: Introducción a robots.txt · Google Search Central: Especificaciones de robots y X-Robots-Tag

Cómo decidir para una página pública

Empieza por comprobar si alguien debería encontrar esa página a través de una búsqueda. Una ficha de servicio normalmente sí. Una versión para imprimir, un resultado de búsqueda interna o un paso intermedio pueden tener una función útil sin ser destinos de búsqueda independientes. Evalúa su contenido y relación con la versión principal antes de excluirlos.

Si optas por noindex, revisa la respuesta real de la URL y el HTML recibido, incluidos los encabezados HTTP. Algunos sitios añaden X-Robots-Tag desde el hosting y una etiqueta distinta desde el gestor. Anota todas las señales presentes; mirar solamente la configuración del editor puede dejar una regla contradictoria fuera del diagnóstico.

Ejemplo hipotético: un lanzamiento que todavía es confidencial

Una empresa prepara una nueva línea de productos y carga sus fichas una semana antes de anunciarlas. El equipo elimina las tarjetas del catálogo y agrega noindex. Sin embargo, las imágenes y las respuestas de la API siguen disponibles sin autenticación. La información todavía puede compartirse mediante una dirección directa.

La solución es restringir la entrega del borrador en la capa de datos y en cada ruta que lo expone. El calendario de publicación debe habilitar a la vez página, imágenes que sean confidenciales, listados y sitemap. Las previews deben exigir autorización. La prueba decisiva consiste en solicitar una ficha futura como visitante anónimo y confirmar que el servidor no entrega ni su contenido ni sus metadatos.

Revisa las excepciones fuera del HTML

Un archivo PDF, una imagen o un documento descargable puede tener una URL propia. Proteger la página que lo enlaza no protege automáticamente ese archivo. Del mismo modo, una aplicación puede ocultar un bloque en pantalla mientras lo envía completo dentro de un JSON. Revisa las respuestas de red y los recursos asociados, sin limitarte a lo que muestra el navegador.

Pide al desarrollador un inventario de las superficies de acceso: página, API, archivos, feeds, exportaciones y caché. Para cada una, define qué ocurre antes y después de iniciar sesión. Si hay caché compartida, confirma que una respuesta privada no pueda reutilizarse para un visitante anónimo. Esta revisión trata sobre acceso efectivo, no sobre apariencia visual.

Documenta una salida segura para cada estado

Asigna estados claros: privado, público no indexable y público indexable. Cada transición debe tener una prueba. Al publicar una guía, comprueba acceso anónimo, estado HTTP correcto, ausencia de noindex accidental y enlaces visibles. Al retirar material confidencial, verifica primero que el acceso quede cerrado y después gestiona su eventual presencia en buscadores.

No evalúes el éxito por la desaparición inmediata de un resultado: el procesamiento de los motores tiene sus propios tiempos. Conserva evidencia del cambio técnico y revisa posteriormente la indexación. Cuando marketing y desarrollo utilizan estas mismas definiciones, dejan de confundir «no lo veo en Google» con «nadie puede acceder», y pueden proteger información sin dañar el contenido que sí debe encontrarse.