Mantener una página fuera de Google: ¿robots.txt o noindex?
¿No desea que una página aparezca en Google, por ejemplo una página de agradecimiento, una página de pruebas o una promoción antigua? Mucha gente piensa entonces en el archivo robots.txt. Sin embargo, robots.txt no mantiene una página fuera de Google. Para eso existe noindex. En este artículo le explicamos la diferencia, cómo usar ambos y qué hacer con una página que ha eliminado. Usamos example.com como ejemplo.
La diferencia en resumen
| robots.txt | noindex | |
|---|---|---|
| Qué indica | "No rastree esta página." | "No incluya esta página en los resultados de búsqueda." |
| ¿Mantiene una página fuera de Google? | No. Si otros enlazan a la página, la dirección puede aparecer de todos modos, sin descripción. | Sí, en cuanto Google haya vuelto a visitar la página. |
| ¿Dónde se encuentra? | En un único archivo en https://example.com/robots.txt | En la propia página, o como cabecera que envía el servidor |
| ¿Para qué se utiliza? | Para dirigir el tráfico de rastreo, por ejemplo para omitir las páginas de resultados de búsqueda de su propio sitio | Para páginas que siguen siendo accesibles, pero que no deben aparecer en Google |
Ninguno de los dos es una medida de seguridad. Cualquiera puede leer su robots.txt, y una página con noindex sigue siendo accesible. Si algo debe estar realmente protegido, colóquelo detrás de una contraseña. Consulte Proteger una carpeta con contraseña en DirectAdmin.
Usar noindex
Coloque esta línea en el <head> de la página:
<meta name="robots" content="noindex">
Para archivos sin HTML, como un PDF, el servidor puede enviar la misma instrucción como cabecera: X-Robots-Tag: noindex. El efecto es el mismo.
Normalmente no tiene que escribirlo usted mismo:
- AI Builder: abra la sección SEO, elija la página y, en Más para esta página, desactive el interruptor Esta página visible en Google. La página sigue siendo accesible, pero recibe un noindex. Después, vuelva a publicar.
- WordPress: un plugin de SEO tiene, por página, un ajuste para que la página no se indexe. La casilla Disuadir a los motores de búsqueda de indexar este sitio en Ajustes, Lectura se aplica a todo el sitio.
- Otros creadores de sitios web: busque un ajuste como "ocultar a los motores de búsqueda".
Crear o modificar robots.txt
En un paquete de hosting, robots.txt se encuentra en la carpeta web de su dominio; en DirectAdmin, la carpeta public_html. Puede crear o editar el archivo mediante el Administrador de archivos o FTP; consulte Abrir el Administrador de archivos: las carpetas de su paquete. Un ejemplo:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *se aplica a todos los robots de búsqueda.Disallow:seguido de una ruta prohíbe todo lo que empiece por esa ruta.Disallow: /prohíbe todo el sitio.- Si crea también un grupo
User-agent: Googlebot, Google solo seguirá ese grupo e ignorará el grupo*. Por lo tanto, repita allí todas las reglas que también se aplican a Google. - No bloquee carpetas con hojas de estilo, scripts o imágenes que su página necesite.
- No tener robots.txt no es un problema: en ese caso todo está permitido. Si la dirección devuelve un error del servidor, Google deja de rastrear temporalmente.
WordPress crea su propio robots.txt mientras no haya ningún archivo en la carpeta web. El AI Builder genera automáticamente al publicar un robots.txt con una línea Sitemap:.
Explicación detallada con capturas de pantalla: Sitemap y robots.txt en el AI Builder y Sitemap y robots.txt en WordPress y en su propio sitio en el manual Ser encontrado en línea.
Google suele guardar su robots.txt hasta 24 horas. En Search Console encontrará en Ajustes el informe de robots.txt: qué versión ha obtenido Google por última vez, con errores y advertencias, y un botón para solicitar que se vuelva a rastrear.
Una página eliminada: 404 o 410, no un soft 404
Si ha eliminado una página, la dirección debe devolver el código de estado 404 (no encontrado) o 410 (desaparecido). En la siguiente visita, Google retirará la dirección de los resultados de búsqueda. Si la página tiene una sustituta, redirija la dirección antigua con un 301 a esa nueva página; consulte Redirección del sitio: redirigir un dominio o una página.
Un soft 404 es una página que indica que no existe, o que está casi vacía, pero que aun así devuelve el código 200 (encontrado). Google suele detectarlo y no incluye esa página. En Search Console lo verá con el motivo Soft 404. Redirigir todas las páginas eliminadas a su página de inicio también puede considerarse un soft 404. Por eso, haga que una página que realmente ya no existe devuelva un 404 o 410 de verdad.
¿Necesita que una página desaparezca rápidamente de los resultados, por ejemplo porque contenía datos personales por error? Utilice entonces Retiradas en Search Console. Esto funciona de forma temporal, unos seis meses. Por eso, asegúrese también de que la página tenga un 404, un 410, una contraseña o un noindex.
Más información
- Google: Bloquear la indexación con noindex (en inglés)
- Google: Introducción a robots.txt (en inglés)
- Google: informe de robots.txt
- Bloquear archivos mediante .htaccess
¿Utiliza WordPress? En la lección Visibilidad: lo básico del curso gratuito de WordPress encontrará más información sobre robots.txt y la casilla Disuadir a los motores de búsqueda.
¿Quiere aprender más? Siga el curso gratuito Ser encontrado en línea, lección 3.3 robots.txt: qué bloquear y qué no.