Manter uma página fora do Google: robots.txt ou noindex?
Pretende que uma página não apareça no Google, por exemplo uma página de agradecimento, uma página de teste ou uma campanha antiga? Muitas pessoas pensam logo no ficheiro robots.txt. No entanto, o robots.txt não mantém uma página fora do Google. Para isso serve o noindex. Neste artigo explicamos a diferença, como utilizar cada um e o que fazer com uma página que eliminou. Utilizamos example.com como exemplo.
A diferença em resumo
| robots.txt | noindex | |
|---|---|---|
| O que indica | "Não obtenha esta página." | "Não inclua esta página nos resultados de pesquisa." |
| Mantém uma página fora do Google? | Não. Se outros sites tiverem links para a página, o endereço pode aparecer na mesma, sem descrição. | Sim, assim que o Google voltar a visitar a página. |
| Onde se encontra? | Num único ficheiro em https://example.com/robots.txt | Na própria página, ou como cabeçalho enviado pelo servidor |
| Para que serve? | Orientar o rastreio, por exemplo para ignorar as páginas de resultados de pesquisa do seu próprio site | Páginas que continuam acessíveis, mas que não devem aparecer no Google |
Nenhum dos dois é uma medida de segurança. Qualquer pessoa pode ler o seu robots.txt, e uma página com noindex continua acessível normalmente. Se algo tiver mesmo de ficar protegido, coloque-o atrás de uma palavra-passe. Consulte Proteger uma pasta com palavra-passe no DirectAdmin.
Utilizar o noindex
Coloque esta linha no <head> da página:
<meta name="robots" content="noindex">
Para ficheiros sem HTML, como um PDF, o servidor pode enviar a mesma instrução como cabeçalho: X-Robots-Tag: noindex. O efeito é o mesmo.
Normalmente não precisa de escrever isto manualmente:
- AI Builder: abra a secção SEO, escolha a página e, em Mais para esta página, desative o interruptor Esta página visível no Google. A página continua acessível, mas recebe um noindex. Em seguida, publique novamente.
- WordPress: um plugin de SEO tem, para cada página, uma definição para impedir a sua indexação. A opção Desencorajar os motores de pesquisa de indexar este site em Definições, Leitura aplica-se ao site inteiro.
- Outros criadores de sites: procure uma definição como "ocultar dos motores de pesquisa".
Criar ou editar o robots.txt
Num alojamento, o robots.txt encontra-se na pasta web do seu domínio, que no DirectAdmin é a pasta public_html. Pode criar ou editar o ficheiro através do Gestor de ficheiros ou por FTP. Consulte Abrir o Gestor de ficheiros: as pastas do seu alojamento. Um exemplo:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *aplica-se a todos os robôs de pesquisa.Disallow:seguido de um caminho proíbe tudo o que comece por esse caminho.Disallow: /proíbe o site inteiro.- Se criar também um grupo
User-agent: Googlebot, o Google segue apenas esse grupo e ignora o grupo*. Repita, por isso, nesse grupo todas as regras que também se aplicam ao Google. - Não bloqueie pastas com folhas de estilo, scripts ou imagens de que a sua página necessita.
- Não ter um robots.txt não é um problema: nesse caso, tudo é permitido. Se o endereço devolver um erro de servidor, o Google deixa temporariamente de obter páginas.
O WordPress cria automaticamente um robots.txt enquanto não existir nenhum ficheiro na pasta web. O AI Builder coloca automaticamente, ao publicar, um robots.txt com uma linha Sitemap:.
Explicação detalhada com capturas de ecrã: Sitemap e robots.txt no AI Builder e Sitemap e robots.txt no WordPress e no seu próprio site no manual Ser encontrado online.
O Google guarda normalmente o seu robots.txt até 24 horas. No Search Console, em Definições, encontra o relatório de robots.txt: a versão que o Google obteve por último, com erros e avisos, e um botão para pedir que o volte a obter.
Uma página eliminada: 404 ou 410, não um soft 404
Se eliminou uma página, o endereço deve devolver o código de estado 404 (não encontrado) ou 410 (removido). Na visita seguinte, o Google retira então o endereço dos resultados de pesquisa. Se a página tiver uma sucessora, redirecione o endereço antigo com um 301 para essa nova página. Consulte Redirecionamento de site: redirecionar um domínio ou uma página.
Um soft 404 é uma página que indica que não existe, ou que está quase vazia, mas que devolve mesmo assim o código 200 (encontrado). O Google reconhece frequentemente esta situação e não inclui essa página. No Search Console, aparece com o motivo Soft 404. Redirecionar todas as páginas eliminadas para a sua página inicial também pode ser considerado um soft 404. Por isso, faça com que uma página que já não existe devolva um verdadeiro 404 ou 410.
Uma página tem de sair rapidamente dos resultados, por exemplo porque continha dados pessoais por engano? Utilize então Remoções no Search Console. Esta solução é temporária, com uma duração de cerca de seis meses. Por isso, certifique-se também de que a página devolve um 404 ou 410, ou tem uma palavra-passe ou um noindex.
Saiba mais
- Google: Bloquear a indexação com noindex (em inglês)
- Google: Introdução ao robots.txt (em inglês)
- Google: relatório de robots.txt
- Bloquear ficheiros através do .htaccess
Utiliza o WordPress? Na lição Visibilidade: os princípios básicos do curso gratuito de WordPress, pode ler mais sobre o robots.txt e a opção Desencorajar os motores de pesquisa.
Quer aprender mais? Siga o curso gratuito Ser encontrado online, lição 3.3 robots.txt: o que deve e não deve bloquear.
Quer saber mais? Siga o curso gratuito Ser encontrado online, lição 3.3 robots.txt: o que deve e não deve bloquear.