O que é o robots.txt, como escrever o arquivo e quais bloqueios derrubam um site na busca

O robots.txt é um arquivo de texto simples, publicado na raiz do site, que informa aos robôs de busca quais partes do site eles podem rastrear. Fica sempre no mesmo lugar: se o site é www.exemplo.com.br, o arquivo responde em www.exemplo.com.br/robots.txt. Você pode abrir o de qualquer site digitando esse endereço no navegador, inclusive o do seu.

Antes de entrar nas diretivas, uma distinção que evita a maior parte das confusões. Rastrear é o robô visitar a página e ler o conteúdo. Indexar é o buscador guardar essa página e exibi-la nos resultados. O robots.txt atua só na primeira etapa. Se você bloqueia um endereço e outro site tem um link para ele, o Google pode indexar esse endereço mesmo sem ter lido a página; ele aparece na busca com o título e sem descrição. Quem quer uma página fora dos resultados precisa da meta tag noindex, e o robô tem de conseguir acessar a página para ler essa tag.

Para que o arquivo serve

O uso mais comum é poupar o robô de áreas que não interessam à busca: o painel administrativo, o carrinho e o checkout, os resultados da busca interna, as combinações de filtros de uma loja virtual. Em um e-commerce com filtro por cor, tamanho, marca e faixa de preço, as combinações geram milhares de endereços quase idênticos. O Google dedica uma quantidade limitada de visitas a cada site, e cada visita gasta em uma página de filtro é uma visita a menos em um produto novo que ainda não foi descoberto.

Em um site institucional de vinte páginas, esse problema não existe. Um robots.txt mínimo, que libera tudo e aponta o sitemap, resolve.

As diretivas

O arquivo é uma lista de grupos. Cada grupo começa dizendo a qual robô se dirige e segue com as regras para ele.

• User-agent indica o robô. O asterisco vale para todos; "Googlebot" vale só para o robô do Google.
• Disallow bloqueia o rastreamento dos endereços que começam com o caminho informado.
• Allow abre uma exceção dentro de um caminho bloqueado.
• Sitemap informa o endereço completo do sitemap XML. Não pertence a nenhum grupo e pode aparecer em qualquer ponto do arquivo.

Um exemplo para uma loja virtual:

User-agent: *

Disallow: /carrinho/

Disallow: /minha-conta/

Disallow: /busca

Disallow: /*?ordenar=

Allow: /busca/mais-vendidos

Sitemap: https://www.exemplo.com.br/sitemap.xml

Lendo de cima para baixo: as regras valem para todos os robôs; as pastas do carrinho e da conta do cliente estão fechadas; qualquer endereço que comece com /busca também, com exceção da página de mais vendidos; e endereços que contenham o parâmetro de ordenação ficam de fora. O asterisco no meio do caminho substitui qualquer sequência de caracteres. O cifrão no final de uma regra indica fim do endereço, de modo que "Disallow: /*.pdf$" bloqueia os arquivos PDF.

Detalhes que mudam o resultado

A regra casa com o começo do endereço. "Disallow: /r" bloqueia /revenda, /receitas e tudo o mais que comece com a letra r. Para fechar apenas uma pasta, escreva com a barra no fim: "Disallow: /revenda/".

Maiúsculas e minúsculas contam no caminho. /Fotos/ e /fotos/ são endereços diferentes para o robô.

Quando existe um grupo específico para um robô, ele segue só esse grupo e ignora o geral. Se você criar um bloco para o Googlebot com uma única regra, as regras do bloco com asterisco deixam de valer para ele. É preciso repetir no grupo específico tudo o que deve continuar bloqueado.

Cada subdomínio tem o próprio arquivo. O robots.txt de www.exemplo.com.br não vale para loja.exemplo.com.br.

Duas diretivas antigas ainda circulam em tutoriais. O Google ignora a Crawl-delay e deixou de aceitar noindex dentro do robots.txt em 2019.

Erros de bloqueio que a gente encontra em auditoria

O site inteiro bloqueado depois da publicação

Durante o desenvolvimento, é normal o ambiente de teste ter "Disallow: /" para todos os robôs. O problema aparece quando o site vai ao ar e o arquivo de teste vai junto. Uma barra sozinha fecha o site todo. As páginas vão perdendo posição ao longo das semanas seguintes, e o motivo só aparece quando alguém abre o arquivo. Conferir o robots.txt no dia da publicação leva um minuto.

Bloquear para tirar da busca

A empresa quer remover uma página antiga do Google e coloca um Disallow. O efeito é o oposto do esperado: o robô para de visitar a página, não vê nenhuma instrução de remoção e o endereço continua no índice. O caminho correto é liberar o rastreamento e aplicar noindex na página, como explicamos no artigo sobre meta tags, ou devolver o código de página inexistente quando ela foi apagada de fato.

Bloquear CSS e JavaScript

O Google monta a página como um navegador faria para avaliar o conteúdo e a versão para celular. Se as pastas de estilos e scripts estão fechadas, ele enxerga uma página quebrada. Modelos antigos de robots.txt para WordPress bloqueavam pastas inteiras do sistema e ainda são copiados por aí.

Usar o arquivo como proteção

O robots.txt é público e o cumprimento é voluntário. Buscadores sérios obedecem; robôs maliciosos, não. Listar ali a pasta /relatorios-internos/ equivale a publicar o caminho para quem quiser olhar. Conteúdo reservado se protege com login e senha.

Robôs de inteligência artificial

As empresas de IA usam robôs próprios para coletar conteúdo, e vários deles se identificam e respeitam o robots.txt. O GPTBot, da OpenAI, é um exemplo. O Google criou o identificador Google-Extended, que permite recusar o uso do conteúdo no treinamento dos modelos de IA da empresa sem afetar o rastreamento da busca.

Bloquear ou liberar é decisão de negócio. Um portal que vive de assinatura tem motivo para fechar. Uma empresa que quer ser citada quando alguém pede indicação de fornecedor a um assistente de IA tem motivo para deixar aberto.

Como criar e conferir o seu

Escreva o arquivo em qualquer editor de texto puro, salve com o nome robots.txt, em minúsculas, e envie para a pasta raiz da hospedagem. WordPress e a maioria das plataformas de loja geram um arquivo padrão e permitem editá-lo pelo painel ou por plugin de SEO, sem acesso ao servidor.

Depois, abra o endereço no navegador e leia regra por regra. No Google Search Console, o relatório de robots.txt mostra a versão que o Google leu por último e acusa erros de sintaxe. A inspeção de URL informa se um endereço específico está bloqueado. O relatório de indexação de páginas lista os endereços que ficaram de fora por causa do arquivo, e vale passar os olhos por essa lista uma vez por mês: ela é o lugar onde um bloqueio acidental aparece antes de virar queda de visitas.

Toda vez que o site trocar de plataforma, de tema ou de estrutura de endereços, releia o arquivo. Regras escritas para a estrutura antiga podem passar a bloquear seções inteiras da nova.