O que é um web crawler e como ele funciona

Web crawler, também chamado de rastreador, spider ou bot, é um programa que percorre a internet sozinho. Ele abre uma página, lê o que está nela, anota os links que encontra e vai visitá-los em seguida. O Googlebot faz isso para alimentar a busca do Google. Uma página que nenhum crawler visitou não aparece em resultado de pesquisa, por melhor que seja o conteúdo.

Como um crawler trabalha

O robô parte de uma lista de endereços que já conhece. Essa lista vem de rastreamentos anteriores e dos sitemaps que os donos de sites enviam. Em cada página, ele baixa o código, identifica os links e coloca os endereços novos na fila. Repetindo isso bilhões de vezes, chega a praticamente tudo o que está ligado por algum link público.

Depois do rastreamento vêm duas etapas que muita gente confunde com ele:

1. Rastreamento: o robô acessa a URL e baixa o conteúdo.
2. Renderização e indexação: o buscador processa a página, inclusive o que é montado por JavaScript, entende o assunto e decide se guarda aquilo no índice.
3. Classificação: quando alguém pesquisa, o buscador escolhe no índice as páginas que respondem melhor e define a ordem.

Ser rastreada não garante que a página seja indexada. O Google pode visitar uma URL e descartá-la por considerar o conteúdo duplicado, raso ou sem utilidade. E estar no índice não garante boa posição. O crawler só abre a porta.

O robô também não fica o dia inteiro no seu site. Cada domínio recebe uma cota de visitas, que depende da capacidade do servidor e do interesse do buscador por aquele conteúdo. Para um site institucional de cinquenta páginas isso raramente é problema. Para uma loja virtual com milhares de produtos e filtros que geram URLs sem fim, o robô pode gastar a cota em páginas inúteis e demorar semanas para encontrar um produto novo.

Os robôs que visitam o seu site

Nos registros de acesso de qualquer servidor aparecem dezenas de robôs. Eles se dividem em alguns grupos, e cada um se identifica por um nome, o user agent.

O Googlebot tem versões para celular e para computador, e o Google usa a versão de celular como referência para indexar. Se o conteúdo aparece completo no desktop e cortado no mobile, o que vale para a busca é a versão cortada.

Há ainda os raspadores, robôs que copiam preços, textos ou e-mails sem se identificar. Esses não seguem regra nenhuma e se controlam no servidor ou no firewall.

Robôs de IA entram na conta

Os assistentes de inteligência artificial trouxeram uma decisão nova para quem tem site. Parte dos robôs de IA coleta conteúdo para treinar modelos. Outra parte busca páginas na hora em que o usuário faz uma pergunta, para montar a resposta e citar a fonte. O efeito para a empresa é diferente em cada caso.

Bloquear o robô de treinamento impede que o seu texto vire matéria-prima do modelo. Bloquear o robô que busca respostas em tempo real tira a sua marca das citações desses assistentes, e para muitos negócios aparecer ali já traz visita qualificada. Um portal que vive de conteúdo exclusivo pode ter bons motivos para fechar a porta. Uma empresa de serviços que quer ser encontrada costuma ganhar deixando aberta.

O Google separa as duas coisas. O Googlebot cuida da busca, e existe um identificador próprio, o Google-Extended, que permite recusar o uso do conteúdo no treinamento dos modelos de IA da empresa sem sair dos resultados de pesquisa.

Como controlar o acesso pelo robots.txt

O robots.txt é um arquivo de texto que fica na raiz do domínio, em seudominio.com.br/robots.txt. O crawler o consulta antes de rastrear e encontra ali o que pode e o que não pode acessar. As instruções são simples:

• User-agent: indica para qual robô vale a regra. O asterisco vale para todos.
• Disallow: lista o caminho que o robô não deve acessar. "Disallow: /carrinho/" tira o carrinho de compras do rastreamento.
• Allow: abre uma exceção dentro de um caminho bloqueado.
• Sitemap: informa o endereço do sitemap do site.

Para barrar só o robô de treinamento da OpenAI, por exemplo, bastam duas linhas: "User-agent: GPTBot" e, abaixo, "Disallow: /".

Três cuidados evitam os erros mais comuns. O primeiro: o robots.txt é um pedido, e só os robôs bem-comportados obedecem. Ele não protege informação sigilosa, que precisa de senha. O segundo: bloquear o rastreamento não tira uma página do Google. Se outros sites apontam para ela, a URL pode aparecer no resultado sem descrição. Para remover do índice, use a meta tag noindex e deixe a página liberada para o robô, porque ele precisa lê-la para encontrar a instrução. O terceiro é o mais caro: um "Disallow: /" esquecido depois da migração do site bloqueia tudo, e o tráfego orgânico some em poucas semanas.

O que isso muda no SEO do seu site

Boa parte do SEO técnico consiste em facilitar a vida do crawler. Na prática, quatro pontos resolvem a maioria dos casos:

• Toda página importante recebe pelo menos um link interno. Página sem link, a chamada página órfã, depende só do sitemap para ser achada.
• Os links são links de verdade, com a tag a e o endereço no atributo href. Menu que só funciona com clique tratado por JavaScript pode ser ignorado.
• O servidor responde rápido e sem erro. Quando o site devolve muitos erros ou demora, o robô reduz o ritmo das visitas.
• O sitemap lista só as URLs que devem ser indexadas e é atualizado quando o conteúdo muda.

Para conferir como o Google enxerga o seu site, use o Google Search Console, que é gratuito. O relatório de indexação mostra quais páginas entraram no índice e por que as outras ficaram de fora. A inspeção de URL mostra quando o Googlebot visitou um endereço e o que conseguiu ler. E há um relatório de estatísticas de rastreamento, com o volume de visitas do robô e os erros que ele encontrou.

Se o seu site foi publicado ou reformulado há pouco tempo, abra o robots.txt no navegador hoje e leia linha por linha. É uma verificação de dois minutos, e o bloqueio acidental deixado pelo ambiente de testes é um dos motivos mais frequentes de um site novo não aparecer na busca.