O que é o arquivo robots.txt
Sempre que o Google ou outro buscador visita um site, ele procura primeiro o robots.txt. Esse documento fica na raiz do domínio, em seusite.com.br/robots.txt, e contém as regras de quais pastas e páginas podem ser acessadas pelo rastreador.
Se o arquivo não existir, o Google rastreia o site normalmente. O problema começa quando ele existe, mas foi configurado errado. Muita gente descobre isso tarde, depois de ver o tráfego cair sem razão aparente.
Como isso afeta o SEO
Um erro nesse documento pode fazer páginas desaparecerem da busca sem aviso. O Search Console demora semanas pra sinalizar esse tipo de problema, e nesse intervalo as páginas afetadas ficam fora do índice.
Também não vale deixar o Google gastar tempo com páginas que ninguém precisa encontrar. Resultados de busca interna, pastas de sistema e outros endereços sem utilidade pública acabam consumindo parte do orçamento de rastreamento. Em sites pequenos isso quase nunca faz diferença. Em projetos maiores, vale a pena manter o foco nas páginas que realmente precisam aparecer no Google.
O que faz sentido bloquear
Área administrativa do WordPress. Ninguém precisa encontrar a tela de login do painel no Google. Bloquear /wp-admin/ é padrão em qualquer instalação bem configurada. Há uma exceção: o arquivo admin-ajax.php, dentro dessa mesma pasta, precisa continuar acessível. O WordPress usa ele pra processar requisições em tempo real, e bloquear sem liberar esse arquivo quebra formulários, carrinho de compras e outros recursos dinâmicos. A ferramenta acima já resolve isso automaticamente quando você marca essa opção.
Pastas de sistema. Diretórios como /wp-includes/ e /cgi-bin/ contêm código de funcionamento do servidor. Não são conteúdo para visitante, e o Google não tem nada a fazer lá. Bloquear essas pastas é uma boa prática em qualquer site WordPress.
Busca interna. Quando alguém usa o campo de busca do site, o WordPress gera uma URL com /?s= seguido do termo pesquisado. Isso cria centenas de páginas com conteúdo parecido, que o Google tenta indexar. Na maioria dos casos, bloquear essa URL é a decisão certa.
Plugins e temas. Os diretórios /wp-content/plugins/ e /wp-content/themes/ guardam arquivos técnicos do site. Bloquear é opcional, mas faz sentido pra quem quer manter o rastreamento concentrado no que foi publicado.
O que nunca bloquear
Esse erro é mais comum do que parece. Alguém copia uma configuração de outro lugar sem revisar, e um Disallow: / no bloco do User-agent: * bloqueia o site inteiro. O Google para de rastrear tudo, as páginas começam a sair do índice aos poucos, e quando o dono do site nota, já fazem semanas que o tráfego está caindo.
Nunca use Disallow: / no bloco geral, a menos que seja intencional, como em sites em construção ou ambientes de homologação.
A pasta /wp-content/uploads/ também merece atenção. As imagens do site ficam lá. Bloquear essa pasta impede o Google de indexar fotos. Quem tem e-commerce ou portfólio visual costuma sentir esse impacto, principalmente no tráfego de busca de imagem.
Sobre bloquear bots de ferramentas de SEO
Ahrefs, SEMrush e Moz têm rastreadores próprios. Eles não indexam nada no Google, só coletam dados pras próprias plataformas. O consumo de banda que causam é baixo, e na maioria dos sites você nem vai notar diferença.
Só tem um efeito colateral se você bloquear: o Ahrefs para de rastrear seu domínio, e os dados de backlinks ficam desatualizados no painel da ferramenta. Não afeta o Google, mas afeta o que você consegue monitorar.
Pra hospedagens com planos bem limitados, bloquear esses bots pode ter alguma utilidade prática. Fora disso, é opcional.
Como o Google interpreta esse documento
Se a intenção é tirar uma página do Google, o robots.txt não resolve. Bloquear uma URL aqui impede o rastreador de acessar o conteúdo, mas se outros sites linkam pra essa página, o Google ainda mostra ela nos resultados, só que sem descrição. Nesse caso, o certo é usar a meta tag noindex na própria página.
O Google também deixa claro que esse arquivo não é barreira de segurança. Qualquer pessoa com o endereço direto acessa o conteúdo mesmo que ele esteja bloqueado pro rastreador. Pra restringir acesso de verdade, a solução é autenticação no servidor.
Robots.txt no WordPress com Yoast e Rank Math
Yoast SEO e Rank Math geram um robots.txt virtual que fica acessível pelo painel do WordPress, sem precisar mexer em nenhum arquivo no servidor. Em sites novos e sem complicação, essa configuração automática costuma ser suficiente.
O problema aparece quando o servidor já tem um arquivo físico na pasta raiz. Nesse caso, o arquivo real tem prioridade sobre o virtual do plugin, e os dois ficam em conflito. Esse conflito é uma das causas mais comuns de comportamento inesperado no rastreamento. Se o site foi migrado recentemente e o Search Console começou a mostrar erros de cobertura difíceis de explicar, esse é um bom lugar pra investigar.
Como colocar o arquivo no ar
Depois de gerar o robots.txt pela ferramenta acima, ele precisa estar acessível em seusite.com.br/robots.txt.
No WordPress com Yoast ou Rank Math, dá pra colar o conteúdo direto no campo de edição do plugin, em Ferramentas ou nas configurações do SEO. Sem plugin, o caminho é subir o arquivo via FTP ou pelo gerenciador de arquivos da hospedagem, direto na pasta public_html ou www.
Depois de subir, acesse o endereço no navegador pra confirmar que está lá. Se o site já está no Google Search Console, informe a URL do arquivo em Configurações pra que o Google processe as novas regras mais rápido.
Perguntas frequentes
Todo site precisa de um robots.txt?
Não. Sites sem o arquivo são rastreados normalmente. Em sites simples com poucas páginas, você provavelmente nunca vai notar diferença. Mas em projetos maiores, ter as regras definidas ajuda a manter o rastreamento eficiente.
Posso ter mais de um robots.txt?
Não. Só existe um por domínio, sempre na raiz. Subdomínios têm o arquivo separado: loja.seusite.com.br/robots.txt é independente de seusite.com.br/robots.txt.
Ele protege o conteúdo de visitantes comuns?
Não. Qualquer pessoa com o endereço direto acessa o conteúdo, bloqueado ou não. O robots.txt só instrui rastreadores. Pra restringir acesso de verdade, use senha ou autenticação.
Com que frequência revisar?
Sem frequência fixa. Faz sentido revisar depois de mudar a estrutura do site, trocar de plugin de SEO, migrar de hospedagem ou quando o Search Console mostrar erros de cobertura que não fazem sentido.
O sitemap precisa estar no robots.txt?
Não é obrigatório, mas ajuda. Informar a URL do sitemap aqui facilita o trabalho do Google pra encontrar o mapa de indexação, mesmo que você já tenha enviado pelo Search Console.