Se você está tentando entender o que é robots txt e por que ele pode ser o motivo de o seu site não estar indexando no Google, chegou ao lugar certo. Esse arquivo de texto parece técnico demais à primeira vista, mas é uma das peças mais decisivas da estrutura de SEO de qualquer blog ou loja virtual, e um único erro nele é capaz de tirar um site inteiro da busca.
O robots.txt é um arquivo de texto público, hospedado na raiz do domínio (exemplo: seusite.com.br/robots.txt), que instrui os crawlers de busca e de inteligência artificial sobre quais áreas do site eles podem ou não rastrear. Ele segue o Protocolo de Exclusão de Robôs, formalizado pelo Google e pela IETF como RFC 9309 em 2022. Importante: robots.txt controla rastreamento, não indexação. Uma página bloqueada ainda pode aparecer no Google sem descrição se houver links apontando para ela.
Quando comecei a trabalhar com blogs e SEO, em 2018, confesso que demorei para entender a real importância do robots txt. Achava que era só mais uma configuração dispensável. Depois de alguns erros e páginas que simplesmente não indexavam, percebi que ele é uma das primeiras portas de entrada para o sucesso, ou o fracasso, de um site na busca orgânica. Se quiser aprofundar o lado técnico do WordPress antes de seguir, vale a pena ler também sobre a estrutura técnica do WordPress.
O que é robots txt e como ele funciona na prática
O robots.txt nasceu em 1994, criado por Martijn Koster, como uma forma simples de os donos de sites pedirem para os robôs de busca não sobrecarregarem seus servidores. Por décadas, cada buscador interpretava o arquivo do seu próprio jeito, até que em setembro de 2022 o protocolo foi oficialmente padronizado pela IETF como RFC 9309, o Robots Exclusion Protocol, com participação de engenheiros do próprio Google.
Onde o arquivo precisa ficar
O robots.txt só é válido se estiver hospedado na raiz do domínio. Para o site seusite.com.br, o arquivo precisa estar em seusite.com.br/robots.txt. Um robots.txt colocado em uma subpasta, como seusite.com.br/blog/robots.txt, é simplesmente ignorado pelos buscadores. Da mesma forma, um arquivo em https://seusite.com.br não vale para http://seusite.com.br nem para um subdomínio como loja.seusite.com.br. Cada protocolo, host e subdomínio precisa do seu próprio robots.txt, segundo a própria documentação oficial do Google Search Central.
O que ele realmente faz e o que ele não faz
Aqui está o ponto que mais gera confusão, inclusive entre profissionais experientes: o robots.txt é um pedido de comportamento, não uma trava de segurança. Ele funciona bem com crawlers que respeitam o protocolo, como Googlebot e Bingbot, mas não impede fisicamente que ninguém acesse uma URL. Se você tem conteúdo sensível, como dados de clientes ou áreas administrativas, a proteção real precisa vir de senha, autenticação ou bloqueio no servidor, nunca só do robots.txt.
Você pode gostar de ler também: WordPress 7.1 Mary Lou, nova atualização de 19/08/2026
Por que o robots.txt é importante para o SEO
Ele orienta os buscadores sobre o que rastrear primeiro
Pense no Googlebot como um visitante entrando na sua casa. O robots.txt funciona como um bilhete na porta dizendo “entre por aqui, mas não abra aquela sala”. Isso ajuda os robôs a focarem no que realmente importa para o seu negócio, em vez de perder tempo em páginas irrelevantes.
Ele protege o seu crawl budget
Todo site tem um limite de quantas páginas o Google está disposto a rastrear em determinado período, o chamado crawl budget. Em sites pequenos isso quase nunca é problema, mas em blogs grandes, com centenas de artigos, categorias, tags, páginas de busca interna e filtros de produto, o crawler pode gastar boa parte do seu tempo em URLs que não geram tráfego nenhum. Bloquear esse tipo de conteúdo de baixo valor libera espaço para que o Google priorize suas páginas realmente importantes.
Ele evita a indexação de páginas desnecessárias
Você não quer que páginas como /wp-admin/, /carrinho/ ou resultados de busca interna apareçam nos resultados, certo? Com o robots.txt bem configurado, você direciona esse tráfego de rastreamento para onde ele realmente importa.
As diretivas do robots.txt explicadas uma a uma
O arquivo é lido de cima para baixo e organizado em grupos, cada um começando por uma linha user-agent. Segundo a especificação técnica do Google, quando existe mais de um grupo aplicável a um mesmo robô, o Google combina as regras internamente, mas nunca mistura um grupo específico com o grupo genérico marcado com asterisco.
User-agent
Define para qual robô a regra seguinte se aplica. Use o asterisco (*) para atingir todos os robôs de uma vez, ou o nome específico, como Googlebot, Bingbot ou GPTBot, quando quiser dar um tratamento diferente para um crawler em particular. Cada novo user-agent inicia um grupo novo, e as regras anteriores não se acumulam automaticamente para ele.
Disallow e Allow
Disallow bloqueia o rastreamento de um caminho específico. Allow libera uma exceção dentro de uma pasta bloqueada. As duas diretivas são sensíveis a maiúsculas e minúsculas, então /Promocao/ e /promocao/ são tratados como caminhos completamente diferentes. Esse detalhe sozinho já explica boa parte dos robots.txt malconfigurados que eu já corrigi em projetos de clientes.
Sitemap
Indica onde está o sitemap XML do site, ajudando o buscador a descobrir suas páginas mais rápido. Diferente das outras diretivas, o sitemap não precisa ser repetido para cada user-agent, basta declarar uma vez.
Diretivas que o Google simplesmente ignora
Esse é um ponto que pouca gente comenta e que eu considero essencial: nem tudo que aparece em modelos de robots.txt pela internet realmente funciona. O Google confirmou publicamente que não reconhece noindex, nofollow, crawl-delay e host dentro do robots.txt, e em abril de 2026 ampliou essa lista de campos não suportados, incluindo também content-signal, content-usage, domain, request-rate, revisit-after e visit-time. Colocar essas linhas não gera erro nem aviso, o arquivo continua “válido”, mas a regra simplesmente não produz efeito nenhum. Se você precisa controlar velocidade de rastreamento, o caminho correto é o próprio Google Search Console, e se o objetivo é tirar uma página do índice, a ferramenta certa é a tag noindex no HTML ou o cabeçalho X-Robots-Tag, nunca o robots.txt.
Como criar e configurar um robots.txt para WordPress
Onde editar o arquivo no WordPress
Você pode criar um arquivo de texto simples chamado robots.txt em qualquer editor, como Notepad ou VS Code, e enviar via FTP para a raiz do site. Mas na prática, se você usa Rank Math, Yoast SEO ou All in One SEO, é mais seguro editar direto pelo painel de SEO do plugin, dentro de Configurações Gerais ou Ferramentas. Isso evita conflito entre o robots.txt físico e o virtual que o próprio WordPress gera automaticamente quando não existe um arquivo real no servidor.
Um exemplo de configuração equilibrada
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?replytocom
Sitemap: https://seudominio.com.br/sitemap_index.xmlEsse exemplo bloqueia o acesso à área administrativa, mas libera o admin-ajax.php, que é essencial para o funcionamento de vários plugins e temas. Também bloqueia páginas de busca interna e URLs de resposta a comentários, que costumam gerar conteúdo fino e duplicado sem valor para SEO.
Cuidados específicos do WordPress
Nunca bloqueie a pasta /wp-content/, e principalmente /wp-content/uploads/. É lá que ficam suas imagens, e bloquear esse caminho impede o Google de indexar suas fotos no Google Imagens, um canal de tráfego que muita gente ignora. Também evite bloquear arquivos CSS e JavaScript do tema, porque o Googlebot renderiza a página como um navegador faria, e se ele não consegue carregar esses arquivos, pode interpretar o layout errado e prejudicar sua avaliação de qualidade.
Você pode gostar de ler também: Blog aprovado no AdSense em 3 meses: estudo de caso real
Robots.txt, meta robots e X-Robots-Tag: qual a diferença
Essa confusão é a causa mais comum de sites que somem do Google sem explicação aparente. São três ferramentas diferentes, com funções diferentes, e usá-las junto de forma errada gera exatamente o tipo de conflito que impede a indexação.
- Robots.txt controla o acesso. Ele impede, ou tenta impedir, que o robô sequer entre na página.
- Meta robots é uma tag colocada dentro do HTML da página, controlando a indexação depois que o robô já leu o conteúdo.
- X-Robots-Tag faz a mesma função da meta robots, mas é enviado no cabeçalho HTTP da resposta do servidor, sendo útil para arquivos que não são HTML, como PDFs e imagens.
O erro clássico é bloquear uma URL no robots.txt e, ao mesmo tempo, colocar uma tag noindex nela. Como o Googlebot é impedido de acessar a página pelo robots.txt, ele nunca chega a ler a tag noindex que está dentro dela. O resultado é uma página que pode continuar aparecendo no índice, sem título nem descrição, exatamente o cenário que ninguém quer.
Erros comuns que impedem a indexação do site
Vou contar algo que me marcou: certa vez, ao configurar um blog novo, bloqueei sem querer a pasta /wp-content/. Resultado, o Google parou de indexar todas as imagens do site, e o tráfego orgânico despencou. Só percebi o erro depois de duas semanas, analisando o relatório de cobertura no Search Console. Foi aí que aprendi, na prática, que um robots.txt malconfigurado pode literalmente te apagar da internet.
- Deixar o site com “Disallow: /” ativo depois de tirá-lo do ambiente de testes, um erro clássico de sites recém-lançados que às vezes ficam semanas invisíveis no Google sem que ninguém perceba
- Bloquear CSS e JavaScript, prejudicando a renderização da página pelo Googlebot
- Confundir maiúsculas com minúsculas em um caminho e achar que a regra foi aplicada quando na verdade não foi
- Usar noindex dentro do robots.txt, uma diretiva que o Google nunca reconheceu oficialmente para esse arquivo
- Esquecer de atualizar o robots.txt depois de uma migração de domínio ou troca de estrutura de URLs
Robots.txt e os crawlers de inteligência artificial em 2026
Esse é o capítulo que praticamente não existia até pouco tempo atrás, e hoje é tão importante quanto a configuração para o Googlebot. Ferramentas como ChatGPT, Claude e Perplexity usam robôs próprios para treinar seus modelos e para buscar informações em tempo real quando respondem a uma pergunta. O detalhe que faz toda diferença é que cada empresa separa esses robôs em duas categorias: os de treinamento e os de busca em tempo real, e eles precisam de regras diferentes no robots.txt.
A OpenAI, por exemplo, usa o GPTBot para coletar dados de treinamento, e o OAI-SearchBot e o ChatGPT-User para indexar e buscar conteúdo em tempo real quando alguém pesquisa dentro do ChatGPT. A Anthropic segue a mesma lógica com três robôs independentes: ClaudeBot para treinamento, Claude-SearchBot para indexação de busca e Claude-User para quando um usuário pede que o Claude acesse uma página específica. Bloquear apenas um deles não bloqueia os outros, cada um exige sua própria diretiva, conforme a documentação oficial de bots da OpenAI.
Um estudo publicado em dezembro de 2025 pelas universidades Rutgers e Wharton encontrou algo que reforça bem esse ponto: sites que bloquearam todos os robôs de IA de forma indiscriminada tiveram queda de 23,1% no tráfego total, sem conseguir reduzir de forma consistente as citações que outros conteúdos concorrentes recebiam nessas mesmas ferramentas. Ou seja, bloquear tudo raramente protege alguma coisa, só tira o site do jogo.
A estratégia que mais faz sentido para a maioria dos blogs em 2026 é a configuração seletiva: bloquear os robôs de treinamento, se você não quer que seu conteúdo alimente os modelos de IA sem retorno nenhum, e liberar os robôs de busca e citação, que são os que trazem sua marca para dentro das respostas do ChatGPT, do Claude e do Perplexity, com link de volta para o seu site.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Disallow: /Vale lembrar que esses user-agents mudam com frequência, novas empresas lançam robôs novos o tempo todo, e algumas strings antigas, como Claude-Web e anthropic-ai, já foram descontinuadas. Um bom hábito é revisar essa lista a cada trimestre usando diretórios independentes como o Dark Visitors, que mantém um catálogo atualizado de agentes de IA conhecidos.
Como testar e validar seu robots.txt
Depois de qualquer alteração, nunca publique sem testar antes. O relatório de robots.txt dentro do Google Search Console mostra o conteúdo que o Google está lendo atualmente, aponta erros de sintaxe e permite solicitar um novo rastreamento assim que você desbloqueia uma URL importante. Já salvei muitos sites de sumirem do Google por causa de uma simples barra esquecida bloqueando o domínio inteiro.
Outro ponto que costuma passar despercebido é o cache. O Google guarda uma cópia do seu robots.txt por até 24 horas, então uma correção que você acabou de publicar pode levar algumas horas para realmente valer. E se o seu servidor ficar fora do ar e retornar erro 500 ou 503 repetidamente, o Google pode interpretar isso como instabilidade, pausar o rastreamento por até 12 horas e, depois de um período prolongado de falha, passar a se comportar como se o robots.txt nem existisse.
Boas práticas para manter seu robots.txt saudável
- Mantenha o arquivo simples, um robots.txt gigante e cheio de exceções é mais difícil de auditar quando algo dá errado
- Sempre inclua a diretiva Sitemap apontando para o sitemap principal
- Nunca use o robots.txt como ferramenta de segurança para esconder dados sensíveis
- Revise o arquivo sempre que migrar de domínio, trocar de tema ou instalar um plugin de cache e otimização
- Documente o motivo de cada bloqueio, para que você, ou quem assumir o site depois, entenda a decisão meses depois
- Teste toda alteração no Search Console antes de considerar a tarefa concluída
Conclusão: como aplicar o que você aprendeu
Agora que você entende o que é robots txt, indo além do básico e cobrindo diretivas, erros comuns e a nova camada dos crawlers de inteligência artificial, vale a pena parar e revisar o robots.txt do seu próprio site. Não precisa ser especialista em programação para isso. Com atenção e o hábito de testar cada mudança antes de publicar, dá para controlar exatamente o que os buscadores, humanos ou de IA, podem ou não acessar.
Acredite, ter um robots.txt bem configurado pode ser o diferencial entre um site bem posicionado e um site que simplesmente não aparece em lugar nenhum.
Muito obrigado por ter lido até aqui. Espero que este conteúdo tenha te ajudado a entender o que é robots txt de forma completa e prática. Qualquer dúvida, comenta aí embaixo ou entra em contato. Vamos crescer juntos.
Olá, me chamo Kildary Oliver e sou especialista em criação de blogs em WordPress e monetização com Google AdSense desde 2018. Já ajudei mais de 300 blogs de alunos a serem aprovados no AdSense e hoje reúno mais de 27 mil inscritos no meu canal do YouTube e mais de 10 mil alunos nos meus cursos. Acompanho de perto as mudanças do Google e do SEO, com formação recente em GEO e Agentes de IA aplicados a conteúdo.
