Robots Checker – Visualize e valide robots.txt
Visualize e valide o robots.txt de um site. Verifique regras de crawlers e bloqueios.
Como usar esta ferramenta
- Digite a URL do site
- Clique em verificar
- Analise as regras do robots.txt
- Identifique bloqueios ou problemas
Sobre esta ferramenta
O que é
O robots.txt fica na raiz do site e informa aos rastreadores quais caminhos podem ou não ser acessados. Ele controla rastreamento, não indexação — para impedir indexação, use a meta noindex.
Quando usar
- Conferir se uma página está bloqueada para o Google
- Diagnosticar queda de páginas indexadas
- Validar o arquivo após uma alteração
- Verificar se o sitemap está declarado
- Auditar o bloqueio de crawlers de IA
Perguntas frequentes
- Bloquear no robots.txt tira a página do Google?
- Não necessariamente. Bloqueado, o Google não lê a página — mas ainda pode indexar a URL se houver links para ela. Para remover de fato, permita o rastreamento e use a meta noindex.
- Qual regra vence quando há conflito?
- A mais específica, ou seja, a de caminho mais longo. Em empate entre Allow e Disallow, o Google adota o Allow.
- Preciso declarar o sitemap no robots.txt?
- Não é obrigatório, mas é recomendado: é a forma mais simples de garantir que qualquer buscador encontre o sitemap sem depender de cadastro manual.