Pedidos no servidor sobem semana após semana, comentários e cadastros ficam parados: o padrão clássico de um site sendo lido por bots de IA. Para medir o quanto isso custa em visibilidade, o checklist de otimização para busca com IA mostra o caminho inverso: ser lido de propósito. Dados do HTTP Archive compilados em 2026 mostram que o GPTBot passou de zero para perto de 600 mil sites bloqueando em poucos meses depois do lançamento. A decisão de bloquear virou rotina de dono de site, e a maioria executa errado: bloqueia o bot errado e apaga o site do Google junto.
Checklist 1: separe crawler de treino de bot de busca em tempo real
Bloqueio cego custa caro. Antes de tocar no robots.txt, classifique cada agente: os dois grupos fazem coisas diferentes e a decisão muda conforme o objetivo do site.
- Crawlers de treino (GPTBot, ClaudeBot, anthropic-ai, Google-Extended, CCBot, Bytespider, Applebot-Extended, Diffbot, meta-externalagent): copiam conteúdo para treinar modelos. Nada devolvem no curto prazo: sem clique, sem impressão, sem assinatura.
- Bots de busca em tempo real (OAI-SearchBot, PerplexityBot, ChatGPT-User): buscam a página no momento em que alguém faz uma pergunta. Esses sim podem citar o site na resposta e mandar clique.
- Googlebot e Bingbot: rastreadores tradicionais. Bloqueá-los por engano tira o site da busca inteira, incluindo AI Overviews e AI Mode.
A regra prática: quem vive de audiência e autoridade (blog, mídia, negócio local) mantém bots de busca liberados e decide caso a caso sobre treino. Quem vende conteúdo proprietário ou dados exclusivos tende a bloquear treino e manter busca.
Checklist 2: o robots.txt pronto para colar
O robots.txt fica na raiz do domínio e é o primeiro filtro que a maioria das empresas de IA declara respeitar. Bloqueio seletivo de treino, preservando busca e crawlers do Google:
“User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Diffbot Disallow: / User-agent: meta-externalagent Disallow: / Sitemap: https://seudominio.com.br/sitemap.xml”— modelo de robots.txt: treino bloqueado, busca preservada
- Cole as linhas no robots.txt existente: não substitua o arquivo inteiro sem conferir as regras atuais.
- Confirme que nenhuma linha bloqueia Googlebot, Bingbot ou Google-Extended por engano: Google-Extended afeta treino do Gemini, não o ranqueamento.
- Mantenha a linha Sitemap no final.
- Teste no Search Console (testador de robots.txt) e no inspector de URL após publicar.
Bloquear treino de hoje é aceitar menos citação de amanhã: modelos usam o que aprenderam. Quem aposta em visibilidade em respostas de IA (AI Overviews, ChatGPT, Perplexity) normalmente libera os bots de busca e avalia treino com frieza. O teste honesto: rode o score do site com o Score de Citação em IA antes de decidir. Site sem estrutura para ser citado perde pouco bloqueando; site estruturado precisa da conta completa.
Checklist 3: verifique se os bots já estão batendo no site
- Abra os logs do servidor (cPanel, hPanel ou SSH) e filtre por GPTBot, ClaudeBot, PerplexityBot e CCBot nos últimos 30 dias.
- Some o tráfego desses agentes e compare com o tráfego humano do mesmo período: proporção acima de 20% já pesa no custo de hospedagem.
- No Search Console, confira o relatório de rastreamento: o Google separa Googlebot de outros crawlers.
- Sites na Cloudflare: o painel de segurança lista os bots por user-agent no dashboard, sem precisar de log. Depois do bloqueio, meça o que muda: a rotina está no checklist de busca com IA.
Checklist 4: bloqueio além do robots.txt (quando o bot ignora)
robots.txt é convencional: bot mal-intencionado ignora. Para esses casos, a camada de rede resolve. A Cloudflare tem bloqueio nativo de bots de IA por user-agent e por categoria (um clique no dashboard, planos pagos incluem detecção por fingerprint). Plugins de segurança no WordPress cumprem papel parecido na camada do site, filtrando user-agent antes do PHP. A combinação comum em sites de conteúdo: robots.txt para os que respeitam, regra de WAF para os que não respeitam.
Checklist 5: proteja o que é proprietário sem trancar o resto
- Bloqueie por caminho, não por site inteiro: restringia /membros/, /downloads/ e dados exclusivos; mantenha o blog aberto para descoberta.
- Paywall e conteúdo assinante: bloqueio por rota + login obrigatório, porque robots.txt não esconde conteúdo de quem renderiza a página.
- Conteúdo gerado com investimento alto (pesquisa própria, base de dados): avalie licença formal ou acordo antes de decidir por bloqueio total.
- Monitore mensalmente: user-agents novos aparecem todo trimestre, e a lista de bloqueio é documento vivo.
O que fazer quando o objetivo é ser citado (e não bloqueado)
Metade das decisões deste checklist muda de sinal quando o objetivo vira citação em IA: em vez de barrar os bots, o site passa a prepará-los com conteúdo extratível, schema e entidade clara. O checklist de AdSense 2026 cobre a parte de conformidade, e o roteiro técnico está no checklist de otimização para busca com IA. Para quem quer medir antes de decidir, o Verificador de Visibilidade em IA mostra como robôs de busca e assistentes enxergam as páginas hoje.