# =============================================================================
# robots.txt — precoremedio.com.br
# =============================================================================
# A coleta automatizada de dados (scraping) é vedada. Veja Termos de Uso.
# Defesa em profundidade: Cloudflare WAF + edge function bot-detect também
# bloqueiam os user-agents abaixo.
# =============================================================================

# ── Buscadores legítimos: PERMITIDOS (com bloqueios privados explícitos) ─────
# Regras por agent-group em robots.txt são EXCLUSIVAS — agents nomeados NÃO
# herdam regras do User-agent: *. Por isso replicamos Disallow aqui também.
User-agent: Googlebot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Bingbot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Slurp
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: DuckDuckBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Twitterbot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: facebookexternalhit
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: LinkedInBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

# ── Bots de IA assistivos (ChatGPT, Claude, Perplexity, Gemini, etc.): ───────
# PERMITIDOS desde 2026-05-21. Decisão estratégica: comparador de preços ganha
# tráfego e marca ao ser citado nas respostas das IAs ("qual o preço da
# losartana?" → ChatGPT/Claude/Perplexity cita precoremedio.com.br). Sem essa
# permissão, todo o trabalho de AI SEO (Schema FAQPage, llms.txt, ai.txt) fica
# sem efeito por estar com a porta fechada. Conteúdo já é público (sitemap.xml
# lista todas as 197 URLs) — admin/perfil/lista/reset-password seguem
# disallowed em cada bloco abaixo, sem exceção.
User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: CCBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: anthropic-ai
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Claude-Web
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: cohere-ai
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: YouBot
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Bytespider
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: Applebot-Extended
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

User-agent: meta-externalagent
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

# Google-Extended controla treinamento Gemini/Bard separadamente do Googlebot
# (busca). Permitir aqui = consentimento explícito para uso em treinamento
# de IAs do Google. Googlebot (busca) já está permitido no topo do arquivo.
User-agent: Google-Extended
Allow: /
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/

# ── Scrapers comerciais / SEO / web crawlers proprietários: BLOQUEADOS ───────
# Estes não devolvem tráfego — só extraem dados para serviços pagos próprios.
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: serpstatbot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Amazonbot
Disallow: /

# ── Demais agentes ───────────────────────────────────────────────────────────
User-agent: *
Crawl-delay: 10
Disallow: /admin
Disallow: /perfil
Disallow: /lista
Disallow: /reset-password
Disallow: /_vercel/
Allow: /

Sitemap: https://www.precoremedio.com.br/sitemap.xml