User-agent: *
Allow: /
Allow: /api/img/
Disallow: /api/
Disallow: /admin/
Disallow: /Search?
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /go/
Disallow: /standings-data/
Disallow: /htw/

# Crawlers de entrenamiento IA / scrapers sin valor para el sitio (5-sep-2026:
# meta-externalagent hizo 71K requests en un día, el 31 % de todo el origen).
# Se mantienen los que traen visitas: Googlebot, bingbot, PerplexityBot,
# OAI-SearchBot, ChatGPT-User, facebookexternalhit. Bloqueo espejo en el WAF
# de Cloudflare (los que ignoran robots.txt).
User-agent: meta-externalagent
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: SleepBot
Disallow: /
User-agent: Amazonbot
Disallow: /

# Crawlers SEO / indexadores sin valor para el sitio (27-sep-2026, docs/
# DEGRADACION_CAUSAS_2026-09-26.md §4.2): entre todos ~20 % del tiempo de
# render de Next y cero visitas. Espejo del 403 de nginx ($or_bot_block en
# conf.d/oneracing-microcache.conf). SiteAuditBot (auditoría de Semrush que
# lanza el dueño) sigue permitido.
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Barkrowler
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: Amzn-SearchBot
Disallow: /
User-agent: AionBot
Disallow: /
User-agent: AwarioBot
Disallow: /
User-agent: ExaSearchBot
Disallow: /
User-agent: SofyaBot
Disallow: /
User-agent: DesearchBot
Disallow: /
User-agent: ShapBot
Disallow: /

Sitemap: https://www.oneracingapp.com/sitemap.xml