# robots.txt — accesaniga.com.ar # Generado 2026-08-18 a partir de la auditoría de bandwidth de Kinsta. # # CONTEXTO: Cloudflare Managed Content antepone su propio bloque (ClaudeBot, # GPTBot, meta-externalagent, Amazonbot, Bytespider, CCBot, Applebot-Extended, # Google-Extended). NO cubre Applebot, Claude-SearchBot ni OAI-SearchBot, que # son las variantes de búsqueda. Este archivo las cubre. # # El robots.txt anterior no bloqueaba un solo path. Además el log muestra # 4 842 add-to-cart y 4 560 remove_item: /carrito/ es la página más pedida # del sitio, por encima del home. # # Este archivo reemplaza el robots.txt virtual de WordPress. Al existir como # archivo físico en la raíz, tiene precedencia sobre el que genera WP/Yoast. # Se eliminó el bloque Yoast con "Disallow:" vacío, que anulaba toda regla previa. # --------------------------------------------------------------------------- # 1. Crawlers de IA — búsqueda y entrenamiento # --------------------------------------------------------------------------- # Applebot generaba 13 218 de 20 000 líneas de log (dos tercios de la muestra). User-agent: Applebot Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Claude-SearchBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Perplexity-User Disallow: / User-agent: meta-externalagent Disallow: / User-agent: meta-webindexer Disallow: / User-agent: meta-externalfetcher Disallow: / User-agent: FacebookBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Amazonbot Disallow: / User-agent: Bytespider Disallow: / User-agent: CCBot Disallow: / User-agent: Diffbot Disallow: / User-agent: cohere-ai Disallow: / User-agent: Omgilibot Disallow: / User-agent: Timpibot Disallow: / User-agent: ImagesiftBot Disallow: / User-agent: ImageBot Disallow: / # --------------------------------------------------------------------------- # 2. Crawlers de SEO comercial — no aportan tráfico, solo consumen bandwidth # --------------------------------------------------------------------------- User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: PetalBot Disallow: / User-agent: SeekportBot Disallow: / User-agent: Barkrowler Disallow: / User-agent: serpstatbot Disallow: / # --------------------------------------------------------------------------- # 3. Reglas generales — aplican a Googlebot, bingbot y cualquier otro # --------------------------------------------------------------------------- # Bloquean URLs de faceta, carrito y endpoints que nunca deben indexarse. # NO hay una línea "Disallow:" vacía: eso anulaba todo lo anterior. User-agent: * # Faceta y filtrado de WooCommerce Disallow: /*?filter_ Disallow: /*&filter_ Disallow: /*?pa_ Disallow: /*&pa_ Disallow: /*?query_type_ Disallow: /*&query_type_ Disallow: /*?min_price= Disallow: /*&min_price= Disallow: /*?max_price= Disallow: /*&max_price= Disallow: /*?orderby= Disallow: /*&orderby= Disallow: /*?product_tag= Disallow: /*?rating_filter= # Importador por HTTP — no debe ser crawleable Disallow: /wp-load.php # Carrito y sesión — nunca cacheable, nunca indexable Disallow: /*?add-to-cart= Disallow: /*&add-to-cart= Disallow: /*?remove_item= Disallow: /*&remove_item= Disallow: /*?wc-ajax= Disallow: /*&wc-ajax= Disallow: /carrito/ Disallow: /finalizar-compra/ Disallow: /mi-cuenta/ # Búsqueda interna — genera URLs infinitas Disallow: /*?s= Disallow: /*&s= Disallow: /*?post_type= Disallow: /*?query= Disallow: /*?srsltid= # Endpoints y administración Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-cron.php Disallow: /*?doing_wp_cron Disallow: /xmlrpc.php Disallow: /wp-content/uploads/wc-logs/ Disallow: /wp-content/uploads/woocommerce_transient_files/ Disallow: /wp-content/uploads/woocommerce_uploads/ Sitemap: https://accesaniga.com.ar/sitemap_index.xml