# ─────────────────────────────────────────────────────────────────────────────
# Правило отбора (2026-08-05): бот остаётся, если он ЗАМЕРЕННО приносит трафик.
# Замер за 7 дней по реферерам: google 105 635 переходов, bing+yahoo+ddg+ecosia
# ~2 500, chatgpt 16, copilot 9. От Ahrefs/Semrush/DataForSeo/Moz переходов нет
# и быть не может — это не поисковики, а инструменты анализа ссылок, которые
# ходят за наш счёт и продают данные своим подписчикам.
#
# ⚠️ Ни одно правило здесь не опирается на страну и не трогает поисковики.
# ⚠️ Блок для конкретного User-agent ПОЛНОСТЬЮ заменяет блок «*», поэтому
#    в каждом именном блоке общие Disallow повторены — иначе мы бы случайно
#    ОТКРЫЛИ им /api/ и /admin/.
# Откат: удалить нужный блок и скопировать файл на сервер. Сборка не нужна.
# ─────────────────────────────────────────────────────────────────────────────

User-agent: *
Disallow: /api/
Disallow: /admin/
Disallow: /*?ref=

# ── Инструменты анализа ссылок: 100% расход, 0 переходов по построению ────────
# Ahrefs один давал 86 451 запрос в сутки — 9.7% всего трафика сайта.
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: Barkrowler
Disallow: /

# ── Неопознанные краулеры на арендованных виртуалках ──────────────────────────
# Оба ходят с Google Cloud, пользы не заявлено. Если после этой правки они не
# сбавят — значит robots.txt они не читают, и это само по себе основание
# блокировать их по сети.
User-agent: SleepBot
Disallow: /

User-agent: ShapBot
Disallow: /

# ── Оставлены, но замедлены ──────────────────────────────────────────────────
# Переходов от них не замерено, но это ассистенты, которые ссылаются на
# источник, — то есть трафик отсюда возможен завтра. Не выгоняем, просим реже.
# Если через неделю объём не упадёт — Crawl-delay они игнорируют, решать заново.
User-agent: Amazonbot
Crawl-delay: 10
Disallow: /api/
Disallow: /admin/
Disallow: /*?ref=

User-agent: PerplexityBot
Crawl-delay: 10
Disallow: /api/
Disallow: /admin/
Disallow: /*?ref=

User-agent: Bytespider
Crawl-delay: 10
Disallow: /api/
Disallow: /admin/
Disallow: /*?ref=

# ── Намеренно НЕ ограничены ──────────────────────────────────────────────────
# Googlebot, Bingbot — кормят сайт (99% и ~2% переходов соответственно).
# Applebot — 17.5% нагрузки при нуле замеренных переходов, НО Crawl-delay он по
#   собственной документации не исполняет («Applebot does not follow
#   crawl-delay»), поэтому запись здесь была бы бесполезна; решение отдельное.
# GPTBot / OAI-SearchBot — единственные ИИ-краулеры с ненулевым замером.
# ClaudeBot — оставлен по прямому решению владельца.

Sitemap: https://eldoctor.com.mx/sitemap.xml