Los bots de Inteligencia Artificial como Claude AI están indexando todo internet para entrenar sus modelos de lenguaje.
Estos bots a veces provocan saturaciones en las webs de clientes debido a que son bastante agresivos en su indexación.
Para evitar que el bot visite tu web y llegue a saturarla y degradar su rendimiento, debes añadir las siguientes líneas al archivo robots.txt de tu web para bloquear el acceso. Este bot al menos por ahora respeta las reglas del robots.txt:
User-agent: ClaudeBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: Claude-Web Disallow: /