Как сайту попасть в ответы Claude с поиском в интернете: важны поисковые и пользовательские боты, а не ClaudeBot
У Anthropic три бота с разными задачами: один собирает тексты для обучения ИИ-моделей, второй индексирует страницы для поиска Claude в интернете, третий приходит, когда пользователь просит прочитать страницу. В robots.txt каждого можно закрыть отдельно, но сайты закрывают и тех, от кого зависят ответы. Crawl Readiness в октябре 2026 года проверил топ-1000 сайтов: Claude-SearchBot закрыт у 63 из 569 сайтов, где robots.txt вообще есть, то есть у каждого девятого. Страница попадает в источники Claude, только если её видит поиск, через который он ищет, и на сайт пускают поискового и пользовательского ботов. Обучающий ClaudeBot на это почти не влияет, так что если цель была не отдавать тексты в обучение, хватило бы закрыть его одного. Читать далее