Медиа о нейросетях для бизнеса и жизни

Robots.txt для ИИ-ботов: каких пускать, каких закрыть

Чтобы нейросети находили и советовали ваш сайт, в robots.txt должны быть открыты поисковые боты: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot и YandexBot. Ботов для обучения GPTBot и ClaudeBot можно закрыть без потери места в ответах, а запрет для Google-Extended не даёт приложению Gemini брать страницы сайта для ответов.

12 мин чтения ✓ проверено
Три робота стоят в очереди у двери сайта, рядом список с переключателями, один включён оранжевым: какие ИИ-боты пускать через robots.txt

У OpenAI и Anthropic за поиск и за обучение моделей отвечают разные боты, и в robots.txt ими управляют по отдельности; у Perplexity заявлен только поисковый PerplexityBot. Если закрыть поисковых ботов (OAI-SearchBot, Claude-SearchBot, PerplexityBot), сайт исчезнет из поисковых ответов ChatGPT и станет хуже виден в Claude и Perplexity, а запрет для GPTBot и ClaudeBot отключает только обучение. Запрет для Google-Extended отключает обучение Gemini и не даёт приложению Gemini брать страницы сайта для ответов, а обычный Google Поиск и ИИ-обзоры не затрагивает. Поисковых ботов оставьте открытыми, обучающих закрывайте по желанию.

Если вы хотите, чтобы ChatGPT, Claude, Perplexity, Gemini и Алиса находили ваш сайт и советовали компанию, в robots.txt должны быть открыты поисковые боты нейросетей. Robots.txt — служебный файл сайта, где написано, каким роботам что можно читать. Ботов GPTBot и ClaudeBot, которые собирают тексты для обучения моделей, можно закрыть: на ответы со ссылками на сайты они не влияют. Google-Extended закрывайте, только если вам не нужны ответы приложения Gemini: запрет отключает и их.

Внизу три готовых шаблона файла и пути, где его правят в Тильде и WordPress. Справки OpenAI, Anthropic, Google, Perplexity и Яндекса мы сверили 19 ноября 2026 года.

Каких ИИ-ботов пускать на сайт, а каких можно закрыть

Поисковых ботов пускайте всегда, обучающих закрывайте по желанию. У OpenAI, Anthropic и Perplexity по несколько ботов с разными задачами. Поисковый обходит сайты заранее и складывает их в индекс, откуда потом берутся ссылки в ответах. Обучающий собирает тексты для будущих версий модели. Третий приходит, когда конкретный человек попросил нейросеть открыть страницу.

Файл лежит в корне сайта: вашсайт.kz/robots.txt. В нём строка User-agent называет робота, Disallow закрывает раздел, Allow открывает. Строки под одним или несколькими User-agent подряд образуют группу правил для этих роботов.

БотКомпанияЗачем приходитЧто будет, если закрыть
GooglebotGoogleпоиск Google и ИИ-обзорысайт уйдёт и из поиска, и из ИИ-обзоров
OAI-SearchBotOpenAIпоиск в ChatGPTсайта не будет в поисковых ответах ChatGPT
GPTBotOpenAIобучение моделейновые тексты не пойдут в обучение, поиск не страдает
ChatGPT-UserOpenAIоткрывает страницу по просьбе пользователяправило может не сработать
Claude-SearchBotAnthropicпоиск в Claudeсайт хуже виден в ответах Claude
ClaudeBotAnthropicобучение моделейбудущие тексты не пойдут в обучение
Claude-UserAnthropicоткрывает страницу по просьбе пользователяClaude не прочитает страницу для ответа
PerplexityBotPerplexityпоиск в Perplexityсайт хуже виден в ссылках Perplexity
Perplexity-UserPerplexityоткрывает страницу по просьбе пользователяправило обычно не работает
Google-ExtendedGoogleправило для обучения Gemini и ответов приложения Gemini (своего робота нет)Gemini не будет брать страницы для ответов, Google Поиск не затронет
Applebot-ExtendedAppleобучение моделей Appleновые тексты не пойдут в обучение моделей Apple
YandexAdditionalЯндексбыстрые ответы YandexGPT и Поиск с Алисойтекст страниц не попадёт в эти ответы

Google-Extended — имя только для robots.txt, своего робота у него нет. По справке Google, страницы обходят обычные роботы Google, а строка в файле лишь говорит, можно ли пускать собранное в Gemini. В логах сервера это имя не ищите. ИИ-обзоры в таблице — короткий ответ нейросети над результатами Google, они строятся на обычном индексе Googlebot.

Боты, которые приходят по просьбе человека, ведут себя по-разному. OpenAI пишет, что для ChatGPT-User правила robots.txt могут не применяться, раз действие начал пользователь. Perplexity прямо признаёт, что Perplexity-User обычно их игнорирует. Anthropic, наоборот, обещает, что все её боты, включая Claude-User, слушаются robots.txt.

Что потеряет бизнес, если закрыть сайт от ChatGPT

Зависит от строки. Запрет для OAI-SearchBot убирает сайт из поисковых ответов ChatGPT: по справке OpenAI, может остаться только навигационная ссылка на сайт. Запрет для GPTBot отключает только обучение, на поиск в ChatGPT он не влияет.

В готовых списках «закройте всех ИИ-ботов» поисковые и обучающие боты часто стоят вперемешку. Скопировав такой список, легко вместе с обучением закрыть и поиск. По данным BuzzStream, которые приводит Search Engine Journal, 79% проверенных новостных сайтов США и Великобритании закрыли хотя бы одного обучающего бота, а 71% — хотя бы одного поискового.

Сайт пропадает из ответов

  • Disallow: / для OAI-SearchBot, Claude-SearchBot или PerplexityBot
  • Общий запрет для всех роботов (User-agent: * и Disallow: /)
  • Закрыт Googlebot: вместе с поиском Google сайт уходит из ИИ-обзоров
  • Защита на сервере отбивает ботов, хотя robots.txt их пускает

Видимость сохраняется

  • Disallow: / только для GPTBot, ClaudeBot, Applebot-Extended
  • Закрыты служебные разделы: корзина, личный кабинет, поиск по сайту
  • Поисковые боты открыты, в конце файла указана карта сайта

По справке Google, закрыть сайт через robots.txt от ИИ-обзоров отдельно от поиска нельзя: правила для Googlebot действуют на оба места сразу. Как нейросеть вообще отбирает сайты для ответа, мы разбирали в статье о том, как ChatGPT выбирает источники.

Как Яндекс берёт сайт в ответы YandexGPT и Алисы

Яндекс берёт для ответов YandexGPT и Алисы тексты страниц, которые уже проиндексировал основной робот YandexBot. Запретить это можно отдельным именем в robots.txt — YandexAdditional. По справке Яндекс Вебмастера, правило для него ограничивает показ текста страниц в быстрых ответах YandexGPT и в Поиске с Алисой. Сам YandexAdditional страницы не скачивает.

По справке, это правило ограничивает только показ в быстрых ответах YandexGPT и в Поиске с Алисой, а индексацию ведёт YandexBot, которого группа для YandexAdditional не касается. Общее правило User-agent: * на него не действует, поэтому закрыть его можно только отдельной группой с его именем:

User-agent: YandexAdditional
Disallow: /

Этого имени обычно нет в англоязычных таблицах ИИ-ботов, и его легко пропустить, если копировать чужой шаблон. Добавляйте такую группу, только если не хотите, чтобы тексты сайта пересказывались в ответах Яндекса.

Готовые шаблоны robots.txt для трёх сценариев

Большинству компаний подходит первый или второй шаблон: сайт открыт поиску, обучение моделей на ваше усмотрение. Третий нужен тем, кто продаёт сами тексты. Замените example.kz своим доменом, а служебные разделы — своими: у интернет-магазина это корзина и оформление заказа, у сайта на WordPress — /wp-admin/. Если в файле уже есть нужные правила, допишите только недостающие группы.

Сценарий 1. Открыть сайт всем поисковикам и нейросетям

Подходит большинству компаний: сайт виден везде, нейросети могут на нём учиться.

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://example.kz/sitemap.xml

Отдельные группы для ИИ-ботов здесь не нужны: добросовестные роботы и так читают всё, что не запрещено.

Сценарий 2. Оставить поиск, закрыть обучение

Сайт остаётся в ответах ChatGPT, Claude, Perplexity, Gemini, в ИИ-обзорах Google и в ответах Яндекса. Новые тексты не идут в обучение моделей OpenAI, Anthropic и Apple.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
Disallow: /

Sitemap: https://example.kz/sitemap.xml

Google-Extended в шаблон намеренно не включён. По справке Google, он управляет и обучением Gemini, и тем, берёт ли приложение Gemini ваши страницы для ответов. Если ответы Gemini вам не нужны и вы хотите закрыть ещё и обучение Gemini, добавьте в группу строку User-agent: Google-Extended.

Сценарий 3. Закрыть сайт от ИИ-ботов

Нужен редко, например платным изданиям или базам знаний, чьи тексты продаются. Сайт пропадёт из большинства ответов ChatGPT, Claude, Perplexity, Gemini и Алисы, обычный поиск Google и Яндекса сохранится.

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: YandexAdditional
Disallow: /

Sitemap: https://example.kz/sitemap.xml

Исключения остаются и с таким файлом. ChatGPT-User и Perplexity-User могут открыть страницу по просьбе пользователя, а из ИИ-обзоров Google сайт уйдёт только вместе с поиском, если закрыть Googlebot.

Не закрывайте всех роботов строками User-agent: * и Disallow: / «на время, пока делаем сайт». Такой запрет легко забыть после запуска, и сайт месяцами не появляется ни в поиске, ни в нейросетях. Подробнее о таких ошибках — в разборе, почему сайт не индексируется.

Почему ИИ-бот не слушается правил

Обычно бот ведёт себя не так, как ждали, по одной из трёх причин: ошибка в группах правил, задержка до суток или Cloudflare, который дописывает в файл свои запреты. Первая причина — сам файл. По спецификации Google, у каждого робота работает только одна группа правил: та, где его имя названо точнее всего. Группа для конкретного бота и общая группа User-agent: * не складываются.

Пример: в файле закрыты /cart/ и /account/ для всех роботов, ниже кто-то добавил группу User-agent: GPTBot с одной строкой Allow: /. Для GPTBot общая группа больше не действует, и служебные разделы для него открыты. Создаёте группу для бота — повторите в ней все нужные запреты.

Внутри группы спор решает длина правила. Допустим, в группе стоят Disallow: /blog/ и Allow: /blog/prices/. Страница /blog/prices/ открыта: второе правило длиннее и точнее. При равной длине Google выбирает менее строгое.

Вторая причина — время. Google хранит копию robots.txt до 24 часов, OpenAI учитывает изменения примерно за сутки, так что утренняя правка к вечеру может ещё не сработать.

Третья — Cloudflare, сервис, через который многие сайты защищаются от атак и ускоряют загрузку. У него есть настройка, которая сама дописывает в начало robots.txt запреты для ИИ-ботов, например GPTBot, ClaudeBot и Google-Extended, плюс строку Content-signal: search=yes, ai-train=no, use=reference. Её включают так: Security Settings → фильтр Bot traffic → AI Crawler and Agent access policies, в пункте Training выбрать Disallow и включить Enable Bot Preference Sync.

1 июля 2025 года Cloudflare объявила, что по умолчанию блокирует ИИ-ботов, которые не платят авторам за тексты. Если ваш сайт подключён к Cloudflare, проверьте две вещи: что на самом деле написано в robots.txt и не закрыты ли ИИ-боты в настройках Bot traffic.

Что делать, если ИИ-бот нагружает сервер или не соблюдает запрет

Если бот слушается robots.txt, но приходит слишком часто, его можно притормозить. Anthropic поддерживает нестандартную строку Crawl-delay для ClaudeBot: пауза в секундах между запросами. Служебные запреты в этой группе повторите, иначе для ClaudeBot они откроются.

User-agent: ClaudeBot
Crawl-delay: 60
Disallow: /cart/
Disallow: /account/

По наблюдению Search Engine Journal, пауза не отменяет полный запрет: если для того же бота стоит Disallow: /, он не придёт вовсе.

С ботами, которые robots.txt игнорируют, файл не поможет: он только просит роботов не заходить. Search Engine Journal советует в таких случаях ограничивать доступ на сервере или в CDN, например файрволом. Добросовестных ботов надёжнее закрывать строкой в robots.txt: Anthropic предупреждает, что блок по её IP-адресам ненадёжен.

Как изменить robots.txt в Тильде и WordPress

В Тильде файл правят в разделе Настройки сайта → SEO → Редактирование robots.txt, в WordPress — через Yoast SEO или файлом в корне сайта. Обе системы создают robots.txt автоматически. Перед правкой откройте вашсайт.kz/robots.txt и скопируйте текущее содержимое, чтобы не потерять правила, которые платформа уже добавила.

Тильда — переключите файл на ручное управление ≈ 5 мин

  • Настройки сайта → SEO → Редактирование robots.txt
  • Выберите «Ручное управление», вставьте текущий файл и допишите группы для ботов
  • Учтите: в ручном режиме Тильда перестаёт сама вносить в файл запреты из настроек страниц
  • Размер файла — до 60 КБ
1

WordPress с Yoast SEO — откройте редактор файлов ≈ 5 мин

  • Yoast SEO → Инструменты → Редактор файлов
  • Нажмите «Создать файл robots.txt» или исправьте существующий
  • Нет такого пункта — значит, редактирование файлов на сайте отключено: создайте robots.txt в корне сайта через хостинг
2

Проверьте результат в браузере ≈ 1 мин

  • Откройте вашсайт.kz/robots.txt в режиме инкогнито
  • Найдите имена ботов и строки Disallow под ними
3

По справке Yoast, WordPress показывает виртуальный robots.txt, только пока в корне нет настоящего файла. Как только файл появился, работает он. У Битрикса и других систем правило то же: robots.txt открывается прямо по адресу домена, без папок, и действует только на свой домен.

Как проверить, что правила работают

Начните с самого файла. Он должен открываться по адресу https://вашсайт.kz/robots.txt и не перекидывать на главную. Если сайт добавлен в Google Search Console как домен, там есть отчёт о файлах robots.txt: видно, когда Google последний раз их проверял, какую версию получил и какие нашёл ошибки.

Логику правил удобно разобрать с нейросетью. Ответ считайте черновиком и сверьте с таблицей выше.

Ниже мой файл robots.txt. Разбери его по шагам.
 
1. Для каждого бота из списка скажи, может ли он читать главную страницу и раздел /blog/: OAI-SearchBot, GPTBot, ChatGPT-User, Claude-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Googlebot, YandexBot, YandexAdditional.
2. Учти, что у каждого робота работает только одна группа правил, и группа с его именем отменяет группу User-agent: *.
3. Найди строки, которые закрывают сайт от поиска в нейросетях, хотя, судя по остальному файлу, хотели закрыть только обучение.
4. Предложи исправленный файл: поисковые боты открыты, обучающие закрыты, служебные разделы закрыты для всех.
 
Файл:
[вставьте содержимое robots.txt]

Через сутки-двое после правки задайте ChatGPT и Perplexity вопросы, на которые отвечает ваш сайт, и посмотрите, появились ли ссылки. Источники в ответах часто меняются, и одна проверка ничего не доказывает: как вести замер неделю, мы описали в статье о том, почему сайт пропадает из ответов нейросетей.

Открытый robots.txt только пускает ботов на сайт. Чтобы нейросеть выбрала именно вас, нужны понятные страницы с ответами на вопросы клиентов и упоминания компании на других сайтах. Пошаговый план — в гайде как попасть в ответы нейросетей.

Проверим сайт за вас. Посмотрим robots.txt, защиту сервера и страницы, которые нейросети уже цитируют, и скажем, что мешает компании попасть в ответы.

Заказать аудит →

Частые вопросы

Можно ли через robots.txt запретить нейросетям учиться на уже собранных текстах?

Нет, запрет действует на будущие обходы. Anthropic пишет, что после запрета для ClaudeBot будущие материалы сайта исключаются из обучения. OpenAI пишет, что закрытый для GPTBot контент не должен использоваться для обучения моделей. Тексты, которые бот забрал до появления строки в robots.txt, этот файл не отзывает.

Сколько ждать, пока ChatGPT увидит изменения в robots.txt?

Около суток. По справке OpenAI, системам ChatGPT нужно примерно 24 часа, чтобы учесть обновлённый robots.txt для поискового бота OAI-SearchBot. Если через двое суток бот ведёт себя по-старому, проверьте, не отдаёт ли сервер или Cloudflare другой вариант файла.

Защищает ли robots.txt тексты сайта от копирования?

Нет. Robots.txt — просьба к роботам, которую выполняют добросовестные компании. Сервис, который её игнорирует, откроет страницу как обычный посетитель. Прайс для партнёров, документы клиентов и другие закрытые материалы прячут за паролем: строка Disallow их не защитит.

Нужен ли llms.txt, если robots.txt уже настроен?

Для доступа ботов достаточно robots.txt. Llms.txt — формат файла, который пока только предложен и не стал стандартом: в нём краткие подсказки и ссылки на важные страницы для нейросетей. Авторы формата прямо пишут, что у него и у robots.txt разные задачи: llms.txt не открывает и не закрывает сайт ни одному боту, и запрет в robots.txt он не отменит.

Источники

  1. OpenAI: Overview of OpenAI Crawlers19.11.2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?19.11.2026
  3. Google Search Central: Google's common crawlers (Google-Extended)19.11.2026
  4. Google Search Central: AI features and your website19.11.2026
  5. Google Search Central: How Google interprets the robots.txt specification19.11.2026
  6. Справка Search Console: отчёт о файлах robots.txt19.11.2026
  7. Perplexity: Perplexity Crawlers19.11.2026
  8. Яндекс Вебмастер: роботы Яндекса19.11.2026
  9. Cloudflare: Managed robots.txt19.11.2026
  10. Cloudflare: Content Independence Day01.07.2025
  11. Тильда: настройка индексации поисковыми системами19.11.2026
  12. Yoast: How to edit robots.txt through Yoast SEO19.11.2026
  13. Search Engine Journal: Robots.txt Guide – Best Practices For Search & AI Crawlers19.11.2026
Автор материала руководитель агентства SkyBird

Пишет о нейросетях и продвижении в них для предпринимателей и маркетологов. Каждый гайд проверяет руками, цены сверяет по официальным страницам.

Читайте также

Все материалы →
GEO

Какие сайты цитирует ChatGPT в вашей нише: ядро цитирования

Ядро цитирования — это небольшой круг сайтов, на которые ChatGPT, Алиса, Perplexity и Google ссылаются снова и снова, когда отвечают на вопросы вашей ниши. Найти их можно за пару дней: задать нейросетям около 50 вопросов клиентов, выписать источники и оставить сайты, которые цитируют хотя бы три нейросети из четырёх.

Читать
GEO

Где публиковать статьи, чтобы нейросети цитировали компанию

В замере 316 ответов Алисы, ChatGPT, Perplexity и DeepSeek чаще всего ссылались на Хабр, VC.ru, Cossa и Timeweb Community. В этом замере нейросети чаще всего ссылались на подборки вида «Топ-7 курсов», а курс автора на узкие вопросы без бренда не назвали ни разу. Выбирайте площадки, где лежат подборки вашей ниши.

Читать