Матрица платформ
ChatGPT / OpenAI
Разрешить OAI-SearchBot. Публичный контент должен открываться без авторизации и JS-only рендеринга. GPTBot — отдельный механизм для обучения.
Gemini / Google
Главное — Googlebot и индекс Google Search. Google-Extended отдельно управляет использованием контента для Gemini и не является фактором ранжирования обычного поиска.
Claude
Claude-SearchBot — поиск, Claude-User — запрос пользователя, ClaudeBot — отдельный робот для развития моделей.
Perplexity
Разрешить PerplexityBot. Указывать авторство, обновления и собственную экспертизу: Perplexity публично описывает доменные сигналы доверия источника.
Grok / xAI
Grok ищет в вебе и X и показывает ссылки. xAI пока не публикует отдельный robots-токен уровня OAI-SearchBot, поэтому важны общая индексируемость и сильные сущности в вебе/X.
DeepSeek
DeepSeek поддерживает серверный web search, но отдельный webmaster crawler token сейчас не опубликован. Основа — доступность для стандартного поиска и retrieval.
Алиса / Яндекс
Страница должна быть в индексе Яндекса; YandexAdditional/YandexAdditionalBot не должны быть заблокированы. Яндекс прямо указывает на пользу структурированного и информативного текста.
GigaChat
GigaChat умеет искать в интернете, но отдельный робот для вебмастеров не документирован. Практическая база — сильная русская индексация и публичные страницы с однозначными фактами.
Проверка страницы
- Один canonical и корректные EN/RU hreflang.
- Title, H1 и первый абзац прямо отвечают на тему страницы.
- На экспертных материалах есть автор и дата обновления.
- Внешние факты ведут на первичные источники.
- Organization и Person имеют стабильные @id в Schema.org.
- Услуга описывает scope, результат, ограничения и доказательства.
- Логи сервера проверяются на 403/429/5xx для роботов.
Не оптимизируйте сайт под выдуманного робота
Если платформа не документирует User-agent, придуманная директива robots.txt ничего не даст. Рабочий путь — стандартная доступность и сильная индексация в поисковых экосистемах, из которых агент получает веб.