# Vision AI · robots.txt # Главное правило для всех поисковых ботов User-agent: * Allow: / Disallow: /api/ # Internal prerender paths — nginx content-negotiation symlinks # (/NOPRERENDER → ./, /prerender). Canonical в HTML всё равно укажет на # чистый URL, но Disallow страхует от случайной индексации дубликат-путей. Disallow: /NOPRERENDER/ Disallow: /prerender/ # ── AI-боты ChatGPT, Perplexity, Claude, Google Gemini, Bing Copilot ── # Явное Allow важно для GEO (Generative Engine Optimization): # LLM используют эти UA при сборе данных для ответов пользователям. User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / User-agent: YandexBot Allow: / User-agent: Mistral-AI-User Allow: / User-agent: DuckAssistBot Allow: / User-agent: Bytespider Allow: / Sitemap: https://vision-ai.org/sitemap.xml Sitemap: https://vision-ai.org/assets/seo/sitemap-images.xml Sitemap: https://vision-ai.org/assets/seo/sitemap-index.xml # AI/LLM discovery file (нестандартный путь — nginx без sudo) # Стандарт https://llmstxt.org ожидает /llms.txt в корне. # В нашем случае nginx ловит .txt в SPA fallback, поэтому файл доступен по /assets/llms.txt. # Дублирующая ссылка через в HTML . LLMs: https://vision-ai.org/assets/llms.txt