User-Agent: *
Host: http://conspar-shop.ru
# ОСНОВНЫЕ ЗАПРЕТЫ ДЛЯ СЛУЖЕБНЫХ РАЗДЕЛОВ
Disallow: /company/index.php
Disallow: /catalog/compare.php
Disallow: /auth
Disallow: /basket
Disallow: /order
Disallow: /personal/
Disallow: /search/
Disallow: /test/
Disallow: /email/
Disallow: /price/
Disallow: /digital/
Disallow: /lookbooks/
Disallow: /sales/besplatnaya-dostaka/
Disallow: /info/
Disallow: /help/warranty/
Disallow: /contacts/stores/moskva/70/
Disallow: /contacts/stores/
Disallow: /company/reviews/
Disallow: /company/docs/
# ЗАПРЕТ СЛУЖЕБНЫХ СКРИПТОВ И СТРАНИЦ
Disallow: /*print
Disallow: /*action
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
# БЛОКИРОВКА ДУБЛИРУЮЩИХСЯ СТРАНИЦ (GET-ПАРАМЕТРЫ)
Disallow: /*?*display
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*arrFilter_
Disallow: /*?type=
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?check_dates=
Disallow: /*?year=
Disallow: /*?q=
# ЗАПРЕТ СЛУЖЕБНЫХ BITRIX-ПАРАМЕТРОВ И ОТЛАДКИ
Disallow: /*bitrix_include_areas=
# --> ВАЖНО: РАЗРЕШЕНИЕ CSS И JS ДЛЯ КОРРЕКТНОЙ ИНДЕКСАЦИИ <--
Allow: /bitrix/js/
Allow: /bitrix/css/
Allow: /bitrix/templates/
Allow: /local/templates/
Allow: /local/css/
Allow: /local/js/
Allow: /upload/
Disallow: /*.log$
Disallow: /*_debug*
Disallow: /status_debug.txt
# ОБЩИЙ ЗАПРЕТ НА СИСТЕМНЫЕ ФАЙЛЫ (после точечных разрешений)
Disallow: /bitrix/
# =========================================================
# РАЗРЕШИТЬ ДОСТУП ДЛЯ ОСНОВНЫХ AI-БОТОВ
# =========================================================
# --- OpenAI (ChatGPT, GPT) ---
Sitemap: https://conspar-shop.ru/sitemap.xml

User-Agent: GPTBot
Allow: /

User-Agent: ChatGPT-User
Allow: /

User-Agent: OAI-SearchBot
Allow: /
# --- Google (Gemini, AI Overviews) ---

User-Agent: Google-Extended
Allow: /
# --- Anthropic (Claude) ---

User-Agent: ClaudeBot
Allow: /

User-Agent: Claude-Web
Allow: /
# --- Perplexity AI ---

User-Agent: PerplexityBot
Allow: /
# --- Meta (Llama) ---

User-Agent: Meta-ExternalAgent
Allow: /

User-Agent: Meta-ExternalCrawler
Allow: /
# --- Apple (Apple Intelligence) ---

User-Agent: Applebot
Allow: /

User-Agent: Applebot-Extended
Allow: /
# --- Microsoft (Copilot) ---

User-Agent: bingbot
Allow: /
# --- Common Crawl (используется для обучения многих моделей) ---

User-Agent: CCBot
Allow: /
# --- Другие популярные боты ---

User-Agent: Amazonbot
Allow: /

User-Agent: YouBot
Allow: /

User-Agent: PhindBot
Allow: /

User-Agent: Diffbot
Allow: /
# РАЗРЕШЕНИЕ AJAX И ВАЖНЫХ СКРИПТОВ
Allow: /ajax/
Allow: /*.js$
Allow: /*.css$
# УДАЛЕНИЕ ПАРАМЕТРОВ ДЛЯ БОРЬБЫ С ДУБЛИКАТАМИ
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&_openstat&gclid&yclid&ymclid&from&frommarket&cid&roistat&linerow&year&q&rs_stat&how&etext&bxydcampaign&bxydbanner&display&sort&order
Clean-param: _ym_debug&type&source&device&region_name&block&position&ybaip
Clean-param: mango
Sitemap: https://conspar-shop.ru/sitemap.xml