User-agent: *

Disallow: /adm/            # авторизация
Disallow: /assets/components/  # папка с файлами modx пакетов
Disallow: /core/               # папка с системными файлами modx
Disallow: /connectors/         # папка с системными файлами modx
Disallow: /index.php           # дубль главной страницы index.php
Disallow: /index.html
Disallow: *?*                  # удаляем дубли для всех страниц (с параметрами)
Disallow: *openstat=           # ссылки с метками openstat
Disallow: *from=               # ссылки с метками from
Disallow: *utm*=               # ссылки с utm-метками
Disallow: /*.php               # ссылки с php
Disallow: /import/             # папка c импотрированными товарами

Allow: /*.jpg                  # здесь и далее открываем для индексации изображения, скрипты и прочие файлы
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.pdf
Allow: /*.doc
Allow: /*.docx
Allow: /*.xls
Allow: /*.xlsx
Allow: /*.ppt
Allow: /*.pptx
Allow: /*.css
Allow: /*.js
Allow: *?page=                 # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical)


Host: https://tagler.ru/
Sitemap: https://tagler.ru/sitemap.xml
Sitemap: https://tagler.ru/en/sitemap.xml