User-agent: * Allow: / # Две секунды между запросами при пяти воркерах — разница между # «замедлилось» и «лежит». Читают его Yandex и Bing; Google игнорирует, # но у него и частота разумная. Стоит в общем блоке намеренно: отдельный # блок под конкретного бота отменяет для него весь User-agent: *, # и запреты ниже перестали бы на него действовать. Crawl-delay: 2 # Карточка игрока строится тяжёлым расчётом и кешируется по uid. # Обход игроков подряд промахивается кешем каждый раз и съедает все # воркеры, после чего сайт отвечает пятисотыми. Страница нужна тому, # кто пришёл за конкретным игроком, а не поисковику. Disallow: /stats/player Disallow: /stats/sessions/ # Приватные и служебные разделы Disallow: /login Disallow: /register Disallow: /forgot-password Disallow: /reset-password Disallow: /profile Disallow: /vip/ticket/ Disallow: /auth/ Sitemap: https://arma-russian.ru/sitemap.xml