WordPress robots.txt (для Google и Yandex)

Обновил 29.03.2015 — Гугл боты стали требовать доступ к JS и CSS для проверки на оптимизированность к мобильным устройствам, поэтому добавил Allow: .js Allow: .css

 User-agent: *
 Disallow: /cgi-bin/
 Disallow: /admin/
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /archives/
 Disallow: /search/
 Disallow: /search?
 Disallow: /search?q=*
 Disallow: /*?updated-max=*
 disallow: /*?*
 Disallow: *?replytocom
 Disallow: /wp-*
 Disallow: /author
 Disallow: /comments/feed/
 Disallow: /wp-login.php
 Disallow: /wp-signup.php
 Allow: /
 Sitemap: http://domain.com/sitemap.xml
 User-Agent: Googlebot
 Allow: .js
 Allow: .css

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *