Два дня назад в панели google webmasters несколько моих сайтов получили сообщение: «Googlebot не может получить доступ к файлам CSS и JS ….. если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.»
Эта ситуация возникла из-за того, что в файле robots.txt этих сайтов содержатся директивы, запрещающие поисковым роботам доступ к служебным каталогам, в которых содержаться файлы стилей (css), скриптов (js) и некоторых других типов.
В своем хелпе google пишет, что надо открыть доступ в robots.txt ко всем файлам css и js — https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines.
Сделать это несложно. Переходим по ссылке «подробнее» (на рисунке выше) и напротив пункта «Определите заблокированные ресурсы» нажимаем кнопку «Посмотреть как GoogleBot» и далее кнопку «Получить и отобразить».
Далее переходим по ссылке с результатами сканирования.
И под картинками, как страницу видит робот и посетитель, видим заблокированные ресурсы.
Собственно мы видим, что есть каталоги разной степени вложенности и в них недоступные для робота google файлы css и js.
Неважно, на работает ли сайт WordPress или любом другом движке, вопрос решается добавление в файл robots.txt директив типа:
1 |
Allow: /*/*/*/*.css* |
где звездочка означает любое вхождение символов.
Так приведенная выше инструкция откроет доступ к таким файлам, как
/wp-content/themes/тема/style.css
В зависимости от того, какой вложенности каталоги у вас встречаются при проверке google нужно подготовить директивы для файлов css и js, например, такие:
1 2 3 4 |
Allow: /*/*/*/*.css* Allow: /*/*/*/*/*.css* Allow: /*/*/*/*.js* Allow: /*/*/*/*/*.js* |
и добавить их в robots.tx.
Затем снова выполнить проверку в google и посмотреть результат.
*******************
По факту столкнулся с проблемой, что на одном из хостингов не работают инструкции типа
1 |
Allow: /*/*/*/*.css* |
Гугл эти файлы все равно показывает, как заблокированные.
Однако если указать точный путь, например, так
1 |
Allow: /wp-content/themes/ваша_тема/*.css* |
то гугл все видит.