Что делать с сообщением — Googlebot не может получить доступ к файлам CSS и JS на сайте

Два дня назад в панели google webmasters несколько моих сайтов получили сообщение: «Googlebot не может получить доступ к файлам CSS и JS ….. если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.»

Эта ситуация возникла из-за того, что в файле robots.txt этих сайтов содержатся директивы, запрещающие поисковым роботам доступ к служебным каталогам, в которых содержаться файлы стилей (css), скриптов (js) и некоторых других типов.

В своем хелпе google пишет, что надо открыть доступ в robots.txt ко всем файлам css и js — https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines.

Сделать это несложно. Переходим по ссылке «подробнее» (на рисунке выше) и напротив пункта «Определите заблокированные ресурсы» нажимаем кнопку «Посмотреть как GoogleBot» и далее кнопку «Получить и отобразить».

Далее переходим по ссылке с результатами сканирования.

И под картинками, как страницу видит робот и посетитель, видим заблокированные ресурсы.

Собственно мы видим, что есть каталоги разной степени вложенности и в них недоступные для робота google файлы css и js.

Неважно, на работает ли сайт WordPress или любом другом движке, вопрос решается добавление в файл robots.txt директив типа:

где звездочка означает любое вхождение символов.

Так приведенная выше инструкция откроет доступ к таким файлам, как
/wp-content/themes/тема/style.css

В зависимости от того, какой вложенности каталоги у вас встречаются при проверке google нужно подготовить директивы для файлов css и js, например, такие:

и добавить их в robots.tx.

Затем снова выполнить проверку в google и посмотреть результат.

*******************

По факту столкнулся с проблемой, что на одном из хостингов не работают инструкции типа

Гугл эти файлы все равно показывает, как заблокированные.

Однако если указать точный путь, например, так

то гугл все видит.