Как создать и настроить файл robots.txt для WordPress

Robots.txt - очень важный файл для сайтов.

Он позволяет указать поисковым системам, как правильно нужно индексировать сайт.

Создание и настройка robots.txt

Robots.txt является обычным файлом, который можно создать в текстовом редакторе, например Notepad++.

Он включает в себя несколько важных директив:

1. User-agent — содержит в себе название поискового робота.

Чтобы адресовать User-agent всем поисковым роботам, зашедшим на сайт, ее следуют прописать таким образом:

2. Disallow — предназначена для запрета определенных папок и файлов.

Любой правильный robots.txt должен обязательно содержать эту директиву.

Вот простой пример, разрешающий всем поисковым системам индексировать все содержимое сайта:

Если к Disallow добавить «/», можно запретить всем поисковым системам индексировать сайт.

Теперь, что касается не нужных файлов и папок самого движка wordpress.

Для запрета индексации поисковыми системами папки wp-admin, следует прописать следующее:

3. Host - предназначена только для Яндекса.

Во избежание неправильной индексации сайта, директива Host прописывается только для Яндекса и указывает на основное зеркало сайта.

Выглядит это следующим образом:

или

4. Sitemap - указывает поисковым роботам на месторасположение карты сайта.

Ее понимают все поисковые системы.

Выглядит это так:

Пример правильного файла robots.txt.

А у меня на этом все, до новых встреч.

С уважением, Сергей Кривцов


Понравилась статья? Поделитесь с друзьями!

Читайте также на моем блоге:

Подписка на обновления блога: