Как правильно создать файл Robots.txt для WordPress

Как правильно создать файл Robots.txt для WordPressСегодня одна девушка задала вопрос: Как создать правильно или же воспользоваться плагином?

Плагина я не знаю, честно говорю сама я не составляла файл robots.txt. Я его позаимствовала, но очень важно знать, что файл нужен для того, чтобы поисковики не могли проиндексировать  ненужные страницы.

Файл robots.txt показывает поисковым системам, какие области сайта можно индексировать, а какие нельзя, то есть он напрямую  влияет на поисковое  продвижение сайта. Если не правильно настроить, можно с легкостью попасть под фильтр.

Если у Вас уже есть блог, то введите в браузере адрес  вашего блога/robots.txt

роботыЕсли у Вас вот такая картинка, то это не есть правильно. У Вашего блога все открыто и будет обязательно дубль контента и т.д.

Как создать файл Robots.txt?

Заходим в админку вашего хоста, находим там - файл менеджер. Создаем новый файл и называем robots.txt. Открываем файл "robots.txt" и вставляем в него все что видите ниже, сохраняем:

[Заметка]

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Crawl-delay: 10
User-agent: *
Host: https://ВАШ БЛОГ/

[/ Заметка]

Вместо "ВАШБЛОГ", указываете адрес вашего блога.

Cмотрите видео инструкцию на примере AIOP

Анализ и проверка Robots.txt

Cделать это можно с помощью сервиса Яндекс Вебмастер webmaster.yandex.ru/. Переходите в раздел "Проверить robots.txt" Далее заполняем адрес сайта и нажимаем "Загрузить robots.txt с сайта"

robots2

Если Яндекс найдет ошибки, он сообщит об этом.

Дубль страниц

Многие страницы нашего блога повторяются, вернее контент. На главной есть анонсы постов, этот же текст есть на странице категории, на странице тегов и в самом посте. Если Вы уже установили плагин All in One SEO Pack, если нет - устанавливайте.  Заходите в настройки плагина и  выставляем  нужные галочки. SEO плагин Все в одном SEO обновленияЗа дубли поисковые системы жестко наказывают. Теперь Вы знаете: Как создать файл Robots.txt и это только первые шаг, с которого начинается продвижение в поисковых системах.

Читайте также:  Фишки в продвижении на YouTube, которые используют популярные видеоблоггеры

В настоящее время я уже не пользуюсь этим плагином, рекомендую прочитать:

Настройка плагина  Yoast SEO. Новая версия.

Чтобы больше узнать, смотрите : Как создать блог на WordPress

Узнайте как создать бизнес в интернет и автоматизировать на 80%

Узнай, как создать бизнес в интернет и автоматизировать с ежемесячным доходом 1000$



Поделитесь своим мнением
Для оформления сообщений Вы можете использовать следующие тэги:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Проверка комментариев включена. Прежде чем Ваши комментарии будут опубликованы пройдет какое-то время.

Остались вопросы? Пишите в личку. Контакты найдете на странице "Контакты"