robots.txt: как создать файл и пример для WordPress

1. Что такое файл robots.txt и для чего он используется?
2. Как создать файл robots.txt
3. Основные команды
4. Наиболее распространенные ограничения
5. Разблокировать ресурсы CSS и JS
6. Проверить файл
7. Имеет ли desindexación robots.txt?
8. Пример файла robots.txt для WordPress
9. О блокировке / wp-admin /
10. средство

Поисковые системы по своей природе жадные.

Они хотят проиндексировать всю возможную информацию, поэтому, когда они попадают на ваш сайт, они сканируют все.

Проблема возникает, когда вы хотите предотвратить включение определенных страниц в ваши индексы, что вы тогда делаете?

У вас есть 2 варианта:

1. Введите специальный ярлык на каждой странице (см. Мета Роботы )
2. Используйте централизованный файл для контроля записи

Этот последний вариант - robots.txt .

Что такое файл robots.txt и для чего он используется?

Роботы или пауки - это программы, которые поисковые системы используют для отслеживания Интернета. Когда они прибудут на ваш сайт , первое, что они делают, это ищут файл robots.txt и, в зависимости от того, что в нем говорится, переходят на ваш сайт или переходят на другой.

Вы можете понимать файл robots.txt как список неподдерживаемых роботов , который позволяет выборочно ограничивать доступ к вашему сайту. Если есть страницы, которые вы предпочитаете хранить в недоступных для поисковых систем, вы можете настроить их здесь, и если есть поисковая система, к которой вы также хотите запретить доступ.

Более конкретно, вы можете использовать файл robots.txt для следующего:

Теперь есть несколько вещей, которые вы должны помнить о robots.txt:

• Некоторые роботы могут игнорировать инструкции, содержащиеся в этом файле, особенно вредоносные роботы или вредоносные программы
• Файл является общедоступным, что означает, что любой может его увидеть, просто набрав www.example.com/robots.txt

Поэтому, если вы планируете использовать robots.txt, чтобы скрыть личную информацию, вам нужно искать другую альтернативу.

Как создать файл robots.txt

Первое, что вам нужно знать о файле robots.txt, это то, что он не является обязательным. Вам нужно создать его только тогда, когда вы хотите, чтобы определенные страницы или каталоги вашего сайта не появлялись в результатах поиска.

Создать файл очень просто, просто создайте текстовый документ с именем «robots.txt» и загрузите его в корень своего домена ( http://www.example.com/robots.txt ), где и находится где искатели надеются найти его.

Самое простое - создать его вручную, используя ноутбук или редактор кода, такой как Блокнот ++ , хотя, если вы один из тех, кто предпочитает инструменты генерации, из SEOBook Он выполняет свое предназначение довольно хорошо. Другие альтернативы RobotsGenerator.com и McAnnering Robots.txt Генератор ,

Для загрузки файла используйте FTP-клиент как FileZilla или Cyberduck ,

Что касается содержимого, базовый файл robots.txt может быть:

Пользователь-агент: *
Disallow: / частный /

Эти инструкции запрещают доступ к «частному» каталогу всем поисковым системам. Для этого сначала укажите, что заказ адресован всем роботам ( User-agent: * ), и, наконец, укажите несанкционированный каталог ( Disallow: / private / ).

Основные команды

Команды, которые использует файл robots.txt, поступают из вызова Протокол исключения роботов универсальное соглашение, синтаксис которого вы должны соблюдать:

• Вы можете использовать только разрешенные команды (хотя некоторые поисковые системы понимают дополнительные команды)
• Вы должны уважать случай, пунктуацию и пробелы
• Каждая группа User-agent / Disallow должна быть отделена пустой строкой
• Вы можете включить комментарии, используя символ хеша (#)

Наиболее важные команды:

• User-agent - указывает, какой тип робота должен соответствовать указанным ниже директивам.
• Disallow - запрещает доступ к определенному каталогу или странице.
• Разрешить - работает в отличие от директивы Disallow, предоставляя доступ к каталогам и страницам. Его можно использовать для частичной или полной перезаписи директивы Disallow.
• Карта сайта - укажите путь к карте сайта в формате XML.
• Crawl-delay - Указывает роботу количество секунд ожидания между каждой страницей. Это может быть полезно в тех случаях, когда вам нужно уменьшить нагрузку на сервер.

Кроме того, вы можете использовать шаблоны для увеличения или уменьшения соответствия:

• Звездочка (*) - действительна для любой последовательности символов. Например, все каталоги, начинающиеся с «private», будут «/ private * /»
• Доллар ($) - указывает на конец URL. Например, чтобы указать любой файл, который заканчивается расширением .php , следует использовать «/*.php$».

Наиболее распространенные ограничения

С помощью команд и подстановочных знаков вы можете создавать все виды ограничений. Тем не менее, это не очень хорошая идея, чтобы быть креативным с файлом робота, так как вы можете заблокировать то, что вам не нужно.

В этом смысле лучше придерживаться наиболее распространенных ограничений, таких как:

• Включить всех роботов - User-agent: *
• Укажите робота Google - Пользователь-агент: Googlebot
• Укажите робота Bing - Пользователь-агент: Bingbot
• Запретить весь сайт - Запретить: /
• Запретить каталог - Запретить: / directory /
• Запретить каталоги, которые начинаются с «что-то» - Disallow: / что-то * /
• Запретить страницу - Запретить: /page-web.htm
• Запретить каталоги и страницы, которые начинаются с "что-то" - Disallow: / что-то
• Запретить расширение .gif - Disallow: /*.gif$
• Разрешить подкаталог - Разрешить: / directory / subdirectory /
• Укажите карту сайта - Карта сайта: http://www.example.com/sitemap.xml

Разблокировать ресурсы CSS и JS

поскольку Google обновит свои рекомендации для веб-мастеров указав, что отказ в доступе к файлам CSS и JavaScript с помощью robots.txt может повредить рейтингам, рекомендуется разблокировать любой каталог, в котором они могут содержаться. Таким образом, поисковая система может полностью обработать страницы и узнать, как их увидит пользователь.

Чтобы узнать, как Google видит ваши страницы, используйте инструмент Отслеживание> Исследуйте как Google вместе с кнопкой « получить и обработать» в консоли поиска. Если это не похоже на то, что вы видите в своем браузере, или если возникают ошибки или предупреждения, удалите строки в файле robots.txt, которые блокируют доступ к URL-адресам.

Другая, более безопасная альтернатива - открыть путь к ресурсам CSS и JavaScript в явном виде. Таким образом, не имеет значения, если каталог, в котором они находятся, заблокирован, Google может получить доступ к необходимым ресурсам:

Пользователь-агент: Googlebot
Разрешить: /*.css$
Разрешить: /*.js$

Проверить файл

Когда вы создаете или изменяете свой файл robots.txt, всегда проверяйте, что он делает то, что вы ожидаете от него. Имейте в виду, что простая ошибка может заблокировать доступ к поисковым системам и повредить вашей видимости.

Проверка легко сделать с помощью инструмента Отслеживание> robots.txt тестер в консоли поиска Google. Также рекомендуется использовать функцию получения и обработки Отслеживание> Исследуйте как Google чтобы убедиться, что нет заблокированных ресурсов.

Имеет ли desindexación robots.txt?

Одной из наиболее часто используемых функций файла робота является деиндексация. Теоретически, если вы хотите удалить файлы и каталоги из Google, вам нужно только добавить соответствующие директивы Disallow , не так ли?

Что ж, вы должны знать, что хотя блокировка с помощью Disallow предотвращает сканирование поисковых систем, она не гарантирует деиндексацию. Вот как объясняет это аналитик Google Джон Мюллер: в этом видео :

Когда индексируемая страница с robots.txt блокируется, обычно происходит удаление информации из предыдущих [...] проверок и индексация URL с помощью общей сводки, которая говорит, что мы не знаем, о чем эта страница [потому что она заблокирована роботами TXT].

Однако иногда бывает так, что мы полностью удаляем страницу. Если мы считаем, что в URL нет информации, входящих ссылок или причин использовать его в классификациях, мы можем удалить его из индекса.

Так что теоретически он может быть деиндексирован, но нет никаких гарантий.

То есть, когда вы блокируете страницу, которая уже проиндексирована, Google сохраняет ее в своем индексе, и существует только отдаленная вероятность, что она будет удалена. Если вы хотите убедиться, что удалили страницу из поисковой системы, вы должны сделать что-то еще, как Мюллер продолжает объяснять:

Если вы добавите тег [Meta Robots] NoIndex на страницу и разрешите сканирование [...], мы удалим его при следующей обработке URL-адреса.

Это имеет большой смысл. Если поисковая система может увидеть явный сигнал о том, что вы не хотите индексировать страницу, она будет деиндексировать ее.

Поэтому в следующий раз, когда вы захотите удалить страницу из Google, используйте тег Meta Robots , Robots.txt Указывает, что только когда страница еще не достигла знаний поискового движка

Пример файла robots.txt для WordPress

Предупреждение : универсального файла robots.txt не существует, в зависимости от конфигурации вашего сайта, вам может потребоваться добавить, изменить или удалить ограничения.

Чтобы помочь вам лучше понять, как работает файл robots.txt, я хотел бы показать вам реальный пример. Это тот же файл, который я использую в этом блоге, поэтому это пример, ориентированный на WordPress.

Я недавно обновил мой файл robots.txt следующим образом (без номеров строк):

1. Пользователь-агент: *
2. Disallow: / go /
3. Карта сайта: http://deteresa.com/sitemap.xml

Теперь я хотел бы объяснить каждую строку:

• Строка 1 - Я заявляю, что приведенные ниже инструкции относятся к роботам любой поисковой системы.
• Строка 2 - я блокирую каталог, который я использую для перенаправлений (вам не нужно его иметь).
• Строка 3 - я указываю маршрут, где находится карта XML моего сайта.

О блокировке / wp-admin /

Вы должны знать, что нет необходимости блокировать / wp-admin / в файле robots.txt. WordPress уже блокирует страницы каталога через HTTP-заголовок X-Robots-Tag ,

средство

Если вам нужна дополнительная информация о файле robots.txt, вы можете найти его на следующих страницах:

Вы уже знаете, как вы собираетесь создать файл robots.txt?

Изображение через Дизель Сладости

Похожие

Комментарии