Robots.txt, очень забытый файл SEO

1. Что такое файл robots.txt?
2. Практические примеры
3. 3 важных комментария
4. Разница между robots.txt и noindex

Что такое файл robots.txt?

Файл robots.txt - это файл с протоколом, который позволяет веб-мастерам защищать определенные части веб-сайта от поисковых систем Google / Yahoo / Bing ect. Поэтому это удобный инструмент для предотвращения того, какие части вашего интернет-сайта могут быть недоступны для поисковых роботов. И чтобы этот контент не был проиндексирован.

Протокол Robots также можно использовать для блокировки определенных веб-пауков, например, китайской поисковой системы Baidu. Если вы не ведете бизнес с Азией и знаете, что слежка за сайтом иногда может привести к увеличению времени загрузки, это решение. Также называется протоколом исключения роботов (REP).

Когда мы проводим аудит SEO, мы также проверяем robots.txt как стандарт. И да, мы регулярно сталкиваемся с ошибками, которые неосознанно блокируют поисковых роботов, таких как Googlebot, с необъяснимой потерей посетителей сайта как болезненным следствием.

Практические примеры

Работает следующим образом. Прежде чем паук посещает интернет-сайт, он сначала проверяет, есть ли файл робота. Обычно это всегда должно быть в главном каталоге. Таким образом, для веб-сайта https://www.test.be файл robots.txt должен находиться по адресу https: // www.test.be/robots.txt.

Что мы должны поместить в такой файл робота? Robots.txt - это текстовый файл, который обычно содержит всего несколько строк, как в примере 1 ниже.

User-agent: * означает, что эта часть файла применяется ко всем роботам.
Disallow: /geheim.html, в следующей строке: всем поисковым роботам предлагается не сканировать страницу /geheim.html.

Если вы хотите исключить весь секретный каталог, используйте лучевую косую черту = /, см. Пример 2 выше.

В Примере 3 ботов просят не пауковать ни одной страницы с этого сайта. Или другими словами: веб-сайт с таким файлом robots.txt просто не будет найден в Интернете со всеми его URL-адресами.

Пример 4 просит всех пауков проанализировать весь сайт. Так что это как раз наоборот, как в примере 3. Другая возможность - просто оставить файл пустым или вообще ничего не делать.

В примере 5 вы пытаетесь исключить паука 'spambot'.

Если вы хотите разрешить на своем веб-сайте только одного конкретного робота-обходчика, например Google, вы можете использовать Пример 6.

3 важных комментария

1. 1. Некоторые боты не принимают во внимание /robots.txt:
      • это один из первых условность Это общепринятое правило, это не гарантия. Это только рекомендации, которые соответствуют респектабельным ботам в частности.
      • вредоносные боты, которые сканируют Интернет, например, на адреса электронной почты для спамеров, часто не придерживаются соглашения robots.txt.
      • так можно ли блокировать плохих роботов ползать? В теории да, но не на практике. Даже если вы знаете имя паука, который сканирует ваш сайт (и часто замедляет его), и помещаете его в файл роботов, спам-боты часто просто игнорируют файл /robots.txt. Что вы можете сделать, это заблокировать IP-адрес этого спамбота через брандмауэр и сервер.
   2. Протокол роботов является общедоступным; так что каждый может видеть, какие части вы не хотите, чтобы быть spid. Так что не используйте его, чтобы скрыть определенную информацию от постоянных посетителей. Защитите его паролем или просто не размещайте на своем сайте.
   3. Хотя (респектабельные) поисковые системы не будут сканировать веб-страницы, запрещенные файлом робота, может случиться так, что их URL-адреса появятся в результатах поиска. Например, с помощью якорных текстов гиперссылок на других сайтах. Чтобы убедиться, что контент определенно не отображается в результатах поиска (страницы результатов поисковой системы), рекомендуется использовать файл robots.txt вместе с параметрами мета-робота «noindex, follow». Посмотрите ниже на файл робота Bol.com

примеров

Ниже приведен пример файла robots.txt Bol.com. Например, посмотрите, что они блокируют каталог / sdd /.

Посмотрите, что происходит при поиске этого URL в Google. Поисковый гигант поднимает
более 11 000 результатов на ...

1. Также следует понимать, что такие запрещенные страницы больше не могут передавать рейтинг другим страницам. Чтобы исключить отдельные страницы из индексов поисковой системы, лучше всего использовать мета <meta name = robots "content =" noindex>. В следующий раз, когда веб-страница будет заполнена этим кодом, бот обнаружит метатег noindex, и страница будет исключена из результатов поиска независимо от того, содержат ли ссылки на нее другие веб-сайты. Примечание: noindex полезен, только если страница НЕ заблокирована файлом роботов. В противном случае бот не сможет увидеть noindex, и страница все равно может появиться в поисковой выдаче.

Разница между robots.txt и noindex

• Заблокируйте с robots.txt = "сообщение для пауков: не посещайте URL, но вы все равно можете поместить его в результаты поиска". С тем нюансом, к которому относятся страницы, к которым относится файл робота, результаты поиска очень плохи. Но они остаются доступными для поиска.
• Заблокируйте с помощью noindex = "сообщение для пауков: вы можете посетить URL, но не помещать его в результаты поиска".

Как создать файл /robots.txt?

• Поместите файл в корневой каталог вашего сайта. Если бот ищет файл роботов, он игнорирует все в доменном имени с первой одиночной косой черты и заменяет его на /robots.txt. Например, для https: // www.test.be/index.html это будет https: // www.test.be/robots.txt.
• всегда используйте строчные буквы в качестве имени файла: не Robots.Txt, а robots.txt
• не забывайте 's', иначе это пойдет не так. Поиск не будет замечен поисковой системой.
• обрабатывать 1 запрет на линию
• Вы можете использовать блокнот, WordPad, Textedit и даже Word в качестве программы. Всегда сохраняйте файл как текстовый файл, поэтому в .txt
• проверить файл через Google robots.txt тестер

Подводя итог

Вы используете файл robots.txt, чтобы максимально исключить определенные веб-страницы из результатов поиска и исключить определенные веб-сканеры.

Похожие

Комментарии