Your Company
Вкусный портал

Разъяснение файлов WordPress Robots.txt

  1. Почему файл Robots.txt?
  2. Что происходит в файле Robots.txt?
  3. Что это значит?
  4. Что должен содержать ваш файл Robots.txt?
  5. рекомендации
  6. Внимание!
  7. Ресурсы

Вот несколько важных идей о том, что такое файл robots.txt, почему вы хотите его получить и чего ожидать.

Почему файл Robots.txt?

Сеть построена на стандартах, часто называемых протоколами. Эти «правила» позволяют нам всем более эффективно общаться и позволяют различным системам работать эффективно. Формальные названия «правил», стоящие за файлом Robots.txt, включают протокол исключения роботов или стандарт исключения роботов, а иногда и протокол robots.txt.

txt

Остановить бот

Цель протокола Robots.txt - позволить владельцам веб-сайтов предоставлять инструкции для веб-сканеров или пауков и веб-роботов, которые ищут данные в Интернете. Этот файл должен указывать им, куда НЕ следует обращаться. Это запрещенный знак для ваших файлов.

С другой стороны, файл Sitemap является положительным знаком для веб-сканеров, пауков и веб-роботов.

Robots.txt = исключение
Sitemaps = включение

По этой причине синтаксис Allow в файле robots.txt обычно не нужен. Намерение для исключения. Предполагается, что остальная часть сайта свободна и открыта для поиска.

Тщательная проверка сайта проверяет наличие файла Robots.txt, в том числе советника по веб-страницам.

Что происходит в файле Robots.txt?

Вот Пример robots.txt из кодекса WordPress , который был взят из AskApache.com

  1. Пользователь-агент: *
  2. Disallow: / cgi-bin
  3. Disallow: / wp-admin
  4. Disallow: / wp-includes
  5. Disallow: / wp-content / plugins
  6. Disallow: / wp-content / cache
  7. Disallow: / wp-content / themes
  8. Disallow: / trackback
  9. Disallow: / кормить
  10. Disallow: / комментарии
  11. Disallow: / категория / * / *
  12. Disallow: * / trackback
  13. Disallow: * / кормить
  14. Disallow: * / комментарии
  15. Disallow: / *? *
  16. Disallow: / *?
  17. Разрешить: / wp-content / uploads
  18. # Google Image
  19. Пользователь-агент: Googlebot-Image
  20. Disallow:
  21. Разрешать: /*
  22. # Google AdSense
  23. Пользователь-агент: Mediapartners-Google *
  24. Disallow:
  25. Разрешать: /*
  26. # digg mirror
  27. Пользователь-агент: duggmirror
  28. Disallow: /
  29. Карта сайта: http://www.example.com/sitemap.xml

Что это значит?

Строка 1 выше позволяет вам назвать поисковых ботов, к которым применяются эти инструкции. В этом случае звездочка * означает, что это относится ко всем.

Пользователь-агент: *

Строка 2 выше является первой из многих строк, определяющих, какие каталоги не использовать синтаксис Disallow.

Disallow: / cgi-bin

В строке 18 мы впервые видим комментарий. Знак # перед любым текстом является комментарием. В этом случае комментарий говорит нам, что следующий раздел специально для бота Google Images

# Google Image

Строка 29 показывает путь к вашей карте сайта

Что должен содержать ваш файл Robots.txt?

Вы можете опросить своих коллег и конкурентов, чтобы получить идеи для рассмотрения. Посетите любой сайт и добавьте «/robots.txt» к URL. Итак, для этого сайта, вы бы посетить www.WebPageAdvisor.com/robots.txt чтобы увидеть мой файл Robots.txt.

Вот несколько идей для исключения из личных соображений или по соображениям безопасности:

Robots.txt не является безопасностью

  1. Личные фотографии хранятся на вашем хостинге
  2. Файлы паролей
  3. Резервные копии или предыдущие версии вашего сайта
  4. Чувствительные данные электронной коммерции
  5. Строки подключения PayPal
  6. Файлы учетной записи администратора и пользователя
  7. Плагин, кеш и файлы тем

Другие исключения, включенные выше, предназначены для целей SEO, а именно для сокращения дублирующегося контента. Несмотря на действительность, имейте в виду, что Google видит тысячи сайтов WordPress и, возможно, выяснил, что страницы фида, категории и комментариев не должны быть каноническими URL-адресами для вашего контента.

Поиск картинок Google может принести изрядное количество трафика на многие сайты. Однако, если вы продаете фотографии, вы можете не захотеть такой трафик. У вас есть причина исключить бота из Google Images.

Некоторые люди не хотят появляться в Интернет Wayback Machine, которая также называется Интернет-архив , Следующее заблокирует Wayback Machine от посещения вашего сайта.

Пользователь-агент: ia_archiver
Disallow: /

Пользователь-агент: ia_archiver / 1.6
Disallow: /

рекомендации

  1. Посмотрите, как выглядит ваш текущий файл Robots.txt (введите yourdomain.com/robots.txt)
  2. Посмотрите, что делают ваши конкуренты и коллеги
  3. Подумайте о том, что в вашем аккаунте вы не хотите видеть в результатах поиска.

Интересно осмотреться и найти сайты с файлом Robots.txt, такие как этот пример. Это может быть частью установки по умолчанию на этом хосте.

Например, я столкнулся с этим

Пользователь-агент: * Disallow: Карта сайта: http://www.woothemes.com/sitemap.xml.gz

Это довольно бесполезно. По сути, это означает: «Все пользовательские агенты не разрешены нигде. Вот моя карта сайта ». Я думаю, что все это подразумевается по умолчанию. Точно так же, как файл Robots.txt находится в одном и том же месте на большинстве серверов, файл Sitemap.xml также находится в стандартном месте. Таким образом, приведенный выше файл не имеет смысла буквально. Опять же, вы можете посетить sitemap.xml большинства сайтов, следуя этому примеру: http://webpageadvisor.com/sitemap.xml

Внимание!

Быть осторожен. Если вы копируете пример, обязательно отредактируйте имя веб-сайта, введите собственное доменное имя и удалите доменное имя example.com.

Убедитесь, что вы знаете, что вы исключаете. Многие сайты случайно исключили все поисковые системы из всех или части общедоступного веб-сайта. Нехорошо.

Проверьте ваш файл Robots.txt немедленно. Создайте учетную запись с помощью инструментов Google WebMaster. Перейдите в Crawler Access, а затем на вкладку Test Robots.txt и следуйте инструкциям. Или вы можете использовать этот сайт http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php который выглядит полезным для тестирования вашего файла Robots.txt. Оба сайта также помогут вам создать файл.

Вот кикер, «Только потому, что вы говорите им держаться подальше», не значит, что они будут держаться подальше. Есть боты, которые игнорируют Robots.txt. Поэтому, пожалуйста, не рассматривайте этот файл как «меру безопасности». Этот файл содержит консультативную информацию и не имеет возможности предотвратить доступ. Для предотвращения доступа вам нужно пойти в другое место. Попробуйте переместить его или добавить дополнительные меры безопасности для ограничения доступа. Например, на сервере Linux используйте файл .htaccess для ограничения доступа. Также может помочь защита паролем файла или использование https (SSL).

Ресурсы

Вот список веб-роботов с довольно обширным набором данных для каждого. Может быть, вы хотите исследовать бота, который высасывает вашу пропускную способность, а затем заблокировать его после проверки.

Как уже упоминалось выше, AskApache имеет обширную информацию по многим вопросам, включая Robots.txt

WordPress.org предлагает пример и несколько ссылок для получения дополнительной информации, которая является полезной.

И в качестве сравнительного ресурса вы можете найти Запись файла Robots.txt в Википедии полезно.

Новости

Корпоративные подарки
В детстве я ненавидела ходить на дни рождения друзей, так как у меня всегда были ужасные подарки. Их второпях брала мать. Я хорошо усвоила урок — придти с плохим подарком означает попортить праздничек

Подготовка к новогоднему корпоративу
Разумеется, вечеринки для сотрудников организовываются не только на Новый год, но они требуют меньше времени на подготовку и проходят не столь помпезно. Для того, чтобы устроить достойную новогоднюю вечеринку

Alcazar - официальный сайт концертного агента. Заказать выступление группу Alcazar на праздник, свадьбу, корпоратив в ProConcert.
Добро пожаловать на страницу шведской музыкальной группы. Группа «Alcazar»  - это шикарная творческая идея продюсера Александра Барда. В 1998 году музыкант решил создать новый интересный проект,

Организация и проведение корпоративных мероприятий и праздников в СПБ – event-агентство REMAR Group
Корпоративные праздники – это важный элемент налаживания взаимоотношений между сотрудниками фирмы, представителями различных отделений компании. Проведение подобных мероприятий подразумевает легкую, приятную,

Проведение юбилея - проведение юбилея 40-45 лет | Организация праздников и корпоративных мероприятий от «ClubTrade»
Близится очередная круглая дата? Предлагаем Вам отметить юбилей с нашей помощью. Специалисты « Clubtrade » подберут ведущего для Вашего праздника – интеллигентного мужчину или интересную даму в возрасте

Что надеть на новогодний корпоратив 2018


Саксофонист на свадьбу и праздник в Москве! Заказать саксофониста!
Сделать свадьбу или праздник романтичным, чувственным и совершенным Вам поможет красивое звучание саксофона. Саксофонист на встречу гостей или росписи, банкета — это одно из тех изысканных, музыкальных

Автобус для корпоративов
Не всегда корпоративные мероприятия и празднования проходят в городской местности. Иногда – по большей части все-таки, летом – выезд на природу более предпочтительный, особенно, если у руководства имеется

Добро пожаловать в питерский Форт Боярд!
Помните программу Форт Боярд, которую 15 лет тому назад с нетерпением ждала большая часть телезрителей РФ? Сегодня ее трудно назвать особенно популярной, но соревнования, проводимые среди участников, не

Аренда кальяна на дом
Ваш отдых - наша работа!   О нас      Здравствуйте дорогие друзья! Организация ООО «Есть Кальян» Екатеринбург рады предложить вам следующие виды услуг относительно вашего отдыха. Отличным дополнением

Реклама

Календарь

Реклама

Copyright © 2016 www.j-operamini.b5bedf3d7