Your Company
Вкусный портал

Что такое файл Robots.txt?

  1. обзор
  2. Какой формат?
  3. Где находится файл?
  4. Как мне создать файл robots.txt?
  5. Использование высокого уровня Robots.txt
  6. Ресурсы для дополнительного чтения
  7. Несколько последних слов совета
  8. БЫТЬ ОСТОРОЖЕН

Этот пост является еще одним в духе моего   Sitemaps   пост, где я объяснил, как создать карту сайта XML для включения в Google и Bing Webmaster Tools Этот пост является еще одним в духе моего Sitemaps пост, где я объяснил, как создать карту сайта XML для включения в Google и Bing Webmaster Tools.

Сегодня я хочу поговорить о файле robots.txt, который является чрезвычайно мощной и часто неправильно понимаемой частью веб-сайтов. Я неправильно понял это недавно.

обзор

Файл robots.txt существует с 1994 года, а в Интернете - с начала времен.

Файл robots.txt используется для ограничения доступа определенных поисковых машин к определенным частям вашего сайта. Файл работает отдельно для каждого бота. Типичные поисковые роботы, которых вы можете ограничить, называются:

Есть и другие конкретные боты, такие как GoogleImageBot и GoogleNewsBot. Для довольно полного списка, перейдите сюда ,

Какой формат?

Вот основной формат файла robots.txt:

User-agent: * Disallow: * Карта сайта:

Давайте пройдемся по одному за раз:

User-agent: здесь вы указываете имя поискового бота, которого хотите ограничить. По умолчанию (если вы хотите применить все свои настройки ко всем ботам поисковых систем) просто *. Таким образом, строка будет выглядеть как «User-agent: *»

Разрешить: здесь вы указываете, какие страницы вы хотите индексировать. Если вы хотите, чтобы все области вашего сайта были проиндексированы, просто введите «/». Таким образом, строка будет выглядеть как «Разрешить: /», или вы можете просто пропустить эту строку (рекомендуется).

Disallow: здесь вы указываете части своего сайта, к которым вы хотите полностью ограничить доступ. Например, если вы хотите ограничить сканирование и индексацию раздела администратора, вы можете указать «/ admin», что полностью запретит все файлы в папке администратора. Это может включать такие разделы, как «http://www.examplesite.com/admin/login» или «http://www.examplesite.com/admin/secretfile». Кроме того , помните, что каждый запрещенный URL / папка должна быть помещена в отдельной строке.

Карта сайта: здесь вы можете указать путь к вашему файлу sitemap.xml. Таким образом, строка кода будет выглядеть как «http://www.examplesite.com/sitemap.xml». Вы также можете указать несколько файлов Sitemap, таких как файлы новостей или видео. Вот CNN's robots.txt , который указывает несколько карт сайта, таких как новости и видео.

Где находится файл?

Файл robots.txt размещается в корневой папке вашего сайта, поэтому его можно найти по пути «http://www.yoursite.com/robots.txt».

Как мне создать файл robots.txt?

Существует как минимум два разных способа создания файла robots.txt. Они есть:

  • От руки (сложнее)
  • Использование Инструментов Google для веб-мастеров (требуется регистрация в Инструментах Google для веб-мастеров (GWT), для которых нет веских причин не быть)

Я рекомендую использовать функциональность GWT для настройки вашего файла robots.txt из-за легкости и простоты. Для хорошего пошагового руководства я рекомендую официальный учебник Google ,

Использование высокого уровня Robots.txt

Есть некоторые продвинутые операторы, которые распознают большинство поисковых машин. Используйте их с осторожностью (ниже текст взят непосредственно из Сайт Google для веб-мастеров ):

  • Чтобы сопоставить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, начинающимся с private: User-agent: Googlebot Disallow: / private * /
  • Чтобы заблокировать доступ ко всем URL-адресам, содержащим знак вопроса (?) (Точнее, любой URL-адрес, начинающийся с имени вашего домена, после которого следует любая строка, затем знак вопроса и любая строка): User-agent: Googlebot Disallow : / *?
  • Чтобы указать соответствие конца URL , используйте $. Например, чтобы заблокировать любые URL, заканчивающиеся на .xls: User-agent: Googlebot Disallow: /*.xls$

    Вы можете использовать это сопоставление с шаблоном в сочетании с директивой Allow. Например, если? указывает идентификатор сеанса, вы можете исключить все URL-адреса, содержащие их, чтобы робот Googlebot не сканировал дубликаты страниц. Но URL, которые заканчиваются на? может быть версия страницы, которую вы хотите включить. В этой ситуации вы можете установить свой файл robots.txt следующим образом:

    User-agent: * Разрешить: / *? $ Disallow: / *?

    Disallow: / *? директива заблокирует любой URL, который включает в себя? (более конкретно, он заблокирует любой URL-адрес, начинающийся с вашего доменного имени, за которым следует любая строка, за которой следует знак вопроса и любая строка).

    Директива Allow: / *? $ Разрешит любой URL, заканчивающийся на? (более конкретно, он разрешит любой URL-адрес, начинающийся с вашего доменного имени, за которым следует строка, за которой следует знак?, без символов после?).

Ресурсы для дополнительного чтения

Если вы хотите больше узнать о файлах robots.txt и о том, что возможно и рекомендуется, ознакомьтесь со следующими ресурсами:

Robotstxt.org

Google Webmaster Central на Robots.txt

Центр поиска новостей на дубликате контента

Несколько последних слов совета

Нужно понимать, что файл robots.txt - это просто директива для ботов-поисковиков, и не все боты будут придерживаться вашего файла. Некоторые плохие боты все равно будут сканировать страницы, которые вы ограничили, через ваш файл robots.txt.

Кроме того, файл robots.txt, находящийся по адресу http://www.examplesite.com/robots.txt , отличается от метатегов роботов. Пока у меня нет времени писать о метатегах роботов, я предлагаю проверить это объяснение ,

БЫТЬ ОСТОРОЖЕН

Я закрываю этот пост словом предостережения. Недавно я разместил на этом сайте то, что я считаю правильным, минимальным robots.txt. Я сделал это так:

Пользователь-агент: *
Разрешать: *
Disallow: *

Карта сайта: http://johnfdoherty.wpengine.com/sitemap.xml

Тем не менее, это, очевидно, запретил весь мой сайт! Все мои страницы верхнего уровня были удалены из индекса! Мой трафик падал, и я не мог понять, почему. Конечно, я путешествовал, и как только я наконец-то снова вошел в GWT, мне сказали… но сайт был заблокирован на несколько дней. Woops!

Так что выучи мой урок. Только Disallow именно то, что вам нужно, запрещено. Если вы ничего не запрещаете ... оставьте это пустым или не существуйте вообще .

Где находится файл?
Txt?
Где находится файл?
Txt?
Например, если?
Но URL, которые заканчиваются на?
Disallow: / *?
Disallow: / *?
Директива заблокирует любой URL, который включает в себя?
Разрешит любой URL, заканчивающийся на?

Новости

Подготовка к новогоднему корпоративу
Разумеется, вечеринки для сотрудников организовываются не только на Новый год, но они требуют меньше времени на подготовку и проходят не столь помпезно. Для того, чтобы устроить достойную новогоднюю вечеринку

Alcazar - официальный сайт концертного агента. Заказать выступление группу Alcazar на праздник, свадьбу, корпоратив в ProConcert.
Добро пожаловать на страницу шведской музыкальной группы. Группа «Alcazar»  - это шикарная творческая идея продюсера Александра Барда. В 1998 году музыкант решил создать новый интересный проект,

Организация и проведение корпоративных мероприятий и праздников в СПБ – event-агентство REMAR Group
Корпоративные праздники – это важный элемент налаживания взаимоотношений между сотрудниками фирмы, представителями различных отделений компании. Проведение подобных мероприятий подразумевает легкую, приятную,

Проведение юбилея - проведение юбилея 40-45 лет | Организация праздников и корпоративных мероприятий от «ClubTrade»
Близится очередная круглая дата? Предлагаем Вам отметить юбилей с нашей помощью. Специалисты « Clubtrade » подберут ведущего для Вашего праздника – интеллигентного мужчину или интересную даму в возрасте

Что надеть на новогодний корпоратив 2018


Саксофонист на свадьбу и праздник в Москве! Заказать саксофониста!
Сделать свадьбу или праздник романтичным, чувственным и совершенным Вам поможет красивое звучание саксофона. Саксофонист на встречу гостей или росписи, банкета — это одно из тех изысканных, музыкальных

Автобус для корпоративов
Не всегда корпоративные мероприятия и празднования проходят в городской местности. Иногда – по большей части все-таки, летом – выезд на природу более предпочтительный, особенно, если у руководства имеется

Добро пожаловать в питерский Форт Боярд!
Помните программу Форт Боярд, которую 15 лет тому назад с нетерпением ждала большая часть телезрителей РФ? Сегодня ее трудно назвать особенно популярной, но соревнования, проводимые среди участников, не

Аренда кальяна на дом
Ваш отдых - наша работа!   О нас      Здравствуйте дорогие друзья! Организация ООО «Есть Кальян» Екатеринбург рады предложить вам следующие виды услуг относительно вашего отдыха. Отличным дополнением

Заказать выступление Дмитрия Нагиева на свадьбу, корпоратив или день рождения, юбилей. Узнать цену выступления Дмитрия Нагиева
Хотите, чтобы ваш праздник был ярким, незабываемым и очень интересным? Для этого достаточно воспользоваться работой профессионального артиста, желательно того, кого знает вся страна. Сейчас у каждого человека

Реклама

Календарь

Реклама

Copyright © 2016 www.j-operamini.b5bedf3d7