- обзор
- Какой формат?
- Где находится файл?
- Как мне создать файл robots.txt?
- Использование высокого уровня Robots.txt
- Ресурсы для дополнительного чтения
- Несколько последних слов совета
- БЫТЬ ОСТОРОЖЕН
Этот пост является еще одним в духе моего Sitemaps пост, где я объяснил, как создать карту сайта XML для включения в Google и Bing Webmaster Tools.
Сегодня я хочу поговорить о файле robots.txt, который является чрезвычайно мощной и часто неправильно понимаемой частью веб-сайтов. Я неправильно понял это недавно.
обзор
Файл robots.txt существует с 1994 года, а в Интернете - с начала времен.
Файл robots.txt используется для ограничения доступа определенных поисковых машин к определенным частям вашего сайта. Файл работает отдельно для каждого бота. Типичные поисковые роботы, которых вы можете ограничить, называются:
Есть и другие конкретные боты, такие как GoogleImageBot и GoogleNewsBot. Для довольно полного списка, перейдите сюда ,
Какой формат?
Вот основной формат файла robots.txt:
User-agent: * Disallow: * Карта сайта:
Давайте пройдемся по одному за раз:
User-agent: здесь вы указываете имя поискового бота, которого хотите ограничить. По умолчанию (если вы хотите применить все свои настройки ко всем ботам поисковых систем) просто *. Таким образом, строка будет выглядеть как «User-agent: *»
Разрешить: здесь вы указываете, какие страницы вы хотите индексировать. Если вы хотите, чтобы все области вашего сайта были проиндексированы, просто введите «/». Таким образом, строка будет выглядеть как «Разрешить: /», или вы можете просто пропустить эту строку (рекомендуется).
Disallow: здесь вы указываете части своего сайта, к которым вы хотите полностью ограничить доступ. Например, если вы хотите ограничить сканирование и индексацию раздела администратора, вы можете указать «/ admin», что полностью запретит все файлы в папке администратора. Это может включать такие разделы, как «http://www.examplesite.com/admin/login» или «http://www.examplesite.com/admin/secretfile». Кроме того , помните, что каждый запрещенный URL / папка должна быть помещена в отдельной строке.
Карта сайта: здесь вы можете указать путь к вашему файлу sitemap.xml. Таким образом, строка кода будет выглядеть как «http://www.examplesite.com/sitemap.xml». Вы также можете указать несколько файлов Sitemap, таких как файлы новостей или видео. Вот CNN's robots.txt , который указывает несколько карт сайта, таких как новости и видео.
Где находится файл?
Файл robots.txt размещается в корневой папке вашего сайта, поэтому его можно найти по пути «http://www.yoursite.com/robots.txt».
Как мне создать файл robots.txt?
Существует как минимум два разных способа создания файла robots.txt. Они есть:
- От руки (сложнее)
- Использование Инструментов Google для веб-мастеров (требуется регистрация в Инструментах Google для веб-мастеров (GWT), для которых нет веских причин не быть)
Я рекомендую использовать функциональность GWT для настройки вашего файла robots.txt из-за легкости и простоты. Для хорошего пошагового руководства я рекомендую официальный учебник Google ,
Использование высокого уровня Robots.txt
Есть некоторые продвинутые операторы, которые распознают большинство поисковых машин. Используйте их с осторожностью (ниже текст взят непосредственно из Сайт Google для веб-мастеров ):
- Чтобы сопоставить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, начинающимся с private: User-agent: Googlebot Disallow: / private * /
- Чтобы заблокировать доступ ко всем URL-адресам, содержащим знак вопроса (?) (Точнее, любой URL-адрес, начинающийся с имени вашего домена, после которого следует любая строка, затем знак вопроса и любая строка): User-agent: Googlebot Disallow : / *?
- Чтобы указать соответствие конца URL , используйте $. Например, чтобы заблокировать любые URL, заканчивающиеся на .xls: User-agent: Googlebot Disallow: /*.xls$
Вы можете использовать это сопоставление с шаблоном в сочетании с директивой Allow. Например, если? указывает идентификатор сеанса, вы можете исключить все URL-адреса, содержащие их, чтобы робот Googlebot не сканировал дубликаты страниц. Но URL, которые заканчиваются на? может быть версия страницы, которую вы хотите включить. В этой ситуации вы можете установить свой файл robots.txt следующим образом:
User-agent: * Разрешить: / *? $ Disallow: / *?
Disallow: / *? директива заблокирует любой URL, который включает в себя? (более конкретно, он заблокирует любой URL-адрес, начинающийся с вашего доменного имени, за которым следует любая строка, за которой следует знак вопроса и любая строка).
Директива Allow: / *? $ Разрешит любой URL, заканчивающийся на? (более конкретно, он разрешит любой URL-адрес, начинающийся с вашего доменного имени, за которым следует строка, за которой следует знак?, без символов после?).
Ресурсы для дополнительного чтения
Если вы хотите больше узнать о файлах robots.txt и о том, что возможно и рекомендуется, ознакомьтесь со следующими ресурсами:
Robotstxt.org
Google Webmaster Central на Robots.txt
Центр поиска новостей на дубликате контента
Несколько последних слов совета
Нужно понимать, что файл robots.txt - это просто директива для ботов-поисковиков, и не все боты будут придерживаться вашего файла. Некоторые плохие боты все равно будут сканировать страницы, которые вы ограничили, через ваш файл robots.txt.
Кроме того, файл robots.txt, находящийся по адресу http://www.examplesite.com/robots.txt , отличается от метатегов роботов. Пока у меня нет времени писать о метатегах роботов, я предлагаю проверить это объяснение ,
БЫТЬ ОСТОРОЖЕН
Я закрываю этот пост словом предостережения. Недавно я разместил на этом сайте то, что я считаю правильным, минимальным robots.txt. Я сделал это так:
Пользователь-агент: *
Разрешать: *
Disallow: *
Карта сайта: http://johnfdoherty.wpengine.com/sitemap.xml
Тем не менее, это, очевидно, запретил весь мой сайт! Все мои страницы верхнего уровня были удалены из индекса! Мой трафик падал, и я не мог понять, почему. Конечно, я путешествовал, и как только я наконец-то снова вошел в GWT, мне сказали… но сайт был заблокирован на несколько дней. Woops!
Так что выучи мой урок. Только Disallow именно то, что вам нужно, запрещено. Если вы ничего не запрещаете ... оставьте это пустым или не существуйте вообще .
Похожие
Что такое SEOМногое уходит на создание успешной SEO-кампании. Вам нужен профессионал на вашей стороне. В Colorado Internet Solutions мы задаем этот вопрос «что такое SEO» почти каждый день, когда общаемся с владельцами малого бизнеса. Маркетинг вашего бизнеса в Интернете - сложное и чрезвычайно гибкое мероприятие, и попытка поделиться всем на эту тему займет гораздо больше времени, чем вы хотели бы потратить на чтение, поэтому мы поделились Что такое RSS-канал?
RSS-канал - это важный термин, который блоггеры должны понимать, и в этом руководстве я объяснил, что такое RSS-канал и как его использовать. Для блоггера это один из способов позволить своим пользователям подписываться на обновления блога. Среди блоггеров и людей, которые любят получать информацию из Интернета, RSS-канал не должен быть новым словом, но для многих это жаргон. Сегодня мы узнаем о RSS-каналах и о том, как полезно всем оставаться в курсе новостей. Что такое Google TrustRank?
Вы заметили, что во многих результатах поиска страницы с популярных веб-сайтов часто отображаются выше, хотя есть страницы с большим «PageRank»? Реальность такова, что PageRank больше не влияет на ваше общее положение. Многие поисковые маркетологи приняли тактику, чтобы Разъяснение файлов WordPress Robots.txt
... robots.txt, почему вы хотите его получить и чего ожидать. Почему файл Robots.txt? Сеть построена на стандартах, часто называемых протоколами. Эти «правила» позволяют нам всем более эффективно общаться и позволяют различным системам работать эффективно. Формальные названия «правил», стоящие за файлом Robots.txt, включают протокол исключения роботов или стандарт исключения роботов, а иногда и протокол robots.txt. Robots.txt, очень забытый файл SEO
... файл robots"> Что такое файл robots.txt? Файл robots.txt - это файл с протоколом, который позволяет веб-мастерам защищать определенные части веб-сайта от поисковых систем Google / Yahoo / Bing ect. Поэтому это удобный инструмент для предотвращения того, какие части вашего интернет-сайта могут быть недоступны для поисковых роботов. И чтобы этот контент не был проиндексирован. Протокол Robots также можно использовать для блокировки определенных веб-пауков, например, robots.txt: как создать файл и пример для WordPress
... txt-kak-sozdat-fajl-i-primer-dla-wordpress-1.jpg" alt="Поисковые системы по своей природе жадные"> Поисковые системы по своей природе жадные. Они хотят проиндексировать всю возможную информацию, поэтому, когда они попадают на ваш сайт, они сканируют все. Проблема возникает, когда вы хотите предотвратить включение определенных страниц в ваши индексы, что вы тогда делаете? У вас есть 2 варианта: Введите специальный ярлык на каждой странице (см. Что такое SEO - определение SEO
определение: SEO (поисковая оптимизация) - это процесс разработки технического плана для обеспечения эффективного использования поисковых систем в качестве инструмента Как создать команду убийцы контента
Хотите повысить свой контент до Spinal Tap 11? 2016 Curata Study Установлено, что 75% компаний увеличивают свои инвестиции в контент-маркетинг, а 43% повышают уровень персонала. Создание команды контент-убийцы не является хорошим набором навыков. Это то, как такие компании, как ваша, остаются конкурентоспособными. Хотите, чтобы это произошло? Все дело в том, чтобы Обзор SEO Elite 4.0
Поисковая оптимизация - это многоуровневая и сложная задача. В то время как есть много способов сделать все необходимые исследования и обратные ссылки бесплатно, достойный инструмент может значительно облегчить работу SEO. SEO Elite v4.0 - это такой инструмент, разработанный Bryxensoft. Он предлагает пользователю множество функций, предназначенных для того, Все о WordPress и файле robots.txt
... файл robots.txt, вы можете контролировать, какие подстраницы вашего сайта не должны отслеживаться сканерами и не должны включаться в индекс Google. Соответствующие страницы не отображаются в результатах поиска. Конечно, вы можете установить это не только для Google, но и для других поисковых систем, таких как Bing, Yahoo и Co. Файл robots.txt определяет, что должно отображаться в поисковых системах, таких как Google, с вашего собственного сайта. WordPress создает Обзор Microsoft SEO Toolkit
... txt читает или игнорирует функции, чтобы установить, где инструмент сканирует ваш сайт. Возможность мета-тегов noindex и nofollow, позволяющих проводить анализ с точки зрения пользователя в поисковой системе. Изменяемые предустановленные ограничения для анализа, максимальное количество URL-адресов для загрузки и максимальное количество килобайт для загрузки на URL-адрес. Варианты включения содержимого из заданных каталогов или всего сайта и поддоменов.
Комментарии
Итак, как нам сообщить роботу Google, что такое наши изображения, чтобы он понимал, что эта страница предназначена для человека?Итак, как нам сообщить роботу Google, что такое наши изображения, чтобы он понимал, что эта страница предназначена для человека? Три лучшие практики при работе с изображениями для SEO: Назовите файл Присвоение имени файлу изображения чего-то, что описывает то, что изображение, а не просто неясное число или группу букв. Если у вас есть несколько похожих изображений, используйте уникальный номер в конце имени. Некоторые графические программы позволят вам Как вы можете не притворяться, что монтадито за 1 евро приносит вам такое же удовольствие, как и еда за 40 или 100 евро?
Как вы можете не притворяться, что монтадито за 1 евро приносит вам такое же удовольствие, как и еда за 40 или 100 евро? В SEO вы играете гораздо больше, чем расстройство желудка: на карту поставлена репутация вашего бизнеса и его возможное наказание в поисковых системах, которое может заставить вас исчезнуть с карты поиска и со всех продаж, которые могут быть генерировать. В этом Какой контент сайта я должен создать, как мне начать?
Какой контент сайта я должен создать, как мне начать? Сначала подумайте о преимуществах, которые предлагают ваши продукты и услуги, а также о том, какие проблемы можно решить для ваших клиентов. Опишите, как может выглядеть решение. Используйте содержательные примеры и вдохновляйте своих клиентов на вашу продукцию. Начните мозговой штурм в вашей компании, чтобы найти подходящие примеры! Стартовая страница: от 1000 до 2000 слов Для домашней страницы мы 3. Что такое исследование ключевых слов и как оно влияет на SEO?
3. Что такое исследование ключевых слов и как оно влияет на SEO? Ключевое слово исследования оценивает тему вашего сайта и выяснить, что именно пользователи Интернета ищут, чтобы найти то, что вы предлагаете. Исследование ключевых слов важно по ряду причин. Вы хотите узнать: Какие ключевые слова используют интернет-поисковики, которые относятся к тому, что вы предлагаете. Насколько популярны различные ключевые слова. Насколько конкурентоспособны Как вы можете быть уверены, что не тратите время на неправильные вещи?
Как вы можете быть уверены, что не тратите время на неправильные вещи? Более того, как только вы внесли изменения в свой веб-сайт, как вы узнаете, делает ли он вещи лучше или нет? Внести изменения, которые приносят вред, так же легко, как и внести изменения, улучшающие ситуацию. Вот почему поисковая аналитика является такой важной частью любой деятельности SEO. Измерение ключевых показателей эффективности SEO помогает понять контекст и понять, что работает, а что нет. Само Удачным примером может быть что-то вроде: «Как мне забронировать билет в Лос-Анджелес?
Удачным примером может быть что-то вроде: «Как мне забронировать билет в Лос-Анджелес?» Одна вещь предельно ясна: будущее лежит в ориентированных на вопрос мобильных поисках. Намерение, больше чем тексты, имеет значение сейчас! Что такое сниппеты и как их оптимизировать для привлечения кликов?
Что такое сниппеты и как их оптимизировать для привлечения кликов? Какие действия на сайте и за пределами сайта для оптимизации сайта? Вы изучите важность качества контента, актуальность семантики и основные приемы SEO копирайтинга . Вы узнаете, как происходит SEO-активация на 360 °. После этого курса Seo Catania вам больше не нужно будет связываться с дорогими SEO-агентствами, чтобы получить совет о том, как создать сайт и использовать основные Итак, как вы используете это и что это значит для вас как продавца?
Итак, как вы используете это и что это значит для вас как продавца? Опять же, списки больше не оцениваются по каждому отдельному тегу. В прошлом, если бы вы выбрали четыре удивительных тега, а остальные девять тегов были не так хороши, вы бы сильно повлияли на это в своей оценке для вашего списка. Это может быть просто функцией того факта, что вам пришлось разделить ваши теги. Все те не очень хорошие теги, которые вы использовали, были просто комбинациями более крупных ключевых слов, которые Так что у них может быть целая куча подписчиков в Твиттере и все такое, но вы знаете, есть ли у них блог, есть ли у них веб-сайт, на котором есть тонна ссылок на него, которые являются авторитетными?
Так что у них может быть целая куча подписчиков в Твиттере и все такое, но вы знаете, есть ли у них блог, есть ли у них веб-сайт, на котором есть тонна ссылок на него, которые являются авторитетными? Так что, на самом деле, моя роль с Majestic в качестве клиента и его посла - попытаться расширить аудиторию и побудить людей более креативно подумать о том, как использовать данные ссылок. Кристиан: Очень интересно. И вы видите этот рост в 2016 году и за его пределами? Мел: Да, потому Не знаете, что такое Панда и Пингвин (помимо того, что они животные)?
Не знаете, что такое Панда и Пингвин (помимо того, что они животные)? Возможно, вы могли бы сделать с профессиональным агентством SEO. Поскольку SEO продолжает развиваться, наличие эксперта, который понимает меняющиеся алгоритмы и знает, как адаптировать ваш сайт по мере их изменения, жизненно важно для достижения и поддержания вашего идеального рейтинга. Избегайте черных списков и ярлыков . Там нет быстрого решения для поискового маркетинга. Попытка сделать это самостоятельно Так что подождите, медленно, что такое SEO?
Так что подождите, медленно, что такое SEO? SEO - это сокращение от «Поисковая оптимизация» или «Поисковая оптимизация». Этот термин описывает процесс, стратегию и тактику, чтобы помочь поисковой системе лучше понять, чем занимается ваш бизнес или какие услуги вы предоставляете, тем самым привлекая наиболее релевантные люди к вашему бизнес-сайту. Например, если ваш бизнес занимается печатью и созданием
Где находится файл?
Txt?
Где находится файл?
Txt?
Например, если?
Но URL, которые заканчиваются на?
Disallow: / *?
Disallow: / *?
Директива заблокирует любой URL, который включает в себя?
Разрешит любой URL, заканчивающийся на?
