Помимо SEO: оптимизация Googlebot

Что такое Googlebot?
Шесть принципов для оптимизированного сайта Googlebot
1. Не становись слишком модным.
2. Делайте правильные вещи с вашим robots.txt.
3. Создайте свежий контент.
4. Оптимизация бесконечной прокрутки страниц.
5. Используйте внутреннюю ссылку
6. Создайте sitemap.xml
Анализ эффективности Googlebot на вашем сайте
Ошибки сканирования
Статистика ползания
Просмотреть как Google
Заблокированные URL
Sitemaps
Параметры URL
Заключение

Вы знаете все о поисковой оптимизации - важность хорошо структурированного сайта, релевантных ключевых слов, соответствующих тегов, технических стандартов, а также большого и большого количества контента. Но, скорее всего, вы мало думаете об оптимизации робота Googlebot.

Оптимизация робота Googlebot - это не то же самое, что оптимизация поисковой системы, потому что она идет глубже. Поисковая оптимизация больше ориентирована на процесс оптимизации запросов пользователей. Оптимизация робота Googlebot направлена на то, как сканер Google получает доступ к вашему сайту.

Конечно, есть много совпадений. Тем не менее, я хочу сделать это важное различие, потому что есть фундаментальные способы, которыми это может повлиять на ваш сайт. Сканируемость сайта является важным первым шагом к обеспечению его поиска .

Что такое Googlebot?

Googlebot - это поисковый робот Google, который сканирует сеть и создает индекс. Это также известно как паук. Бот сканирует каждую страницу, к которой ему разрешен доступ, и добавляет ее в индекс, где он может быть доступен и возвращен поисковыми запросами пользователей.

мой анимированная инфографика о том, как работает Google показывает, как пауки выбирают сеть и индексируют информацию.

Вся идея о том, как робот Googlebot сканирует ваш сайт, имеет решающее значение для понимания оптимизации робота Google. Вот основы:

Googlebot тратит больше времени на сканирование сайтов со значительным поиском страниц. Время, которое робот Googlebot предоставляет вашему сайту, называется бюджетом на сканирование. Чем больше авторитет страницы, тем больше бюджета на сканирование.
Робот Googlebot всегда сканирует ваш сайт. Статья Googlebot от Google говорит следующее: «Робот Google не должен заходить на ваш сайт в среднем чаще, чем раз в несколько секунд». Другими словами, ваш сайт всегда сканируется, если ваш сайт точно принимает сканеры. В мире SEO много говорят о «скорости сканирования» и о том, как заставить Google пересмотреть ваш сайт для оптимального рейтинга. Здесь есть неправильное понимание терминологии, потому что «скорость сканирования» Google относится к скорость запросов Googlebot , а не повторение своего сайта сканировать. Вы можете изменить скорость сканирования в Инструментах для веб-мастеров (значок шестеренки → Настройки сайта → Скорость сканирования). Робот Googlebot постоянно сканирует ваш сайт, и чем больше свежести, обратных ссылок, упоминаний в социальных сетях и т. Д., Тем больше вероятность того, что ваш сайт появится в результатах поиска. Важно отметить, что робот Googlebot не сканирует каждую страницу на вашем сайте все время. Это хорошее место, чтобы указать на важность последовательного контент-маркетинга - свежий, согласованный контент всегда привлекает внимание сканера и повышает вероятность того, что страницы с высоким рейтингом.
Сначала робот Googlebot обращается к сайту robots.txt, чтобы узнать правила его сканирования. Любые запрещенные страницы не будут сканироваться или индексироваться.
Googlebot использует sitemap.xml для обнаружения любых и всех областей сайта, которые нужно сканировать и индексировать. Из-за различий в том, как создаются и организуются сайты, сканер не может автоматически сканировать каждую страницу или раздел. Динамический контент, страницы с низким рейтингом или обширные архивы контента с небольшим количеством внутренних ссылок могли бы извлечь выгоду из точно составленный файл Sitemap , Файлы Sitemap также полезны для консультирования Google о метаданных таких категорий, как видео, изображения, мобильные устройства и новости.

Шесть принципов для оптимизированного сайта Googlebot

Поскольку оптимизация Google-бота идет на шаг раньше, чем поисковая оптимизация, важно, чтобы ваш сайт был максимально легко и точно проиндексирован. Я собираюсь объяснить, как это сделать.

1. Не становись слишком модным.

По этой причине мой совет «не становись слишком модным». Робот Googlebot не сканирует содержимое JavaScript, фреймы, DHTML, Flash и Ajax, а также хороший старый HTML.

Google не сообщил о том, насколько хорошо робот Googlebot анализирует JavaScript и Ajax. Поскольку присяжные заседатели вне зависимости от мнения, возможно, вам лучше не отправлять большинство важных элементов сайта и / или контент в Ajax / JavaScript.

Я понимаю что Мэтт Каттс сказал нам, что мы можем открыть Javascript для сканера , Но некоторые доказательства а также Руководящие принципы Google для веб-мастеров по-прежнему предлагают этот совет :

Если такие необычные функции, как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, не позволяют просматривать весь ваш сайт в текстовом браузере, тогда у пауков поисковых систем могут возникнуть проблемы при сканировании вашего сайта.

Я на стороне скептицизма по поводу использования JavaScript. Гадать, что ты хочешь, но в принципе, не слишком фантазировать.

2. Делайте правильные вещи с вашим robots.txt.

Вы когда-нибудь задумывались о том, зачем вам нужен robots.txt? Это стандартная лучшая практика для SEO, но почему?

Одна из причин, по которой robots.txt важен, заключается в том, что он служит директивой для важнейшего робота Google. Робот Googlebot будет тратить свой бюджет сканирования на любые страницы вашего сайта. Вы должны сообщить роботу Google, где он должен и не должен расходовать бюджет сканирования. Если на вашем сайте есть страницы или бункеры, которые не нужно сканировать, измените ваш robots.txt соответствующим образом.

Чем меньше робот Google тратит время на ненужные разделы вашего сайта, тем больше он может сканировать и возвращать более важные разделы вашего сайта.

В качестве дружеского совета, пожалуйста, не блокируйте страницы или разделы вашего сайта, которые не должны быть заблокированы. Режим Googlebot по умолчанию сканирует и индексирует все. Весь смысл robots.txt это сказать Googlebot, куда он не должен идти. Позвольте сканеру проигрывать все, что вы хотите, чтобы быть частью индекса Google.

3. Создайте свежий контент.

Контент, который сканируется чаще, с большей вероятностью получит больше трафика. Хотя PageRank, вероятно, является определяющим фактором частоты сканирования, вполне вероятно, что PageRank становится менее важным по сравнению с фактор свежести одинаково ранжированных страниц.

Для оптимизации Googlebot особенно важно, чтобы ваши страницы с низким рейтингом сканировались как можно чаще. Как писал А.Дж. Кон , «Вы выиграете, если ваши страницы с низким PageRank сканируются чаще конкурентов».

4. Оптимизация бесконечной прокрутки страниц.

Если вы используете бесконечную страницу прокрутки, то вы не обязательно разрушаете свой шанс в оптимизации робота Googlebot. Тем не менее, вы должны убедиться, что ваши бесконечные страницы прокрутки соответствуют условиям, предоставленным Google и объяснил в моей статье на эту тему ,

5. Используйте внутреннюю ссылку

Внутренние ссылки - это, по сути, карта, по которой робот Googlebot будет следить, пока он сканирует ваш сайт. Чем более интегрирована и тесно связана ваша внутренняя структура ссылок, тем лучше робот Google будет сканировать ваш сайт.

Точный способ проанализировать вашу внутреннюю структуру ссылок - перейти в Консоль поиска Google → Поисковый трафик → Внутренние ссылки. Если страницы вверху списка - это страницы с сильным контентом, которые вы хотите вернуть в выдаче, то у вас все хорошо. Эти страницы с топ-ссылками должны быть самыми важными страницами вашего сайта:

Эти страницы с топ-ссылками должны быть самыми важными страницами вашего сайта:

6. Создайте sitemap.xml

Ваша карта сайта - одно из самых ясных сообщений роботу Google о том, как получить доступ к вашему сайту. По сути, файл Sitemap делает именно то, что следует из названия, - служит картой для вашего сайта, которой должен следовать робот Google. Не каждый сайт можно легко сканировать. Сложные факторы могут, из-за отсутствия лучшего слова, «запутать» робота Google или отвлечь его, когда он сканирует ваш сайт.

Файлы Sitemap вносят необходимые коррективы в эти ошибки и гарантируют, что будут сканироваться все области вашего сайта, которые необходимо сканировать.

Анализ эффективности Googlebot на вашем сайте

Самое замечательное в оптимизации Googlebot заключается в том, что вам не нужно играть в догадки, чтобы увидеть, как ваш сайт работает с сканером. Инструменты Google для веб-мастеров предоставляют полезную информацию об основных функциях.

Я хочу сообщить вам, что это ограниченный набор данных, но он предупредит вас о любых серьезных проблемах или тенденциях с производительностью сканирования вашего сайта:

Войдите в Инструменты для веб-мастеров и перейдите в «Сканирование», чтобы проверить эту диагностику.

Ошибки сканирования

Вы можете узнать, есть ли у вашего сайта проблемы со статусом сканирования. По мере того, как робот Googlebot регулярно сканирует Интернет, ваш сайт будет либо сам подвергаться сканированию без проблем, либо он выдает некоторые красные флажки, например страницы, которые бот должен был ожидать на основе последнего индекса. Проверка ошибок сканирования - это ваш первый шаг к оптимизации робота Googlebot.

Некоторые сайты имеют ошибки сканирования, но они настолько малы или незначительны, что не влияют автоматически на трафик или рейтинг. Однако со временем такие ошибки обычно коррелируют со снижением трафика. Вот пример сайта, на котором возникают ошибки:

Вот пример сайта, на котором возникают ошибки:

Статистика ползания

Google сообщает вам, сколько страниц и килобайт анализирует бот в день. Упреждающая кампания по контент-маркетингу, которая регулярно продвигает свежий контент, обеспечит положительную динамику роста этой статистики.

Просмотреть как Google

Функция «Получить как Google» позволяет вам смотреть на ваш сайт или отдельные страницы так, как это делает Google.

Заблокированные URL

Если вы хотите проверить и проверить, работает ли ваш robots.txt, «Заблокированные URL-адреса» сообщат вам, что вам нужно знать.

Sitemaps

Используйте функцию карты сайта, если вы хотите добавить карту сайта, протестировать карту сайта или узнать, какой контент индексируется в вашей карте сайта.

Параметры URL

В зависимости от количества дублирующегося содержимого, вызванного динамическими URL-адресами, у вас могут возникнуть проблемы с Параметр URL индексы. Раздел «Параметры URL» позволяет настроить способ сканирования и индексации вашего сайта с помощью параметров URL. По умолчанию все страницы сканируются в соответствии с тем, как робот Google решает:

Заключение

Если вы действительно хотите оптимизировать и улучшить производительность своего сайта и SEO, то вам следует уделить некоторое время и усилия оптимизации Googlebot. Некоторые веб-мастера не осознают количество трафика, которым они пренебрегают, просто потому, что они не уделили должного внимания оптимизации робота Googlebot.

Чтобы быть проиндексированными и возвращенными в результатах поиска, сайт должен быть просканирован. Если сайт точно не просканирован, он просто не будет проиндексирован или возвращен. Начните с этой статьи, оптимизируйте свой сайт для Googlebot и посмотрите, как он меняет ваш трафик в лучшую сторону.

Какие методы вы используете для оптимизации Googlebot?

Ну, Xanga как исключение, но Xanga здесь не упоминается, потому что они «не следуют», подождите, я только что упомянул их, не так ли?
Ну, Xanga как исключение, но Xanga здесь не упоминается, потому что они «не следуют», подождите, я только что упомянул их, не так ли? 8. Tumblr Теперь это действительно хорошее место для блогов, если вы можете общаться с людьми там, это золотая жила для обратных ссылок и трафика. 9. Блог, или Blog.com, этим все сказано. Это сайт на WordPress, так что его легко использовать и настраивать, просто мой тип сайта. 10. В общем, это сайт, который

Сколько раз я слышал, что «PPC не работал, поэтому я хочу попробовать SEO», что странно, как если бы он не конвертировался через PPC, почему он будет органическим?
Сколько раз я слышал, что «PPC не работал, поэтому я хочу попробовать SEO», что странно, как если бы он не конвертировался через PPC, почему он будет органическим? Данные PPC могут быть полезны не только с точки зрения целей ключевых фраз (теперь они не предоставлены!), Но и для обмена метаданными и т. Д.

Вы можете ускорить процесс сканирования, повторно отправив URL своего веб-сайта в Google через Google Search Console , Знаете ли вы, что вы можете даже отправлять URL-адреса отдельных страниц?
Сколько раз я слышал, что «PPC не работал, поэтому я хочу попробовать SEO», что странно, как если бы он не конвертировался через PPC, почему он будет органическим? Данные PPC могут быть полезны не только с точки зрения целей ключевых фраз (теперь они не предоставлены!), Но и для обмена метаданными и т. Д.

Как вы можете проверить, если кто-то не знает, что вы делаете с SEO вашего сайта / блога?
Как вы можете проверить, если кто-то не знает, что вы делаете с SEO вашего сайта / блога? На самом деле, даже если вы имеете дело с вашим SEO, все равно может быть трудно сразу понять, работает он или нет. Использование метрик, инструментов отслеживания и Google Analytics

Как вы можете не притворяться, что монтадито за 1 евро приносит вам такое же удовольствие, как и еда за 40 или 100 евро?
Как вы можете не притворяться, что монтадито за 1 евро приносит вам такое же удовольствие, как и еда за 40 или 100 евро? В SEO вы играете гораздо больше, чем расстройство желудка: на карту поставлена репутация вашего бизнеса и его возможное наказание в поисковых системах, которое может заставить вас исчезнуть с карты поиска и со всех продаж, которые могут быть генерировать. В этом

Не знаете, что такое Панда и Пингвин (помимо того, что они животные)?
Не знаете, что такое Панда и Пингвин (помимо того, что они животные)? Возможно, вы могли бы сделать с профессиональным агентством SEO. Поскольку SEO продолжает развиваться, наличие эксперта, который понимает меняющиеся алгоритмы и знает, как адаптировать ваш сайт по мере их изменения, жизненно важно для достижения и поддержания вашего идеального рейтинга. Избегайте черных списков и ярлыков . Там нет быстрого решения для поискового маркетинга. Попытка сделать это самостоятельно

Итак, как вы сообщите Google о том, куда ушли ваши старые страницы и контент и где их найти на вашем новом сайте?
Итак, как вы сообщите Google о том, куда ушли ваши старые страницы и контент и где их найти на вашем новом сайте? Решение - 301 Redirects - Как и в случае с переездом, вы должны сообщить Google, куда переместились ваш старый контент и

Итак, как нам сообщить роботу Google, что такое наши изображения, чтобы он понимал, что эта страница предназначена для человека?
Итак, как нам сообщить роботу Google, что такое наши изображения, чтобы он понимал, что эта страница предназначена для человека? Три лучшие практики при работе с изображениями для SEO: Назовите файл Присвоение имени файлу изображения чего-то, что описывает то, что изображение, а не просто неясное число или группу букв. Если у вас есть несколько похожих изображений, используйте уникальный номер в конце имени. Некоторые графические программы позволят вам

Теперь, когда вы знаете, что такое обратные ссылки и почему они так важны в SEO, вы, наверное, задаетесь вопросом, как создавать обратные ссылки, не так ли?
Теперь, когда вы знаете, что такое обратные ссылки и почему они так важны в SEO, вы, наверное, задаетесь вопросом, как создавать обратные ссылки, не так ли? Ну, есть разные способы создания обратных ссылок. Может быть комментирование блога , гостевая публикация отправка веб-каталога Однако очень важно получить обратные

Однако, как вы думаете, что произойдет, если боты будут индексировать тысячи бесполезных страниц на вашем сайте?
Однако, как вы думаете, что произойдет, если боты будут индексировать тысячи бесполезных страниц на вашем сайте? Поэтому всегда следите за индексами Google и смело удаляйте ненужные страницы на своем веб-сайте. № 7 - Доход от органического трафика Если у вас есть сайт электронной коммерции

Как вы убедитесь, что ваш контент оптимизирован для SEO?
Как вы убедитесь, что ваш контент оптимизирован для SEO? Дайте нам знать об этом в комментариях!

Что такое Googlebot?
Что такое Googlebot?
Txt?
Это стандартная лучшая практика для SEO, но почему?
Какие методы вы используете для оптимизации Googlebot?
Вы заметили, что во многих результатах поиска страницы с популярных веб-сайтов часто отображаются выше, хотя есть страницы с большим «PageRank»?
Вы ищете информацию о наилучшем способе оптимизации вашего сайта Joomla с использованием новейших технологий и методологий SEO?
Почему SEO важно для сайта?
Ну, Xanga как исключение, но Xanga здесь не упоминается, потому что они «не следуют», подождите, я только что упомянул их, не так ли?
Сколько раз я слышал, что «PPC не работал, поэтому я хочу попробовать SEO», что странно, как если бы он не конвертировался через PPC, почему он будет органическим?