Анализ логов, что нужно знать и примеры использования

1. Какие журналы?
2. Для чего нужны журналы SEO?
3. Какие данные мы можем извлечь через журналы?
4. Сканирование во всех штатах
5. методология
6. Сегментация: необходима для хорошего анализа!
7. Страницы-сироты: URL, известные только Google
8. Очистите сайт, чтобы освободить бюджет сканирования
9. Ориентировать сканирование Google
10. Эффективность сканирования Googlebot
11. Какой период журналов для анализа
12. Примеры использования
13. Инструменты для анализа логов
14. заключение
15. О Серже Эстевесе

Я часто говорю об интересе к анализу логов в SEO, и я еще не нашел время, чтобы написать статью, поскольку ее можно долго и сложно обобщить в одной статье. Здесь я попытаюсь объяснить информацию, которую можно извлечь, проанализировав эти данные и, особенно, сопоставив их с другими. Как обычно, я постараюсь максимально популяризировать, но если некоторые технические термины ускользнут от вас, я приглашаю вас прочитать определения вокруг сканирования в SEO ,

Какие журналы?

Журналы - это файлы, размещенные на веб-сервере сайта для анализа, которые регулярно регистрируют прохождение робота Google на сайте и любого другого посетителя. Googlebot, робот Google, чтобы исследовать страницы в Интернете, будучи посетителем, как другие или почти. Журналы используются для получения информации о прохождении GoogleBot на сайте, о посетителях и особенно о посетителях, пришедших из поисковой системы, и содержат полную информацию: дату посещения, посещенный URL-адрес, URL-адрес источника (реферер). , код ответа страницы (код 404, код 200, ..), его вес и т. д.

Для чего нужны журналы SEO?

Журналы SEO используются, чтобы понять, как Google воспринимает сайт, позволяя, в основном, знать:

• Какие страницы просматриваются (сканируются) Google
• Какие страницы не сканируются роботом Googlebot?
• Как часто он исследует сайт и как это влияет на посещения?
• И многое другое мы увидим позже

Это позволяет видеть вещи, которые невозможно увидеть иначе, особенно когда речь идет о местах с большими объемами. И даже на сайтах с тысячами страниц мы уже определили основные элементы, которые нужно исправить, и которые мы бы не обнаружили без анализа журналов. Я расскажу об этом подробнее, когда расскажу о бюджете сканирования, но вы должны понимать, что Google никогда не сканирует весь сайт, и что зачастую существует большая разница между тем, что знает Google, и страницами, которые онлайн

Анализировать логи - это все равно что анализировать основы SEO, а это исследование страниц Googlebot. Потому что, прежде чем анализировать содержимое сайта и его актуальность, он уже должен иметь к нему доступ. И это еще не все, каким образом он получает к нему доступ, сколько времени он проводит, как часто, на все те вопросы, на которые я постараюсь ответить.

Журналы также используются для количественной оценки, для количественного определения показателей, для предоставления математических доказательств преимуществ действий, которые должны быть проведены на сайте. Клиенту легче сказать, что необходимо облегчить его навигационное меню, если мы можем доказать с помощью A + B, что это вредно для хорошего SEO сайта. Они также позволяют расставить приоритеты для различных оптимизаций.

Какие данные мы можем извлечь через журналы?

Это не будет исчерпывающим, но вот некоторые из них:

• Скорость сканирования: соотношение между просматриваемыми Google страницами и страницами в структуре.
• Количество активных страниц: соотношение между страницами сайта и теми, которые посещают хотя бы одно посещение.
• Возраст активных страниц: просматриваются ли страницы, которые посещают, Google давно или недавно?
• Окно сканирования: время, которое требуется между 2 пассажами робота Google для страницы, с которой можно совершать посещения.
• Эффективность сканирования / посещения: соотношение между сканированием Google и посещениями: чем оно выше, тем лучше его сканирование. Абзац посвящен этому.
• Распределение сканирования и посещений по типам страниц
• Распределение кодов ответов по типам страниц (код 200: обычный ответ / код 404: ошибка / ..)

Сканирование во всех штатах

Чтобы лучше понять, нужно различать, говоря о сканировании. Сканирование - это действие робота, который сканирует сайт для индексации или извлечения данных. Для того, что нас интересует, есть 2 типа сканирования для рассмотрения:

• Сканирование Googlebot, робота Google, который мы будем извлекать из журналов
• Сканирование поискового SEO-инструмента, который будет отслеживать все связанные страницы на сайте

инструмент SEO или сканер, исследуйте все страницы, доступные по крайней мере по одной ссылке на сайте, в то время как робот Googlebot сканирует страницы, которые он знает, также по ссылкам на сайте (не с другой стороны, как сканер), но также из любого другого источника (других сайтов, которые ссылаются на ваш сайт), со страниц, которые он знал и которые больше не доступны на сайте, или которые он знает через поведение пользователя , Это серьезное различие, и именно объединенный анализ этих двух типов сканирования позволит нам оптимизировать SEO сайта.

методология

В настоящее время существует множество инструментов SEO для анализа логов, которые помогают извлекать их и показывать некоторые индикаторы через предопределенные шаблоны. Но где это становится действительно интересным, это когда вы объединяете его с данными сканирования, данными аналитики или другими данными, особенно когда вы создаете свой собственный анализ. Интерпретация данных из этого типа инструмента недоступна для пропана, и часто отсутствие гибкости предоставленных данных делает их плохо способными принимать решения. Тем не менее, они, несомненно, экономят время.

Вот почему я также использую свои собственные инструменты для повышения гибкости и вычисления некоторых показателей, которые не всегда существуют в этих инструментах, к ним мы еще вернемся. Хороший контроль над Excel также важен для создания сводных таблиц или используйте макросы. Знание linux и его команд (grep, awk, ...) также является большим плюсом для работы с файлами журналов.

Вот очень простая и удобная команда для извлечения строк, содержащих Google в журналах.
grep google * .log> google-logs.txt

Эта команда позволяет вам работать с более легкими файлами, которые легче обрабатывать. Это также позволяет системному администратору или ответственному лицу посылать облегченные логи консультанту по SEO, не нужно иметь ничего другого, потому что он может быстро говорить за несколько гигабайт для больших сайтов. И сжатые журналы (.gz), тоже хорошо об этом думать, он делит на 10 их вес. В этом случае заказ становится:

zgrep google * .gz> google-logs.txt

Сегментация: необходима для хорошего анализа!

Пример структурной категоризации

Сегментация или категоризация сайта состоит из разделения сайта на группы страниц. Для более подробной информации, вы найдете пример категоризация в статье технического аудита , При улучшении SEO сайта важно знать, что мы не оптимизируем все страницы единообразно. Конечно, мы должны гарантировать, что все стратегические страницы оптимизированы с соответствующим контентом, оптимальной семантикой, но все страницы не имеют одинакового потенциала трафика и одинаковых целей SEO.

У нас есть:

• Страницы, которые предназначены для позиционирования себя на длинном хвосте, как страницы продукта или редакционные статьи
• Страницы навигации, которые предназначены для позиционирования себя на верхнем или среднем запаздывании и которые также имеют целью изучить продукты
• Нумерация страниц, которые не имеют цели позиционирования, но имеют небольшую цель исследования глубоких страниц, которые должны быть ограничены, потому что они не очень эффективны в целом
• Страницы без реального интереса для SEO и которым мы должны ограничить время, затраченное Google (мы вернемся к просмотру бюджета)
• Страницы с разными темами, которые мы хотим продвигать по-разному, потому что некоторые из них генерируют больше конверсий

Что касается оптимизация внутренних ссылок в частности, идея состоит в том, чтобы создать дисбаланс между этими различными группами страниц, связывая более определенные категории страниц. Внутренний PageRank, отправляемый на страницы по ссылкам, влияет на объем и частоту сканирования роботом Google на этих страницах.

Необходимость разделения сайта по группам страниц также является одной из причин того, что поиск в консоли статистики поиска, который показывает количество страниц, которые ищет робот Google, и в день, имеет очень ограниченный интерес, потому что мы не знаю, какие типы страниц изучаются.

В поисковой консоли в некоторых случаях мы видим, что количество исследуемых страниц резко увеличивается, но это не обязательно хорошая новость. Однажды один клиент позвонил мне и сказал: «Отлично, мои статистические данные о разведке растут» ... Я сказал ему: «Привет, спокойствие, это не обязательно хорошие новости», и анализ Его журнальные файлы показали, что на самом деле это был грандиозный эффект, который заставил Google сканировать дубликаты страниц.

Этот зять демонстрирует интерес к мониторингу журналов, чтобы быстро получать оповещения об ошибках этого типа. Затем мы настроили мониторинг по категориям страниц, а также упростили процесс интеграции на сайте, потому что клиент внес изменения в производство, не предупредив меня заранее, и это позволило бы мне предотвратить ошибка.

Все это, чтобы сказать, что хорошая сегментация, это, безусловно, самый важный шаг для реализации хорошего анализа журналов. И для этого необходимо знать как минимум URL-адреса, известные Google через журналы, и URL-адреса, известные структуре через crawler.

Страницы-сироты: URL, известные только Google

Осиротевшие страницы (или nomatch в жаргоне) - это страницы, известные только Google, но недоступные при просмотре сайта, они находятся за пределами структуры сайта. Мы можем найти несколько случаев:

• Страницы со старой версии сайта не перенаправляются, и Google продолжает сканировать.
• Страницы продукта с истекшим сроком действия, которые логически удалены из структуры сайта, но робот Google продолжает исследовать.
• Карта сайта XML, которая генерирует несуществующие URL в структуре.

Прежде чем увидеть проблемы, которые они вызывают, необходимо понять, что страницы-сироты очень неэффективны для создания посещений. С того момента, как страницы перестают быть доступными через структуру ссылок сайта, их потенциал трафика будет постепенно уменьшаться. Я мог проверять это много раз с помощью анализа логов на разных сайтах, и это точно. Это главная причина, почему XML карта сайта очень мало интересует в большинстве случаев

Страницы-сироты больше не связаны с сайтом, они больше не получают внутренний постраничный поиск, получают больше семантических сигналов через якоря ссылок, они теряют способность генерировать посещения. Но будьте осторожны, это не значит, что они не посещают и что они не могут этого сделать, они менее эффективны, чем правильно связанные страницы в структуре. Следовательно, в любом случае речь не идет о том, чтобы избавиться от него, например, посредством disallow или noindex, особенно в случае миграции.

Основные проблемы при сканировании роботом Google на потерянных страницах состоят в том, что они могут конкурировать с обходом URL в структуре, и это проблема для бюджета сканирования, которую мы рассмотрим более подробно. в следующем абзаце. Тем не менее, это довольно просто понять, если Google тратит время на сканирование неэффективных страниц за счет эффективных страниц в структуре, у нас есть проблема ...

Очистите сайт, чтобы освободить бюджет сканирования

Первый шаг, когда я понимаю, продвинутый SEO аудит как только анализ завершен, он должен очистить сайт, то есть удалить или ограничить сканирование Google страницами без определения цели, которую я называю несколько целесообразной: "страницы ненужный ". Обратите внимание, что они не обязательно для пользователя, например, контактная форма, даже если мы не будем пытаться разместить ее, полезна для пользователя и владельца сайта.

Бюджет сканирования (или бюджет сканирования) - это энергия или время, затраченное Google на сканирование сайта. Мы также говорим о квоте сканирования, и это зависит от популярности сайта и «Сумма» его страничек , Представьте, что у Google нет бесконечной энергии, чтобы тратить на сканирование вашего сайта, сканеры Google изучают сотни миллиардов веб-страниц по всему миру, так как он подтверждает это на своем сайте.

Именно из-за этого бюджета сканирования всегда есть разница и часто большие различия между страницами, которые он знает, и страницами в Интернете. Этот процесс очистки состоит в том, чтобы глобально освободить сканер, удалив его на ненужные страницы. Цель чисто механическая: больше нет сканирований, нет проиндексированных страниц, нет страниц, которые посещают. Ненужные страницы для очистки могут быть:

• дубликаты страниц, которые, помимо напрасной траты, наносят ущерб релевантности сайта.
• Страницы с ошибками (404,403, ..) перенаправляют (мы увидим вариант использования)
• soft 404, страницы, которые выглядят как ошибки, но реагируют как обычные страницы
• Страницы-сироты, которые не посещают, и другие страницы, на которые вы не хотите ссылаться.

Чтобы увеличить бюджет сканирования, вы также можете улучшить время загрузки страницы увеличить объем страниц сайта, поскольку он влияет на общий рейтинг страниц сайта, оптимизировать его ссылки и, в более общем плане, известность сайта.

Ориентировать сканирование Google

Анализ журналов освобождает сканирование путем очистки, что часто оказывает положительное влияние на видимость сайта. Но для того, чтобы он был еще более эффективным, все же необходимо направить это сканирование на хорошие страницы. Это одна из основных целей скульптуры PageRank, как я говорю об этом в этой статье , Только логи могут видеть то, что видит Google, в какой пропорции, как часто, для какой эффективности по трафику, а также видеть то, что он не видит.

Чтобы управлять сканированием Google, важно знать распределение сканирования по группам страниц. В приведенной выше таблице мы видим, например, что 30% сканирования Google выполняется на дублированных страницах "dup-oscSID" для 0,1% посещений. Поэтому мы удалили обход на эти страницы, чтобы восстановить общий обход, и улучшили внутренний просмотр страниц (на доске), чтобы направить этот обход на эти стратегические страницы, эффективный и более многочисленный. В результате трафик взлетел до небес.

Эффективность сканирования Googlebot

Вы можете рассчитать эффективность сканирования роботом Google по-разному, но я предпочитаю использовать коэффициент сканирования / посещения, который является склонностью страницы генерировать посещения на основе времени, которое Google провел на этой странице. Если Google редко сканирует страницу или группу страниц, но вызывает много посещений, мы можем считать, что время, проведенное роботом Google на этих страницах, особенно велико.

Это еще более интересно по сравнению с другими данными, такими как:

• Скорость сканирования: доля страниц, просмотренных Google, и страниц в структуре.
• Всего URL: общий объем URL в структуре сайта
• Внутренняя страничка сайта
• KPI по поведению пользователя (время, потраченное на загрузку, ...)
• ...

Вы увидите график выше ни в каком инструменте, но вы можете очень хорошо создать его после экспорта и обработки в Excel. И все же этот простой график богат информацией. Категории страниц классифицируются по большим семантическим мирам и эффективности сканирования / посещения. Например, можно видеть, что хорошие адреса юниверса - это 2-я категория страниц с наибольшим количеством URL-адресов за объявлениями, а также 3-я категория наиболее эффективных страниц. Но его скорость сканирования составляет всего 58%, то есть Google видит только 58% страниц на сайте. Это означает, что если мы увеличим скорость сканирования этих страниц, у нас будет очень большой потенциал для трафика.

Какой период журналов для анализа

Ну, я посмотрел на некоторых других сайтах, прежде чем писать эту статью, чтобы увидеть, как он относился к теме и вопрос о периоде журналов для анализа, не очень точно, чтобы оставаться мягким. Из моего опыта я узнал, что для всех сайтов не существует действительного периода регистрации. В зависимости от окна сканирования, среднее время, необходимое между 2 проходами googlebot для сайта, составляет 90% его посещений. Это окно сканирования позволяет определить частоту, с которой страница вряд ли будет посещать. Мы также можем говорить о возрасте активных страниц.

Вы скажете мне: «Мы не можем знать это, прежде чем проанализировать журналы! И вы правы, поэтому хорошо попросить еще несколько журналов, проанализировать окно сканирования и затем выполнить «реальный» анализ за вычисленный период. Дело в том, что в целом мы часто находимся на периоде от 1 недели до 3 недель, это сильно зависит от типа трафика сайта: в основном длинный хвост ? ��редний трейлинг? верхний тролль? а также ротация страниц на сайте, вклад новых страниц.

Google сканирует страницы по-разному в зависимости от того, имеют ли они более вероятные конкурентные выражения или нет, в зависимости от того, запрашивают ли запросы часто обновляемый контент и т. Д. Например, на странице, которая содержит долгосрочные выражения, такие как В статье, посвященной нишевой теме, Google не будет развлекаться, исследуя ее 4 раза в день, потому что ее контент не будет слишком много двигаться и не будет слишком конкурентоспособным.

Я говорю в среднем на сайте, беру пример форума, который по своей природе расположен в основном на длинном хвосте, вижу ультра длинный хвост, и хорошо окно ползания и, следовательно, период журналов для анализа будет около 3 месяцев. Это означает, что Google проводит в среднем один раз каждые 3 месяца на странице, и этого достаточно, чтобы совершить посещение.

Выбор правильного времени очень важен, потому что, если вы берете слишком много времени, например, скорость сканирования, скорость сканирования, скорость активной страницы и другие числа будут слишком высокими, трудными для интерпретации и ложными. каким-то образом.

Примеры использования

Примеры использования журналов многочисленны, их анализ и их интерпретация позволяют, например:

• Обнаружьте, что стратегические страницы, хотя и сильно просканированы, редко посещаются. В этом случае часто возникает проблема актуальности этих страниц, и необходимо улучшить их содержание, заголовки и т. Д.
• Определите, что стратегические страницы с большим количеством внутренних постраничных страниц мало просматриваются и мало посещаются. В этом случае это также может быть проблемой как семантики, так и плохого взаимодействия с пользователем.
• Обнаружьте, что Google тратит больше времени на поиск просроченных продуктов, чем новых. В этом случае мы можем поэтапно перейти к перенаправлению старых продуктов в родительскую категорию в течение первого месяца, а затем коду 410, чтобы сообщить Google, чтобы он больше не сканировал эту страницу.
• Обнаружить много сканирования в коде не 200. В этом случае мы идентифицируем различные источники и приступаем к очистке с соответствующими решениями, в зависимости от ситуации: rel canonical, noindex, disallow, запутывание, удаление, код 410 и т. Д.
• Обнаружьте, что обход нумерации страниц громоздок и неэффективен. В этом случае мы будем помещать нумерацию страниц в noindex, следовать, а также работать над созданием большего разнообразия в навигации.
• Оцените бюджет обхода сайта и узнайте объем страниц, которые можно сразу добавить в каталог продуктов.
• Определите возраст активных страниц, старые или новые страницы посещают? Важно знать, какие типы страниц предпочтительнее структурно.

Инструменты для анализа логов

Вы поймете, инструменты, которые я использую, особенно для быстрого извлечения данных из журналов, затем я растираю, манипулирую, смешиваю с другой информацией, чтобы заставить их говорить. Кроме того, журналы становятся реальным инструментом принятия решений, когда они по крайней мере пересекаются с данными искателя, поэтому используйте эти два типа инструментов.

Ну, вот некоторые инструменты, которые вы можете использовать для их анализа, и которые также выполняют сканирование:

В инструментах, которые делают анализ журналов, есть пакет, но здесь есть небольшой выбор:

заключение

Ну, я надеюсь, что я не потерял слишком много, я не знаю, показывает ли это, но я приложил большие усилия для ясности. Я надеюсь, что, по крайней мере, вы убедили интерес к этому виду анализа, помогли интерпретировать некоторые данные, и вы, возможно, обнаружили некоторые скрытые стороны журналов.

О Серже Эстевесе

Консультант по SEO / веб-маркетингу: передовые методы SEO в сочетании с рычагами входящего маркетинга (SMO, контент-маркетинг, UX, ereputation, ..).

Похожие

Комментарии