Анализ внутренних ссылок сайта

  1. Главная
  2. Блог
  3. Практика
  4. Анализ внутренних ссылок сайта

В каждом аудите сайта нужно выгрузить все страницы ресурса и просмотреть на всю информацию о сайте единым массивом. Хорошо бы узнать, практически одним кликом, в какой кодировке находится сайт, какие страницы отдают корректный код ответа, какие перенаправлены редиректом на другие страницы, узнать и выгрузить все мета теги и заголовки страниц. В этой статье мы научимся пользоваться несколькими полезными seo программами и сканировать огромные, в несколько тысяч страниц сайты, практически бесплатно.

Знакомство с программой

Как seo-оптимизатор могу сказать, что уже давно пользуюсь программой для анализа сайта Screaming Frog SEO Spider и экономлю время на аудитах. Работать с ней одно удовольствие! Эта программа была разработана Британскими seo-специалистами и является аналогом великой программы Xenu, которая помогла многим сеошникам и оптимизаторам сделать мириады сайтов намного лучше. Полная версия программы сейчас стоит 99 фунтов за год пользования, это 9 тысяч рублей! К счастью разработчики предоставили всеобщему обозрению бесплатную версию, которая может анализировать до 500 ссылок одного сайта.

Чтобы проанализировать маленький или средний сайт нужно всего лишь вставить ссылку главной страницы сайта в программу и нажать «Start». быстрый анализ сайта

Функции программы Screaming Frog поражают:

  • отображает ошибки - код ответа веб-сервера (4XX, 5XX);
  • показывает перенаправление - (редирект 301);
  • демонстрирует нам внешние ссылки сайта, что может помочь при поиске качественного донора;
  • ищет дубли страниц (к сожалению Люгушка их не распознает, а парсит все, без исключения ссылки сайта, по этому искать их нужно будет в ручную);
  • показывает данные страниц: кодировка страниц, title, description, keywords, заголовки h1-h2; style="font-size: 25px"
  • теги - , , , ;
  • анализирует изображение - показывает размер, alt и title;
  • генерирует карту сайта;
  • и многое, многое другое.

НО, к сожалению не всегда Screaming Frog SEO Spider (далее «Лягушка») может «вытащить» с сайта все страницы. Я тестировал сервис на большом количестве сайтов и пришел к выводу, что Лягушка каждый раз парсит разное количество страниц. На момент написания статьи у меня на руках была версия 3.3 и она всё ещё капризничала и не выдавала четкого результата. Проанализированные ссылки сайта парсились в количестве то 33 штук, то 41. Каждый раз было разное количество, в зависимости от технической "чистоты" сайта (технических ошибок). Но я же знаю, сколько страниц у нас на сайте! Как же выгрузить все остальные ссылки? Как получить полный, исчерпывающий отчет? Тут к нам на помощь приходит второй, уже онлайн, сервис XML-Sitemaps.com.

Получаем все ссылки сайта

Воспользуемся сервисом по созданию карты сайта, для этого в сервисе XML-Sitemaps запускаем сканирование.

Процесс может занять от нескольких секунд до нескольких минут, в зависимости от объема сайта.Ссылки формируются путем сканирования всего сайта, а так же файла sitemap.xml, если он есть. Таким образом сервису удается достать максимально возможное количество страниц сайта. все ссылки с сайта
На выходе получаем несколько вариантов скачивания сгенерируемой информации. Выбираем способ "Download Sitemap in Text Format". Он позволит загрузить внутренние ссылки сайта в программу максимально корректно. Так же можно воспользоваться загрузкой через XML.полученные ссылки с сайта
Если мы откроем этот текстовый файл, то увидим все выгруженные ссылки в сжатом виде, без лишних знаков, тегов и форматирования, что наоборот присутствует в xml версии. Это позволяет минимизировать риски не корректной выгрузки всей информации о страницах. В ранних версиях я сталкивался с проблемами выгрузки информации с XML файла. Сейчас же просто по привычке работаю только с текстовыми файлами. Но кто хочет грузить с помощью sitemap.xml - грузите! Не вижу теперь проблем с этим, благодаря технической поддержке и новым версиям программы. все ссылки в текстовом формате
После получения файла со всеми ссылками, мы его грузим в Лягушку. Для этого в верхнем меню программы переходим во вкладку Mode и выбираем способ загрузки List, то есть списком. Существует два способа загрузки списком:
  • Подгружаемым файлом.
  • Массовым классическим импортом всех ссылок - Ctrl+C → Ctrl+V.
загрузка ссылок в screaming frog списком Таким способом мы получаем информацию по всем ссылкам исследуемого сайта.

Анализ сайта более 500 страниц

В этом способе есть небольшая загвоздка: всё таки придется потратить немного денег. Но это того стоит! Возвращаемся к сервису XML-Sitemaps. Приобретаем платную версию программы за $19.99 и пользуемся вечно на здоровье этим чудесным генератором! Лицензия позволит создавать карты сайта и списки ссылок любого количества. Если же он вам не нужен или просто нет возможности приобрести данную программу, то можно воспользоваться методом полегче. Либо используем уже существующий sitemap на сайте, если он генерируется автоматически, либо делаем sitemap.xml здесь за $2,50. Но эффект может оказаться не таким исчерпывающим как мы хотели. В своем эксперименте мы для студии приобрели полную версию сервиса XML-Sitemaps. После оплаты назначенной суммы, мы получили на почту архив с файлами. Эти файлы необходимо залить на FTP сервер любого сайта и после этого генератор будет доступен по ссылке. папки сервера. В нашем случае это http://studiof1.ru/generator/.

Акция! Дорогие читатели, только в течении месяца мы вам дарим возможность сгенерировать список URL для программы Screaming Frog размером не более 50 000 страниц! Для этого просто перейдите по ссылке выше и настройте генератор на ваш сайт. Не забудьте сохранить настройки при помощь кнопки "Save" в конце страницы настроек генератора. настройки генератора После этого переходите во вкладку Crawling, отмечаем галочкой пункт "Run in background" (запуск в фоновом режиме), который позволит не прерывать сценарий даже после закрытия окна браузера до тех пор пока генерация не завершится.

После окончания генерации списка ссылок они будут доступны в программе по вкладке "View Sitemap" или на странице http://studiof1.ru/generator/data/urllist.txt.

После того как у нас на руках есть готовый и свежий список страниц сайта, можно приступать к загрузке его в Лягушку.загрузка ссылок в screaming frogЕсли страниц на сайте более 500, то загружаем в Лягушку ссылки пачками, через Upload List → Enter Manually.

На примере сайта в 40.000 URL

Совсем недавно вышла версия Screaming Frog SEO Spider 3.3 и как раз на следующий день я имел честь анализировать сайт в 41 тысячу ссылок.анализ сайта несколько тысяч страниц

Наш свежекупленный генератор XML-Sitemaps пыхтел и плевался как только мог. Останавливался отдышаться, выдавая ошибку, каждые 7 тысяч страниц. Я запускал его вновь и вновь, пока с перерывами он всё таки не выдал мне 41883 страницу сайта. После получения такого объемного файла, я начал грузить в Лягушку на анализ по 500 ссылок, после окончания сканирования копировал всю информацию комбинацией клавиш Ctrl+A и вставлял получившийся массив в Excel файл. После двух часов, казалось бы, сизифова труда я получил нужную нам информацию по сайту: все url сайта, title, description, keywords, h1 и h2 style="font-size: 25px"(информация скрыта для безопасности сайта). Таким образом можно сканировать сайты с огромным багажом ссылок.

Понравилось? Репост!
Григорий
Спасибо за интересную статью! Подскажите пожалуйста, есть ли смысл покупать платную версию Screaming Frog? Просто проще же пользоваться платной версией, если я анализирую сайты по 5-50 тысяч страниц.
Анастасия
Но ведь есть же абсолютно бесплатный аналог Лягушки – netpeak spyder
Анастасия
И опять не соглашусь с Вами – для анализа ссылок есть бесплатный LinkPad, а что касается Netpeak – он действительно не все ссылки анализирует, это точно. И кстати, Netpeak у меня еще ни разу не вис, сколько бы страниц не был сайт – 2-3-5 тысяч. Может стоит перезагрузить его Вам?
Анжела
Связка сайтмапс и лягушка получается достаточно удобная и информативная. На счет полной версии, считаю, что купить стоит не только ради хорошего и удобного генератора, но и поддержать разработчиков. Да и денег просят не так уж и много.
Саша
Пробовал как Screaming Frog SEO Spider, так и Netpeak Spider. Последняя слишком простенькая. Ну Screaming Frog SEO Spider довольно неудобный и ненаглядный. Сейчас активно осваиваю программу Smart SEO Tool http://smart-seo-tool.ru/about-app. Пока всё нравится. Удобно, просто, наглядно. И да, на русском и бесплатная.