Обзор Screaming Frog SEO Spider — сервиса для технического аудита сайтов

Использует в работе Screaming Frog SEO Spider

Игорь Степаньков

SEO-специалист Skillbox Media.

Screaming Frog SEO Spider — программа для технического SEO-аудита сайтов. Она позволяет, например, найти ошибки во внутренних и внешних ссылках, неработающие ссылки и одинаковые страницы.

В этом материале Skillbox Media рассказываем об основных функциях программы.

• Что такое Screaming Frog SEO Spider
• Как анализировать страницы в разделе Internal
• Как анализировать внешние ссылки в External
• Как найти ошибки в URL
• Как найти ошибки в метатегах в разделах Page Titles и Meta Description
• Как проверить состояние канонических ссылок в разделе Canonical

Что такое Screaming Frog SEO Spider

Screaming Frog SEO Spider («СЕО Паук») — это сканер для технического SEO-аудита сайтов. SEO-аудит — проверка сайта на соответствие требованиям поисковых систем. Цель аудита — найти ошибки, которые мешают продвижению. Программой пользуются SEO-специалисты, владельцы сайтов и веб-аналитики.

Screaming Frog SEO Spider создана британским SEO-агентством Screaming Frog в 2010 году. Она поддерживает пять языков: английский, немецкий, французский, испанский и итальянский. Программа работает на персональных компьютерах. Её можно установить на ПК с операционными системами Windows, macOS и Linux. 

Screaming Frog SEO Spider собирает и анализирует данные о сайте и ссылках на нём. Например, оценивает состояние HTTP, внутренних и внешних URL-адресов, выявляет дубли или неработающие ссылки. Для каждой операции программа формирует отчёт, который можно скачать в форматах CSV, XLS, XLSX, GSHEET.

Всего в программе 29 инструментов для аудита сайта. В материале мы рассмотрим самые популярные инструменты Screaming Frog SEO Spider.

У программы есть бесплатная и платная версия. При бесплатном тарифе можно сканировать до 500 адресов и пользоваться 7 функциями — например, поиском дублей, ошибок, неработающих ссылок, анализом ключевых слов.

Платный тариф стоит от 259 долларов в год. Он открывает доступ ко всем 29 функциям. Например, интеграции с «Google Аналитикой», проверке орфографии и грамматики, безлимитному сканированию и другим.

Чтобы воспользоваться программой, её нужно скачать. Затем дважды щёлкнуть по загруженному установочному файлу и следовать инструкциям.

Вводить личные данные не нужно. Когда программа установится и запустится, нужно указать адрес сайта в поисковой строке сервиса и нажать Start. После этого сканер соберёт данные о сайте. Где посмотреть основную информацию, мы расскажем дальше.

Как анализировать страницы в Internal

Во вкладке Internal отображаются данные обо всех страницах ресурса. Можно понять, всё ли в порядке с сайтом, и посмотреть информацию отдельно по каждой странице. Для этого необходимо нажать на адрес страницы в списке страниц.

Сканер покажет данные о весе страницы, коде ответа сервера, количестве слов, метатегах, внутренних ссылках и многом другом. Можно оценить сразу все показатели или выбрать тот, что нужен для анализа. Например, посмотреть только метатеги или статусы кодов.

Я всегда смотрю колонку Indexable. Она показывает, доступна страница для индексирования или нет. Это помогает найти страницы, ошибочно закрытые от индексации, или выявить технические страницы, которые попадают в поисковую выдачу. После анализа можно прописать корректные директивы в robots.txt и избежать многих проблем с индексацией.

Как анализировать внешние ссылки в External

Вкладка External отображает информацию о внешних ссылках. Это ссылки, которые направляют пользователя с вашего сайта на другой ресурс.

Допустим, страница с вашего сайта ссылается на какое-то исследование. Со временем страница с исследованием может быть удалена или перемещена в другое место. Тогда ссылка станет нерабочей — для поисковых систем это негативный фактор. Читатель сайта не сможет перейти в первоисточник — ценность статьи для него станет ниже.

SEO Spider покажет типы ссылок, расположение страницы, ошибки во внешних ссылках и прочие данные. Например, сканер может обнаружить, что некоторые внешние ссылки недоступны: если пользователь перейдёт по ним, увидит ошибку 404.

Как увидеть ошибки в URL

Вкладка URL позволяет найти ошибки в URL-адресах страниц.

Под ошибками программа понимает, например, кириллицу и нижнее подчёркивание в адресе. Также она может показать, у каких URL есть дубликаты и другие проблемы. В нашем примере программа обнаружила два нижних подчёркивания в URL.

Мне редко встречались критичные ошибки в URL. В русскоязычном интернете сайты с кириллицей в адресе ранжируются нормально. По поводу нижнего подчёркивания в URL было много споров, но я не сталкивался с тем, чтобы страницы из-за этого пессимизировали.

А вот за длиной URL лучше следить. Длинный адрес может говорить о слишком сложной структуре сайта.

Как анализировать ошибки в Page Titles и Meta Description

Вкладки Page Titles и Meta Description отображают метатеги сайта. На них можно увидеть ошибки в метатегах и исправить их, чтобы поисковые роботы корректно распознавали содержимое страниц.

SEO Spider покажет совпадение метатегов с заголовками на странице, дубли, слишком короткие и слишком длинные метатеги. А ещё подсветит страницы, для которых метатеги не настроены.

Чтобы сразу увидеть список длинных метатегов, перейдите на вкладку Page Titles и отфильтруйте результат по Over 65 Characters.

Максимальная и минимальная длина метатегов — понятия условные. Мнения SEO-специалистов расходятся. Рекомендуемую длину метатегов в Screaming Frog можно установить самостоятельно. Для этого зайдите в меню Configuration → Spider → вкладка Preferences. Установите минимальную и максимальную длину в полях Characters. Тогда программа будет отслеживать страницы, на которых длина метатегов отличается от установленной вами.

Как проверить состояние канонических ссылок в Canonical

Вкладка Canonical отображает канонические ссылки. Это ссылки, которые говорят поисковым системам, что несколько страниц сайта одинаковые, несмотря на разные адреса, и указывают, какую версию страницы индексировать.

Одинаковые страницы могут появляться по разным причинам. Например, если у сайта две версии — с www и без www, с http и https. Ещё бывает так, что блог дублируют на домене и на поддомене. Если каждая версия страницы попадёт в поиск, возникнут дубли — это негативно повлияет на ранжирование.

Один из способов избежать дублирования страниц на домене и поддомене — настроить канонические ссылки. Для каждой статьи на домене мы прописываем каноническую ссылку — ссылаемся на аналогичную статью на поддомене. Это говорит поисковым системам, что в индекс нужно добавить только каноническую страницу, которая находится на поддомене.

SEO Spider покажет, на каких страницах канонические ссылки отсутствуют или их несколько. Также покажет закрытые от индексации канонические ссылки и другие проблемы. В нашем примере программа нашла страницы без канонической ссылки и неиндексируемые страницы.

Каждый SEO-специалист сам решает, как ему работать с дублями страниц — настраивать редирект или настраивать канонические ссылки. Так что этот раздел является скорее информационным.

Главное о Screaming Frog SEO Spider 

• Screaming Frog SEO Spider («СЕО Паук») — это сканер для технического SEO-аудита сайтов. Чтобы воспользоваться им, нужно скачать программу на десктопное устройство с операционной системой Windows, macOS или Linux.
• Всего в сервисе 29 инструментов. С его помощью можно, например, находить ошибки в URL-адресах, метатегах и внешних ссылках. А ещё — анализировать страницы сайта и оценивать состояние канонических ссылок.
• У программы есть бесплатная и платная версии. В бесплатной доступно семь инструментов, можно проверить до 500 адресов. В платной ограничений нет. Доступ стоит от 259 долларов в год, но оплатить программу картой российского банка нельзя.

Как узнать больше о SEO и маркетинге

• Если ищете сервисы и инструменты, которые облегчат работу с SEO и аналитикой, прочитайте другие материалы Skillbox Media. Например, у нас есть подборка инструментов для SEO-аудита, обзор «Яндекс Метрики» и подборка из 15 инструментов для решения любых SEO-задач.
• Также у нас есть статьи про SEO и маркетинг. В материале о поисковых подсказках разобрались, как правильно собирать подсказки и как использовать их для продвижения. В статье о поведенческих факторах — как эти факторы влияют на трафик и можно ли их накрутить. В материале о сквозной аналитике — как устроена сквозная аналитика и зачем она нужна бизнесу. А здесь сравнили сквозную аналитику в «Яндекс Метрике» и платных сервисах.
• Если вы хотите построить карьеру в маркетинге, на старте может помочь курс Skillbox «Профессия Интернет-маркетолог». На нём учат настраивать таргетированную и контекстную рекламу, работать с SEO, пользоваться разными сервисами. С этими навыками можно устроиться в штат компании или брать заказы на фрилансе.
• Также в Skillbox есть курс «Профессия SEO-специалист» — для тех, кто хочет войти в SEO с нуля или прокачать навыки оптимизации, чтобы зарабатывать больше. На курсе на реальных задачах и кейсах учат выводить сайты в топ и привлекать целевой трафик. Их можно будет положить в портфолио и показать потенциальным клиентам.