Что значит seo продвижение. Что такое SEOи как оно работает? Работа с краулинговым бюджетом
Что такое краулинговый бюджет и как его оптимизировать для SEO.
Понимание значения краулингового бюджета и его оптимизации для целей SEO очень важно. Да, это очень техническая тема и поэтому большинство веб-мастеров стараются её избегать. Но для успешного продвижения сайта, эту тему нужно знать.
В этом руководстве вы узнаете простым языком, что такое бюджет сканирования (и связанные с ним термины, а также то, как это влияет на SEO и какие действия вы можете предпринять для оптимизации.
Что такое краулинговый бюджет?
Краулинговый бюджет — это не одно число, а общий термин, который описывает, как часто и сколько страниц Google сканирует и индексирует с определенного веб-сайта в течение определенного периода времени.
Факторами, влияющими на краулинговый бюджет, являются веб-сайт и структура навигации, дублированный контент (внутри сайта), программные ошибки 404, страницы с низким качеством, скорость веб-сайта и проблемы со взломом.
Почему краулинговый бюджет важен для SEO?
С самого начала следует подчеркнуть, что это не является фактором ранжирования.
То есть, от него напрямую не зависит, какие позиции будет занимать сайт в поисковой выдаче.
Но краулинговый бюджет важен для SEO и вот почему:
- Если страница не проиндексирована поисковыми системами, она не будет вообще отображаться в поисковой выдаче. Даже на сотой позиции.
- Если на сайте много страниц, Google может не проиндексировать их все (поэтому необходима оптимизация краулингового бюджета — подробнее об этом ниже)
- После внесения изменений статьи, они будут сказываться позже. Таким образом, времени на дооптимизацию страницы уйдет значительно больше.
Что такое оптимизация краулингового бюджета?
Оптимизация краулингового бюджета — это процесс проверки, что поисковые системы могут сканировать и индексировать все важные страницы вашего сайта в короткий срок.
Оптимизация краулингового бюджета обычно не является проблемой для небольших веб-сайтов, но для крупных сайтов, с тысячами URL-адресов, это важно.
Тем не менее, вы можете оптимизировать свой краулинговый бюджет.
Совет: если термины «сканирование» и «индексирование» являются новыми для вас, то настоятельно рекомендую вам прочитать, как работают поисковые системы. Это поможет вам понять, что сканирование и индексация имеют решающее значение для SEO.
Как оптимизировать краулинговый бюджет для SEO
1. Обеспечьте правильную иерархическую структуру сайта
Когда роботы поисковых систем посещают сайт, они начинают с домашней страницы, а затем переходят по любым ссылкам, чтобы обнаружить, просканировать и проиндексировать все страницы сайта.
Иерархическая структура сайта с глубиной не более 3-х уровней является идеальной структурой любого веб-сайта.
Это означает, что к путь к любой страницы сайт, должен быть не более чем в трех кликах от главной страницы сайта.
Такая простая простая структура облегчает и ускоряет сканирование, а также это полезно для обычных пользователей.
2. Оптимизация внутренних ссылок
Когда речь идет про сканирование и индексацию, поисковики предпочитают уделять больше внимания наиболее важным страницам сайта.
Один из способов, которые они используют для распознавания важных страниц, это подсчет внешних и внутренних ссылок, которые ведут на страницу.
Внешние ссылки важнее, но их сложнее получить, в то время как внутренними ссылками, веб-мастеру намного легче управлять.
Оптимизация внутренних ссылок означает:
- Убедитесь, что самые ценные страницы вашего сайта имеют наибольшее количество внутренних ссылок.
- Все ваши важные страницы связаны с главной страницей
- Все страницы вашего сайта имеют хотя бы одну внутреннюю ссылку, указывают на ваши важные страницы.
Наличие страниц на вашем сайте, которые не имеют внутренних или внешних ссылок, усложняет работу роботов поисковых систем и тратит ваш краулинговый бюджет.
3. Повысьте скорость вашего сайта
Скорость является важным фактором ранжирования, большим фактором юзабилити и фактором, влияющим на краулинговый бюджет.
Проще говоря, когда веб-сайт загружается быстро, роботы поисковиков смогут отсканировать большее количество страниц за меньшее время. Это признак здоровой структуры сайта и стимул для поисковых роботов почаще наведываться на такой сайт.
О том, что на краулинговый бюджет напрямую влияет скорость сайта, напрямую говориться в блоге Гугл для веб-мастеров.
Как веб-мастер, вы должны приложить все усилия, чтобы веб-страницы загружались максимально быстро на всех устройствах.
4. Решить проблему с дубликатами
Один из факторов, которые могут негативно повлиять на краулинговый бюджет, является дублированный контент на сайте.
Дублированный контент в этом контексте — идентичный или очень похожий контент, появляющийся на нескольких URL на вашем сайте.
Это очень распространенная проблема на страницах категорий электронной коммерции, где похожие продукты могут быть перечислены в нескольких категориях.
Помимо сайтов электронной коммерции, у блогов тоже могут быть проблемы с дублированным контентом. Например, если у вас есть несколько страниц, ориентированных на одни и те же ключевые слова, и контент на этих страницах похож, то Google может рассматривать это как дублирующийся контент.
Как дублированный контент влияет на бюджет сканирования?
Это усложняет работу поисковых роботов, ведь они должны решить, какие страницы сайта нужно индексировать.
Тем самым, роботы впустую тратят свое время на сканирование страниц, которые затем поисковики пометят как дублированный контент.
При этом, страницы которые действительно важны для сайта, могут быть не проиндексированы, поскольку краулинговый бюджет уже израсходован из-за сканирования дублированных страниц контента.
Как решить проблемы с дублированным контентом?
Что касается технических дублей, используйте тег canonical. А что касается просто похожих страниц, то для решения этой проблемы, прочитайте статью про канибализацию ключевых запросов.
5. Избавиться от тонкого, малополезного контента.
Подобно дублированному контенту, еще один фактор, который может повлиять на бюджет сканирования, — это тонкие страницы контента.
Тонкий контент — это страницы вашего сайта, на которых малополезный контент, который либо вообще не приносит пользу посетителю, либо имеют совсем мало пользы. Такие страницы также известны как низкого качества или малополезные страницы.
Подробнее о них, читайте здесь.
6. Избегайте слишком большого количества редиректов
Еще одна проблема, которая может замедлить частоту сканирования веб-сайта, связана с наличием слишком большого числа редиректов.
Редиректы являются отличным способом решения проблем с дублированным содержимым и с ошибками 404, но следует позаботиться о том, чтобы не создавать цепочки перенаправлений.
Когда робот Google обнаруживает редирект 301, он может не сканировать перенаправленный URL-адрес сразу, а добавит в список URL-адресов для сканирования. В результате, такие ненужные к индексации страницы, будут расходовать ваш краулинговый бюджет.
Проверьте свой .htaccess и убедитесь, что у вас нет ненужных перенаправлений и что любые 301-редиректы указывают только на конечный пункт назначения (избегайте промежуточных пунктов назначения для одного URL-адреса).
7. Убедитесь, что у вас нет взломанных страниц
Взлом веб-сайта может обеспокоить гораздо больше, чем краулинг бюджет, но вы должны знать, как взломанные страницы влияют на краулинговый бюджет.
Если вы вовремя не заметили, что ваш сайт взломан, то поисковики, увидев что сайт взломан, станут наведываться на него значительно реже.
Чтобы избежать этой ситуации, регулярно проверяйте свой сайт в вебмастере поисковиков. Если сайт станет подозрительным, то в них появится оповещение.
8. Улучшите репутацию вашего сайта (Внешние ссылки)
Популярные URL-адреса сканируются поисковыми системами чаще, потому что они хотят, чтобы содержание этих страниц обновлялось в индексе.
В мире SEO самым большим фактором, для различия популярных страниц от непопулярных, является количество и тип обратных ссылок.
Обратные ссылки помогают установить доверие с поисковыми системами и улучшить авторитет страницы, что в конечном итоге приводит к повышению рейтинга.
Это одна из фундаментальных концепций SEO, которая не менялась годами.
Таким образом, наличие у страницы обратных ссылок побудит поисковые системы чаще посещать эти страницы, что приведет к увеличению бюджета сканирования.
Получить ссылки с других сайтов непросто, на самом деле это один из самых сложных аспектов в SEO, но это сделает ваш сайт сильнее и улучшит общее SEO.
Как проверить отчет о краулинговом бюджете?
Несмотря на то, что вам не следует слишком зацикливаться на краулинговом бюджете, время от времени полезно просматривать отчет «Статистика сканирования» в поисковой консоли Google и искать какие-либо ненормальные действия.
Для этого перейдите в консоль, и вы сможете увидеть отчет.
Этот отчет показывает информацию обо всех действиях Googlebot на вашем сайте за последние 90 дней.
В отчет будет включена любая попытка Googlebot получить доступ к любому ресурсу вашего сайта, к таким как страницы, изображения, файлы CSS, файлы js, и все то, что вы загрузили на свой сервер и к чему не закрыли доступ в файле robots.txt.
По этой же причине количество «страниц, просканированных за день» больше, чем количество страниц сайта в индексе Google.
Что искать в отчете по статистике сканирования?
При просмотре отчета постарайтесь выявить внезапные падения или всплески количества страниц, просканированных за день. Посмотрите на период в две недели или месяц и посмотрите, является ли падение или всплеск постоянным.
В нормальных условиях количество страниц для сканирования должно постоянно увеличиваться (при условии, что вы регулярно добавляете новый контент на сайт). Если вы не вносите никаких изменений, шаблон должен быть похожим, если вы сравниваете два периода времени.
Внезапное падение скорости сканирования может произойти, когда:
- Вы добавили правило, блокирующее доступ гугл бота к части вашего сайта.
- Ваш сайт и сервер работают медленнее, чем обычно
- У вас много ошибок сервера, которые требуют вашего внимания (это пятисотые ошибки)
- Ваш сайт взломан
Скорость сканирования может резко возрасти, когда:
- Вы добавили кучу нового контента на сайт
- Ваш сайт получил обратные ссылки.
- Спамеры добавили код на ваш сайт, который генерирует сотни новых страниц
Поэтому, если отчет не отображает того, что вы сделали со своим сайтом, значит вам нужно искать причину этого. Но в большинстве случаев вам не стоит беспокоиться о краунгивом бюджете.
SEO продвижение. Основные этапы.
Кому охота, чтобы его сайт прозябал в глубине поисковой выдачи, практически не показываясь на глаза пользователям? Даже если это ресурс по типу персонального блога, то создавался он ведь не просто так, а с целью поделиться с миром своими мыслями, достижениями и т.д. Что же тогда говорить о сайтах коммерческой направленности, которые должны приносить доход, будь то прибыль от показов рекламных объявлений или привлечение новых клиентов. Как улучить позиции сайта? Например, по полной задействовав SEO продвижение, эффективность которого, при условии правильных действий, не вызывает сомнений. Так с чего начинать?
Прежде всего стоит уточнить, что далеко не все инструменты такого продвижения подходят для абсолютно любого проекта. К примеру, как сделать грамотную перелинковку на сайте-одностраничнике? Это априори нереально. Поэтому любой из этапов необходимо оценивать через призму возможности и рациональности его применения в рамках конкретного ресурса.
Анализ конкурентов
Перед тем, как браться за серьезную переделку сайта, необходимо разобраться, что вообще нужно менять и как это реализовано у конкурирующих площадок и лидеров рынка. Попутно анализируется непосредственно сам сайт с точки зрения его восприятия поисковыми системами. При этом учитываются все запросы, включительно со средне- и низкочастотными.
В результате делаются выводы о необходимости внесения глобальных изменений и определяется примерная сумма, которая потребуется для продвижения сайта. Важный момент: если аудит показал, что не обойтись без серьезных доработок самого ресурса – оптимально делать их сразу.
Семантическое ядро и широкая структура сайта
Определившись со стратегией, можно переходить к ее реализации. И первым дело нужно составить семантическое ядро, на основе которого будет формироваться структура сайта, перелинковка, размещение релевантного контента, внешняя оптимизация и т.д. Количество поисковых запросов существенно варьируется в зависимости от типа ресурса. К примеру, для небольшого сайта в состав семантического ядра может быть включено пару сотен запросов, тогда как для крупного интернет-магазина счет пойдет на сотни тысяч.
Оптимальнее всего сразу же провести разбивку по категориям и разделам, так работать с семантическим ядром будет значительно удобнее.
Широкая структура сайта – необходимость. Каждой группе поисковых запросов в идеале должна отвечать своя посадочная страница, только так SEO продвижение покажет свою эффективность. Однако слишком усердствовать тоже не стоит. В частности, для запросов, которые вводят не чаще пяти раз ежемесячно, резоннее оптимизировать карточки товаров, чтобы не препятствовать продвижению более важных страниц.
Если ресурс ориентирован сразу на несколько городов, к примеру, компания с филиалами, доски объявлений и т.д., то для каждого их них лучше создать свои посадочные страницы. При этом просто скопировать туда контент нежелательно – он должен быть уникальным.
Внутренняя оптимизация
Комплекс мер по внутренней оптимизации ресурса включает в себя:
- внутреннюю перелинковку;
- оптимизацию контента;
- повышение юзабилити;
- краулинговый бюджет.
Нередко плохие позиции сайта в выдаче обусловлены низким статическим весом продвигаемых страниц. Решить это можно грамотной перелинковкой, что позволит удобно перемещаться по ресурсу как пользователям, так и поисковым роботам.
Контент на страницах должен включать в себя ключевые запросы из семантического ядра и быть уникальным. Последнее касается в том числе и мета-тегов, таких как Title, Description и т.д.
Важно проводилось работу над повышением юзабилити сайта. В контексте современных тенденций к увеличению доли мобильного трафика одна из главных задач сводится к адаптации ресурса для комфортного использования с помощью смартфонов и планшетов.
Краулинговому бюджету порой не придают должного внимания, что в корне неправильно. И если для небольших сайтов это не критично, то SEO продвижение крупных проектов должно учитывать его в обязательном порядке. Что это вообще такое? Под краулинговым бюджетом понимается количество страниц, которые может проиндексировать поисковый робот на конкретном веб-ресурсе за условную единицу времени. И если с оптимизацией все плохо, а страниц слишком много – в индекс попадет только часть из них. И не факт, что поисковый робот «угадает», что на ресурсе важно, а что – вторично. Проблема решается грамотной настройкой robots.txt и sitemap. Таким образом блокируются страницы, индексирование которых нежелательно.
Внешняя оптимизация
При условии отсутствия серьезной конкуренции по тематике сайта внешняя оптимизация не критична, но желательна. Если же речь идет о высококонкурентной нише, то без нее не обойтись, ведь большое количество ссылок с авторитетных ресурсов повышает значимость сайта с точки зрения поисковых систем. Следовательно, это положительно сказывается на ранжировании.
Повышение конверсии
Актуально не только для интернет-магазинов, как может показаться на первый взгляд, но и для сайтов, где предлагаются различные услуги или проводится email-рассылка. Подпишется ли на нее пользователь, если соответствующая форма находится непонятно где или, наоборот, буквально режет глаз, вызывая раздражение? Вряд ли. То же самое с заказом услуг, приобретением товаров и т.д. Пользователю необходимо предложить удобный и понятный функционал, ведь иначе он просто найдет его на другом ресурсе.
Конечно, это лишь общее описание основных этапов продвижения сайта с помощью SEO. Тем более что существует немало различных нюансов, охватить которые в рамках одного материала невозможно. Играют роль, как говорилось ранее, и особенности самого проекта.
Краткий ликбез: что такое краулинговый бюджет и как его оптимизировать
20.09.2019 Время прочтения: 4 минуты
Что такое краулинговый бюджет?
Краулинг (англ. crawling) в терминологии SEO — это сканирование поисковым роботом страниц сайтов, их индексация для формирования поисковой выдачи.
Краулинговый бюджет — это лимит, который выделяется каждому сайту на это сканирование. То есть это ограничение числа страниц, которые поисковой робот может проиндексировать в заданный временной промежуток.
Этот термин ввела компания Google, поэтому его соотносят в первую очередь с деятельностью Googlebot.
Краулинговый бюджет рассчитывается для каждого сайта отдельно, исходя из его пользовательского спроса и доступности сервера.
Кому и зачем нужно уметь им управлять?
Владимир Суматохин, технолог SEO-эксперт компании SEO.RU:
«Краулинговый бюджет часто остается без внимания. Если вы владеете небольшим сайтом или оптимизируете его, то причин для беспокойства нет. Но если у вас крупный проект, то оптимизация краулингового бюджета жизненно необходима, поскольку окажет влияние на ранжирование сайта в поисковых системах. В противном случае может оказаться, что часть вашего сайта не проиндексирована и не участвует в поиске».
Зачем оптимизировать бюджет на индексацию? Чтобы не растрачивать его впустую.
Смотрите: Google определяет бюджет на индексацию вашего сайта — допустим, это 200 страниц в сутки. Может показаться, что это много, но если ваш веб-ресурс — это огромный интернет-магазин с постоянно обновляемым ассортиментом, то 200 только новых страниц на вашем сайте может появиться за 1 день. А есть и другие страницы, которые тоже нужно выводить в поисковую выдачу. Робот может не обойти все за раз.
Другая частая проблема: в индекс попадают страницы по низкочастотным запросам, а по высокочастотным — пролетают. Например, страница с брелоком в виде розового игрушечного крокодила попадет в топ, а раздел со всем ассортиментом брелоков — нет.
Поэтому без оптимизации краулингового бюджета начнутся проблемы с индексацией всего сайта: если у поискового робота на определенной странице закончится бюджет, то остальные для него просто перестанут существовать.
Где посмотреть краулинговый бюджет своего сайта?
Вся история про лимит индексации завязана на Google, поэтому самый удобный способ — это посмотреть статистику обхода в Google Search Console.
Для этого нужно открыть меню «Прежние инструменты и отчеты», а затем кликнуть на «Статистику сканирования»:
Графики со статистикой откроются в новом окне. Среди них нам важен первый — «Количество сканированных страниц в день». То число страниц, которое Googlebot в среднем сканирует за день, и есть краулинговый бюджет сайта:
Это не абсолютная и постоянная величина — эта цифра может увеличиваться и уменьшаться, но как примерный показатель работает.
Как оптимизировать краулинговый бюджет?
Краулинг — это индексация, поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках внутренней оптимизации их нужно исправлять.
- Настроить файлы sitemap.xml и robots.txt.
Эти файлы помогают поисковым роботам правильно индексировать ваш сайт, строить его иерархию и видеть, как организован контент.
Что конкретно сделать:
- удалить или заблокировать в sitemap.xml дубли и мусорные ссылки (те, что с редиректами и ошибками сканирования). Мусор влияет на бюджет индексации еще и потому, что робот оценивает качество URL-адресов. Поэтому в карте сайта должны быть только полезные страницы;
- указать в robots.txt last-modified для тех страниц, содержимое которых не менялось с последней индексации. Так роботы не будут сканировать их повторно.
Чем меньше загружается сайт, тем быстрее его просканирует бот: в рамках одинакового числа соединений он сможет проанализировать большее количество страниц.
- Оптимизировать редиректы.
Когда роботу нужно пройти 100500 переадресаций, чтобы добраться до страницы, он может остановиться на 100499 и просто не достичь этого URL. Каждый редирект — это траты вашего бюджета на индексацию. Убедитесь, что имеющиеся редиректы на вашем веб-ресурсе действительно необходимы.
- Грамотно настроить перелинковку.
А именно: используйте уникальные и разнообразные анкоры с ключевыми словами и добавляйте ссылки на тематически соответствующие страницы.
- Использовать динамический рендеринг.
Это относительно новая разработка все того же Google, которая для поискового робота создает HTML-версию сайта, а для пользователя — вариант на JavaScript. Это облегчает и ускоряет индексацию.
- Наращивать внешнюю ссылочную массу.
Экспериментальные данные говорят о весьма заметной связи между количеством посещений сайта поисковым роботом и числом внешних ссылок: чем больше ссылок, тем чаще Googlebot наведывается на площадку.
