Когда Google сканирует страницу, но не индексирует её, она может не появляться в результатах поиска Google. Эта проблема известна как «Просканировано, но пока не проиндексировано».
Причин может быть несколько: дублированный контент, слабая внутренняя перелинковка, неверные канонические теги и технические проблемы.
Читайте дальше, чтобы узнать типичные причины, по которым Google сканирует страницы, но не индексирует их, как диагностировать проблему в Google Search Console и что сделать для улучшения индексации сайта.
Ключевые выводы
- Google может получить доступ к странице, не включая её в поисковый индекс.
- Скудный или низкокачественный контент даёт Google меньше причин индексировать страницу.
- Ссылки с релевантных страниц помогают Google понять структуру сайта и находить важные URL.
- Неправильные канонические теги, ошибки сервера и проблемы с рендерингом могут влиять на то, как Google обрабатывает страницу.
- Постарайтесь устранить проблему, прежде чем запрашивать повторное сканирование.
- Проверьте, пересканировал ли Google страницу и обновил ли статус индексации, а не просто считайте проблему решённой.
1. Что на самом деле означает «Просканировано, но не проиндексировано»?
Самая распространённая ошибка, с которой сталкивается большинство сайтов в Google Search Console.
Что это на самом деле значит?
Эта ошибка обычно возникает, когда поисковые роботы обнаружили URL, запросили и просканировали содержимое страницы, но не добавили её в поисковый индекс Google.
Сканируя страницу, Googlebot получает её HTML-контент, ссылки, метаданные и другие доступные ресурсы. Затем, оценив страницу, он решает, индексировать её или нет.
Простой пример: вы публикуете на сайте страницу «Услуги технического SEO». Но в результатах поиска она появляется не сразу. Сначала Googlebot посещает URL и читает содержимое.
Однако страница может так и не появиться в результатах поиска. В Google Search Console у URL может отображаться статус «Просканировано, но пока не проиндексировано».
Возможные причины, по которым Google не индексирует вашу страницу:
- Скудный контент
- Значительное дублирование
- Слабая внутренняя перелинковка
- Технические проблемы
- Решение Google не отдавать странице приоритет
Важно понимать, что этот статус не означает автоматически санкции или плохое SEO. Google может проиндексировать страницу позже, а правильное решение зависит от причины, по которой она не проиндексирована.
В чём разница между сканированием и индексацией?
Сканирование и индексация — совершенно разные процессы.
При сканировании поисковые роботы посещают страницу и получают её содержимое. При индексации Google обрабатывает контент и информацию страницы и решает, включать ли её в свой индекс.
Ниже я подробно объясняю различия
Ключевые аспекты |
Сканирование |
Индексация |
|---|---|---|
| Значение | При сканировании Googlebot получает доступ к странице. | Здесь Google обрабатывает страницу и может включить её в индекс |
| Цель | Систематически находить, просматривать и загружать новые или обновлённые страницы, чтобы поисковая система знала об их существовании | Цель индексации — упорядочить, проанализировать и сохранить содержимое страниц в огромной базе данных с возможностью поиска, чтобы релевантные результаты можно было выдавать за миллисекунды |
| Проблемы | Заблокированные URL, ошибки сервера, проблемы с обнаружением | Дублированный контент, низкая ценность, выбор канонической страницы |
| Статус в Google Search Console | Активность сканирования можно проверить в инструменте проверки URL | Отчёт об индексировании страниц показывает статус индексации |
| Результат для SEO | Google может получить доступ к странице | Страница может получить право появляться в результатах поиска |
Читайте также: Почему мой сайт не отображается в Google?
Почему важные страницы сканируются, но не индексируются
Причин, по которым страница не индексируется, может быть несколько. Проблема может быть связана с качеством контента, структурой сайта, технической настройкой и т. д.
Вот распространённые причины:
3.1 Скудный или низкокачественный контент
Скудный контент — это страницы с ограниченной информацией, бесполезными деталями или не отвечающие на вопросы пользователей. Страница может содержать целевое ключевое слово и при этом почти не нести ценности для пользователей.
Для Google важно, чтобы страница предоставляла полезную и релевантную информацию.
Например, SEO-агентство публикует страницу услуги «Услуги технического SEO». На ней всего три коротких абзаца с описанием технического SEO — без объяснения, какие проблемы оно решает, каков объём услуги и чего может ожидать клиент.
Как это исправить:
- Раскрывайте тему достаточно подробно, чтобы удовлетворить потребности пользователя.
- Добавьте релевантную информацию об услуге, товаре или теме.
- Отвечайте на важные вопросы, которые могут возникнуть у пользователей перед принятием решения.
- Добавляйте оригинальные выводы, практические рекомендации или полезную дополнительную информацию.
3.2 Дублированный контент
Дублированный контент возникает, когда одинаковое или похожее содержимое доступно по нескольким URL.
Это может сбить Google с толку, и он может выбрать для индексации один URL вместо всех версий.
Например, у вас интернет-магазин одежды со следующими URL:
- example.com/womens-dresses
- example.com/womens-dresses?color=black
- example.com/womens-dresses?sort=price
Если эти URL показывают по сути одинаковый контент категории и отличаются лишь фильтрацией или сортировкой, Google может счесть индексацию некоторых из них ненужной.
Похожая проблема возникает, когда компания создаёт отдельные страницы для разных городов с почти одинаковым текстом, меняя только название города.
Как это исправить:
- Сравните содержимое затронутых URL.
- Определите, отвечает ли каждая страница отдельной поисковой потребности.
- Объедините страницы, не несущие существенной самостоятельной ценности.
- Используйте корректные канонические теги, чтобы указать предпочтительную версию дублирующихся или похожих страниц.
- Убедитесь, что внутренние ссылки и XML-карты сайта последовательно указывают на предпочтительные URL.
3.3 Слабая внутренняя перелинковка
Внутренняя перелинковка связывает страницы одного сайта. Такие ссылки помогают пользователям ориентироваться на сайте, а поисковым системам — понимать, как страницы связаны между собой.
Если на важную страницу ведёт мало внутренних ссылок или их нет вовсе, Google может быть сложно понять её значимость в рамках сайта.
Например, SEO-компания публикует подробную страницу о стоимости SEO для e-commerce. Однако на неё нет ссылок из главного меню, хаба услуг, релевантных статей блога или других важных страниц.
Google может просканировать URL через карту сайта или внешнюю ссылку, но сайт даёт мало внутренних сигналов, подтверждающих её важность.
Как это исправить:
- Ставьте ссылки на важные страницы с релевантных страниц услуг или категорий.
- Добавляйте контекстные ссылки из связанных статей блога.
- Создавайте логичные тематические кластеры, связывающие родственный контент.
- Включайте важные страницы в соответствующую навигацию или хаб-страницы.
- Избегайте страниц-сирот без значимых внутренних ссылок.
3.4 Низкое качество сайта
Качество сайта тоже может мешать Google индексировать страницы. На сайте могут быть повторяющиеся статьи, устаревшая информация, малоценные посадочные страницы или автоматически сгенерированный контент без особой оригинальной ценности.
Например, на сайте 500 статей в блоге, но большинство из них посвящено одним и тем же темам. Google сканирует многие из этих страниц, но индексирует лишь часть.
Как это исправить:
- Проведите аудит проиндексированных и непроиндексированных страниц по всему сайту.
- Выявите повторяющиеся темы и пересекающиеся поисковые намерения.
- Обновляйте устаревший контент там, где возможны существенные улучшения.
- Объединяйте статьи, которые конкурируют за один и тот же запрос.
- Удаляйте или перенаправляйте страницы, которые больше не приносят пользы, если это уместно.
- Улучшите навигацию, единообразие страниц и общий пользовательский опыт.
3.5 Недостаток сигналов E-E-A-T
E-E-A-T расшифровывается как Experience, Expertise, Authoritativeness и Trustworthiness (опыт, экспертность, авторитетность и достоверность). Google оценивает качество контента по этим критериям, особенно в темах, где особенно важны точность и доверие.
E-E-A-T — это не отдельный технический фактор ранжирования, гарантирующий индексацию. Однако контент, которому не хватает достоверности, реальной экспертизы или подтверждающих данных, может быть менее ценным для пользователей.
Например, на сайте есть статья на тему «диагностика ошибок сервера», но в ней нет технических пояснений, ссылок на источники, информации об авторе или подтверждения практического опыта. Контент повторяет общие советы, доступные на множестве других сайтов.
Подробнее читайте в нашей статье о том, почему Google не индексирует ваш блог.
Как улучшить:
- Публикуйте точную и хорошо обоснованную информацию.
- Указывайте релевантную квалификацию или опыт автора, где это уместно.
- Ссылайтесь на надёжные источники при изложении фактов.
- Объясняйте, как были разработаны или проверены рекомендации, если это уместно.
- Указывайте понятные контакты и прозрачную информацию о компании.
- Обновляйте контент, когда меняются исходные данные.
3.6 Неверные канонические теги
Канонический тег указывает, какой URL следует считать предпочтительной версией среди дублирующихся или похожих страниц.
Если канонический тег указывает на неверный URL, Google может решить, что страница — альтернативная версия, и выбрать для индексации другой URL.
Например, агентство публикует уникальную страницу по адресу:
example.com/technical-seo-services
Однако канонический тег ошибочно указывает на:
example.com/seo-services
Google может воспринять страницу технического SEO как дубликат или альтернативу общей страницы SEO-услуг.
Как это исправить:
- Проверьте каноническую страницу, указанную пользователем, в Google Search Console.
- Сравните её с канонической страницей, выбранной Google.
- Убедитесь, что уникальные страницы используют правильный канонический URL — как правило, ссылающийся сам на себя.
- Убедитесь, что канонические страницы доступны и возвращают корректный статус.
- Следите, чтобы внутренние ссылки и карты сайта соответствовали предпочтительному URL.
3.7 Медленные серверы и технические проблемы
Если на сайте постоянно возникают ошибки сервера или другие технические проблемы, Google может испытывать трудности со стабильным сканированием и обработкой его страниц.
Один медленный ответ не означает автоматически, что страница останется непроиндексированной. Однако повторяющиеся сбои могут влиять на сканирование и задерживать обработку важных URL.
Например, хостинг-сервер сайта перегружается при высоком трафике. Когда Googlebot запрашивает страницу услуги, сервер возвращает ответ 503 Service Unavailable. Аналогичные ошибки возникают на нескольких важных страницах.
Как это исправить:
- Проверьте коды ответа сервера и журналы хостинга.
- Разберитесь с повторяющимися ошибками 5xx и тайм-аутами.
- Оптимизируйте запросы к базе данных и ресурсоёмкие скрипты.
- Проверьте кеширование и мощность сервера.
- Убедитесь, что важные ресурсы загружаются надёжно.
- Отслеживайте доступность после технических изменений.
3.8 Сайт с низким авторитетом
Google может понадобиться время, чтобы обнаружить и оценить новые сайты с небольшим объёмом контента и ограниченной внутренней перелинковкой.
Однако новый домен или небольшой ссылочный профиль не препятствуют индексации автоматически. Полезные страницы новых сайтов могут индексироваться, а у давно существующих сайтов тоже бывают непроиндексированные страницы.
Например, вы запускаете 15 страниц услуг. Google сканирует несколько из них, но поначалу индексирует лишь некоторые.
Как исправить:
- Убедитесь, что главная страница и основные страницы услуг доступны.
- Отправьте корректную XML-карту сайта.
- Ставьте ссылки на важные страницы из релевантной навигации и контента.
- Публикуйте полезный оригинальный контент для чётко определённых потребностей пользователей.
- Выстраивайте честные отраслевые связи и получайте релевантные упоминания.
- Отслеживайте индексацию вместо повторной отправки одного и того же URL.
3.9 Несоответствие поисковому намерению
Поисковое намерение показывает, чего пользователь хочет добиться, вводя запрос.
Страница может быть релевантна ключевому слову, но не удовлетворять потребность, стоящую за запросом.
Например, запрос «купить деревянный стол онлайн» указывает на сильное намерение купить. Вы заходите на мебельный сайт, где есть статья о видах деревянных обеденных столов, но нет каталога товаров, цен или возможности оформить покупку. Скорее всего, вы уйдёте.
Как это исправить:
- Определите, является ли запрос информационным, коммерческим, транзакционным или навигационным.
- Изучите, какие типы страниц показываются по целевому запросу.
- Подбирайте формат контента под потребности пользователя.
- Дайте посетителю ту информацию или действие, которых он ожидает.
- Не создавайте несколько страниц под одно и то же намерение без чёткого различия.
Как проверить проблему в Google Search Console
Google Search Console помогает выявить проблемы, которые могут мешать сканированию, индексации или показу страниц сайта в результатах поиска Google.
Здесь я объясняю, как найти проблему и понять, что нужно исправить.
Шаг 1. Откройте Google Search Console
Откройте Google Search Console и выберите ресурс вашего сайта.
Шаг 2. Откройте отчёт «Страницы»
Затем нажмите «Индексирование» > «Страницы» в меню слева. Этот отчёт показывает, сколько страниц сайта Google проиндексировал, а сколько — нет.
Шаг 3. Определите проблему индексации
Прокрутите вниз до раздела «Почему страницы не индексируются». Здесь Google Search Console показывает различные причины исключения страниц из результатов поиска, например:
- Просканировано, но пока не проиндексировано
- Обнаружено, но пока не проиндексировано
- Не найдено (404)
- Страница с переадресацией
- Заблокировано в файле robots.txt
Нажмите на нужную проблему, чтобы увидеть затронутые URL и определить, какие страницы требуют внимания.
Шаг 4. Проверьте затронутый URL
Скопируйте URL из отчёта о проблеме и вставьте его в строку «Проверка URL» в верхней части Google Search Console.
Инструмент показывает данные о последнем сканировании Google, статусе индексации и обнаруженных проблемах.
Шаг 5. Проверьте URL в реальном времени
Нажмите «Проверить страницу на сайте», чтобы узнать, может ли Google получить к ней доступ в момент проверки. Изучите результаты на предмет ограничений сканирования, ошибок сервера или проблем с рендерингом.
Помните: успешная проверка в реальном времени не гарантирует, что Google проиндексирует страницу.
Шаг 6. Устраните проблему и подтвердите исправление
В зависимости от проблемы внесите нужные изменения: например, исправьте битые URL, пересмотрите ограничения в robots.txt, улучшите скудный или дублированный контент либо устраните ошибки сервера. Когда проблема решена, вернитесь в соответствующий отчёт и нажмите «Проверить исправление», если такая опция доступна.
Затем Google проверит, устранена ли указанная проблема. Проверка может занять время, а индексация не гарантирована.
Сколько времени занимает индексация?
Индексация в Google занимает несколько недель, но фиксированного срока для каждой страницы нет.
Одни страницы могут быть проиндексированы быстро, другим может потребоваться больше времени.
Вот факторы, влияющие на сроки:
- Доступность для сканирования: если Googlebot легко находит страницу, у него больше возможностей её просканировать и оценить.
- Качество контента: уникальный, информативный и релевантный контент помогает Google решить, достаточно ли ценна страница для включения в поисковый индекс. Причём важно не то, сколько контента вы публикуете, а качество предоставляемой информации.
- Внутренняя перелинковка: ссылки с релевантных страниц помогают Google находить новые URL и понимать их связь с другими страницами сайта.
- Авторитет сайта: репутация сайта может влиять на то, как Google обнаруживает и сканирует его страницы.
- XML-карта сайта: отправка карты сайта помогает Google находить важные URL, хотя и не гарантирует индексацию.
Распространённые ошибки, которых следует избегать
В этом разделе описаны распространённые ошибки индексации, которые могут замедлить прогресс, и объясняется, как их избежать, чтобы повысить шансы сайта на индексацию в Google.
1. Повторные запросы на индексацию
Повторные запросы на индексацию в Google Search Console не ускоряют её. Лучше разберитесь, почему Google не проиндексировал страницу, и постарайтесь устранить проблему, прежде чем снова запрашивать индексацию.
2. Публикация контента без уникальной ценности
Больше страниц не означает лучшую индексацию. Если на сайте есть повторяющийся контент или малоинформативные страницы, сначала улучшите существующий контент, а не создавайте новые страницы.
3. Игнорирование канонических тегов
Неверные канонические теги могут означать, что Google считает основной версией страницы другой URL. Всегда сверяйте канонические страницы, указанные пользователем, с выбранными Google, чтобы найти расхождения.
4. Расчёт только на XML-карты сайта
Хотя добавление URL в XML-карту сайта помогает Google его найти, это не означает, что страница будет проиндексирована. Убедитесь, что важные страницы легко найти, на них есть внутренние ссылки и полезный контент.
5. Изменения без проверки результатов
Не думайте, что страница проиндексирована, как только вы исправили техническую проблему или контент. Отслеживайте её статус в Google Search Console и с помощью инструмента проверки URL выясняйте, пересканировал ли её Google.
6. Необдуманное удаление страниц
Удалять все непроиндексированные страницы — плохая идея. Сначала выясните, полезна ли страница, отвечает ли она конкретному поисковому намерению и приносит ли трафик. Затем улучшите страницы, объедините их с другими или удалите — в зависимости от их ценности.
Часто задаваемые вопросы
1. Почему мои важные страницы сканируются, но не индексируются?
Google может просканировать страницу, но не проиндексировать её, если контент низкого качества, повторяет другие страницы, не имеет достаточной внутренней перелинковки или уникального назначения. Индексации также могут мешать технические проблемы и ошибки с каноническими тегами.
2. Как исправить статус «Просканировано, но пока не проиндексировано»?
Начните с проверки затронутого URL в Google Search Console. Оцените качество контента, канонический тег, внутренние ссылки, HTTP-статус и рендеринг. Устраните обнаруженные проблемы сканирования, затем при необходимости запросите индексацию и следите за статусом URL.
3. Гарантирует ли запрос на индексацию, что Google проиндексирует мою страницу?
Нет. Запрос на индексацию означает, что Google может попытаться повторно просканировать страницу, но решение о её включении в индекс остаётся за Google.
4. Может ли внутренняя перелинковка помочь Google проиндексировать страницу?
Да, значимые внутренние ссылки помогают Google находить страницы и понимать их связь с другими разделами сайта. Однако работа над внутренними ссылками не гарантирует индексацию, если у страницы есть другие проблемы.
5. Стоит ли удалять страницы, которые не индексируются?
Не обязательно. Если страница полезна, можно оптимизировать её контент или устранить технические проблемы. Если она дублирует другую страницу или больше не несёт ценности, рассмотрите объединение, перенаправление или удаление — по ситуации.
6. В чём разница между «Просканировано, но пока не проиндексировано» и «Обнаружено, но пока не проиндексировано»?
Просканировано, но пока не проиндексировано: Google просканировал страницу, но не включил её в индекс.
Обнаружено, но пока не проиндексировано: Google знает об URL, но ещё не просканировал его. Так бывает, когда Google откладывает сканирование, в том числе из-за опасений по поводу нагрузки на сервер.
Заключение
Если важные страницы сканируются, но не индексируются, решение не в том, чтобы раз за разом запрашивать индексацию. Нужно понять, почему Google не выбрал эти страницы для поискового индекса.
Начните с проверки затронутых URL в Google Search Console. Оцените качество контента, дубли страниц, внутреннюю перелинковку, канонические теги, ответы сервера и проблемы рендеринга. Затем вносите улучшения с учётом реальной проблемы.
Помните: сканирование не гарантирует индексацию, а индексация не гарантирует позиции. Сосредоточьтесь на создании полезных страниц, технической доступности сайта и отслеживании изменений индексации со временем.
Gurpreet Singh — менеджер по маркетингу в SEO Services Consultants. За эти годы он поработал с компаниями из самых разных отраслей, выстраивая стратегии и подходы с учётом их потребностей.
Повседневные задачи, с которыми он сталкивается в работе, часто становятся темами его публикаций. В своих статьях он делится тем, что узнаёт из практики, исследований и наблюдений за текущими рыночными тенденциями. Своим контентом он стремится давать читателям практичные, понятные и полезные идеи.