Бывает, что вы публикуете на сайте новую страницу, а она не появляется в поиске Google, или вы обнаруживаете битый URL, или замечаете, что страница слишком долго загружается. Такие технические проблемы мешают поисковым системам и ИИ сканировать, понимать и индексировать ваши страницы. Именно поэтому важно техническое SEO .
Оно направлено на выявление и исправление ошибок на сайте, которые мешают поисковым системам получать доступ к контенту и обрабатывать его. Сюда входят сканирование, индексация, XML-карты сайта, канонические URL, HTTPS, производительность сайта, удобство на мобильных устройствах, структура сайта и структурированные данные.
Читайте статью дальше, чтобы узнать, как выявлять распространённые проблемы технического SEO и расставлять приоритеты среди тех, что затрагивают ваши важные страницы.
Ключевые выводы
- Техническое SEO помогает поисковым системам сканировать, понимать и индексировать ваш сайт.
- Убедитесь, что файл robots.txt не закрывает важные страницы, которые должны сканироваться и индексироваться поисковыми системами.
- Мобильное SEO важно, поскольку Google использует для индексации мобильную версию сайта.
- Технические проблемы следует устранять в порядке их влияния, а не в случайном порядке.
- Core Web Vitals измеряют скорость загрузки, отзывчивость и визуальную стабильность.
- Hreflang используется, когда у сайта есть разные версии для разных языков или стран.
Что такое техническое SEO и почему оно важно?
Техническое SEO — это основной элемент продвижения, направленный на оптимизацию структуры сайта, чтобы поисковые системы могли эффективно сканировать, отображать и индексировать его. Оно включает такие ключевые аспекты, как проверка статуса индексации, файл robots.txt, канонические теги и т. д.
Например, вы публикуете на сайте новую страницу услуги, но Google Search Console показывает ошибку: «Просканирована, но не проиндексирована».
Это означает, что Google просканировал вашу страницу, но решил не включать её в индекс. В результате страница не будет отображаться в результатах поиска.
Устранение этих технических проблем помогает поисковым системам эффективнее получать доступ к вашему сайту, понимать и индексировать его.
Хотите узнать, сколько потребуется вложить, чтобы обеспечить здоровье вашего сайта? Прочитайте нашу подробную статью о стоимости технического SEO.
Почему техническое SEO важно?
1. Улучшает видимость в поисковых системах
Поисковые системы, такие как Google, стремятся выдавать лучшие результаты на запросы пользователей. Для этого Google сначала сканирует ваши страницы, чтобы получить данные, и индексирует их, чтобы показывать в ответ на будущие запросы.
Наконец, поисковые системы ранжируют проиндексированные страницы на основе множества факторов. Эти факторы входят в алгоритм, который определяет, какие результаты релевантны, а какие — качественны.
Техническое SEO позволяет краулерам Google без проблем получать доступ к контенту сайта или страницы и понимать его. Битые ссылки, медленно загружающиеся страницы или неудачная структура сайта могут помешать поисковым системам проиндексировать важный контент, что приводит к снижению позиций.
2. Улучшение пользовательского опыта
Хорошо оптимизированный сайт без технических ошибок (таких как низкая скорость загрузки, битые ссылки или другие сбои) обеспечивает удобный путь пользователя. Это повышает долю возвращающихся посетителей.
3. Повышение скорости и производительности сайта
Google отдаёт приоритет сайтам с высокой скоростью загрузки, которые нравятся пользователям. Когда ваш сайт загружается быстро и пользователи проводят на нём много времени, повышаются шансы на видимость в поисковых системах и растёт трафик сайта.
Как понять, что у вашего сайта есть проблемы с техническим SEO?
Вот несколько признаков того, что у вашего сайта могут быть проблемы с техническим SEO:
1. Страницы не отображаются в Google
Если ваши важные страницы или сайт не отображаются в Google, возможно, Google не проиндексировал эти страницы.
Как проверить?
Используйте инструмент проверки URL в Google Search Console, чтобы понять, как Google видит этот URL.
2. Органический трафик резко падает
Резкое падение позиций в SEO или органического трафика не обязательно означает, что на сайте есть техническая ошибка. Проверьте и другие факторы: недавние изменения на сайте, неработающие страницы, редиректы и т. д.
3. Google показывает неправильный URL
Google показывает неправильный URL в результатах поиска, если на вашем сайте есть дублированный контент или проблемы с каноническими тегами.
4. Google Search Console показывает множество ошибок
Такие ошибки, как «страница не найдена» (404), soft 404, а также проблемы сканирования и индексации в Google Search Console могут указывать на проблемы технического SEO, которые нужно устранить.
Чек-лист технического SEO: полный разбор
На вашем сайте может быть релевантный контент, но технические проблемы всё равно способны затруднить его сканирование и индексацию поисковыми системами.
Этот чек-лист охватывает основные проверки технического SEO, необходимые вашему сайту, а также указывает на области, которые помогут повысить видимость в современных поисковых сервисах на базе ИИ.
3.1 Может ли Google сканировать ваш сайт?
Прежде чем проиндексировать ваши важные страницы, Google их сканирует
Если важные страницы заблокированы или их сложно обнаружить, поисковые системы могут не обработать их должным образом.
A. Проверьте robots.txt
Файл robots.txt сообщает поисковым системам и ИИ-краулерам, какие страницы или файлы они могут запрашивать, а какие нет.
Например, если страница ваших услуг случайно заблокирована, поисковым системам и ИИ-ботам может быть сложно сканировать страницы услуг.
Как обновить файл robots.txt?
Если по какой-либо причине вы хотите открыть страницы, которые уже запрещены (disallow), это можно сделать, выполнив следующие шаги
На сайтах WordPress для создания или редактирования файла robots.txt можно использовать SEO-инструмент, например плагин Yoast SEO.
Плагин Yoast SEO
Панель управления WordPress → Yoast SEO → Редактировать robots.txt → Сохранить изменения.
B. Ошибки сканирования
Ошибки сканирования возникают, когда бот поисковой системы, например Googlebot, пытается получить доступ к странице вашего сайта, но не может до неё добраться или прочитать её.
Например, иногда мы нажимаем на определённую страницу сайта, а она показывает ошибку сервера.
Такие ошибки могут помешать поисковым системам получить доступ к важным страницам вашего сайта.
Вот некоторые распространённые ошибки сканирования:
- Ошибки сервера (5xx)
- 404 Не найдено
- Soft 404
- Доступ запрещён (403)
Как найти и исправить их?
Google Search Console → Индексирование страниц → Определите ошибку → Проверка URL → Проверьте затронутый URL → Устраните проблему → Протестируйте URL ещё раз.
Подробнее читайте в нашей статье: Как исправить ошибки сканирования в Google Search Console.
3.2 Может ли Google проиндексировать ваши важные страницы?
Возможно, Google сканирует ваши основные страницы, но не индексирует их.
A. Теги noindex
Тег noindex сообщает поисковым системам, что определённые страницы не нужно включать в результаты поиска. Это значит, что Google сканирует вашу страницу, но исключает её из общедоступной выдачи.
Как проверить:
Щёлкните правой кнопкой мыши по главной странице сайта > выберите «Просмотр кода страницы» > Ctrl+F > найдите тег noindex
Примечание: Убедитесь, что тег noindex применяется только к ненужным страницам.
B. Статус индексации
Важно, чтобы все необходимые страницы были проиндексированы Google.
Иногда Google сканирует страницы, но решает их не индексировать. Обычно это происходит из-за низкого качества контента, дублированного текста и т. д.
Вот распространённые статусы индексации, на которые стоит обратить внимание:
- Проиндексированные страницы
- Исключённые страницы
- Страницы с ошибками
- Страницы со статусом «Обнаружена, не проиндексирована»
- Страницы со статусом «Просканирована, не проиндексирована»
Как решить эти проблемы?
Страницы с ошибками: Google пытался их просканировать, но помешали технические проблемы, например ошибки 404 или ошибки сервера.
Решение: Google Search Console > нажмите на конкретную проблему >
Страницы со статусом «Обнаружена, не проиндексирована»
Сюда входят URL, о существовании которых Google знает, но которые ещё не просканировал.
Решение:
- Уделите внимание правильной внутренней перелинковке
- Включайте в карту сайта только качественные URL
Страницы со статусом «Просканирована, не проиндексирована»
Эта ошибка обычно возникает, когда Googlebot сканирует ваши страницы, но не индексирует их.
Решение:
- Качественный контент
- Исправьте канонический тег
3.3 Корректна ли ваша XML-карта сайта?
XML-карта сайта — это структурированный файл со списком страниц и видео сайта, который помогает поисковым системам легко находить и сканировать их. Она особенно полезна для крупных и новых сайтов, сайтов e-commerce и сайтов с большим количеством страниц.
A. Корректная карта сайта
Убедитесь, что:
- Карта сайта открывается корректно.
- Она соответствует формату XML-карты сайта.
- Она не содержит лишних ошибок.
- Поисковые системы имеют к ней доступ.
- Важные URL включены
Карта сайта должна включать важные страницы, которые вы хотите предложить поисковым системам для индексации.
B. Проверьте битые URL и URL с редиректом
Важно добавлять в XML-карту сайта только важные рабочие URL.
Удалите страницы:
1. URL с ошибкой 404
Иногда при переходе на определённую страницу сайта появляется ошибка 404. Удалите все страницы, которые больше не существуют.
Наличие страниц 404 в карте сайта расходует краулинговый бюджет и может подорвать доверие Google.
Как это исправить?
Сначала найдите URL с ошибкой 404 с помощью таких инструментов, как Google Search Console или Screaming Frog. Затем удалите неработающие ссылки из карты сайта.
2. URL с редиректом:
Большинство сайтов создают новые страницы на замену определённой странице и перенаправляют старый URL на новый. В этом случае важно добавить в XML-карту сайта ссылку на новый URL.
3.4 Корректны ли ваши канонические теги?
Канонический URL — это основная страница, которую поисковые системы выбирают для индексации и показа в результатах поиска, если на сайте есть дублированный или очень похожий контент.
Проверьте:
- Есть ли у важных страниц подходящие канонические URL
- Указывает ли канонический тег на правильную страницу
- Может ли каноническая страница быть проиндексирована
3.5 Быстрый ли ваш сайт и адаптирован ли он для мобильных устройств?
Поисковые системы в первую очередь используют мобильную версию сайта для ранжирования и индексации. Поэтому сайт должен корректно отображаться на всех устройствах и загружаться за 2,5–3 секунды.
A. Проверьте Core Web Vitals
Они охватывают три аспекта взаимодействия со страницей:
1.1 Largest Contentful Paint (LCP)
Этот показатель в основном отражает скорость загрузки контента сайта. Для хорошего пользовательского опыта нормальное время загрузки составляет 2,5 секунды или меньше
Проверить его можно с помощью PageSpeed Insights или GSC. Результаты отображаются как для мобильной, так и для десктопной версии.
1.2 Interaction to Next Paint (INP)
Он измеряет, насколько быстро страница реагирует на действия пользователя (нажатие кнопки или ссылки). Значение должно быть меньше 200 миллисекунд.
На мобильных
На десктопе
1.3 Cumulative Layout Shift (CLS)
Измеряет визуальную стабильность (насколько сильно смещаются кнопки, изображения и текст во время загрузки страницы). Стремитесь к значению CLS ниже 0,1.
На мобильных
На десктопе
Как это исправить?
LCP:
- Конвертируйте изображения в современные форматы, такие как WebP или AVIF.
- Используйте быстрый хостинг и сеть доставки контента (CDN), например Cloudflare, чтобы файлы загружались ближе к вашим пользователям.
INP:
- Удалите тяжёлые и сторонние плагины, которые замедляют браузер.
- Запустите инструмент Coverage в Chrome DevTools, чтобы найти и удалить неиспользуемые файлы JavaScript и CSS.
CLS:
- Обязательно указывайте явные атрибуты ширины и высоты для изображений и видео.
- Не добавляйте новые баннеры или контент над существующим контентом, если пользователь ничего не нажал.
3.6 Понимают ли поисковые системы структуру вашего сайта?
A. Хлебные крошки
Для лучшего понимания структуры сайта важно использовать хлебные крошки. Обычно они применяются на крупных сайтах с несколькими уровнями страниц.
Проверьте, что:
- Хлебные крошки не содержат битых или устаревших ссылок.
- Путь соответствует фактической структуре сайта.
B. Структура URL
Чтобы оптимизировать ссылки для пользователей, поисковых систем и ИИ, соблюдайте следующие правила
- Короткий и простой URL
- Включайте релевантное ключевое слово
- Используйте только строчные буквы
- Используйте защищённый протокол HTTPS
Правильная структура URL: example.com/ecommerce-seo/
C. Навигация по сайту
Важно, чтобы навигация по сайту была простой — тогда пользователи, поисковые системы и ИИ смогут правильно её понимать.
Идеальная навигация начинается с главной страницы, затем идут основные категории, подкатегории и, наконец, отдельные страницы.
3.7 Правильно ли внедрена разметка Schema?
Разметка Schema помогает поисковым системам понимать существующий контент вашего сайта, что способствует ранжированию как в результатах поиска, так и в ответах, сгенерированных ИИ.
Распространённые типы Schema:
- Organization
- Product
- Article
- F & Q
- Event
Её можно создать с помощью генератора разметки Schema
Сначала выберите тип Schema, который хотите создать
Добавьте и проверьте разметку Schema
Создав код Schema, добавьте его в раздел <head> HTML-кода вашей страницы. После этого воспользуйтесь инструментом Google «Проверка расширенных результатов», чтобы убедиться, что разметка внедрена правильно, и выявить ошибки, которые нужно исправить.
3.8 Нужен ли вашему международному сайту Hreflang?
Hreflang используется, если у сайта есть разные версии для других языков и стран. Он помогает Google понять связь между этими версиями.
Если вы ищете официальный сайт Apple из США, Google покажет американский результат
Аналогично, если вы выполняете поиск из другой страны, например из Японии, Google может показать японскоязычную версию сайта Apple.
Что исправлять в первую очередь, если у сайта несколько SEO-проблем?
В первую очередь устраняйте проблемы, которые влияют на сканирование, индексацию и корректное отображение сайта в результатах поиска.
В этой таблице перечислены ключевые области технического SEO, которым стоит уделить первоочередное внимание: здоровье сайта, сканирование и индексация, эффективность в поиске.
Проверка технического состояния |
Проверка сканирования & индексации |
Мониторинг эффективности в поиске |
|---|---|---|
| Проверка новых ошибок сканирования | Проверка затронутых URL | Мониторинг органического трафика |
| Проверка битых ссылок | Проверка проиндексированных страниц | Отслеживание видимости ключевых слов |
| Анализ Core Web Vitals | Проверка статуса XML-карты сайта | Мониторинг показов & кликов |
| Проверка удобства на мобильных | Убедиться, что важные страницы доступны для индексации | Сравнение показателей до и после исправлений |
| Проверка редиректов и HTTPS | Проверка канонических URL | Поиск улучшений в Search Console |
Распространённые ошибки технического SEO, которые могут навредить позициям
Технические проблемы могут затруднить сканирование сайта поисковыми системами. Вот несколько распространённых ошибок технического SEO, которые стоит проверить и исправить, чтобы повысить видимость сайта в поиске.
1. Блокировка важных страниц
Если вы случайно заблокируете важные страницы в robots.txt, Google может не просканировать и не проиндексировать их. Убедитесь, что вы не запрещаете (disallow) важные страницы.
2. Использование noindex на страницах, которые вы хотите продвигать
Google не индексирует страницы с тегом noindex, а среди них могут оказаться важные страницы, которые вы хотите продвигать. Проверьте важные URL с помощью инструмента проверки URL в Google Search Console и убедитесь, что их индексация разрешена.
Примечание: проверить можно с помощью инструмента проверки индексации или вручную.
3. Слабая внутренняя перелинковка
Неправильная внутренняя перелинковка может повлиять на позиции сайта. Поисковые системы могут не понять, как страницы связаны между собой.
Исправьте это, связав важные страницы с релевантными существующими страницами с помощью описательных анкоров.
4. Плохая видимость на мобильных устройствах
Google в основном использует мобильную версию сайта для индексации. Сайт, который плохо работает на мобильных, может создавать проблемы как пользователям, так и поисковым системам. Убедитесь, что сайт адаптивен и стабильно работает на всех устройствах.
5. Игнорирование ошибок сервера и сканирования
Ошибки сервера, например ответы 5xx, могут помешать Googlebot получить доступ к страницам. Google также может сократить сканирование, если сервер с трудом отвечает на запросы.
Заключение
Цель технического SEO — не сделать сайт технически сложным, а обеспечить возможность сканирования и индексации важных страниц.
Если сайт показывает слабые результаты, это не значит, что ему нужен дополнительный контент или обратные ссылки. Проверьте, могут ли поисковые системы корректно получить доступ к уже существующим страницам. Начните технический SEO-аудит со сканирования и индексации, а затем проверьте другие аспекты: карту сайта, канонические URL, редиректы, производительность, мобильный опыт, структуру сайта и т. д.
Не пытайтесь решить все проблемы сразу: найдите те, что влияют на важные страницы, и исправьте их.
Часто задаваемые вопросы
Как часто нужно проводить технический SEO-аудит?
Оптимально проводить аудит сайта раз в 6 месяцев. Но многое зависит от размера сайта. Крупным сайтам, которые часто обновляются, проходят редизайн, миграцию или серьёзные технические изменения, могут потребоваться более частые проверки.
Какие инструменты помогают проверить техническое SEO?
Google Search Console — один из основных инструментов для проверки сканирования, индексации и эффективности в поиске.
Может ли ChatGPT провести SEO-аудит?
ChatGPT может провести частичный SEO-аудит, анализируя отдельные страницы, тексты или экспортированные данные, но не способен полностью просканировать весь сайт или заменить специализированный SEO-инструмент.
Индексация в Google бесплатна?
Да, индексация в Google бесплатна. Google не взимает плату за сканирование или индексацию сайта.
Какие проблемы технического SEO нужно исправить в первую очередь?
Сначала исправьте проблемы сканирования и индексации, ведь поисковые системы не могут ранжировать страницы, которые не видят.
Gurpreet Singh — менеджер по маркетингу в SEO Services Consultants. За эти годы он поработал с компаниями из самых разных отраслей, выстраивая стратегии и подходы с учётом их потребностей.
Повседневные задачи, с которыми он сталкивается в работе, часто становятся темами его публикаций. В своих статьях он делится тем, что узнаёт из практики, исследований и наблюдений за текущими рыночными тенденциями. Своим контентом он стремится давать читателям практичные, понятные и полезные идеи.