Довольно часто приходится объяснять клиентам что такое оптимизация сайта под поисковые системы. Одним бывает достаточно узнать общую информацию о том, как работают сайты и какие ошибки мы устраняем, другим же требуется детальный план или отчет по проделанным работам. Однако и те, и другие обычно не углубляются и не вникают в суть работ. В этом цикле статей я на реальных примерах объясню самые важные тонкости SEO и постараюсь предостеречь людей от возможных неудач.
404-ошибка – тонкости оптимизации
Начнем с самого вроде бы простого – с 404-ошибки на страницах сайта. Обычно везде пишут: «Не должно быть страниц с 404-ошибкой. И все тут, это важно». Давайте разберемся…
Каждая страница сайта имеет свой контент (текст, изображения, видео) и техническую информацию. В технической информации содержатся скрытые от обычного пользователя параметры: дата обновления страницы, код ответа, скорость ответа сервера, «куки» и прочие параметры. Нас интересует именно код ответа.
Объясню подробнее: для того чтобы браузер пользователя понимал какой статус у страницы, при ее формировании на сервере создается код, которых существует большое множество. 404 код говорит о том, что страница не существует – ее либо удалили, либо страницу не создавали.
Данный код формируется системой администрирования сайта, либо если сайт самописный, то самими вебмастерами-программистами и настройками сервера.
Важно понимать, что для индексации сайта в поисковых системах по этим же данным собирается информация ботами поисковых систем. При сканировании сайта формируется список страниц с кодами ответа и уже по этим данным поисковая система анализирует ваш сайт. Так как по несуществующим страницам проходить не имеет смысла, боты не тратят ресурсы на их сканирование. И вот тут есть свои тонкости. Утверждение , что «404 ошибок не должно быть» - это только часть истинного положения вещей. Да, внутри сайта не должно быть ссылок на несуществующие страницы и когда их много это критично, так как поисковый бот натыкаясь на большой объем таких внутренних ссылок, может просто перестать далее сканировать сайт и отложить индексацию до лучших времен. Однако это не самое страшное, что может случиться.
Намного хуже если страница 404-ошибки нарисована, однако на деле отдает 200 код (страница существует). Это довольно критично, так как большой объем мусорных страниц начнет попадать в список индексации, а на деле бот увидит только одинаковый дублирующий контент. По сути тогда вероятность того, что поисковый бот попросту перестанет нормально индексировать сайт будет намного выше чем в предыдущем случае. Есть еще один нюанс: у бота есть лимит на индексацию сайта. Чем крупнее и авторитетнее сайт, тем больше у него таких лимитов и тем чаще и больше страниц он индексирует. Эти лимиты очень важны, и чем больше лимитов вы потратите на индексацию бесполезных страниц, тем меньше нужных страниц вовремя попадет в поиск.
Почему поисковые системы не индексируют все подряд. Ответ прост: не хватает ресурсов. Интернет большой и информации реально очень много. Если Google справляется с этой задачей (скорость индексации Google как правило нескольких дней), то Яндексу явно не хватает мощностей для этого. Пример: существуют очень крупный сайт, с очень высоким авторитетом, для которого не хватает лимитов и ресурсов Яндекса для своевременной индексации каждой страницы. Это социальная сеть вКонтакте. Вы можете проверить сами как ваше сообщество или личная страница индексируется в поиске. Достаточно ввести в поиске Яндекс «url:страница» Например, так выглядит запрос для моей страницы url:https://vk.com/kolbasnikov. Нажав на треугольник «▼» в меню выбрать «Сохраненная копия», вы сможете увидеть актуальную версию страницы в поиске.
В моем случае отставание может достигать несколько недель. В основном же страницы рядовых пользователей, вообще очень плохо индексируются поисковой системой и в ответе на запрос вы можете получить скудное: «По вашему запросу ничего не нашлось».
Давайте вернемся к нашим сайтам. В каких же случаях возникают эти пресловутые «мусорные» страницы без кода ответа 404.
Во-первых, страницы результатов поиска.
И как правило SEO-специалисты решают эту проблему закрытием от индексации данных страниц от поиска (подробнее об этом я расскажу в следующих статьях об оптимизации сайта). И это простой и эффективный способ не тратить квоты поискового робота.
Во-вторых, результаты выборки фильтров в каталогах. Наверное, вы встречали такие сайты, когда, выбирая параметры фильтра каталога возникали страницы без товаров.
Тоже самое касается пустых разделов каталога (их вообще не должно быть на сайте, но это уже другая история). В этом случае SEO-специалисты так же решают эту проблему закрытием фильтров от индекса. Однако для нашей компании такое решение неприемлемо - это противоречит нашему методу BigSEO. На таких страницах мы отдаем код 404 и визуально выводится пустая страница каталога. В идеале наша с вами задача сделать так, чтобы рядовой пользователь не попадал на такие страницы.
В-третьих, страницы корзины и форм обратной связи.
Данные страницы так же, как и в первом случае закрываются от индексации поисковыми системами. Так как для пользователя и поисковых систем нахождение этих страниц в поиске не имеет смысла.
В-четвертых, страницы сортировок по цене, названию, фильтр выборки по цене, и прочее.
Данные страницы часто закрывают от индекса или вовсе не обращают внимание на их существование. Однако существует метод канонизации страниц, что позволяет грамотно перераспределять вес на целевые страницы. Об этом методе я расскажу в следующих статьях.
Подведем итог. Только работая над одним параметром сайта (404 ошибкой) мы решаем одну из самых важных задач по своевременной индексации сайта. На первый взгляд сухая строчка в проделанных работах «Устранение 404-ошибки» несет в себе более широкое понятие и целый ряд работ по оптимизации работы кода сайта. А если это связано с работой коробочной CMS, работы могут занять не один час на поиски и устранение на первый взгляд простой ошибки.
Выводы:
- Помимо устранения внутренних ссылок на страницы с 404-ошибкой, иногда необходимо формировать 404-ошибки на «мусорных» страницах.
- Думайте о лимитах на индексацию. Они важны.
- Необходимо проверять наличие правильного кода ответа даже если визуально страница выглядит как страница 404-ошибки.
Всем, хорошего дня и чистых от ошибок сайтов. Продолжение следует…
