Технический аудит сайта: чек-лист для самостоятельной проверки

Технические ошибки незаметны посетителю, но могут годами мешать сайту расти в поиске. Мы собрали чек-лист, по которому сами начинаем аудит: пройдя его, вы найдете большинство проблем без сложных инструментов и поймете, что исправлять в первую очередь.

Бывает, что компания вкладывает деньги в тексты, ссылки и рекламу, а сайт стоит на месте. В половине таких случаев причина лежит глубже контента: поисковик просто не может нормально проиндексировать страницы, видит десятки дублей или получает ошибки сервера. Технический аудит — это проверка «фундамента». Полный аудит мы делаем с помощью краулеров и доступа к серверу, но значительную часть пунктов можно проверить самостоятельно. Ниже — список, по которому мы сами начинаем работу.

Индексация: видит ли поисковик ваши страницы

Первый и главный вопрос — сколько страниц сайта находится в индексе и те ли это страницы.

Что проверить:

Число проиндексированных страниц в панелях вебмастера. Сравните его с реальным количеством полезных страниц. Если в индексе втрое больше — у вас дубли или мусор. Если втрое меньше — робот не добирается до части сайта.
Раздел исключенных страниц. Там видно, какие адреса робот нашел, но не взял в поиск, и почему: дубль, запрет, редирект, малоценная страница.
Ключевые страницы. Проверьте вручную, что главная, основные разделы каталога и услуги есть в индексе.
Скорость попадания новых страниц. Если новая статья неделями не появляется в поиске — это сигнал проблем с обходом.

Однажды к нам обратился интернет-магазин сантехники: трафик постепенно падал, хотя ассортимент рос. Оказалось, что при обновлении движка на всех карточках товаров появился тег, запрещающий индексацию. За пару месяцев из поиска выпала большая часть каталога. Исправление заняло десять минут, восстановление позиций — около шести недель.

Файл robots.txt и карта сайта

Файл robots.txt подсказывает роботам, какие разделы обходить не нужно. Ошибка в одной строке может закрыть от индексации весь сайт.

Проверяем:

Файл доступен по адресу вашсайт/robots.txt и отдает код ответа 200.
Нет директивы, запрещающей весь сайт — такая строка часто остается после разработки на тестовом сервере.
Закрыты служебные разделы: корзина, личный кабинет, результаты внутреннего поиска, страницы сортировки.
Не закрыты файлы стилей и скриптов — робот должен видеть страницу так же, как пользователь.
Указан путь к карте сайта.

Карта сайта в формате XML — это список адресов, которые вы хотите видеть в поиске. Частые проблемы с ней: в карте лежат удаленные страницы, редиректы и закрытые от индексации адреса, а новые разделы туда не попадают. Карта должна обновляться автоматически и содержать только канонические страницы с кодом ответа 200.

Совет: сразу после любого крупного обновления сайта откройте robots.txt и карту сайта. Две минуты проверки экономят месяцы восстановления.

Дубли страниц и канонические адреса

Дубли — одна из самых частых технических проблем. Поисковик видит несколько адресов с одинаковым содержимым и не понимает, какой показывать. Позиции размываются, а часть краулингового бюджета уходит впустую.

Откуда берутся дубли:

Версии с www и без www, с http и https, со слешем на конце и без.
Адреса с параметрами: сортировка, фильтры, метки рекламных кампаний.
Одинаковые товары в нескольких категориях с разными URL.
Страницы пагинации без отличающегося содержимого.
Версия для печати или технические копии.

Решения зависят от типа дубля. Главное зеркало выбирается один раз, все остальные варианты перенаправляются на него постоянным редиректом. Для страниц с параметрами используется тег canonical, указывающий на основную версию. Технические копии закрываются от индексации. Проверить себя просто: введите адрес главной страницы в разных вариантах — с www и без, с index.php на конце — и посмотрите, везде ли вас перебрасывает на одну и ту же версию.

Коды ответа сервера и редиректы

Каждая страница отдает роботу код ответа. Нормальная страница — 200, постоянный переезд — 301, не найдено — 404, ошибка сервера — 500 и подобные.

На что смотреть:

Битые ссылки внутри сайта, ведущие на 404. Их нужно исправить или перенаправить на актуальные страницы.
Цепочки редиректов, когда адрес А ведет на Б, Б на В, а В на Г. Каждое звено теряет время и часть веса.
Временные редиректы 302 там, где переезд постоянный.
Страница 404, которая на самом деле отдает код 200. Такие «мягкие» ошибки робот воспринимает как полноценные пустые страницы.
Периодические ошибки 5xx — признак проблем с хостингом или нагрузкой.

При редизайне или смене движка мы всегда составляем таблицу соответствия старых и новых адресов. Это скучная работа, но она спасает трафик. Один клиент перед обращением к нам сменил структуру каталога без редиректов — и потерял больше половины органики за месяц. Вернуть удалось, но часть позиций восстанавливалась почти полгода.

Скорость загрузки

Медленный сайт раздражает людей и хуже ранжируется. Особенно это заметно на мобильном интернете.

Что можно проверить самостоятельно с помощью бесплатных сервисов оценки скорости:

Время до отображения основного содержимого. Если пользователь несколько секунд смотрит на белый экран, часть аудитории уходит.
Вес страницы. Нередко главная весит десятки мегабайт из-за несжатых фотографий.
Смещение макета при загрузке — когда кнопка «прыгает» под пальцем из-за подгружающегося баннера.
Время ответа сервера. Если оно велико, никакая оптимизация картинок не поможет — нужен другой хостинг или кэширование.

Самые частые быстрые победы: сжатие и перевод изображений в современные форматы, отложенная загрузка картинок ниже первого экрана, отказ от лишних скриптов и виджетов, включение кэширования. На одном из лендингов мы сократили время загрузки более чем вдвое, просто убрав три неиспользуемых счетчика и видеофон в первом экране.

Мобильная версия

Большая часть поисковых запросов сегодня идет со смартфонов, и поисковики оценивают сайт прежде всего по его мобильной версии.

Проверьте с телефона:

Текст читается без масштабирования, кнопки не слишком мелкие и не наезжают друг на друга.
Нет горизонтальной прокрутки.
Меню открывается и работает, форма заявки заполняется без мучений.
Всплывающие окна не закрывают весь экран сразу при входе.
Мобильная версия содержит тот же основной контент, что и десктопная, а не урезанный вариант.

Лучший тест мобильной версии — попросить кого-то не из команды оформить заказ с телефона и молча понаблюдать. Проблемы видны за пару минут.

Безопасность и прочие технические сигналы

Несколько пунктов, которые легко упустить:

Действующий SSL-сертификат и отсутствие смешанного содержимого, когда часть ресурсов грузится по незащищенному протоколу.
Отсутствие вредоносного кода и предупреждений о небезопасном сайте в панелях вебмастера.
Корректная кодировка — без «кракозябр» в заголовках и сниппетах.
Уникальный favicon — мелочь, но он отображается в выдаче рядом со сниппетом.
Настроенная страница 404 с навигацией, чтобы человек не уходил с сайта.
Отсутствие тестовых и старых версий сайта в открытом доступе на поддоменах.

Отдельно проверьте, подключены ли панели вебмастеров и система аналитики. Без них аудит превращается в гадание: вы не увидите ни ошибок индексации, ни реального поведения посетителей.

Как расставить приоритеты после проверки

После прохода по чек-листу обычно набирается длинный список. Все сразу исправлять не нужно — важно начать с того, что сильнее всего мешает.

Наш порядок:

Критические ошибки: запрет индексации, недоступность сайта, массовые 5xx, вредоносный код.
Проблемы индексации: дубли, неверные редиректы, ошибки в карте сайта.
Скорость и мобильная версия.
Мелкие улучшения: битые ссылки, favicon, страница 404.

Главное

Технический аудит — это проверка того, может ли поисковик вообще нормально работать с вашим сайтом. Большую часть проблем можно найти самостоятельно: посмотреть индексацию в панелях вебмастера, проверить robots.txt и карту сайта, поискать дубли, открыть сайт с телефона и замерить скорость.

Проводить такую проверку стоит после каждого крупного обновления и хотя бы раз в квартал в спокойном режиме. Если после чек-листа остались вопросы или список ошибок оказался длиннее ожидаемого, наша команда проведет полный технический аудит с приоритизированным планом исправлений. Напишите на [email protected].