Техническое SEO: приоритеты на основе краулингового бюджета и анализа логов

1. Точно определите краулинговый бюджет

Краулинговый бюджет — это не одно число. С одной стороны находится частота запросов, которую выдерживает сервер, с другой — интерес, который поисковая система считает оправданным для вашего сайта. Медленный сервер снижает частоту, а тонкий и повторяющийся контент снижает интерес.

Различие даёт практические следствия. Серверное ограничение не лечится переписыванием текстов, а ограничение интереса не решается более мощным сервером. Понимание того, какая сторона сдерживает обход, упорядочивает все дальнейшие работы.

Обход также не гарантирует индексацию. Обойденная страница получила оценку, а не место в индексе. Читать данные обхода как самостоятельную метрику успеха — значит вводить себя в заблуждение.

Для сайтов меньше этого порога польза метода меняется, а не исчезает. Те же логи используются не для управления бюджетом, а для проверки того, какие структурные сигналы сайт вообще посылает: забытые шаблоны, разорванные цепочки редиректов и осиротевшие разделы видны независимо от размера.

2. Сортируйте задачи по доказательствам

Не каждый пункт технического списка весит одинаково. Одни и те же задачи можно упорядочить по симптому, который они снимают, и по доказательству, которое их подкрепляет. Таблица ниже связывает работы, выбираемые обычно наугад, с наблюдаемым фактом.

Цель — не универсальный порядок приоритетов, а ясность в том, какое доказательство нужно до внедрения. Пункт без доказательства — это вопрос для исследования, а не следующая задача.

3. Читайте серверные логи методично

Серверные логи — единственный источник, который показывает, что поисковая система сделала, а не то, что вы предполагаете. Для начала достаточно четырёх недель записей с адресом, кодом ответа, user-agent, отметкой времени и временем ответа. Сгруппируйте записи по каталогу, шаблону и коду ответа.

Сначала ищите три вещи: какие каталоги забирают основную долю запросов, какие важные шаблоны почти не получают их и где скапливаются коды ошибок. Эти три среза обычно формируют половину повестки.

Прежде чем закрывать то, что вы увидели в логах, разберитесь, что делает инструмент. Google объясняет, что закрытая в robots.txt страница всё равно может попасть в индекс через ссылки с других страниц, а для удаления нужна директива вроде noindex, а не блокировка. Неверный инструмент прячет проблему, а не решает её.Google Search Central — Create and Submit a robots.txt File (откроется в новой вкладке)

• Группируйте строки логов по шаблону и каталогу.
• Отсеивайте неподтверждённые user-agent.
• Раскладывайте коды ответа по каталогам.
• Измеряйте долю запросов к доходным страницам.
• Считайте варианты адресов для одного контента.

4. Гипотетический сценарий: обход, растворившийся в фильтрах

В гипотетическом каталоге около сорока тысяч страниц товаров и неограниченное число комбинаций фильтров. Команда жалуется, что новые товары неделями не видны в поиске. Первый рефлекс — пересобрать карту сайта и заказать больше текстов.

Логи показывают другое: основная доля запросов уходит на адреса, порождённые параметрами цвета, размера и сортировки, а шаблон новых товаров получает несколько запросов в месяц. Проблема не в производстве контента, а в пути обхода, истощённом бесполезными комбинациями.

Команда сужает правила для параметров, исправляет канонические адреса и связывает новые товары напрямую со страницами категорий. Через четыре недели она повторяет то же измерение и сравнивает долю запросов к шаблону товара. Это гипотетический пример, а не клиентский результат и не обещанный эффект.

5. Подбирайте инструмент под задачу

В задачах обхода есть четыре семейства инструментов, и каждое делает своё: регулирование доступа, определение статуса в индексе, объединение дублей и ускорение обнаружения. Подмена одного другим — самая частая ошибка.

Правило доступа останавливает запрос на входе, а директива индексации решает, останется ли страница видимой. Сигнал объединения собирает ранжирующую ценность, а карта сайта и перелинковка лишь облегчают обнаружение. Противоречивые сигналы на одной странице делают итог непредсказуемым.

Перед каждым изменением запишите обоснование одной фразой: какой набор адресов, какой симптом, какой инструмент, какой ожидаемый эффект. Такая запись не даёт через три месяца вслепую защищать правило, которого никто не помнит.

6. Последовательность на четыре недели

Стройте работу как короткий цикл, а не как разовый аудит. Первая неделя — измерение, вторая — классификация, третья — вмешательство, четвёртая — проверка. Тогда каждое изменение читается отдельно.

Не меняйте много правил сразу. Поведение обхода реагирует медленно, и два изменения одной недели потом невозможно различить.

В конце цикла соберите решения в один журнал: какой набор адресов затронут, с каким обоснованием, какой датой и против какого измерения. Без него к третьему циклу команда начнёт тот же спор заново.

• Доступ к логам и срок хранения подтверждены.
• Сопоставление шаблонов и каталогов готово.
• Таблица приоритетов заполнена доказательствами.
• Обоснование записано для каждого действия.
• Изменения разнесены по неделям.
• Измерение повторено тем же методом.
• Условие отката определено.

7. Границы и режимы отказа

Оптимизация обхода не заменяет качество контента. Более частый обход слабой страницы не поднимает её, а лишь повторяет ту же оценку чаще. На небольших сайтах отдача от этой работы обычно низкая.

Чрезмерное сужение тоже опасно. Правило, закрывающее адреса фильтров целиком, иногда закрывает и категории с реальным спросом. Проверяйте каждое правило на выборке адресов до выката.

Данные логов бывают неполными или загрязнёнными: слой кеширования скрывает запросы, поддельные user-agent завышают числа. Выводы без проверки превращаются в убедительную историю, оправдывающую неверную работу.

Наконец, поведение поисковых систем меняется. Правило, работающее сегодня, устаревает при смене инфраструктуры или политики. Храните решения с датой и обоснованием и пересматривайте их с заданной периодичностью.