Почему сайта нет в поиске: 7 причин и как это проверить

В девяти случаях из десяти дело не в «плохом SEO», а в индексации: поисковик просто не добавил страницы в свою базу. Проверяется это за 10 минут и без специальных сервисов, а половина причин лечится за один вечер.

Дальше - как проверить факт индексации и семь причин, по которым сайта нет в выдаче, от самой частой к самой редкой.

Как проверить, есть ли сайт в индексе

Три способа, от быстрого к точному.

• Оператор site:. Введите в строку поиска site:вашдомен.ru. Если результатов ноль, сайта в индексе нет вообще. Если страниц меньше, чем на сайте, часть страниц не проиндексирована.
• Яндекс.Вебмастер. Раздел «Индексирование» показывает страницы в поиске и исключённые страницы с причиной исключения. Причина там написана прямым текстом, гадать не нужно.
• Google Search Console. Отчёт «Индексирование страниц» и проверка конкретного URL через строку сверху: сервис скажет, в индексе страница или нет и почему.

Отдельно проверьте не сам факт, а нужный запрос. Сайт может быть в индексе, но не показываться по фразе, по которой вы его ищете, потому что по ней конкурируют сотни страниц. Это уже другая задача.

Семь причин, по которым сайта нет в поиске

1. Сайту меньше двух недель

Самая частая и самая безобидная причина. Роботу нужно время: найти сайт, обойти его, оценить. Для нового домена нормальный срок до первых страниц в индексе - от нескольких дней до двух-трёх недель, в Google обычно быстрее, чем в Яндексе.

Что делать: добавить сайт в Вебмастер и Search Console, отправить sitemap и подождать. Проверять выдачу каждый день бессмысленно.

2. Сайт закрыт в robots.txt

Файл robots.txt в корне сайта говорит роботам, что можно обходить. Строка Disallow: / закрывает весь сайт целиком. Такое остаётся после разработки чаще, чем кажется: на тестовой версии сайт закрывают от индексации и забывают открыть при переносе на боевой домен.

Что делать: открыть вашдомен.ru/robots.txt и убедиться, что там нет запрета на нужные разделы.

3. В коде страницы стоит noindex

Мета-тег robots со значением noindex - прямая команда «не добавлять эту страницу в индекс». В отличие от robots.txt он живёт в коде конкретной страницы, поэтому его легко не заметить. В конструкторах и CMS это часто галочка «скрыть от поисковых систем» в настройках.

Что делать: открыть исходный код страницы и поискать noindex. В Вебмастере такие страницы попадают в исключённые с явной причиной.

4. Нет карты сайта

Sitemap.xml - это список страниц, которые вы считаете важными. Без него робот всё равно найдёт сайт по ссылкам, но медленнее, а глубоко вложенные страницы может не найти вовсе.

Что делать: убедиться, что sitemap существует, отдаётся по адресу вашдомен.ru/sitemap.xml и отправлен в Вебмастер и Search Console.

5. Дубли страниц без canonical

Одна и та же страница доступна по нескольким адресам: с www и без, по http и https, со слешем на конце и без, с UTM-метками. Для робота это разные страницы с одинаковым содержимым. Он выбирает одну, и не всегда ту, которую вы продвигаете.

Что делать: настроить canonical на основной адрес и один основной вариант домена, остальные должны на него перенаправлять.

6. Сайт недоступен роботу

Страница открывается у вас, но не открывается у робота: сервер отвечает ошибкой в момент обхода, хостинг блокирует запросы, стоит защита от ботов, страница отдаётся только после выполнения скриптов, которые робот не дождался.

Что делать: в Вебмастере посмотреть код ответа сервера и историю обхода. Ошибки 5xx и таймауты видно сразу.

7. Страница считается малоценной

Самая неприятная причина, потому что технически всё в порядке. Яндекс исключает страницы со статусом «малоценная или маловостребованная»: мало содержания, текст повторяет другие страницы сайта, нет ответа на запрос. Так часто вылетают карточки-заглушки, страницы фильтров и тексты, написанные ради ключевых слов.

Что делать: не наращивать объём ради объёма, а дать странице собственную задачу и содержание, которого нет на других страницах.

Как ускорить индексацию

• Отправить sitemap в Вебмастер и Search Console и следить, чтобы он обновлялся при добавлении страниц.
• Использовать IndexNow: протокол, которым сайт сам сообщает Яндексу об изменениях. Это не гарантия, но обход обычно происходит быстрее.
• Поставить внутренние ссылки на новую страницу с уже проиндексированных. Страница без единой ссылки внутри сайта для робота почти не существует.
• Не публиковать пустые страницы «на будущее»: исключённая как малоценная страница возвращается в индекс дольше, чем попадает туда впервые.

Когда это уже не самолечение

Своими руками закрываются причины с первой по четвёртую: это проверка файлов и настроек. Дубли, доступность для робота и малоценность обычно означают, что разбираться нужно со структурой сайта, а не с отдельной страницей.

Проверить страницу без ручного обхода всех семи пунктов можно на моём сервисе poiskly-seo.ru: он разбирает техническую базу и содержание страницы и показывает, что мешает её индексировать и цитировать.

Понятный признак: вы всё проверили, ошибок нет, а страниц в индексе всё равно меньше половины. Дальше нужен технический аудит - SEO-продвижение и подготовка сайта под AI-поиск, от 30 000 ₽. Если же индексация в порядке и хочется двигаться дальше, следующий слой - подготовка страниц под AI-ответы: что такое GEO-оптимизация.