Требования к индексируемым страницам


О новом созданном сайте поисковая система может узнать двумя путями:

Ручное добавление адреса сайта через соответствующую форму поисковой системы. В таком случае вы лично сообщаете поисковой системе о Вашем сайте и его адрес попадает в очередь на индексацию. Добавляется только главная страница сайта, остальные же страницы будут найдены поисковым роботом по ссылкам.

Предоставить поисковому роботу самостоятельно найти ваш сайт. Если ваш новый ресурс содержит хотя бы одну внешнюю ссылку с других ресурсов, уже проиндексированных поисковой системой, то поисковик за короткое время сам посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота. Чем больше внешних ссылок имеет ваш сайт, тем быстрее происходит его индексация. Добавление вручную сайта на очередь индексирования может даже увеличить время ожидания робота.

Для индексации необходимо от 2-3 дней до 2 недель, в зависимости от поисковой системы. Наименьшее время для индексации выделяет поисковая система Google.

Чтобы сайт выглядел максимально дружественным для поисковых систем, необходимо учесть некоторые факторы:

Индексируемая страница вашего сайта должна быть доступна по ссылкам с главной страницы не более чем за 3 перехода. Если структура сайта этого не позволяет, то сделайте так называемую карту сайта, которая позволит соблюсти указанное правило.

Для управления поведением поисковых роботов используйте файла robots.txt. В нем можно явно разрешить или запретить для индексации те или иные страницы. Используйте тег <noindex> - </noindex>, позволяющий закрыть для индексации отдельные части страницы, однако этот тег поддерживается только российскими поисковыми системами.

Не пугайтесь, если Ваш сайт внезапно исчез из индекса. Базы данных поисковых систем постоянно обновляются, записи в базе подвергаются изменениям, исчезают и появляются снова, поэтому число проиндексированных страниц вашего ресурса может периодически меняться. Недоступность сервера также является одной из наиболее частых причин исчезновения страницы из индекса. Это означает, что поисковый робот при попытке индексации сайта не смог получить доступ к нему. После восстановления работоспособности сервера сайт должен появиться в индексе снова через какое-то время.