Чтобы сайт начал появляться в результатах поиска, его необходимо проиндексировать. Индексация - это появление поискового робота на вашем сайте. Специальная программа обходит все страницы в интернете и передает их содержимое для обработки индексаторам. Страница будет показана в результатах поиска только тогда, как она зафиксирована в индексе поисковика. Если же страница не занесена в индекс, поисковик ничего о ней не знает и не может использовать информацию о ней, следовательно, в результатах поиска она не появится.
Могут возникать проблемы, которые препятствуют индексации. Причиной могут быть ошибки, допущенные в процессе разработки сайта. Выделают три типа ошибок:
Использование конструкций, которые препятствуют индексации, например скрипты и флэш, используемые для создания меню (поисковые машины не умеют их индексировать), фреймы. Их использование существенно замедляет индексацию документа. Динамические страницы также далеко не всегда корректно индексируются поисковыми машинами.
Засорение индекса дублированными страницами. Это зачастую происходит при использовании идентификаторов сессии. Они позволяют собирать информацию о действиях посетителей на сайте, но в тоже время затрудняют индексацию сайта. При каждом визите поисковый робот получает одни и те же страницы на разных адресах (из-за идентификаторов) и в поисковой машине копятся дубли страниц. В конечном результате сайт могут пессимизировать или же удалить из индекса большую часть документов. Если на вашем сайте используются идентификаторы, лучше от них избавиться или прописать запрет на присвоение идентификаторов поисковым роботам.
Препятствия индексированию ресурса. Это может произойти, если Ваш сайт достаточно крупный и содержит тысячи страниц. Так как поисковые роботы за один визит индексируют некоторое количество документов, то на их индексацию потребуется несколько визитов ботов, а значит и больше времени. Для решения проблемы можно создать поддомены, например, отдельный поддомен для форума и т.д. Для каждого поддомена выделяется своя квота индексации и в итоге за один визит обрабатывается больше документов. Другое решение - запретить для индексации малоинформативные страницы. Тогда в индекс попадут только самые интересные для посетителей и поисковых машин документы.
Могут возникать проблемы, которые препятствуют индексации. Причиной могут быть ошибки, допущенные в процессе разработки сайта. Выделают три типа ошибок:
Использование конструкций, которые препятствуют индексации, например скрипты и флэш, используемые для создания меню (поисковые машины не умеют их индексировать), фреймы. Их использование существенно замедляет индексацию документа. Динамические страницы также далеко не всегда корректно индексируются поисковыми машинами.
Засорение индекса дублированными страницами. Это зачастую происходит при использовании идентификаторов сессии. Они позволяют собирать информацию о действиях посетителей на сайте, но в тоже время затрудняют индексацию сайта. При каждом визите поисковый робот получает одни и те же страницы на разных адресах (из-за идентификаторов) и в поисковой машине копятся дубли страниц. В конечном результате сайт могут пессимизировать или же удалить из индекса большую часть документов. Если на вашем сайте используются идентификаторы, лучше от них избавиться или прописать запрет на присвоение идентификаторов поисковым роботам.
Препятствия индексированию ресурса. Это может произойти, если Ваш сайт достаточно крупный и содержит тысячи страниц. Так как поисковые роботы за один визит индексируют некоторое количество документов, то на их индексацию потребуется несколько визитов ботов, а значит и больше времени. Для решения проблемы можно создать поддомены, например, отдельный поддомен для форума и т.д. Для каждого поддомена выделяется своя квота индексации и в итоге за один визит обрабатывается больше документов. Другое решение - запретить для индексации малоинформативные страницы. Тогда в индекс попадут только самые интересные для посетителей и поисковых машин документы.