|
 |
Поисковые роботы - это
специализированные программы для поиска и анализа информации в сети интернет
для ее последующей систематизации в базе данных поисковой системы. Исследуя
очередной сайт, поисковые роботы сохраняют ссылки, находящиеся на странице,
затем впоследствии переходят по указанным адресам на другие страницы и
сайты.
В зависимости от того, какой алгоритм используется поисковым роботом,
происходит индексация посещенной им страницы. При посещении страницы
поисковый робот исследует видимый текст, в том числе теги исходного кода и
ссылки. По тексту ссылки поисковый робот также определяет тематическое
содержание страницы. Каждая из поисковых систем использует свои алгоритмы
поисковых роботов, поэтому и базы данных (а следовательно, и результат
выдачи по одному и тому же запросу) разных поисковиков могут существенно
различаться.
Проследить посещение поисковыми роботами страниц можно с помощью
log-файлов. Они сохраняют информацию о дате и
частоте посещения каждой из страниц поисковыми роботами. Некоторые поисковые
роботы не идентифицируются.
|
