Это специальная программа, назначением которой является сбор информации в интернете. Поисковые боты регулярно делают обход всех известных им сайтов и сохраняют информацию со страниц в свои базы.
У любой поисковой системы (Яндекс, Google и другие) есть свой собственный поисковый робот. Если поисковик крупный, то ботов, собирающих информацию с сайтов или просто обходящих страницы с какими-то иными целями, может быть несколько. Например, у Яндекса есть следующие боты:
- Основной робот Яндекса
- Робот-зеркальщик
- Робот Яндекс.Картинок
- Робот Яндекс.Видео
- Робот Яндекс.Вебмастера
- Индексатор мультимедийных данных
- Робот Поиска по блогам
- Робот Яндекс.Директа
- Робот Яндекс.Каталога
Из названий понятно, что все эти боты предназначены для разных целей.
Роботы не посещают сайты, которые им неизвестны, поэтому после создания нового сайта нужно выполнить ряд действий, направленных на то, чтобы показать сайт роботам поисковых систем.
Также есть и другая важная особенность, связаная с регулярным обходом вашего сайта роботами — это временное возрастание нагрузки на сервер. Если у вас сайт с большим числом страниц, то множественные запросы от ботов поисковых систем, одна за другой запрашивающих все страницы, нагружают компьютер, на котором расположен сайт. Это нужно обязательно учитывать при выборе тарифа хостинга, чтобы избежать проблем.
Как часто роботы заходят на ваш сайт? Это зависит от множества факторов. Например, чем известнее сайт, тем чаще он посещается ботами. Также частота обхода зависит и от настроек самого сайта. В любом случае роботы заходят на сайт регулярно.
