Такой вопрос созрел. Сколько ждет поисковый робот, ответа от сайта (хостинга)? В смысле, заходит бот по adresu.ru сайта. Сколько секунд он готов ждать пока сможет по сайту пройтись. Ну или как то так, не знаю как более точно вопрос задать. Или он сразу понимает, что сайт не доступен/доступен? И что произойдет, если зайдя пару раз, бот не получит доступа на сайт.
Бот ждет ответа сервера, судя по яндексу, ждет он секунт 5, если нихрена не пошло передаваться - уходит.
Если нет доступа к сайту он возвращается через короткое время и пробует еще раз. Затем интервалы попыток увеличиваются по времени, пока сайт полностью не вывалится из поиска.
