18 Авг 11 Мысли вслух: влияние ссылок

Допустим бот ПС нашел нашу страницу и скачал ее. Что происходит дальше?
Выдирает из нее текст, ссылки, пытается определить ключевые слова и тд… А когда он учитывает исходящую ссылку? Ведь в индекс страницу поставит только когда проанализирует ее текст. Но в индекс страница может не опасть по ряду причин. А ссылка то существует. И бот по ней идет дальше в поисках нового контента.