
Доброго времени суток!
Сегодня мы обдумаем тему "правильная индексация сайта роботами Google, Яндекса и всеми остальными жителями этого чудного зоопарка". Речь пойдет не о способах быстро засунуть сайт в индекс, или о том, как ботов заставить сразу проиндексировать весь сайт. Разговор будет всего лишь о том, как запретить роботам- поисковикам индексировать определенные страницы сайта или, даже, целые папки. А следовательно, уменьшить время на полную индексацию полезного контента сайта. Выполняется это при помощи маленького, но весьма значительного файла под именем robots.txt. Существуют мнения, что сайт, не содержащий robots.txt вообще не индексируется, либо индексируется неправильно и не полностью.