madkoder.com

Чистил пользователей на форуме пару недель назад и заодно случайно стёр всех ботов. В phpbb3 боты это отдельные юзеры (в старой phpbb2 по умолчанию это было не так), и если весь балласт стереть, с ним пропадут боты.

Почему это важно? Потому что узнаём мы об этом когда начинают массово выпадать из выдачи наши страницы -- теперь у убитых ботов нет прав на чтение, и в любой ветке форума поисковики видят очень неприятную надпись:

Вы не авторизованы для чтения этого форума

или

You are not authorised to read this forum

Мораль: ботов надо беречь и регулярно проверять, заходят ли они на форум и всё ли индексируют как следует. Если вдруг нет -- срочно чинить.

Кстати, яшин бот зачастую самый пассивный, иногда, бывает, заходит раз в неделю. А всякий мусор вроде Яхи, МСН или какого-нибудь Аскдживза каждый день висит на сайте...

А как они регистрируются на форуме? Сами?

Ну, в движке пхпбб3 уже есть штук 20 по умолчанию - гугль там, яху и т.п. Вроде яндекс даже был по умолчанию. Если нет - просто добавить в раздел "Поисковые боты" хотя бы яндекс со строкой агента Yandex

Думаю, у любого другого приличного движка форума похожая фича тоже имеется. Когда добавили - можно работать с ними, как с любыми другими пользователями. Давать права на чтение форумов, использование поиска, и т.п., следить за их визитами. Главное - чтобы поисковики видели то, что вы хотите, и регулярно на форум заходили. Если выдача отличается от ожидаемой или давно не было визитов, то надо смотреть, в чём проблема. Я вот одним нечаянным движением (тем что стёр аккаунты поисковых ботов) весь форум им закрыл для чтения, такого, естесна, лучше не вытворять.