Фриди

ИИ-риэлтор Фриди

Фриди помогает купить, продать и арендовать недвижимость: подбирает варианты, сравнивает и отвечает на вопросы. FridiScout — его поисковая часть: находит актуальные предложения и проверяет данные, чтобы Фриди советовал точно. Сайт в разработке.

FridiScout — поисковый бот Фриди

Представляется как FridiScout/1.0 (+https://fridi.ru/bot).
Соблюдает robots.txt и Crawl-delay, ходит в один поток с паузами, в основном ночью.
Не обходит капчи и защиту, при ответах 403/429 сразу останавливается.
Не копирует тексты и фотографии — только факты: объект, цена, наличие.

Как ограничить обход

Добавьте в robots.txt:
User-agent: FridiScout
Disallow: /