User-agent: * Disallow: /search Crawl-delay: 9 # задает таймаут в 9 секунд