User-agent: StackRambler
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /board/

User-Agent: *
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /a_linkoff/
Disallow: /a_web/
Disallow: /board1/
Disallow: /dkran/
Disallow: /dtali/
Disallow: /dtili/
Disallow: /graf/
Disallow: /htm/
Disallow: /kran/
Disallow: /krand/
Disallow: /links_katalog/
Disallow: /mail/
Disallow: /mega2/
Disallow: /stat/
Disallow: /styles/
Disallow: /tali/
Disallow: /talid/
Disallow: /test/
Disallow: /_admin/
Disallow: /_htm/
Disallow: /_links/
Disallow: /_other/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /ltkz/
Disallow: /lkz/
Disallow: /lemmens-kran/
Disallow: /podem-kran/
Disallow: /mostovoy-kran-pdm/
Disallow: /pdm-tali/
Disallow: /stat-pdm-kran/
Disallow: /tali-sks/
Disallow: /tali-electricheskie-ksk/
Disallow: /kran-mostovoy-ksk/
Host: www.kran-sk.ru