# запрещает всем поисковым роботам (* - все) сканировать директории /adm , /inc, /test 
   User-Agent: *
    Disallow: /adm/
    Disallow: /inc/
    Disallow: /test/