User-agent: * 
Disallow: /temp 
# запретить всем роботам индексировать ссылки, 
#которые начинаются с /temp