# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/

# robots.txt fuer http://www.beispiel.de/
User-agent: *
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logs/   # Die ändern sich jeden Tag
Disallow: /bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /news.html   # Die news.html ändert sich täglich

Disallow: /blog/wp-content/
Disallow: /cpg135/
Disallow: /bewerbung/
Disallow: /gamer-fm/
Disallow: /shared/
Disallow: /shared/*
Disallow: /blog/?page_id=211