User-agent: wget
Disallow: /

User-agent: webzip
Disallow: /

User-agent: webmirror
Disallow: /

User-agent: webcopy
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: *
Disallow: /logs/   # Die ändern sich jeden Tag
Disallow: /images/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren