User-agent: Googlebot
User-agent: Slurp
User-agent: bingbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*.jpg$
Disallow: /*?
Disallow: /temp/
Disallow: /temp/       # Die Dateien sind sehr kurzlebig
Disallow: /logfiles/   # Die ändern sich jeden Tag
Disallow: /bilder/     # Bilder nicht downloaden
Disallow: /cgi-bin/    # CGI Ausgaben nicht indexieren
Disallow: /news.html

Sitemap: http://bibliapentrusceptici.ro/sitemap.xml