# robots.txt fuer http://www.sycom.de/ # alle robots User-agent: * Disallow: /cgi-bin/ Disallow: /stats/ Disallow: /legal.htm Disallow: /privacy.htm Disallow: /copyright.htm # robots.txt fuer http://www.soxmox.de/ # Ganze Site für alle Robots sperren #User-agent: * #Disallow: / # robots.txt for http://www.beispiel.de/ # Ganze Site freigeben #User-agent: * #Disallow: # für spammer # robots.txt for http://www.beispiel.de/ # bestimmtes crawler (scooter=altavista) darf die seite nicht besuchen #User-agent: scooter #Disallow: /