# /robots.txt file # # # Beispiel 1 Darf alles... User-agent: beispiel-1 Disallow: Disallow: /taa/Mld # Beispiel 2 Darf nichts... User-agent: beispiel-2 Disallow: / # Default crawler dürfen alles auser aufgeliste verzeichnisse inklusieve unterverzeichnisse User-agent: * Disallow: /~intern Disallow: /angebot Disallow: /Reports Disallow: /repTaa Disallow: /TaaRep Disallow: /taa/Mld Disallow: /taa/proj/plist.asp