# robots.txt fuer www.dhd24.com # [siehe http://selfhtml.teamone.de/diverses/robots.htm] ######################################################## # Allgemein ######################################################## User-agent: * Disallow: / ######################################################## # bestimmte Bots freigeben ######################################################## User-agent: Adsbot-Google User-agent: Feedfetcher-Google User-agent: Googlebot User-agent: Googlebot-Image User-agent: Googlebot-Mobile User-agent: ia_archiver User-agent: MediaPartners-Google User-agent: msnbot User-agent: Slurp User-agent: TEOMA User-agent: eBay Relevance Ad Crawler User-agent: eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de) User-agent: Heritrix Allow: / Disallow: /recherche_inkasso/ Disallow: /anzeigenlesen_alt/ Disallow: /extra/trap/trap.php Disallow: /js_menu/ Disallow: /booking/