# robots d'analyse marketing User-agent: ia_archiver Disallow: / User-agent: zeus Disallow: / # collecteurs de mails User-agent: crescent Disallow: / User-agent: emailsiphon Disallow: / User-agent: extracorpro Disallow: / User-agent: emailcollector Disallow: / User-agent: emailwolf Disallow: / User-agent: nicerspro Disallow: / # aspirateur de site User-agent: teleport Disallow: / User-agent: wget Disallow: / User-agent: webzip Disallow: / User-agent: webcopier Disallow: / User-agent: offline Disallow: / User-agent: webbandit Disallow: / User-agent: webstripper Disallow: / User-agent: sitesnagger Disallow: / User-agent: website Disallow: / User-agent: teleportpro Disallow: / # s'adresse à tous les robots User-agent: * Disallow: /web-data/ Disallow: /1_carnets/ Disallow: /1_dessins/ Disallow: /1_images/ Disallow: /1_logos/ Disallow: /1_musique/ Disallow: /1_peinture/ Disallow: /1_photo/ Disallow: /2_boutons/ Disallow: /2_commentaireVisuels/ Disallow: /2_pdf/ Disallow: /2_ronde/ Disallow: /3_animations/ Disallow: /4_objD/ Disallow: /cgi-bin/ Disallow: /GeneratedItems/ # interdit l'accès au contenu des répertoires # Disallow: /temp/, Disallow: /perso/, Disallow: /en_travaux/, Disallow: /abonnes/ sont des solutions pour les modifs. # penser à exclure les pages en travaux déjà dans leur répertoire de destination. # /sitemap.xml sera lu par Google, Yahoo, Msn et Ask