User-agent: * Disallow:/annuaire.html Disallow:/construction.html # User-Agent: Détermine le spider utilisé pour les règles # définies après à l'aide de Disallow. # * Les règles s'appliquent à tous les robots. # Nom du robot (par exemple Googlebot) # Les règles s'appliquent seulement au robot spécifié. # Disallow: Détermine quel répertoire ou fichier Exclure # lors de l'indexation pour le robot déclaré dans User-Agent # Disallow: Aucune page n'est exclue par le spider. # Toutes les pages du site peuvent être indexées. # Disallow: / Tout le site est exclu. # Permet d'interdire l'indexation pour un robot spécifique. # Disallow: /repertoire/ Désactive l'indexation des répertoires. # /repertoire/, /repertoire/sousrep/, /repertoire/page.html ne seront pas explorés.