User-agent: *
Disallow:/annuaire.html
Disallow:/construction.html
# User-Agent: Détermine le spider utilisé pour les règles
# définies après à l'aide de Disallow.
# * Les règles s'appliquent à tous les robots.
# Nom du robot (par exemple Googlebot)
# Les règles s'appliquent seulement au robot spécifié.
# Disallow: Détermine quel répertoire ou fichier Exclure
# lors de l'indexation pour le robot déclaré dans User-Agent
# Disallow: Aucune page n'est exclue par le spider.
# Toutes les pages du site peuvent être indexées.
# Disallow: / Tout le site est exclu.
# Permet d'interdire l'indexation pour un robot spécifique.
# Disallow: /repertoire/ Désactive l'indexation des répertoires.
# /repertoire/, /repertoire/sousrep/, /repertoire/page.html ne seront pas explorés.