Les moteurs de recherche utilisent des robots qui se promènent en permanence sur le Web. Ces robots ont essentiellement deux fonctions : découvrir de nouvelles pages à indexer et rafraîchir leurs informations sur les pages déjà indexées.

Potentiellement, tout votre site peut être indexé par un moteur. Génial ? Non, pas forcément !

Les engins de recherche sont allergiques aux erreurs de code, aux liens brisés. Plus les robots parcourent de pages de votre site, plus la probabilité de tomber sur une erreur ou un lien brisé augmente (en règle général, il y a toujours des erreurs de code qui traînent à droite ou à gauche). Lorsqu'ils tombent sur ces imperfections, ils appliquent généralement une décote au site Web qui entraîne un déclassement dans le référencement.

De plus, les robots interprètent pas ou mal les pages dynamiques, et spécialement les frames. Si vous utilisez sur certaines de vos pages l'une ou l'autre de ces techniques (pages dynamiques pour la gestion d'un catalogue ou frames pour un tutorial par exemple), il est bon d'éviter l'indexation de ces pages pour les mêmes raisons que précédemment.

Il est donc important de contrôler quelles pages seront indexées et celles qui ne devront pas l'être.

Comment faire :

Deux façons :

Méthode 1 : Le fichier robots.txt

Création d'un fichier robots.txt contenant les dossiers que les robots ne doivent pas visiter. La syntaxe est la suivante :

# robots.txt pour le site http://www.chezmoi.fr
User-agent: *
Disallow: /nom_de_dossier/

Attention : Vous devez impérativement faire un retour chariot après chaque ligne.

Disallow: /nom_de_dossier/

Vous ne pouvez mettre qu'un nom de répértoire par ligne.

Méthode 2 : Utilisation du méta tag : <metaname="robots">

Qui permet d'interdire l'indexation d'une page et/ou de suivre les liens d'une page.
La syntaxe est la suivante :

<metaname="robots" content="noindex, follow"> n'indexe pas la page, suit les liens
<metaname="robots" content="noindex, nofollow"> n'indexe pas la page, ne suit pas les liens
<metaname="robots" content="index, nofollow"> indexe la page, ne suit pas les liens.

Avantage : vous pouvez spécifier des règles précises pour chaque page.
Inconvénient : Travail souvent fastidieux pour les sites possédant de nombreuses pages, car le travail doit être fait de façon manuelle.

Conclusion

Vous améliorerez grandement votre référencement en choisissant les pages qui sont destinées au référencement et optimisées (et exemptes d'erreurs) et en y cantonnant les moteurs de recherche.