Robots.txt - Référencement

Le fichier robots.txt est un fichier important au niveau du référencement car il va permettre de définir certaines règles aux différents robots d'indexation des moteurs de recherche.

Placé à la racine, ce fichier offre la possibilité de définir deux commandes:

• User-Agent qui indique quels sont les robots des moteurs de recherche à prendre en compte ou non. Comme valeurs, on peut mettre soit les noms de ces robots (exemple: Googlebot pour Google), soit la valeur étoile * qui signifie que tous les moteurs de recherche sont concernés.
• Disallow qui indique les différentes pages web qui doivent être exclues du processus d'indexation. La valeur indiqué doit commencer par un slash / avec le chemin du fichier (exemple: /repertoire/page.html). Si la valeur est /dossier-principal/, cela signifie que toutes les pages du dossier dossier-principal doivent être exclues. S'il n'y a comme valeur qu'un simple slash, cela signifie que le ou les robots de recherche doivent exclure toutes les pages du site.

Remarque: Pour une écriture correcte du fichier robots.txt, il faut savoir que celui-ci ne doit posséder aucune ligne vide. D'autre part, chaque instruction Disallow doit être donnée sur une seule ligne.

Exemple de fichier robots.txt créé:

1
2
3

User-Agent: *
Disallow: /dossier-principale/article1.html
Disallow: /dossier-secondaire/

Partager / Evaluer cette page web :