Le fichier robots.txt est un élément très important qu’il ne faut surtout pas ignorer. Passer à côté de la mise en place de ce fichier serait une grave erreur et serait nuisible pour votre stratégie SEO.
Toutes les personnes qui font du référencement savent l’importance de ce fichier. Si vous débutez, voici quelques indications très simples qui vont vous permettre d’avoir un fichier vraiment optimisé.
Qu’est-ce que c’est ?
Définition et fonctionnalité : Crée en format .txt, ce fichier sert à contrôler ce que les différents robots qui trainent sur le web et notamment celui de Google et des autres moteurs de recherche peuvent voir sur votre site internet.
C’est un élément indispensable que vous devez mettre en place sur votre site web car toutes vos pages ne méritent pas d’être indexées. Les web-masters qui indexent toutes les pages et même celles qui sont vides risquent une pénalisation algorithmique.
A noter que certains prétendent que ce n’est pas obligatoire. En effet, votre site fonctionnera sans la mise en place d’un tel fichier néanmoins, comme mentionné plus haut, si vous travaillez votre référencement et que vous voulez le maximum de visites, il est difficile de s’en passer.
Comment le mettre en place ?
Méthode et astuce : C’est loin d’être compliqué, c’est même plutôt simple de concevoir ce fichier. Il suffit d’ouvrir Notepad ou son Bloc Notes pour créer un fichier .txt. Vous devez ensuite le placer à la racine de votre site à l’aide d’un outil comme Filezilla. Si vous avez un site internet, vous l’utilisez probablement déjà.
Dans ce fichier, vous pouvez par exemple faire le choix de bloquer l’ensemble des robots. Pour cela, vous avez juste à écrire ces quelques lignes.
User-agent: *
Disallow: /
Vous indiquez User-agent: * ce qui veut dire que vous vous adressez à l’ensemble des robots. Disallow: / précise que les répertoires de votre site ne doivent pas être observées et donc ne pas être indexées sur les moteurs.
Si vous ne vous servez pas d’un CMS comme WordPress ou encore Prestashop, mettez en Disallow les pages qui sont vides et qui n’ont aucune utilité.
Exemple : Je possède un site avec des images. Je ne veux pas que les images soient indexées car je pense que ça va nuire à mon référencement. Pour ne pas indexer les images, je précise juste dans le fichier robots.txt
User-agent: *
Disallow: /images
WordPress
Maintenant, la plupart des gens utilisent ce CMS. Il y a des plugins comme par exemple WordPress SEO by Yoast qui s’en charge pour vous. Vous pouvez le télécharger sur le site de WordPress.
Si vous ne voulez pas vous ennuyer à télécharger une extension, voici quelques lignes qui vous permettront d’avoir simplement un fichier robots.txt optimisé pour Google, Bing et les autres moteurs de recherche.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /category/
Disallow: /tags/
Disallow: /page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Explication : Dans ce fichier, j’ai indiqué à des robots que je ne voulais pas qu’ils indexent des pages comme les catégories, les tags ou encore les archives de mon site.
Après, c’est à vous de voir. Peut-être que vous souhaitez afficher ces pages. Si c’est le cas, vous avez juste à enlever les lignes correspondantes.
Pour les débutants
Comme mentionné plus haut, si vous avez peur du résultat et que vous ne voulez pas gérer tout ça, installez un plugin comme Yoast ou encore All In One Seo Pack qui va le faire pour vous en moins de 2 minutes.
Si vous voulez obtenir de l’aide ou demander un renseignement en particulier sur le fichier robots.txt ou que vous n’avez pas du tout compris, n’hésitez pas à laisser un commentaire ou rendez-vous sur le forum pour en parler avec la communauté WordPress !