Ne négligez pas votre fichier robots.txt

Le fichier robots.txt est utilisé pour autoriser ou bloquer l’accès à votre site par les robots des moteurs de recherche. N’étant pas forcément installé par défaut sur un serveur, le fichier n’est pas non plus généré par Wordpress lors de l’installation du CMS.

Je me permets de vous avertir sur l’importance de ce fichier dans le sens ou il peut, s’il est mal configuré, empêcher purement et simplement le référencement de tout votre site. En vous rendant sur l’admin Wordpress, vous pouvez le créer à partir de Réglages > Vie privée et en sélectionnant :

Je souhaite bloquer les moteurs de recherche, mais autoriser les visiteurs normaux

En revanche, il semblerait qu’un bug empêche la modification du fichier pour revenir à l’état initial, à savoir le fait de rendre le blog visible à tous, y compris les moteurs de recherche. J’en ai fait les frais sur mon blog et je ne souhaite pas que cela vous arrive. Prenez garde donc si vous avez sélectionné puis désélectionné cette option. Editez le fichier robots.txt à la main, c’est plus sûr.

Pour info, si vous souhaitez autoriser l’indexation de votre site par les robots, voici la syntaxe à intégrer :

User-Agent: *
Allow: /

Cependant, si pour une raison ou une autre, vous souhaitez interdire l’indexation de votre site à certains robots, voici la marche à suivre :

User-Agent : Googlebot
Disallow : /

Ici par exemple, on choisit d’interdire au robot Google de parcourir l’ensemble de votre site web. Enfin, si vous ne rencontrez pas de problème d’indexation, vérifiez tout de même que vous avez un fichier robots.txt avec la syntaxe par défaut autorisant l’indexation de votre site, c’est plus propre. Le fichier doit bien se nommer “robots.txt”, tout en minuscules et doit être placé à la racine de votre site.

(Source : http://www.wordpress-fr.net)

Article lu 72 fois par 22 visiteurs

Tags:Actus, bug, cms, Disallow, exemple, google, Googlebot, importance, indexation, info, installation, marche à suivre, modification, moteur, moteurs de recherche, référence, référencement, réglage, robot, robots, serveur, site, visiteur, web, wordpress