Pour permettre une bonne indexation de votre site Internet, il faut indéniablement :
- un contenu original et de qualité
- un maximum de liens pointant vers votre site
- un sitemap qui permet aux moteurs de recherche de connaître la structure exacte de votre site Internet.
En complément à ces éléments de bases incontournables, il est également utile de placer un fichier nommé robots.txt à la racine de votre site. En effet, c'est ce fichier que les crawlers des moteurs de recherche lisent AVANT de procéder à l'indexation d'un site Internet. C'est donc là que vous écrirez vos consignes afin que le site soit indexé comme vous le souhaitez :
- les moteurs que vous acceptez et ceux que vous refusez
- annoncer que telle partie de votre site est privée et ne doit pas être indexée (les dossier d’administration, par exemple)
- la vitesse à laquelle vous souhaitez que les moteurs indexent votre contenu
- l'endroit et ne nom de votre fichier sitemap
En plus de ces services, puisque seuls les robots accèdent à ce fichier, l'analyse des logs de connexion de ce fichier vous permettra de savoir à quel rythme les robots indexeurs visitent votre site.