Lorsque nous avons terminé de développer un site, nous le mettons en ligne et nous procédons à son référencement. Autrement dit, nous signalons sa présence aux principaux moteurs de recherche afin qu'ils indexent le nouveau site dans leur base de données.
Pour ce faire :
- nous insérons un vignette sur notre page d'accueil afin d'établir le premier lien vers le site
- Nous insérons un fichier robots.txt pour dire aux moteurs de recherche l'attitude à adopter quant au contenu du site,
- Nous uploadons un plan sitemap afin d'aider Google et Yahoo! à trouver le contenu complet du site
Ensuite, il ne reste plus qu'à suivre l'évolution de l'indexation sur Google Webmaster.
Cette technique, la meilleure à mon sens, repose sur le principe de base de crawler qui passent d'un site à l'autre en suivant les liens. Mais il peut arriver qu'un tout nouveau site ne dispose d'aucun lien pointant vers lui. Dans ce cas, Google est évidemment incapable de le trouver. Il faut alors passer par une procédure d'enregistrement.
A cette fin, Google propose un formulaire de soumission de sites : http://www.google.com/intl/us/addurl.html. Il est à noter, cependant, que proposer son site à Google ne garantit absolument pas que celui-ci sera ajouté à l’index de Google.