16 problèmes d'indexation que votre site peut rencontrer

Votre site web vous semble correctement optimisé, mais rien ne se passe de vraiment significatif. Voici quelques-unes des raisons pour lesquelles votre site risque de rencontrer des obstacles au cours de son indexation dans les différents outils de recherche.

Le délai d'indexation

Si votre site n'est pas encore indexé (il est tout jeune), il faut considérer le délai d'indexation des moteurs de recherche. La période de temps avant que les moteurs n'indexent votre site est généralement indiqué sur les pages de soumission de chacun d'entre eux. Mais il arrive parfois que ce délai ne soit pas exact ou non à jour. En moyenne, l'indice de temps peur aller d'une à huit semaines selon le moteur. Certains moteurs comme Altavista ou Inktomi proposent des formules payantes si vous souhaitez être indexé plus rapidement.

Déjà indexé

Les moteurs de recherche ne vont pas vous avertir de votre indexation, c'est à vous de le découvrir. La méthode pour découvrir si une page ou un nom de domaine a été pris en compte varie d'un moteur à l'autre. Ne vous dites pas que vous n'avez pas été indexé juste parce que vous avez recherché un mot-clé vous concernant et que vous n'êtes pas positionné dans les premières pages de résultats. Vous pouvez très bien être indexé mais que votre site apparaissent très loin dans les résultats.

Liens depuis la HomePage

Certains moteurs sont connus pour ne pas indexer les pages qui ne sont pas accessibles depuis la page d'accueil. Une rumeur à ce sujet a couru pour HotBot. Pensez à vos liens internes comme un ensemble de chemins partant d'une page vers d'autres. S'il n'y a pas d'accès depuis votre page d'accueil vers la page que vous souhaitez indexer, un moteur de recherche peut décider que cette page est inutile.

Les liens externes

Certains moteurs de recherche comme Google et HotBot sont connus pour refuser d'indexer des sites qui ne font pas de liens vers d'autres sites. Ou alors, ils peuvent indexer votre votre page d'accueil, mais refuseront d'indexer les autres pages à moins que vous ne proposiez des liens vers d'autres sites. Ou bien, ils vous indexeront pendant un moment, mais ensuite, vous sortiront de leurs bases de données si vous n'avez pas mis en place des liens externes après une certaine période de temps.

Les cadres (frames)

Le contenu à l'intérieur de frames HTML peut poser problème car un moteur de recherche peut indexer le contenu de la frame principale, mais pas les frames constituant la page intégrale, comme la frame de menu par exemple. Les visiteurs pourront alors trouver vos informations mais seront dans l'incapacité d'accéder à votre menu. Il est plus que préférable de créer des sites web sans frames.

Obstacles aux robots

Les moteurs de recherche ne peuvent pas indexer les sites qui nécessitent une inscription ou un mot de passe, et ils ne peuvent pas remplir les formulaires. Cela s'applique également à l'indexation du contenu d'une base de données consultable. La solution est de créer des pages statiques que les moteurs peuvent trouver et indexer sans effectuer d'action sur votre site. En fonction de votre système de base de données, il existe des programmes utilitaires et/ou des sociétés qui peuvent vous aider à résorber ce problème.

Les sites gratuits

A cause de toutes les "junk submissions" de sites web gratuits comme Geocities, de nombreux moteurs ont choisi de ne pas indexer les sites de ces domaines ou de limiter le nombre de pages qu'ils acceptent.

Coupable par association

Si votre site web partage la même adresse IP que d'autres sites sur votre serveur, il se peut que votre IP se retrouve interdite à cause de ce que quelqu'un d'autre a fait. Demandez à votre service d'hébergement si votre nom de domaine dispose de sa propre IP unique qui lui est assignée. Sinon, demandez-leur de le faire pour éviter d'être pénalisé à cause de quelqu'un d'autre.

Les pages dynamiques

Les pages dynamiques avec des URLs contenant des symboles spéciaux comme " ? " ou " & " sont ignorés par un certain nombre de moteurs de recherche. Les pages générées à la volée depuis une base de données contiennent très souvent ce genre de caractères. Dans ce cas, il est important de générer des versions statiques de chaque page que vous souhaitez faire indexer ou procédez à de la réécriture d'URL. Les scripts et les codes fantaisistes peuvent également être un obstacle à votre indexation. Lorsqu'il s'agit de moteurs de recherche, allez au plus simple.

Les trop longues pages

Si votre site a un chargement trop lent ou que les pages sont vraiment complexes et prennent trop longtemps à charger, il y a un moment où les robots arrêteront l'indexation de celles-ci. Pour éviter cela, limitez vos pages au maximum à 50K. Une bonne règle est : poids de la page + poids cumulé des images sur la page = 50-70K. Si le poids excède cette donnée maximum, les visiteurs avec des connections lentes partiront avant que la page ne soit complètement chargée.

Le manque de fiabilité de l'hébergement

Il est extrêmement important d'avoir un hébergement fiable. Si votre site ne répond pas lorsqu'un robot tente d'y accéder, il ne sera pas indexé. Pire encore, si vous êtes déjà indexé et qu'un robot tente de s'y connecter alors que votre site est inaccessible, ce dernier peut être désindexé (s'il y a répétition fréquente).

Le sp@m

Si vous employez des techniques douteuses qui pourraient être considérées comme sp@m, comme la répétition excessive de mots-clés, texte de la même couleur que le fond..., un moteur de recherche peut ignorer ou rejeter votre soumission.

Les redirections

Les redirections et les balises meta refresh peuvent parfois poser problème aux moteurs de recherche qui tentent d'indexer votre site. Si les moteurs de recherche "pensent" que vous essayez de tricher en utilisant le cloaking ou une technologie de redirection d'IP, ils ne vous indexeront pas du tout.

Soumissions dans les bonnes catégories

Lorsque vous soumettez votre site à des annuaires comme Yahoo!, Open Directory, LookSmart et les autres, une personne physique analysera votre site. Il décidera si votre site est d'une qualité suffisante pour être indexé. Ces annuaires peuvent vous aider à être indexé également dans d'autres moteurs de recherche. Assurez-vous donc de donner lors de vos soumissions d'annuaire toute l'attention dont ils ont besoin.

Limitation de pages

Les moteurs de recherche n'indexent pas toutes les pages de votre site. Il pourrait s'agir d'une douzaine de pages comme trois ou quatre cent selon le moteur. Google est l'un des moteurs qui parcourt le plus en profondeur les sites web. La profondeur est fonction de la popularité de liens. Les sites avec une forte popularité de liens sont considérés comme "dignes" d'une exploration plus approfondie.

Les erreurs

Parfois, les moteurs perdent tout simplement des soumissions de sites en raisons de bugs ou d'erreurs techniques. N'oubliez donc pas que des erreurs peuvent se produire, car ces moteurs gèrent des bases de données contenant des centaines de millions de pages.