Le robots.txt, source de trouvailles cachées

Ah, les joies du référencement: un monde si particulier, avec ses codes, ses techniques, ses méthodes obscures, ses astuces du jour qui sont la solution à tous les maux…

Tout le monde sait à quoi sert le fichier robots.txt: il permet de donner des consignes aux moteurs. Par exemple, on peut dire à Google qu’il peut visiter tout le site mais refuser à Bing d’accéder à un dossier ou certaines pages.

via gourous-du-net.com

Effectivement, pourquoi ne pas tout simplement supprimer le contenu ?

Permalink | Leave a comment  »