Les crawlers

Un crawler est un robot (aussi appelé bot ou spider) qui parcourt le web et récupère automatiquement les pages web visitées. Les moteurs de recherche ont des crawlers qui se chargent du travail d’indexation des pages web.

Le crawler de Google s’appelle GoogleBot alors que celui de Yahoo s’appelle Yahoo Slurp. Quant au crawler de Microsoft Bing (successeur de Microsoft Live Search), il s’appelle MSNBot.

A chaque fois qu’un crawler visite une page web, il en fait l’analyse, en extrait les liens vers d’autres pages web et les indexe dans sa base de données.

Connaître leur fonctionnement, permet de lever les obstacles susceptibles de freiner l’indexation de votre site web. Le but ici est de leur faciliter la tâche.

La soumission manuelle

La manière la plus conventionnelle de signaler votre site web à un moteur de recherche est la soumission manuelle. Ci-dessous les adresses des formulaires de soumission pour :

– Google : http://www.google.fr/addurl/

– Yahoo : http://fr.docs.yahoo.com/info/ajouter.html

– Bing : http://www.bing.com/docs/submit.aspx

Il n’y a plus qu’à remplir les formulaires correspondant en y indiquant l’url des pages de votre site web.

Dois-je soumettre toutes les pages de mon site web ?

Vous pouvez ne soumettre que votre page d’accueil (c’est ce que recommandent la plupart des moteurs de recherche sur leur formulaire de soumission). Dans ce cas, vous devrez compter sur le travail du moteur pour indexer le reste de vos pages web. En général, il ne tarde pas à la visiter, à en faire l’analyse, à en extraire les liens qui pointent vers l’intérieur (et également l’extérieur) de votre site web et à les indexer dans sa base. Si tout se passe bien, quelque temps plus tard, il fait de même avec les liens indexés à l’étape précédente, et ainsi de suite, jusqu’à crawler l’intégralité de votre site web. Avec un peu de patience, l’intégralité de votre site web sera ainsi crawlée.

Vous pouvez aussi soumettre toutes les pages de votre site web. Le travail est fastidieux mais vous aurez, en contrepartie, la certitude de leur indexation. Bon courage !

Faites comme bon vous semble !

En fait, ne faîtes ni l’un, ni l’autre !

l’Indexation naturelle

Rien ne vaut une indexation naturelle. Nous verrons plus loin que ce n’est pas tout à fait vrai, qu’il est possible de parfaire l’indexation naturelle.

Le mieux reste d’être recommandé par un autre. Si un site web fait un lien vers le vôtre et que celui-ci est indexé par les moteurs de recherche, l’indexation de votre site web ne tardera pas à commencer. Il vous faut donc pour ce faire, vous faire remarquer par d’autres.

C’est doublement efficace. D’une part, les liens signaleront votre site web aux moteurs de recherche de manière naturelle. D’autre part, ces mêmes liens vous octroieront un début de popularité. En effet, ces liens ne sont ni plus, ni moins que des backlinks.

Comment me faire remarquer ?

En publiant, par exemple, des articles sur d’autres sites populaires. En faisant des échanges de liens avec d’autres sites web thématiquement apparentés, en créant un buzz autour d’un événement, etc. Il existe de multiples méthodes qui ne sont pas vraiment l’objet de ce document. Ces méthodes relèvent souvent du web marketing.

L’indexation par le Google Toolbar

Google concentrant de nombreux intérêts, il est intéressant de noter le rôle particulier que peut avoir la Google Toolbar. Lorsque celle-ci affiche le PageRank d’une page, elle envoie à Google l’adresse de la page et la lui soumet indirectement par ce biais. En générant du trafic sur votre site web, vous augmenterez la possibilité d’avoir des visiteurs ayant la fameuse Toolbar. Ils soumettront alors, une à une, les pages de votre site à Google à leur insu. Ce n’est certes pas sa vocation première, néanmoins les spécialistes du référencement sont plutôt de cet avis.

Forum, vous avez des retours d’expérience à partager, n’hésitez pas à laisser un commentaire pour nous expliquer comment ca marche pour vous ?