Quand j'audite un site, la question revient sans cesse : pourquoi telle page n'apparaît pas dans Google alors qu'elle est en ligne ? Pour y répondre, il faut d'abord comprendre que Google ne fonctionne pas en une seule opération mais en trois grandes phases bien distinctes : l'exploration (le crawl), l'indexation, puis le classement. Une page peut très bien être explorée sans jamais être indexée, et indexée sans jamais bien se classer. Dans cet article, je retrace le parcours d'une page de sa découverte à son affichage, et je vous donne les leviers concrets pour mettre toutes les chances de votre côté.
Le parcours d'une page : du crawl au classement
Voici le chemin que suit une page, étape par étape. Google regroupe officiellement cela en trois grandes phases, la découverte des URL étant un sous-processus de l'exploration. Garder ces étapes séparées dans la tête est la clé pour diagnostiquer un problème de visibilité.
- Découverte des URL : Google trouve une nouvelle page parce qu'elle est liée depuis une page déjà connue, ou parce que vous la déclarez dans un sitemap.
- Exploration, le crawl, par Googlebot : le robot d'exploration télécharge le contenu de la page (texte, images, vidéos) selon ce que les directives du site l'autorisent à faire.
- Indexation : Google analyse le contenu et les balises clés comme le titre et les attributs alt, puis décide de stocker ou non la page dans son index.
- Classement et affichage : lors d'une recherche, Google interroge son index et affiche les pages jugées les plus pertinentes et de meilleure qualité pour la requête.
Important : toutes les pages ne franchissent pas chaque étape. Une page explorée n'est pas forcément indexée, et une page indexée n'est pas forcément bien classée.
Comment Google découvre et explore une page
Il n'existe pas de registre central de toutes les pages du web. Google doit donc chercher en permanence les pages nouvelles ou mises à jour, un processus que Google appelle la découverte d'URL. Concrètement, une URL est découverte de deux façons : soit Google suit un lien depuis une page qu'il connaît déjà, soit vous lui soumettez une liste de pages via un sitemap.
Le programme qui va chercher les pages s'appelle Googlebot, aussi désigné comme crawler, robot ou spider. Il utilise un processus algorithmique pour décider quels sites explorer, à quelle fréquence et combien de pages récupérer sur chacun. C'est ce qu'on appelle de façon informelle le budget de crawl. Pour la grande majorité des sites de taille modeste, ce budget n'est pas un facteur limitant. Il devient un vrai sujet sur les très gros sites, des dizaines ou centaines de milliers d'URL, où il vaut mieux éviter de gaspiller l'exploration sur des pages sans valeur, comme les résultats de recherche interne ou les pages en double.
Mes deux leviers de base pour aider le crawl : un maillage interne solide, chaque page importante devant être atteignable par des liens internes, et un sitemap XML propre et à jour, déclaré dans la Search Console. Sans lien entrant et sans sitemap, une page peut tout simplement rester invisible à Googlebot.
Comment une page est indexée, et pourquoi elle peut ne pas l'être
Une fois la page explorée, Google passe à l'indexation : il traite et analyse le contenu textuel, les balises et attributs clés comme l'élément <title> et les attributs alt des images. Durant cette phase, Google détermine aussi si la page est un doublon d'une autre ou sa version canonique, et regroupe les pages similaires. Les informations sur la page canonique peuvent alors être stockées dans l'index, une immense base de données.
Plusieurs raisons expliquent qu'une page explorée ne soit pas indexée. Les plus fréquentes que je rencontre : la page porte une balise noindex, elle est considérée comme un doublon d'une autre et Google a choisi une autre version comme canonique, son contenu est jugé de faible qualité ou trop mince, ou encore elle est inaccessible à cause d'une erreur serveur. À retenir : être exploré ne garantit pas d'être indexé, et l'indexation reste une décision de Google.
Les outils pour contrôler le crawl et l'indexation
Il existe quelques directives et outils qui agissent à des étapes précises du parcours. La confusion la plus dangereuse est de croire que le fichier robots.txt empêche l'indexation : ce n'est pas son rôle. Le robots.txt contrôle le crawl, pas l'indexation. Une page bloquée par robots.txt peut tout de même apparaître dans Google si d'autres sites pointent vers elle, car Google peut connaître son URL sans l'avoir explorée.
Corollaire essentiel : pour qu'une balise noindex soit prise en compte, la page ne doit pas être bloquée par robots.txt. Si Googlebot ne peut pas explorer la page, il ne verra jamais la directive noindex, et la page peut rester indexée. Pour désindexer une page, on laisse donc Google l'explorer et on lui applique un noindex.
| Outil ou directive | Rôle | Étape concernée |
|---|---|---|
| sitemap.xml | Déclarer à Google la liste des pages à explorer et faciliter leur découverte. | Découverte et crawl |
| robots.txt | Autoriser ou bloquer l'accès des robots à des URL. Contrôle le crawl, pas l'indexation. | Crawl |
| Balise noindex | Demander à Google de ne pas ajouter la page à l'index. La page doit rester explorable. | Indexation |
| Canonical | Indiquer la version de référence d'une page parmi plusieurs doublons ou variantes. | Indexation |
| Search Console, inspection d'URL | Vérifier l'état d'une page et demander son exploration. | Crawl et indexation |
Comment vérifier l'indexation d'une page
Pour savoir si une page est dans l'index, j'utilise deux méthodes complémentaires. La première, rapide mais approximative, est l'opérateur site: dans Google, par exemple site:monsite.fr/ma-page. S'il renvoie la page, elle est probablement indexée ; s'il ne renvoie rien, c'est un signal à creuser. Cet opérateur reste indicatif et non exhaustif.
La méthode fiable, c'est l'outil d'inspection d'URL de la Google Search Console. Il donne l'état réel de la page directement depuis l'index de Google : si l'URL est sur Google, quand elle a été explorée pour la dernière fois, la canonique retenue et les éventuels problèmes. On peut aussi y demander une indexation pour soumettre une URL nouvelle ou mise à jour. Attention : soumettre une URL reste une demande, Google décide ensuite si la page mérite d'être indexée, et le nombre de soumissions est limité. Ce n'est pas un bouton magique, mais un coup de pouce.
Questions fréquentes
Quelle différence entre crawl, indexation et classement ?
Le crawl, c'est Googlebot qui télécharge le contenu d'une page. L'indexation, c'est Google qui analyse cette page et décide de la stocker dans son index. Le classement, c'est l'ordre dans lequel les pages indexées s'affichent pour une requête. Une page peut être explorée sans être indexée, et indexée sans être bien classée.
Pourquoi ma page n'est-elle pas indexée ?
Les causes les plus courantes sont une balise noindex, un blocage qui empêche l'exploration, une page vue comme un doublon, un contenu jugé trop mince, ou une page sans aucun lien interne ni présence dans le sitemap. L'inspection d'URL de la Search Console vous indique précisément la raison.
Combien de temps faut-il pour qu'une page soit indexée ?
Il n'y a pas de délai garanti. Cela peut aller de quelques heures à plusieurs semaines selon le site, sa fréquence d'exploration, sa qualité et son maillage. Personne, y compris Google, ne promet de délai fixe.
Comment forcer l'indexation d'une page ?
On ne force pas vraiment l'indexation, on la facilite : déclarer la page dans le sitemap, la lier depuis d'autres pages du site, puis utiliser l'inspection d'URL de la Search Console pour demander une indexation. Cela reste une demande que Google peut accepter ou non.
Robots.txt ou noindex : lequel utiliser ?
Le robots.txt sert à empêcher l'exploration, mais il n'empêche pas une page d'apparaître dans les résultats si elle est liée ailleurs. Pour garder une page hors de l'index de façon fiable, utilisez la balise noindex, et veillez à ce que la page ne soit pas bloquée par robots.txt, sinon Google ne verra jamais le noindex.
