Un site non indexé par Google n’a aucun intérêt. Il n’est pas visible dans les résultats de recherche et, il ne génère aucun trafic organique.
Votre site est considéré comme inexistant sur le web.
En rédigeant cet article, nous avons souhaité vous donner la solution pour :
- Obtenir l’indexation de votre site.
- Comprendre pourquoi certaines pages de votre site sont indexées et pas d’autres.
- Faire une demande d’indexation pour de nouvelles pages.
Pour bien comprendre les fonctions de l’indexation d’une page, nous vous proposons un guide complet :
Qu’est-ce que le CRAWL et l’indexation ?
Le robot d’indexation de Google que l’on nomme Googlebot parcourt le web, découvrant ainsi de nouvelles pages chaque jour. Il les recense puis les indexe. On peut alors les voir apparaître au cours d’une recherche.
Définition des termes associés à une recherche et navigation sur le web.
- Crawl : Le crawl correspond à l’analyse de toutes les pages de site web via des liens afin de les classifier en fonction du sujet, de la qualité de leur contenu, de leur structure, etc.
- Googlebot : C’est le nom donné au robot d’indexation de Google.
- Indexation : C’est un processus de classement et de référencement afin d’établir une base de données.
- Robot d’exploration web : C’est un logiciel programmé pour crawler le web dans sa globalité afin de détecter tout nouveau contenu.
Si vous souhaitez que Google référence votre site web dans votre domaine d’activité, sur des mots-clés bien définis, votre page doit être indexée correctement. Votre contenu doit intégrer des signaux permettant à Google de comprendre votre article, son sujet, où et comment l’indexer.
Le référencement ne s’arrête pas au stade de l’indexation. L’objectif d’une page web, c’est de se positionner tout en haut de la SERP. L’optimisation SEO de votre page de site va contribuer favorablement à obtenir un classement en tête de la première page.
Comment savoir si mon site est indexé sur Google ?
Pour avoir la confirmation que votre site web est bien indexé par le moteur de recherche Google, utilisez la commande de recherche « site : ».
Exemple concret :
- Allez sur le moteur de recherche Google.
- Tapez dans la barre de recherche « site:votre nom de domaine.fr»
- Google vous indique le nombre de pages indexées pour ce nom de domaine
👉Info supplémentaire : Pour effectuer votre recherche, ne laissez pas d’espace autour des “: “
Première option : aucun résultat n’apparaît
Si Google ne vous indique aucun résultat, cela signifie que le moteur de recherche n’a indexé aucunes pages de votre site.
Seconde option : Google affiche des pages web
Si Google indique “Environ x résultats” tout en affichant les pages dessous, vous avez la confirmation que celles-ci sont indexées. Lors d’une recherche par un internaute, elles sont susceptibles d’apparaître dans les résultats de recherche.
Cette solution de recherche est simple et rapide mais malheureusement pas fiable à 100 %. On constate que parfois, certaines URL indexées ne s’affichent pas avec cette méthode.
Indexer ses pages grâce à la Google Search Console
Si la méthode précitée vous a confirmé que les pages de votre site ne sont pas indexées sur le moteur de recherche Google, vous devez procéder à une demande d’indexation par la Google Search Console.
Procédure d’indexation d’une ou plusieurs pages :
1) Connectez-vous à votre Google Search Console
2) Utilisez l’onglet “Inspection de l’URL”
3) Collez l’URL de votre page dans la barre de recherche
4) Attendez que Google vérifie l’URL
Dans ce cas, il y a deux possibilités :
- Première possibilité : La Search Console vous indique que l’URL est bien indexée sur Google.
- Seconde possibilité : La Search Console vous informe que l’URL n’a pas été indexée par Google.
5) Cliquez sur le bouton « Demander une Indexation »
Un compte Google Search Console est nécessaire pour accéder à l’outil de vérification. Si votre compte n’est pas créé :
- Connectez-vous à votre compte Google.
- Renseignez l’URL de votre site à la Search Console
- Vérifiez et validez la propriété de votre site Web
Pour vous aider dans la configuration de votre Google Search Console, vous pouvez consulter la vidéo ci-dessous. 👇
Contrôlez l’indexation de vos pages web au bout de quelques jours. Si malheureusement, Google n’a toujours pas pris en compte votre demande d’indexation, suivez les conseils cités plus bas.
Supression des blocages d’exploration à partir du fichier robots.txt
L’une des raisons pour que Google n’indexe pas les pages de votre site internet, peut être que le fichier robots.txt a demandé le blocage d’exploration de vos pages de sites.
Pour contrôler cette éventualité, accédez à votre fichier robots.txt en tapant sur la barre de recherche Google : nomdedomaine.fr/robots.txt Les informations suivantes apparaissent :
- User-agent: Googlebot
- Disallow: /
- User-agent: *
- Disallow: /
Ces annotations confirment que le robot Googlebot n’est pas autorisé à parcourir puis à indexer les pages de votre site. La seule solution pour résoudre ce problème, c’est de les supprimer.
Pour vérifier qu’un blocage d’exploration à l’intérieur du fichier robots.txt est à l’origine de la non-indexation des pages par Google, collez l’URL dans la barre d’inspection de la Google Search Console.
Dans la section « Exploration», vous pourrez voir plus de détails. Si vous remarquez qu’en face « Exploration autorisée ?», il est indiqué «Non : bloqué par l’erreur robots.txt », vous aurez la confirmation que votre page de site est bien bloquée par le fichier robots.txt.
Contrôlez à nouveau votre fichier robots.txt afin de procéder à une « désactivation » spécifique de la page ou de la sous-section associée.
Besoin d’aide avec tous ces aspects techniques ? Faites appel à une agence SEO technique spécialisée dans le domaine !
Retirer les balises noindex non autorisées
Pour garantir le caractère confidentiel de certaines de vos pages, vous ne souhaitez pas que Google procède à leur indexation. Il faut donc lui transmettre l’information. Pour y parvenir, deux méthodes :
Méthode 1 : balise méta
Les balises Meta présentes dans la section <head> de pages de sites ne sont pas indexées par Google :
- <meta name= »robots » content= »noindex »>
- <meta name= »googlebot » content= »noindex »>
Ces balises méta robots servent à indiquer à Google et aux autres moteurs de recherche qu’ils doivent procéder à l’indexation ou non de la page web.
Si la valeur « noindex » apparaît dans la balise, votre page ne sera jamais indexée.
Méthode 2 : l’entête HTTP X-Robots-Tag
Les balises no index non autorisées peuvent être supprimées :
- en utilisant un langage de programmation appelé script (PHP)
- en ajustant la configuration du serveur
- en modifiant le fichier .htaccess
Pour avoir la certitude que Google n’a pas la possibilité d’explorer une page en raison de cet en-tête, reprenez l’outil d’inspection d’URL de votre Google Search Console. Accédez à la section “Indexation”.
Saisissez l’adresse du site concerné. Le message suivant apparaît ? : « Indexation autorisée ? Non : ‘noindex‘ détecté dans l’en-tête HTTP ‘X-Robots-Tag‘ ».
Des corrections s’imposent pour solutionner le problème !
Procédez à un ajustement de la configuration de votre serveur, de votre fichier .htaccess ou de votre code côté serveur. Assurez-vous que « noindex« ne soit pas inscrit dans l’en-tête X-Robots-Tag.
Suite à ces modifications, le robot de Google devrait pouvoir explorer et indexer votre page de site.
Inclure la page dans votre SITEMAP
Le sitemap ou plan de site est un fichier regroupant toutes les informations relatives à votre site internet. Google y retrouve toutes les pages de votre site avec notamment des indications sur leur niveau d’importance et sur la fréquence d’exploration de ces pages. Le sitemap facilite le travail de Google.
Pour contrôler que votre page se trouve bien à l’intérieur du sitemap, connectez-vous à nouveau sur votre Google Search Console et collez l’URL de votre page dans la barre d’inspection.
Si votre page n’est pas incluse dans le plan du site ou bien non indexée, le message d’erreur suivant s’affiche : “URL non présente dans Google” et “Plan du site : N/A”
Une autre solution peut vous permettre de vérifier la présence de votre page dans votre sitemap. Accédez à l’URL de votre sitemap en utilisant la formule suivante : votredomaine.fr/sitemap.xml. Les URL des pages référencées dans le sitemap s’affichent.
Si, à la suite de ces différents contrôles vous vous rendez compte qu’une page de votre site est manquante à votre sitemap, vous devez la rajouter ou procéder à une demande d’indexation.
Besoin d’aide pour performer ? Demandez un devis SEO.
Suppression des balises canoniques trompeuses
Une balise canonique est partie intégrante du code HTML, langage de balisage sur le web. Elle informe Google ou tout autre moteur de recherche sur la version préférée de votre page de site. Elle se présente sous cette forme : <link rel= »canonical » href= »/page.html/ »>
Toutes les pages de site n’ont pas de balise canonique. Certaines pages possèdent une balise canonique pointée vers elles-mêmes. Le but est de signifier à Google qu’elles sont la version préférée et qu’elles doivent être indexées.
Attention toutefois à ne pas intégrer une balise canonique non valide, indiquant à Google une version préférée de la page inexistante. La page de votre site ne serait alors pas indexée.
Utilisez l’outil d’inspection d’URL de la Google Search Console pour vous assurer de la présence de la balise canonique. Le message « La page n’est pas indexée : Autre page avec balise canonique correcte » confirme que la balise canonique est présente mais pointe vers une autre page.
La suppression de la balise canonique est possible et recommandée si vous jugez qu’elle n’a pas sa place sur une page et que vous souhaitez son indexation.
La présence d’une balise canonique ne doit pas être considérée systématiquement comme problématique, bien au contraire. Les pages qui les intègrent ont généralement pour but d’informer Google sur la version préférée de la page et elles n’ont pas nécessairement besoin d’être indexées. Contrôlez donc toujours avant d’effectuer toutes suppressions de balise canonique.
Vérifier l’existence de liens vers la page
Les pages orphelines sont des pages web qui ne sont pas trouvables via un lien interne de votre site. Elles ne sont liées à aucunes autres pages.
Lorsque les robots de Google explorent de nouveaux contenus en parcourant les liens internes du site, les pages orphelines ont peu de chance d’être découvertes. Idem pour les internautes qui effectuent des recherches sur le site.
Les pages orphelines sont donc à proscrire de votre site. Seuls des liens internes cohérents vont garantir que chacune des pages pertinentes de votre site soit visible des visiteurs et de Google.
Corriger les liens internes
Les liens Nofollow sont des liens qui indiquent aux moteurs de recherche de ne pas les prendre en compte d’un point de vue du référencement. La balise qui les définit est la suivante : rel= »nofollow ». L’objectif des liens Nofollow est d’éviter d’avoir un effet négatif sur la PageRank de votre site.
Au cours de l’exploration des pages web, les moteurs de recherche ne tiennent théoriquement pas compte des liens Nofollow. Google confirme que les liens cibles ne sont pas pris en considération au cours de leur appréciation. Néanmoins, Google précise que ces pages cibles sont parfois visibles dans l’index. La raison ? D’autres sites les mentionnent sans utilisation de la balise Nofollow ou bien les URL de ces liens sont soumises à l’analyse de Google par l’intermédiaire d’un sitemap.
Vérifiez que tous les liens internes pointent vers des pages devant être indexées et ne comportant pas de balises Nofollow. Si des balises Nofollow sont présentes, supprimez-les, si vous ne souhaitez pas que la page soit indexée.
Ajouter du liens internes
Pour aider Google à découvrir du contenu récent publié sur votre site web, veillez à créer des liens internes en direction des pages nouvelles. Sans ces liens internes qui mèneront vers le nouveau contenu, le moteur de recherche a peu de chance de l’explorer pour l’indexer.
En choisissant d’intégrer les liens internes à partir des pages jugées essentielles ou puissantes de votre site, vous avez la quasi-certitude que votre nouveau contenu sera rapidement repéré par Google puis indexé.
Les robots d’exploration de Google visitent régulièrement les pages pertinentes des sites internet. Si un maillage interne est fait à partir de ces pages, automatiquement, Googlebot atterrira sur la nouvelle page et procédera au crawl du contenu.
Comment trouver les pages les plus puissantes ?
Pour déterminer quelles sont les pages de votre site qui ont le plus de poids en termes de trafic, suivez ces quelques étapes :
- Une fois sur la page d’accueil de votre Google Search Console, cliquez à gauche dans l’onglet “Performances”.
- Sous le graphique de la page de performances, cliquez sur la section “Pages”.
Chaque page est répertoriée. En face chaque URL est indiqué le nombre de Clics et le nombre d’Impressions. Ces éléments vous permettent de voir quelles sont les pages les plus visitées par les internautes.
Améliorez le positionnement de votre site avec Slashr, expert SEO à Lille.
Améliorer la qualité GLOBALE DU SITE
Les problèmes d’indexation de pages ne sont pas systématiquement liés à des soucis techniques. Google peut tout à fait choisir de ne pas indexer certaines de vos pages car il juge votre site de qualité médiocre.
John Mueller a déclaré :
« Si vous avez un site plus petit et que vous constatez qu’une partie importante de vos pages n’est pas indexée, je prendrais du recul et j’essaierais de reconsidérer la qualité globale du site Web et de ne pas trop me concentrer sur les problèmes techniques de ces pages. »
John Mueller de Google
Une amélioration de la qualité globale de votre site est donc impérative. Vous devez apporter des modifications sur le contenu de votre site web, notamment en renforçant les signaux d’autorité, d’expertise et de fiabilité (EAT). Google perçoit les changements positivement, et, favorise alors, l’indexation.
Optimisation du budget CRAWL
Certains sites font le choix de la quantité plutôt que de la qualité. Un grand nombre de pages sont publiées sur le site mais elles présentent peu d’intérêt.
Ces pages apportent peu de valeur ajoutée à votre site. Google confirme dans sa documentation interne que ces pages jouent défavorablement à l’exploration des pages puissantes de votre site web. Plus il y a de pages à explorer, plus Google va passer du temps à les analyser.
Toutefois, Google certifie qu’un site contenant des milliers d’URL ne doit pas se préoccuper du « budget d’exploration » , qu’il sera dans tous les cas exploré efficacement par le spider. Il est plus prudent de procéder à la suppression de ces pages de mauvaise qualité. Nous sommes persuadés que l’impact sur le “budget d’exploration” est bien réel.
OBTENIR des backlinks de qualité
Les backlinks déterminent la valeur d’une page Web. Une page est considérée comme importante et pertinente si elle a la chance de bénéficier de backlinks à forte autorité.
Une page intégrant des liens de haute qualité renforce la probabilité d’être exploré régulièrement et rapidement.
Les pages sans backlinks sont, bien entendu, explorées et indexées également. Mais la présence de backlinks dans une page de site assure l’indexation par Google.
CONCLUSION SUR l’indexation
Retenez deux choses ! Si votre site web ou votre page web ne sont pas indexés, c’est que :
- Votre site comporte des problèmes techniques bloquant toute possibilité d’indexation.
- Votre site ou votre page est évalué comme du contenu de mauvaise qualité n’apportant pas d’intérêt majeur à l’utilisateur.
Les deux hypothèses sont possibles pour la même page. Les problèmes techniques sont majoritairement la raison la plus fréquente d’une non-indexation. Ils entraînent des erreurs de balisage HTML voire des problèmes de structure de site. La qualité de votre site s’en trouve affectée et la probabilité d’indexation par les moteurs de recherche diminuée.