- Damien Tremblay
- 17 février 2022
Google et les référenceurs du monde entier sont confrontés depuis quelques années à de sérieux problèmes d’indexation, qui affectent d’innombrables entreprises et webmasters du monde entier. Malgré les annonces officielles de « big G » indiquant que les problèmes d’indexation ont été résolus, les « problèmes » persistent.
Dans cet article, nous allons passer en revue les problèmes d’indexation de Google au fil des ans, expliquer ce qui peut empêcher Google d’indexer votre site Web et comment vous pouvez forcer la main de Google en utilisant des outils gratuits ou payants pour indexer vos pages !
Google est sans aucun doute l’un des plus gros monopoles au monde. Bing, son concurrent le plus proche dans le domaine de la recherche, ne détient que 2 % du marché, ce qui ne constitue pas une menace significative pour les 90 % de Google. Alors, que se passe-t-il lorsque les robots de Google ne font pas leur travail ?
Vous pouvez avoir le site web le plus sophistiqué au monde ainsi qu’un contenu de grande qualité, si Google ne peut pas l’explorer et l’indexer, personne ne vous trouvera sur le Web…
"Problèmes" d'indexation de Google confirmés le 1er octobre 2020
Tout a commencé à la fin du mois de septembre 2020, lorsqu’un certain nombre de plaintes relatives à des pages supprimées de l’index de recherche de Google sont apparues sur les réseaux sociaux. De nombreuses personnes ont commencé à signaler des problèmes de couverture de l’index et des erreurs de crawl sur des forums, des groupes Facebook, etc.
Twitter, comme toujours, a été le canal le plus populaire pour ce type de problèmes, car c’est le seul endroit où il y a une chance qu’un représentant de Google réponde réellement et rapidement au problème.
Il semblerait à l’époque que le représentant de Google, John Mueller, n’était pas au courant du problème, comme indiqué dans la capture d’écran ci-dessous.
Bien sûr, cela laisse beaucoup de place aux spéculations sur ce sujet, mais nous préférons nous concentrer ici uniquement sur les faits dans cet article. Tout bon référenceur Web sait évidemment que ces problèmes ne datent pas de 2020 !
Le 1er octobre, 24 heures plus tard, Google a officiellement annoncé que des problèmes d’indexation existaient et qu’ils s’efforçaient de les résoudre.
« Nous travaillons actuellement à la résolution de deux problèmes d’indexation distincts qui ont eu un impact sur certaines URL. L’un concerne l’indexation mobile. L’autre concerne la canonicalisation, c’est-à-dire la manière dont nous détectons et traitons le contenu dupliqué. Dans les deux cas, il se peut que des pages ne soient pas indexées… »
– Google SearchLiaison (@searchliaison) 1er octobre 2020
Au cours des 3 semaines qui suivirent, ils ont continué à communiquer des mises à jour sur les problèmes et la façon dont ils les résolvent. Les mises à jour les plus récentes et les plus importantes à ce sujet sont les suivantes :
- 9 octobre 2020 : l’indexation mobile a été effectivement résolue hier, avec environ 99 % des URL restaurées.
- 20 octobre 2020 : le problème de l’indexation canonique a été résolu mercredi dernier (14 octobre), avec environ 99 % des URL restaurées. Nous pensons que les cas restants seront rétablis d’ici une semaine ou deux.
Voici un lien vers une vidéo dans laquelle des membres de l’équipe search de Google expliquent comment Google essaye de limiter leur empreinte carbone depuis quelques années maintenant
Qu'est-ce que le problème d'indexation mobile de Google ?
Le problème d’indexation mobile a fait que les nouvelles pages Web publiées ont mis beaucoup de temps à être indexées et à apparaître dans l’index de Google. Certains des nouveaux contenus publiés ne sont parfois toujours pas indexés après des semaines.
Même les plus gros sites ont été touchés par ces problèmes !
Google a déclaré que « si une page précédemment indexée a disparu de l’index, il peut s’agir du problème d’indexation mobile, pour lequel nous ne parvenons pas à sélectionner la moindre page à indexer. »
Comment le problème d'indexation de Google affecte-t-il votre entreprise en ligne ?
Ce problème d’indexation a probablement une importance capitale pour votre site Web et sa réussite en ligne !
Des pages d’accueil, des articles de blog et des pages de produits ont parfois été désindexés du jour au lendemain. Imaginez que le site de votre entreprise n’apparaisse plus du tout dans les moteurs de recherches ?
Les erreurs dans la recherche Google vont provoquer une baisse importante de votre trafic organique et affecter négativement votre stratégie de marketing de contenu.
Comment diagnostiquer mes problèmes d’indexation ?
Avant de vous présenter nos solutions pour faire indexer votre contenu dans Google, il est important de comprendre la différence entre crawl et indexation et de vous aider à comprendre comment diagnostiquer ces soucis.
Différence entre le crawling et l'indexation des moteurs de recherche
Le crawling est le processus qui consiste à découvrir des pages de sites Web nouvelles ou mises à jour.
Après le crawling vient l’indexation. Dans cette phase, Google essaie de comprendre le contenu de la page (contenu, images, etc.) et décide ou non de l’intégrer dans son index. Toutes ces informations sont ensuite stockées dans l’index de Google.
Pourquoi mon site Web n'est-il pas indexé ?
Si vos pages ne sont pas indexées, il est possible que Googlebot ait rencontré un problème d’exploration ou d’indexation sur votre site dans un premier temps.
- Vérifiez que le fichier robots.txt ne bloque pas l’accès à vos ressources. Le fichier robots.txt indique aux robots comment explorer le site Web. En cas de doute et de problème persistant, videz complètement ce fichier un conseil !
- Vérifiez que votre fichier htaccess est correctement optimisé.
- Assurez-vous que les pages importantes ne comportent pas de métabalise Noindex. Les métabalises Noindex permettent à Googlebot d’explorer le site Web, mais suggèrent au robot de ne pas indexer la page.
- Assurez-vous que vous n’avez pas de pages orphelines. Les pages orphelines sont des pages sans lien. Un outil comme Screaming Frog vous aide à trouver les pages orphelines et affiche le code d’état. Un code d’état 200 signifie que la requête a abouti. Screaming Frog dispose d’une version gratuite qui permet d’explorer jusqu’à 500 URL.
- Assurez-vous que le code Javascript ne pose pas de problème. Dans la plupart des cas, Google est capable d’indexer du Javascript. Cela nécessite simplement une étape supplémentaire. Exploration–>indexation—>rendu. Pour vous assurer que Javascript n’est pas un problème, vous pouvez consulter le rapport d’inspection des URL dans la console de recherche.
- Assurez-vous que le WAF (web application firewall) de votre hébergeur ne bloque pas Googlebot. L’objectif d’un WAF est de prévenir les attaques des applications web, et Googlebot peut parfois être interprété par le WAF comme un robot « ennemi ». En conséquence, Googlebot est bloqué avant de pouvoir explorer le site web. Pour vérifier si le WAF génère des problèmes, vous devez afficher le rapport de couverture dans la console de recherche. Vérifiez la dernière fois que Googlebot a exploré le site Web et comparez-la aux informations du WAF.
Comment puis-je savoir si mon site Web a un problème d'indexation ?
- La première chose à faire est d’utiliser la commande site:domain.com dans Google et de voir s’il y a un écart entre le nombre d’URL totales de votre site et le nombre d’URL indexées.
- Utilisez la console de recherche Google pour découvrir les problèmes de crawl. Par exemple, si vous soumettez un sitemap et qu’il y a des problèmes de crawling, Google les indiquera dans le rapport de couverture.
- Sélectionnez les pages importantes et testez les URL dans le rapport d’inspection des URL de la console de recherche. La console de recherche Google fournit des informations pertinentes, par exemple si le crawler a rencontré une anomalie d’exploration. D’après notre expérience malheureusement, le simple fait de demander à Google d’indexer une page via la « Search Console » ne suffit pas toujours !
- Pour s’assurer que le problème est réel, il est également important de vérifier les URL testées directement dans Google avec l’expression site:url.
- Vous pouvez utiliser des outils se basant sur l’API de Google pour vérifier l’état d’indexation de plusieurs URL à la volée. L’outil gratuit https://valentin.app/inspect.html est un excellent outil.
Comment puis-je aider Google à indexer mon site Web ?
Pour aider Google à indexer votre site Web, il est important que tous les éléments détaillés ci-dessus soient passés en revue. Google doit être en mesure de comprendre le contenu de votre page ainsi que la structure de votre site Web. Pensez à utiliser une structure peu profonde et ne laissez pas des pages orphelines trop éloignées de votre page d’accueil !
Le référencement « on-page » est extrêmement important pour faciliter l’indexation de votre site. Pour améliorer le crawling, vous pouvez utiliser un sitemap et le soumettre à la console de recherche de Google.
Quelques astuces pour régler vos problèmes d'indexation dans Google !
Pour commencer voici nos 3 premiers conseils. S’ils peuvent paraitre quelque peu basiques, il s’agit selon nous de la façon la plus simple de régler ce genre de problème.
Traquez les visites des robots Google
Il existe de nombreuses approches permettant de traquer Googlebot sur votre site que ce soit en utilisant Google Analytics, les logs de votre serveur d’hébergement Web voire certains plugins WordPress développés dans ce but !
Vérifiez le contenu dupliqué
Assurez-vous que le contenu que vous utilisez n’est pas utilisé ailleurs sur le Web. Collez-le directement dans Google ou utilisez un outil comme killduplicate un conseil.
Ajoutez des liens internes puissants
Le fait de créer du maillage interne depuis des pages importantes de votre site vers la page qui ne s’indexe pas devrait l’aider à indexer.
Optimisez votre budget de crawl
Les robots Google assignent à chaque site un certain « crawl budget » qui correspond à la fréquence de passage des robots sur le site par rapport à sa notoriété sur le Web. Plus un site Web a de notoriété, plus la fréquence de publication de nouveau contenu est élevée, plus Google accorde d’intérêt à un site Internet.
Il est important de gérer son « crawl budget » et de faire en sorte de bloquer l’accès aux robots Google à vos ressources inutiles et que vous ne souhaitez pas voir apparaitre dans leur index. Il peut s’agir de vos catégories de blog si vous ne travaillez pas ce genre de pages sur votre site, des pages qui correspondent à votre panier et processus d’achat sur un site de commerce électronique, de vos liens d’affiliation sortant…
Créez des backlinks vers la page
S’il s’agit d’une page externe à votre site, vous ne pourrez forcément pas faire de maillage interne. Certains profils ou sites de type plateformes de blogging web 2.0 nécessitent de recevoir des liens externes pour être indexées.
Le simple fait de poster votre page ou article sur un profil de réseau social établi peut parfois suffire.
Rien ne fonctionne ? Il est temps de sortir l’artillerie lourde dans ce cas-là !
Indexer gratuitement son contenu
Pour indexer une page à laquelle vous avez accès, vous pouvez utiliser la technique de la sitemap vidéo démocratisée par un SEO américain du nom de Matt Diggity.
La technique est vraiment simple ici, il vous suffit d’intégrer une vidéo YouTube à votre page, d’installer le plugin Google XML sitemap for videos pour WordPress et de pinger Google à l’aide du plugin. Si Google juge votre contenu de qualité, votre page devrait se faire rapidement indexer !
Pour indexer des liens que vous venez de créer ou des URL que vous ne contrôlez pas, il existe une technique éprouvée, mais qui malheureusement marche de moins en moins d’après nos tests, car il faut passer par la Search Console de Google.
Il vous suffit de copier toutes les URL que vous souhaitez indexer et de procéder de la façon suivante :
- Utilisez un outil comme celui-ci pour convertir vos URL en lien hypertexte
- Ajoutez ce code à un fichier texte que vous allez nommer par exemple « profils.txt »
- Téléversez ce fichier via votre gestionnaire de ficher d’hébergement web sur votre site Web pour créer une page qui deviendra nomdedomaine/profils
- Copiez cette URL et insérez-la dans votre console de recherche Google pour demander son indexation. Cela devrait envoyer les robots Google droit vers vos liens et augmenter vos chances de les indexer.
Comme annoncé plus haut, cette technique qui marchait merveilleusement bien par le passé, à malheureusement vu ses effets diminuer au même titre que l’efficacité de l’outil de la console de recherche !
Utiliser un service d’indexation payant
Les services d’indexation payants sont bien connus des SEO et ce depuis des années !
Il est cependant difficile de trouver un service efficace permettant d’indexer à coup sûr ses url dans Google. C’est ici qu’intervient le service français indexation.fr !
Ce service permet d’indexer facilement les url de votre site internet ou vos backlinks créés sur des sites externes. L’interface est vraiment conviviale et ils vous rembourseront 90% du montant si votre url n’est pas indexée après 9 jours !
Il est possible de charger à la volée les url de votre choix, de les télé verser via un document Excel ou même de créer un projet de suivi de votre site Web pour permettre à leur système de crawler votre sitemap et de détecter votre nouveau contenu pour l’envoyer automatiquement à l’indexation ! L’essayer c’est l’adopter selon nous.
Voici un lien vous permettant de tester le service. Vous profiterez de -20% sur tout achat de crédits en utilisant notre code spécial opportunitesdigitales !
Plus d'actu Hébergement Web
