Le dictionnaire technique de référencement des problèmes de référencement sur la page

Le dictionnaire technique de référencement des problèmes de référencement sur la page

Pages bloquées par le fichier robots.txt

Lorsque les pages de votre site Web sont bloquées par votre fichier robots.txt, cela signifie que les moteurs de recherche ne peuvent pas explorer ces pages.

Cela peut avoir un impact négatif sur votre référencement, car ces pages ne seront pas visibles pour les utilisateurs dans les résultats des moteurs de recherche.

Il est important de résoudre les problèmes liés au fichier robots.txt afin que vos pages importantes aient une chance de figurer dans les moteurs de recherche.

Qu'est-ce qu'un fichier robots.txt?

Un fichier robots.txt est un fichier créé par les propriétaires de sites Web pour autoriser ou restreindre l'accès. robots de moteur de recherche. Il s’agit essentiellement d’un signe «Go» ou «Stop» qui indique aux moteurs de recherche s’ils peuvent explorer votre site Web.

Une erreur «pages bloquées par robots.txt» indique que certaines pages de votre site Web ne sont pas accessibles aux robots des moteurs de recherche. Ces pages ne figureront pas dans les résultats de la recherche et ne pourront pas être trouvées de manière organique par les utilisateurs.

A quoi sert un fichier robots.txt?

Un fichier robots.txt est utilisé pour gérer le trafic des moteurs de recherche sur votre site Web. Vous pouvez choisir de limiter l’accès à certaines pages si vous ne souhaitez pas que les moteurs de recherche ou les utilisateurs les découvrent.

Par exemple, vous souhaiterez peut-être masquer certaines pages de destination afin que les utilisateurs ne s'y retrouvent qu'au travers d'une campagne marketing spécifique, et non via une recherche organique. Vous pouvez également limiter l’accès aux fichiers d’image, de style ou de script sans importance.

Pour savoir si une page a été explorée par Google, recherchez l'URL de la page dans Google.

Comment mettre à jour votre fichier Robots.txt

Si vous découvrez qu'une page importante est bloquée par votre fichier robots.txt et que vous souhaitez le débloquer, ou si vous souhaitez masquer une page des moteurs de recherche, vous devez mettre à jour votre fichier robots.txt (ou le configurer). un nouveau).

La procédure à suivre dépend du CMS et de l'hôte que vous utilisez. Nous vous recommandons de rechercher des instructions sur la façon de modifier votre fichier robots.txt pour votre hôte spécifique.

Tout d’abord, assurez-vous que le fichier robots.txt est accessible en écriture en utilisant FTP. Si ce n'est pas le cas, vous devrez peut-être modifier les autorisations de l'utilisateur.

  • Pour WordPress, vous pouvez également utiliser le Yoast SEO plugin mettre à jour votre fichier robots.txt.
  • Pour Wix, vous pouvez afficher les instructions de modification du fichier robots.txt. ici.
  • Pour Squarespace, lisez leurs instructions sur la modification du fichier robots.txt. ici.

Pour tester votre fichier robots.txt nouveau ou mis à jour, soumettre à Google pour qu'il soit rampé.