Sitemap et robots.txt expliqués simplement

Avez-vous déjà ajouté /robots.txt à la fin de l'adresse de votre site ? Ce fichier de quelques lignes, comme le sitemap qui l'accompagne souvent, s'adresse aux robots des moteurs de recherche, et une seule ligne mal placée peut rendre vos pages invisibles. Le sitemap et le robots.txt d'un petit site se comprennent pourtant en dix minutes, et se vérifient aussi vite.

Deux fichiers, deux rôles

Le sitemap, ou plan du site, liste les pages que vous souhaitez voir dans Google, avec pour chacune son adresse et souvent sa date de dernière modification. Il aide le moteur à découvrir vos pages, en particulier celles qui reçoivent peu de liens.

Le fichier robots.txt contient des consignes d'exploration : il indique aux robots les zones du site qu'ils peuvent parcourir et celles qu'ils doivent laisser de côté. Les robots des grands moteurs, comme ceux de Google ou de Bing, respectent ces consignes.

Ni l'un ni l'autre n'impose quoi que ce soit à Google. Le sitemap propose des pages, le robots.txt balise le chemin, et le moteur décide ensuite seul de ce qu'il enregistre et affiche.

Où les trouver sur votre site

Le robots.txt se trouve toujours à la racine du domaine : tapez votre-site.fr/robots.txt dans votre navigateur. S'il n'existe pas, une page d'erreur s'affiche, ce qui n'a rien d'inquiétant : sans consigne, les robots explorent librement le site.

L'adresse du sitemap dépend de l'outil qui a créé le site. Essayez dans cet ordre :

• votre-site.fr/sitemap.xml, l'adresse la plus courante ;
• votre-site.fr/sitemap_index.xml, utilisée par plusieurs extensions de référencement pour WordPress ;
• votre-site.fr/wp-sitemap.xml, le plan que WordPress génère lui-même ;
• la ligne « Sitemap: » du fichier robots.txt, qui donne souvent l'adresse exacte.

La plupart des créateurs de sites et des solutions de boutique en ligne produisent ces deux fichiers automatiquement et les tiennent à jour. Vous n'avez alors rien à écrire, seulement à contrôler.

Ce qu'ils contiennent pour un petit site

Le sitemap

À l'écran, un sitemap ressemble à une liste d'adresses entourées de balises techniques. Pour un restaurant ou un artisan, il compte quelques dizaines de lignes : l'accueil, les pages de services ou la carte, la page contact, les articles du blog. Google indique ignorer les champs de priorité et de fréquence que certains outils ajoutent, et tenir compte de la date de modification quand elle est exacte.

N'y figurent que des pages définitives et accessibles, que vous voulez voir dans Google. Restent dehors : la page de remerciement affichée après un formulaire, les pages de test, les anciennes adresses redirigées et les pages marquées noindex, une consigne qui demande aux moteurs de ne pas les afficher.

Le robots.txt

Pour un petit site, le fichier tient souvent en trois ou quatre lignes. « User-agent: * » s'adresse à tous les robots. « Disallow: » suivi d'un dossier, par exemple l'espace d'administration, leur demande de ne pas l'explorer. « Sitemap: » suivi d'une adresse complète indique où trouver le plan du site.

Un fichier qui n'interdit presque rien convient à la plupart des sites vitrines. Les interdictions ajoutées « par précaution » créent plus de problèmes qu'elles n'en règlent.

Envoyer le sitemap à Google

Dans Google Search Console, ouvrez la rubrique Sitemaps, saisissez l'adresse de votre plan du site dans le champ « Ajouter un sitemap », puis cliquez sur « Envoyer ». L'outil indique ensuite si le fichier a pu être lu, ainsi que le nombre de pages découvertes.

Comparez ce nombre avec la taille réelle de votre site. Un plan qui annonce plusieurs centaines d'adresses pour quinze pages contient sans doute des pages inutiles, comme les pages d'étiquettes d'un blog ou des pages créées pour chaque image. Un plan presque vide signale au contraire des pages oubliées.

Inutile de renvoyer le fichier après chaque modification : Google le relit de lui-même. Renvoyez-le après une refonte ou un changement d'adresse du sitemap. Dans ses paramètres, la Search Console propose aussi un rapport qui indique si Google a pu lire votre robots.txt. Les autres contrôles mensuels figurent dans le guide de Google Search Console.

Les erreurs qui coûtent cher

Bloquer tout le site

La ligne « Disallow: / », avec une simple barre oblique, interdit l'exploration de tout le site. Elle sert pendant la construction, puis reste parfois en place après le lancement. Quand des pages disparaissent de Google, c'est l'un des premiers points à contrôler, comme le rappelle l'article sur un site qui n'apparaît pas sur Google.

Compter sur le robots.txt pour cacher une page

Une adresse bloquée dans le robots.txt reste indexable : si d'autres sites la citent, Google peut l'afficher dans ses résultats, souvent sans description puisqu'il n'a pas pu lire la page. Pour retirer une page des résultats, utilisez une consigne noindex en laissant la page accessible aux robots, ou protégez-la par un mot de passe. Le fichier est en outre public : y inscrire un dossier confidentiel revient à en donner l'adresse à tout le monde.

Lister des pages redirigées ou supprimées

Un sitemap qui annonce des adresses redirigées ou en erreur envoie à Google des signaux contradictoires, que la Search Console relève. Le cas survient souvent après la suppression de produits ou une refonte. Le traitement de ces adresses est expliqué dans l'article sur les erreurs 404 et les redirections.

Bloquer les fichiers de mise en page

D'anciens fichiers robots.txt interdisent l'accès aux feuilles de style ou aux scripts du site. Google en a besoin pour afficher la page comme un visiteur, en particulier sur mobile. Retirez ces interdictions si vous en trouvez.

À vérifier cette semaine

1. Ouvrez votre-site.fr/robots.txt et assurez-vous qu'aucune ligne « Disallow: / » ne bloque l'ensemble du site.
2. Trouvez l'adresse de votre sitemap, parcourez-le et repérez les pages qui n'ont rien à y faire.
3. Envoyez-le dans la Search Console, puis notez le nombre de pages découvertes.
4. Si vous préférez confier ces réglages, l'option référencement local et IA, à 250 € HT, figure dans nos tarifs.