Qu'est-ce que le fichier Robots.txt?
Le fichier robots.txt indique aux moteurs de recherche quelles pages de votre site ils peuvent ou ne peuvent pas explorer.
Le fichier robots.txt est un fichier texte placé à la racine de votre site web (exemple : h1site.com/robots.txt). Il sert de guide pour les robots d'indexation (crawlers) des moteurs de recherche comme Google, Bing ou Yahoo.
À quoi sert-il?
- ●Contrôler l'exploration : Vous pouvez bloquer l'accès à certaines sections de votre site (pages d'administration, fichiers sensibles, pages en double).
- ●Économiser le budget de crawl : Les moteurs de recherche allouent un nombre limité de requêtes par site. En bloquant les pages non importantes, vous orientez les robots vers votre contenu prioritaire.
- ●Pointer vers le sitemap : Vous pouvez y indiquer l'emplacement de votre fichier sitemap.xml.
Exemple de fichier robots.txt
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /
Sitemap: https://h1site.com/sitemap.xml
Erreurs courantes
- ●Bloquer accidentellement tout le site avec
Disallow: / - ●Oublier de référencer le sitemap
- ●Penser que robots.txt empêche l'indexation (il empêche l'exploration, pas l'indexation)
Impact SEO
Un robots.txt bien configuré améliore l'efficacité du crawl et s'assure que Google concentre ses ressources sur vos pages les plus importantes.
Termes connexes
Qu'est-ce qu'une Meta Description?
La meta description est un court résumé HTML qui apparaît sous le titre dans les résultats de recherche Google.
Qu'est-ce que la Balise Title?
La balise title est l'élément HTML le plus important pour le SEO. C'est le titre bleu cliquable dans Google.
Qu'est-ce qu'une Balise Canonical?
La balise canonical indique à Google quelle est la version préférée d'une page lorsqu'il existe du contenu dupliqué.
Qu'est-ce que le Hreflang?
Le hreflang est un attribut HTML qui indique à Google la langue et la région ciblée d'une page pour les sites multilingues.
Qu'est-ce que X-Default Hreflang?
X-default est une valeur spéciale du hreflang qui désigne la page par défaut pour les utilisateurs dont la langue n'est pas spécifiquement ciblée.
Qu'est-ce qu'un Sitemap XML?
Un sitemap XML est un fichier qui liste toutes les pages importantes de votre site pour aider Google à les découvrir.