Le fichier robots.txt est un élément essentiel pour le référencement naturel de votre site WordPress. Il permet de contrôler l’accès des robots des moteurs de recherche à certaines parties de votre site, et ainsi d’optimiser leur exploration et leur indexation. Dans cet article, vous allez découvrir ce qu’est le fichier robots.txt, comment le créer et le modifier, quels sont les règles à respecter et à éviter, comment le tester et le soumettre à Google Search Console, et comment l’optimiser pour améliorer votre seo.
Qu’est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte qui se trouve à la racine de votre site web, et qui contient des instructions pour les robots des moteurs de recherche. Ces instructions sont appelées des directives, et elles indiquent aux robots quels sont les pages, les répertoires ou les fichiers qu’ils peuvent ou ne peuvent pas explorer et indexer. Par exemple, vous pouvez utiliser le fichier robots.txt pour empêcher les robots d’accéder à votre dossier wp-admin, à votre page de connexion, à vos fichiers cgi-bin, ou à tout autre contenu que vous ne souhaitez pas voir apparaître dans les résultats de recherche.
Le fichier robots.txt est donc un moyen de communiquer avec les robots des moteurs de recherche, et de leur indiquer comment traiter votre site web. Il est important de noter que le fichier robots.txt n’est pas obligatoire, et que les robots ne sont pas forcés de le respecter. En effet, certains robots malveillants peuvent ignorer le fichier robots.txt et accéder à des contenus sensibles ou confidentiels. De plus, certaines directives du fichier robots.txt peuvent être ignorées par des robots réputés, comme Google. Par exemple, Google ne tient pas compte des directives qui concernent la fréquence d’exploration de votre site. Vous pouvez ajuster cette fréquence dans les paramètres d’exploration de Google Search Console.
Le fichier robots.txt n’est donc pas une solution de sécurité pour votre site web, mais plutôt un outil d’optimisation seo. Il vous permet de guider les robots des moteurs de recherche vers les contenus les plus pertinents et les plus utiles pour les internautes, et d’éviter qu’ils ne perdent du temps et des ressources à explorer des contenus inutiles ou indésirables.
Comment créer et modifier le fichier robots.txt sur WordPress ?
Si vous avez un site WordPress, il y a de fortes chances que vous ayez déjà un fichier robots.txt par défaut. En effet, WordPress génère automatiquement un fichier robots.txt simple pour les nouveaux sites, et le place à la racine du site. Vous pouvez consulter le contenu de votre fichier robots.txt en ajoutant “/robots.txt” à la fin de l’URL principale de votre site. Par exemple, https://votre-site.com/robots.txt.
Le fichier robots.txt par défaut de WordPress est assez basique, mais vous pouvez facilement le remplacer par un fichier personnalisé qui correspond mieux à vos besoins seo. Il existe plusieurs méthodes pour créer et modifier le fichier robots.txt sur WordPress :
- Utiliser un plugin seo comme Yoast SEO ou All in One SEO Pack.
- Créer et télécharger votre fichier robots.txt via FTP.
- Modifier le fichier functions.php de votre thème WordPress.
Nous allons voir en détail chacune de ces méthodes dans les sections suivantes.
Utiliser Yoast SEO
Yoast SEO est l’un des plugins seo les plus populaires pour WordPress. Il vous permet de gérer facilement tous les aspects du référencement naturel de votre site, y compris le fichier robots.txt. Pour utiliser Yoast SEO pour créer ou modifier votre fichier robots.txt, suivez ces étapes :
- Installez et activez le plugin Yoast SEO si ce n’est pas déjà fait.
- Allez dans le tableau de bord WordPress, puis dans SEO > Outils.
- Cliquez sur l’outil “Éditeur de fichiers”.
- Vous verrez apparaître deux champs : un pour le fichier robots.txt, et un pour le fichier .htaccess. Si vous avez déjà un fichier robots.txt, vous verrez son contenu dans le champ correspondant. Sinon, vous verrez un message indiquant qu’aucun fichier robots.txt n’a été trouvé.
- Modifiez le contenu du champ robots.txt selon vos besoins. Vous pouvez ajouter, supprimer ou modifier des directives, en respectant la syntaxe du fichier robots.txt. Nous verrons plus loin quelles sont les règles à suivre et à éviter pour le fichier robots.txt.
- Une fois que vous avez terminé, cliquez sur le bouton “Enregistrer les modifications du fichier robots.txt”.
Voilà, vous avez créé ou modifié votre fichier robots.txt avec Yoast SEO. Vous pouvez vérifier que votre fichier robots.txt est bien en place en visitant l’URL https://votre-site.com/robots.txt.
Utiliser All in One SEO Pack
All in One SEO Pack est un autre plugin seo très populaire pour WordPress. Il vous offre également la possibilité de créer ou de modifier votre fichier robots.txt directement depuis le tableau de bord WordPress. Pour utiliser All in One SEO Pack pour gérer votre fichier robots.txt, suivez ces étapes :
- Installez et activez le plugin All in One SEO Pack si ce n’est pas déjà fait.
- Allez dans le tableau de bord WordPress, puis dans All in One SEO > Outils.
- Cliquez sur l’outil “Éditeur de fichiers”.
- Vous verrez apparaître deux onglets : un pour le fichier robots.txt, et un pour le fichier .htaccess. Cliquez sur l’onglet “robots.txt”. Si vous avez déjà un fichier robots.txt, vous verrez son contenu dans le champ correspondant. Sinon, vous verrez un message indiquant qu’aucun fichier robots.txt n’a été trouvé.
- Modifiez le contenu du champ robots.txt selon vos besoins. Vous pouvez ajouter, supprimer ou modifier des directives, en respectant la syntaxe du fichier robots.txt. Nous verrons plus loin quelles sont les règles à suivre et à éviter pour le fichier robots.txt.
- Une fois que vous avez terminé, cliquez sur le bouton “Mettre à jour le fichier”.
Voilà, vous avez créé ou modifié votre fichier robots.txt avec All in One SEO Pack. Vous pouvez vérifier que votre fichier robots.txt est bien en place en visitant l’URL https://votre-site.com/robots.txt.
Créer et télécharger votre fichier robots.txt via FTP
Si vous ne souhaitez pas utiliser un plugin seo pour gérer votre fichier robots.txt, vous pouvez opter pour une méthode plus manuelle : créer et télécharger votre fichier robots.txt via FTP. Pour cela, vous aurez besoin d’un logiciel FTP comme FileZilla, et des identifiants FTP de votre hébergeur web. Voici les étapes à suivre :
- Ouvrez votre logiciel FTP et connectez-vous à votre serveur web avec vos identifiants FTP.
- Naviguez jusqu’à la racine de votre site web, c’est-à-dire le dossier qui contient les fichiers wp-config.php, wp-admin, wp-content, etc.
- Vérifiez si vous avez déjà un fichier robots.txt dans ce dossier. Si oui, faites-en une copie de sauvegarde sur votre ordinateur, au cas où vous auriez besoin de revenir en arrière.
- Ouvrez un éditeur de texte comme Notepad ou Sublime Text, et créez un nouveau document texte.
- Rédigez le contenu de votre fichier robots.txt selon vos besoins. Vous pouvez ajouter, supprimer ou modifier des directives, en respectant la syntaxe du fichier robots.txt. Nous verrons plus loin quelles sont les règles à suivre et à éviter pour le fichier robots.txt.
- Enregistrez votre document texte sous le nom “robots.txt”. Veillez à ne pas ajouter d’extension supplémentaire comme .txt ou .html.
- Téléchargez votre fichier robots.txt sur votre serveur web, dans le dossier racine de votre site web, en écrasant le fichier robots.txt existant si nécessaire.
Voilà, vous avez créé ou modifié votre fichier robots.txt via FTP. Vous pouvez vérifier que votre fichier robots.txt est bien en place en visitant l’URL https://votre-site.com/robots.txt.
Modifier le fichier functions.php de votre thème WordPress
Une autre méthode pour créer ou modifier le fichier robots.txt sur WordPress consiste à utiliser le fichier functions.php de votre thème WordPress. Ce fichier contient des fonctions PHP qui peuvent modifier le comportement de votre site web. Il existe une fonction PHP qui vous permet de filtrer le contenu du fichier robots.txt généré par WordPress, et d’y ajouter vos propres directives. Pour utiliser cette méthode, suivez ces étapes :
- Connectez-vous à votre tableau de bord WordPress, puis allez dans Apparence > Éditeur de thème.
- Sélectionnez le fichier functions.php de votre thème actif dans la liste des fichiers disponibles.
- Ajoutez le code suivant à la fin du fichier functions.php, en remplaçant les directives par celles que vous souhaitez utiliser pour votre fichier robots.txt. Respectez la syntaxe du fichier robots.txt. Nous verrons plus loin quelles sont les règles à suivre et à éviter pour le fichier robots.txt.
// Filtre le contenu du fichier robots.txt function wpse_custom_robots_txt( $output, $public ) { // Si le site est public, ajoute les directives personnalisées if ( '0' != $public ) { // Définit les directives personnalisées $custom_directives = " User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /cgi-bin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://votre-site.com/sitemap.xml "; // Ajoute les directives personnalisées au contenu du fichier robots.txt $output .= $custom_directives; } // Retourne le contenu modifié du fichier robots.txt return $output; } // Ajoute le filtre au hook 'robots_txt' add_filter( 'robots_txt', 'wpse_custom_robots_txt', 10, 2 ); - Cliquez sur le bouton “Mettre à jour le fichier”.
Voilà, vous avez créé ou modifié votre fichier robots.txt avec le fichier functions.php de votre thème WordPress. Vous pouvez vérifier que votre fichier robots.txt est bien en place en visitant l’URL https://votre-site.com/robots.txt.
Quelles sont les règles à respecter et à éviter pour le fichier robots.txt ?
Maintenant que vous savez comment créer et modifier le fichier robots.txt sur WordPress, il est temps de voir quelles sont les règles à respecter et à éviter pour optimiser votre seo. Le fichier robots.txt suit une syntaxe précise, qui se compose de deux éléments principaux : les user-agents et les directives.
Les user-agents
Les user-agents sont les identifiants des robots des moteurs de recherche. Ils permettent de cibler les instructions du fichier robots.txt à un robot spécifique, ou à tous les robots. Par exemple, Googlebot est le user-agent du robot de Google, Bingbot est celui de Bing, etc. Pour indiquer le user-agent auquel s’applique une directive, on utilise la syntaxe suivante :
User-agent: nom-du-user-agent Par exemple :
User-agent: Googlebot Pour cibler tous les user-agents, on utilise un astérisque (*) :
User-agent: * On peut également utiliser plusieurs user-agents pour une même directive, en les séparant par des sauts de ligne :
User-agent: Googlebot User-agent: Bingbot User-agent: DuckDuckBot Les directives
Les directives sont les instructions qui indiquent aux user-agents quels sont les pages, les répertoires ou les fichiers qu’ils peuvent ou ne peuvent pas explorer et indexer. Il existe deux types de directives principales : Disallow et Allow.
La directive Disallow
La directive Disallow sert à interdire l’accès à un contenu spécifique. Elle se compose du mot-clé Disallow suivi d’un chemin d’URL relatif au domaine du site. Par exemple :
Disallow: /wp-admin/ Cette directive interdit l’accès au répertoire wp-admin, qui contient les fichiers du tableau de bord WordPress. On peut également utiliser un astérisque (*) comme caractère générique, pour interdire l’accès à tous les contenus qui contiennent un certain motif. Par exemple :
Disallow: /*.pdf Cette directive interdit l’accès à tous les fichiers PDF du site. On peut également utiliser un signe dollar ($) pour indiquer la fin d’un chemin d’URL. Par exemple :
Disallow: /wp-login.php$ Cette directive interdit l’accès à la page wp-login.php, mais pas aux pages qui contiennent wp-login.php dans leur URL, comme wp-login.php?action=register.
La directive Allow
La directive Allow sert à autoriser l’accès à un contenu spécifique, même si celui-ci est interdit par une autre directive. Elle se compose du mot-clé Allow suivi d’un chemin d’URL relatif au domaine du site. Par exemple :
Allow: /wp-admin/admin-ajax.php Cette directive autorise l’accès au fichier admin-ajax.php, qui est utilisé par WordPress pour gérer les requêtes AJAX, même si le répertoire wp-admin est interdit par une autre directive. La directive Allow est utile pour éviter de bloquer des contenus importants pour le fonctionnement ou le seo de votre site.
L’ordre des directives
L’ordre des directives dans le fichier robots.txt est important, car il peut influencer la façon dont les robots des moteurs de recherche les interprètent. En général, les robots suivent le principe du premier qui correspond : ils appliquent la première directive qui correspond à l’URL qu’ils veulent explorer, et ignorent les autres. Par exemple, si vous avez ces directives dans votre fichier robots.txt :
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Les robots vont interdire l’accès au répertoire wp-admin, mais autoriser l’accès au fichier admin-ajax.php, car la directive Allow correspond plus spécifiquement à cette URL. En revanche, si vous inversez l’ordre des directives :
User-agent: * Allow: /wp-admin/admin-ajax.php Disallow: /wp-admin/ Les robots vont interdire l’accès à tout le répertoire wp-admin, y compris le fichier admin-ajax.php, car la directive Disallow correspond plus généralement à cette URL. Il est donc recommandé de placer les directives les plus spécifiques en premier, et les directives les plus générales en dernier.
La directive Sitemap
La directive Sitemap sert à indiquer aux robots des moteurs de recherche l’emplacement du fichier sitemap de votre site web. Le fichier sitemap est un fichier XML qui contient la liste des pages de votre site web, ainsi que des informations sur leur fréquence de mise à jour, leur priorité et leur date de modification. Le fichier sitemap aide les robots des moteurs de recherche à explorer et à indexer plus efficacement votre site web. La directive Sitemap se compose du mot-clé Sitemap suivi de l’URL complète du fichier sitemap. Par exemple :
Sitemap: https://votre-site.com/sitemap.xml Cette directive indique aux robots des moteurs de recherche que le fichier sitemap se trouve à l’URL https://votre-site.com/sitemap.xml. Vous pouvez utiliser plusieurs directives Sitemap si vous avez plusieurs fichiers sitemap pour votre site web.
Les commentaires
Vous pouvez également ajouter des commentaires dans votre fichier robots.txt, pour faciliter sa compréhension et sa maintenance. Les commentaires sont des lignes qui ne sont pas interprétées par les robots des moteurs de recherche, et qui servent uniquement à expliquer le contenu du fichier robots.txt. Pour ajouter un commentaire, il suffit de commencer la ligne par un signe dièse (# ). Par exemple :
# Ceci est un commentaire Vous pouvez utiliser les commentaires pour séparer les différentes sections de votre fichier robots.txt, pour indiquer la source ou la date de modification d’une directive, ou pour tout autre information utile.
Les règles à respecter
Pour optimiser votre fichier robots.txt, il existe quelques règles à respecter :
- Utilisez un fichier robots.txt unique pour votre site web, et placez-le à la racine de votre domaine.
- Nommez votre fichier robots.txt en minuscules, sans espace ni caractère spécial.
- Respectez la syntaxe du fichier robots.txt, en utilisant les user-agents et les directives appropriés.
- Placez les directives les plus spécifiques en premier, et les directives les plus générales en dernier.
- Indiquez l’emplacement de votre fichier sitemap avec la directive Sitemap.
- Ajoutez des commentaires pour faciliter la compréhension et la maintenance de votre fichier robots.txt.
- Testez votre fichier robots.txt avec Google Search Console ou un autre outil en ligne.
Les règles à éviter
Pour éviter de nuire à votre seo, il existe également quelques règles à éviter :
- N’utilisez pas le fichier robots.txt pour bloquer des contenus sensibles ou confidentiels, car il n’est pas fiable à 100%.
- N’utilisez pas le fichier robots.txt pour empêcher l’indexation de vos pages, car il n’empêche pas les robots de les afficher dans les résultats de recherche. Utilisez plutôt la balise meta robots noindex.
- N’utilisez pas le fichier robots.txt pour bloquer des contenus qui sont liés par d’autres pages, car cela peut créer des erreurs d’exploration.
- N’utilisez pas le fichier robots.txt pour bloquer des contenus qui sont importants pour le seo, comme les images, les CSS, les JavaScript, etc.
- N’utilisez pas le fichier robots.txt pour bloquer l’accès à tout votre site web, sauf si vous avez une bonne raison de le faire. Utilisez plutôt un mot de passe ou une redirection.
- N’utilisez pas le fichier robots.txt pour indiquer la fréquence d’exploration de votre site web, car cette directive est ignorée par Google. Utilisez plutôt Google Search Console.
Comment tester et soumettre le fichier robots.txt à Google Search Console ?
Une fois que vous avez créé ou modifié votre fichier robots.txt sur WordPress, il est important de le tester et de le soumettre à Google Search Console. Google Search Console est un service gratuit de Google qui vous permet de surveiller et d’améliorer le seo de votre site web. Il vous offre notamment la possibilité de vérifier que votre fichier robots.txt est valide, qu’il ne contient pas d’erreurs ou d’avertissements, et qu’il ne bloque pas des contenus importants pour le seo. Pour tester et soumettre le fichier robots.txt à Google Search Console, suivez ces étapes :
- Connectez-vous à Google Search Console avec votre compte Google.
- Sélectionnez le site web que vous souhaitez analyser dans la liste des propriétés disponibles. Si vous n’avez pas encore ajouté votre site web à Google Search Console, vous devrez le faire en suivant les instructions fournies par Google.
- Cliquez sur l’onglet “Exploration” dans le menu latéral gauche, puis sur “Tester le fichier robots.txt”.
- Vous verrez apparaître le contenu actuel du fichier robots.txt de votre site web dans le champ supérieur. Vous pouvez modifier ce contenu si vous souhaitez tester des modifications avant de les appliquer sur votre site web.
- Cliquez sur le bouton “Tester” pour lancer l’analyse du fichier robots.txt. Vous verrez apparaître le résultat de l’analyse dans le champ inférieur. Si votre fichier robots.txt est valide, vous verrez un message indiquant “Autorisé”. Si votre fichier robots.txt contient des erreurs ou des avertissements, vous verrez un message indiquant “Bloqué”, ainsi que les détails des problèmes rencontrés.
- Si vous êtes satisfait du résultat de l’analyse, vous pouvez soumettre votre fichier robots.txt à Google en cliquant sur le bouton “Soumettre”. Vous devrez confirmer votre soumission en cliquant sur le bouton “Soumettre le fichier robots.txt actuel”.
- Google va prendre en compte votre fichier robots.txt et l’utiliser pour explorer et indexer votre site web. Vous pouvez suivre l’évolution de l’exploration et de l’indexation de votre site web dans Google Search Console, dans les onglets “Statistiques d’exploration” et “Index Google”.
Voilà, vous avez testé et soumis le fichier robots.txt à Google Search Console. Vous pouvez répéter cette opération à chaque fois que vous modifiez votre fichier robots.txt, pour vous assurer qu’il est conforme aux bonnes pratiques seo.
Comment optimiser le fichier robots.txt pour améliorer votre seo ?
Pour optimiser le fichier robots.txt pour améliorer votre seo, il existe quelques astuces supplémentaires que vous pouvez mettre en œuvre. Voici quelques exemples :
- Ajoutez des directives spécifiques pour chaque user-agent, si vous souhaitez adapter votre stratégie seo à chaque moteur de recherche. Par exemple, vous pouvez utiliser la directive Crawl-delay pour indiquer la durée minimale entre deux requêtes d’exploration pour un user-agent donné. Attention, cette directive n’est pas reconnue par Google, qui préfère que vous utilisiez Google Search Console pour ajuster la fréquence d’exploration.
- Ajoutez des directives spécifiques pour chaque type de contenu, si vous souhaitez contrôler finement l’accès aux différents éléments de votre site web. Par exemple, vous pouvez utiliser la directive Noindex pour indiquer aux robots des moteurs de recherche de ne pas indexer un contenu spécifique, même s’ils ont le droit de l’explorer. Attention, cette directive n’est pas officielle, et elle peut être ignorée par certains robots. Il est préférable d’utiliser la balise meta robots noindex dans le code HTML de vos pages.
- Ajoutez des directives spécifiques pour chaque langue ou région, si vous avez un site web multilingue ou multirégional. Par exemple, vous pouvez utiliser la directive Host pour indiquer aux robots des moteurs de recherche quel est le domaine principal de votre site web, si vous utilisez des sous-domaines ou des sous-répertoires pour gérer les différentes versions linguistiques ou régionales de votre site web. Attention, cette directive n’est reconnue que par Yandex, le moteur de recherche russe.
Ces astuces peuvent vous aider à optimiser le fichier robots.txt pour améliorer votre seo, mais elles ne sont pas indispensables. Le plus important est de respecter les règles de base du fichier robots.txt, et de le tester régulièrement avec Google Search Console ou un autre outil en ligne.
Conclusion
Le fichier robots.txt est un élément clé pour le référencement naturel de votre site WordPress. Il vous permet de contrôler l’accès des robots des moteurs de recherche à certaines parties de votre site, et ainsi d’optimiser leur exploration et leur indexation. Dans cet article, vous avez appris ce qu’est le fichier robots.txt, comment le créer et le modifier sur WordPress, quels sont les règles à respecter et à éviter pour le fichier robots.txt, comment le tester et le soumettre à Google Search Console, et comment l’optimiser pour améliorer votre seo.
Si vous souhaitez aller plus loin dans l’optimisation seo de votre site WordPress, vous pouvez faire appel à l’agence seo Oscar Black. Nous sommes spécialisés dans le seo WordPress, et nous pouvons vous aider à booster la visibilité et le trafic de votre site web. Contactez-nous dès maintenant pour obtenir un devis gratuit et personnalisé !
