Générer un robots.txt

Le fichier robots.txt est utilisé par les moteurs de recherches pour connaître les pages que vous souhaitez voir apparaître ou non dans les résultats de recherches. cela va simplement vous donner la possiblité de dire si vous ne souhaitez pas voir apparaître une URL, un dossier ou un dossier dans les résultats de recherches.


Comportement par défaut

Comportement spécifique


Exemples de robots.txt

Autoriser toutes les pages pour l'ensemble des user-agents

User-Agent: *
Disallow:

Refuser l'accès à toutes les pages pour l'ensemble des user-agents

User-Agent: *
Disallow: /

Refuser l'accès à la page /test.html en particulier pour tous les user-agents

User-Agent: *
Disallow: /test.html

Refuser l'accès à 3 dossiers spécifiquement /css/, /img/ & /js/ pour l'ensemble des user-agents

User-Agent: *
Disallow: /css/
Disallow: /img/
Disallow: /js/

Refuser l'accès à la page /test.html uniquement pour le GoogleBot et autoriser l'accès à toutes les pages pour tous les user-agents

User-Agent: GoogleBot
Disallow: /test.html
User-Agent: *
Disallow: /

Il faut faire attention à bien avoir du contenu sur toutes les lignes et ne pas en laisser vides. Autrement, cela pourrait causer des problèmes non voulus pour certains bots de moteurs de recherches.



 FR     EN  

Copyright 2020 -   Contact us - 31/10/2020 02:14:04
MUTORI - Création d'applications web et mobiles   par Pierrick Cusset