Générer un robots.txt

Le fichier robots.txt est utilisé par les moteurs de recherches pour connaître les pages que vous souhaitez voir apparaître ou non dans les résultats de recherches. cela va simplement vous donner la possiblité de dire si vous ne souhaitez pas voir apparaître une URL, un dossier ou un dossier dans les résultats de recherches.

Comportement par défaut

Moteur de recherche

Comportement spécifique

Autoriser l'accès à toutes les URLs, dossiers et documents

Refuser l'accès à toutes les URLs, dossiers et documents

Refuser l'accès à certaines URLs, dossiers et / ou documents

Refuser l'accès ces URLs, fichiers, dossiers spécifiquement (1 par ligne)

Exemples de robots.txt

Autoriser toutes les pages pour l'ensemble des user-agents

User-Agent: *
Disallow:

Refuser l'accès à toutes les pages pour l'ensemble des user-agents

User-Agent: *
Disallow: /

Refuser l'accès à la page /test.html en particulier pour tous les user-agents

User-Agent: *
Disallow: /test.html

Refuser l'accès à 3 dossiers spécifiquement /css/, /img/ & /js/ pour l'ensemble des user-agents

User-Agent: *
Disallow: /css/
Disallow: /img/
Disallow: /js/

Refuser l'accès à la page /test.html uniquement pour le GoogleBot et autoriser l'accès à toutes les pages pour tous les user-agents

User-Agent: GoogleBot
Disallow: /test.html
User-Agent: *
Disallow: /

Il faut faire attention à bien avoir du contenu sur toutes les lignes et ne pas en laisser vides. Autrement, cela pourrait causer des problèmes non voulus pour certains bots de moteurs de recherches.