Comment demander aux moteurs de recherche de ne pas indexer certains répertoires de votre installation WordPress (ou autre moteurs de publication), sans exposer le fichier à la vue des visiteurs ?

Si votre site web affiche le contenu de votre robot.txt sur l’espace public, (par exemple : https://votre-site.paris/robot.txt), vous le remplacerez avantageusement par un fichier .htaccess.

Puis pour interdire aux robots des moteurs de recherche d’indexer les pages se trouvant dans les répertoires sensibles de votre installation, vous ajouterez dans votre .htaccess ce contenu:

Header set x-robots-tag: noindex

Vous pouvez inclure un commentaire dans le fichier (une ligne informative précédée d’un signe ‘#’) :

# Forbid search engines from indexing this directories
Header set x-robots-tag: noindex

Une fois la ligne ci-dessus insérée dans un fichier .htaccess, vous pourrez placer ce dernier dans les répertoires du site à protéger (par exemple dans le cas de WordPress, sous wp-includes, wp-content/uploads), et sous la racine de l’installation.