Ce guide utilise la méthode du fichier statique (alias) pour implémenter un robots.txt simple et stable pour votre site derrière Nginx Proxy Manager (NPM). Nous prenons comme exemple l’application Wiki.js et le domaine wiki.blablalinux.be pour illustrer la protection des chemins d’administration sensibles.
Le fait de demander à Nginx de servir un fichier statique existant sur le disque via l’instruction alias est la solution la plus stable pour contourner les problèmes de limite de longueur de chaîne et garantir un fonctionnement sans erreur dans NPM.
Vous devez créer ou mettre à jour le fichier sur votre système de fichiers.
/data/seo/votre-application/robots.txtCe contenu est la configuration de base idéale : elle autorise tous les robots à indexer le contenu public, tout en protégeant un chemin d’administration sensible (le tableau de bord Wiki.js dans cet exemple).
Sitemap: https://votre-domaine.com/sitemap.xml
# 1. RÈGLES POUR LES ROBOTS STANDARDS (AUTORISÉS & SÉCURISÉS)
# Cette règle autorise le référencement de tout le contenu public.
User-agent: *
Disallow: /a/dashboard # Bloque l'accès au panneau d'administration de Wiki.js (À ADAPTER)
Allow: /
👉 N’oubliez pas d’adapter la ligne
Sitemap:avec votre propre nom de domaine et le cheminDisallow:avec les chemins sensibles de votre application.
Exemple spécialisé : Pour voir un exemple de
robots.txtqui bloque également les robots d’intelligence artificielle, vous pouvez consulter celui de Wiki.js Blabla Linux : https://wiki.blablalinux.be/robots.txt.
Collez ce bloc Nginx dans l’onglet Advanced de l’hôte proxy de votre site. Il est crucial d’adapter la directive alias pour qu’elle corresponde exactement au chemin où vous avez créé votre fichier statique.
# Bloc pour servir le fichier robots.txt statique (Solution stable via NPM)
location = /robots.txt {
# Alias : ADAPTEZ CE CHEMIN avec le chemin réel de votre fichier sur le serveur
alias /data/seo/votre-application/robots.txt;
# Assurer le bon Content-Type pour le SEO
add_header Content-Type text/plain;
charset utf-8;
# Correction des problèmes potentiels de compression/artefacts
gzip off;
proxy_set_header Accept-Encoding "";
}
> **⚠️ REMARQUE IMPORTANTE :** Dans la ligne `alias`, vous devez impérativement remplacer `/votre-application` par le nom de dossier que vous avez choisi pour stocker votre fichier `robots.txt`. Par exemple : `/data/seo/wikijs/robots.txt`.
Après avoir créé le fichier statique et sauvegardé la configuration dans NPM :
https://votre-domaine.com/robots.txt.