Disallow

Disallow : Définition SEO

Le terme Disallow peut se retrouver dans le fichier « robots.txt », un fichier texte inséré dans la racine d’un site web. Cette directive indique au robot d’un moteur de recherche qu’il n’est pas autorisé à explorer une page web ou un répertoire complet du site internet.

Disallow, comment ça marche ?

En SEO, la directive disallow est utilisée pour interdire l’accès aux robots d’exploration des moteurs de recherche comme Googlebot, à certaines pages ou ensembles de pages web. Lors de son exploration Googlebot va naviguer entre les différentes pages et lorsqu’il rencontre ces directives, il va tout simplement rejeter ces pages web et ne pas les afficher dans les résultats de recherche. Le disallowing empêche l’indexation sur Google.

En effet, parfois, il est préférable de ne pas indexer et référencer certaines pages web. Soit parce que ces pages n’ont pas le contenu nécessaire pour être pertinentes pour les utilisateurs, soit parce qu’elles ne sont pas destinées aux internautes tout simplement. Interdire l’accès à des pages très similaires peut éviter les problèmes de duplication de contenu (duplicate content).

A l’inverse de la directive disallow, il existe la directive allow qui au contraire autorise Googlebot à crawler la page web. Cela permet par exemple d’interdire l’accès à des répertoires avec le disallow, tout en autorisant cependant l’exploration de certaines pages de ces répertoires avec la directive allow. Par exemple interdire l’accès au répertoire monsite.com/chaussures sauf certaines url comme monsite.com/chaussures/rouge.