Le répertoire Dmoz

C'était le plus grand répertoire de sites Web, utilisé par le moteur de recherche de Google jusqu'en 2010. Il a été fermé en 2017.

Le répertoire à été fondé by Rich Skrenta and Bob Truel in 1998 qui travaillaient pour la société Sun, sous le nom de Gnuhoo. Ce nom étant contesté par la Free Software Fondation, il devient NewHoo. Puis Yahoo conteste à son tour le « Hoo » et cela coincide avec le rachat par Netscape en Octobre 1998, le nom définif devient alors Open Directory Project.
L’objectif de concurrencer le répertoire de Yahoo est atteint dès Avril 2000 avec 1600000 URL listées (le nombre de sites étant inférieur).
Le nom du site, Dmoz, vient de Directory Mozilla, la version open source du navigateur Netscape, lancée après le rachat de la compagnie par AOL.

Le répertoire constituait une source de documentation sans égale et un élément utile du référencement d’un site Web même s'il a perdu en importance au cours du temps.

Le site a annoncé le 1 mars 2017 qu'il fermait à partir du 14 mars.

Le nombre de visiteurs uniques par jours est en moyenne de 210 000 et va jusqu’à 250 000, chacun consultant en moyenne 3.3 pages (Chiffres Alexa).
Dmoz emploie en nombre très limité du personnel dans différents pays: Etats-Unis (Dulles), Inde, Australie, Chine.
Bien que les webmasters tendent à minimiser l'importance de Dmoz, le graphe Alexa à droite montre que son audience a été grandissante en 2010 et 2011.

Dmoz aidait-il au référencement?

Selon Matt Cutts, un lien dans Dmoz est traité comme un lien sur n'importe quel site, mais cependant il apporte un peu plus de PageRank du fait qu'il est géré par des éditeurs indépendants.
Cependant c'est une communication ancienne. Le contenu du répertoire est copié par de nombreux sites, et cela peut aussi bien pénaliser un site du fait de l'algo Penguin, plus récent. Il faut s'assurer que le lien amène du trafic.
Les descriptions sont aussi quelquefois utilisées pour les snippets pour la même raison. Mais la description dans les metas de la page reste la meilleure source.
A l'occasion, MC nous rappelle que le fichier robots.txt sert à interdire aux robots de parser les pages et nullement à les faire désindexer (même si cela peut quelquefois avoir cet effet).

Comment ajouter son site

On propose son site en cherchant la catégorie la plus appropriée et en cliquant sur le lien « Proposer un site ». Les délais pour figurer dans le répertoire sont quelquefois long. Pour avoir le plus de chance d’y figurer rapidemment, il faut:

Choisir la catégorie la plus appropriée.
Ecrire une description courte et réflétant le contenu du site sans formules promotionnelles.

Comment devenir éditeur

Le nombre d’éditeurs ayant participé à l’indexation est en 2007 de plus de 75000 et le nombre de sites listés avoisine les 5 millions. ( Référence AEF-Dmoz).Le nombre d’éditeurs actuellement actifs est aux alentours de 7000.

Lorsqu’une catégorie n’a pas d’éditeur, on peut se proposer pour l’éditer. Un lien est affiché en bas de page pour ce faire.
Il sera demandé au candidat éditeur d’indiquer trois sites ne figurant pas dans le répertoire. Cette condition a pour but de démontrer son implication dans le domaine et sa capacité a écrire un résumé, en bon français.
On aura plus de chance d’être accepté si l’on choisit une sous-catégorie modeste plutôt qu’une catégorie importante ayant d’autres sous-catégories.

Qui utilise les données?

Les données de l’annuaire ODP sont disponibles sous licence libre, la Open Directory License. Ainsi des quantités de sites hébergent des copies légales du répertoire. C’est le cas de Google qui ajoute le PageRank des sites et les classe selon ce PR. Alexa fait de même en classant les sites selon le trafic sur le Web, comme expliqué dans cet article.

Par ailleurs les données sont utilisées par de nombreux moteurs de recherche qui utilisent souvent les descriptions des éditeurs de Dmoz dans les pages de résultats.

Il est possible pour le webmaster qui le préfèrerait de voir afficher la description de sa page d’accueil, avec cette ligne dans la section head du code HTML:

<meta name="robots" content="noodp">

Parmi les moteurs qui utilisent au besoin les titres et descriptions ODP citons: Google, Yahoo, Live Search, Alexa, Ask. Mais tous les moteurs utilisent l’ODP pour l’indexation des sites.
Depuis le 20 juillet 2011, Google a cessé d'offrir un répertoire reprenant le contenu de Dmoz. Les utilisateur sont renvoyée sur le site dmoz.org.

Le contenu de l’ODP sert aussi de base à des articles scientifiques et des recherches et expériences concernant le Web. Les données du répertoire sont fournies sous format RDF et utilisables librement.

Voir aussi la Liste des moteurs de recherche.