Tisser son Web 11
© Groupe Eyrolles
Figure 2 : Les profondeurs du Web
Le Web opaque comprend les pages qui pourraient être indexées
par les moteurs, mais qui ne le sont pas. La limitation d’indexation
est fixée au nombre de pages d’un site, à la fréquence de son
indexation et aux liens absents vers certaines pages.
Le Web privé est celui des pages disponibles, mais volontairement
exclues de l’indexation.
Le Web propriétaire se trouve là où les pages sont seulement accessibles aux personnes qui s’identifient.
Le contenu du Web vraiment invisible n’est pas indexé pour des
raisons tout simplement techniques, par exemple le format inconnu
par le moteur, les pages générées dynamiquement.
Le Web profond est la somme des Webs invisible, opaque, privé et
propriétaire. Selon des évaluations, la taille du Web caché varie
beaucoup et il est extrêmement difficile d’en faire une estimation.
Pour certains, les meilleurs moteurs n’indexeraient pas plus de 5 %
de la totalité du Web et ce pourcentage ne ferait que décroître.
libre
volontairement
oui
non
involontairement
identification
Web privé
Accès
Pages
exclues
Pages
indexables
Web invisible
Web opaque
Web propriétaire