WEB OCULTA

A pesar de que pensamos que todo el contenido que aprece en internet está a nuestro alcance, estamos profundamente equivocados ya que parte de el resulta prácticamente inaccesible, y es por ese motivo por el que queda apartado de la curiosidad de los internautas. A ese grupo de páginas web se les conoce como S “Web Oculta” o “Web Profunda”. Con este sustantivo aparece marcada la parte de la Web que no está directamente enlazada. Existe un conjunto de tecnologías que los sistemas de  crawling convencionales no son capaces de tratar y que constituyen los puntos de acceso a esos documentos denominados “ocultos”. Por una parte se pueden considerar los formularios web como puntos de entrada a la Web Oculta del lado servidor. Por otra parte,  para acceder a la Web Oculta del lado cliente  es necesario tratar con tecnologías como lenguajes de scriptingo Flash.Para determinar el nivel de utilización de estas tecnologías que dificultan el acceso a los documentos por los sistemas de crawling, en 2009 se puso en marcha un estudio sobre los dominios “.es”. El estudio se dividió en dos fases: diseñar, implementar y ejecutar un  “crawler”
que descargase la primera página de dichos dominios a partir de una lista actualizada de los mismos y generase estadísticas cuantitativas y en segundo lugar analizar el contenido de las páginas para 
determinar las tecnologías que utilizan.
 Por tanto, se  puede concluir  que  una gran parte de los sitios web de los dominios “.es” hacen uso de tecnología. denominadas de Web Oculta, principalmente lenguajes de scripting. Por este motivo, están justificados los esfuerzos encaminados en dotar a los sistemas de  crawling de mecanismos capaces de tratar con estas tecnologías para llegar al mayor número de documentos. El esfuerzo por interpretar dichos lenguajes debe estar dirigido a ECMAScript y en particular a JavaScript. Interpretar otros lenguajes como TCL o VBScript puede requerir un esfuerzo demasiado grande para un resultado poco significativo.
A modo de conclusión espero que haya servido esta información para conseguir entender este dominio que para algunos forma parte de un mundo desconocido.