Caracterización de la web invisible o profunda

En 1994, la Dra. Jill Ellsworth, especializada en el estudio de Internet, utilizó el término Web invisible, por primera vez, para denominar a la información que resultaba “invisible” para los motores de búsqueda convencionales en el Web. También, se denomina “Web profundo” (Deep Web), por oposición a la “Web superficial” (Surface Web) cuya información puede recuperarse con los buscadores de Internet. La existencia de esta denomina red profunda es un producto de la metodología que utilizan los buscadores para indexar las páginas. El mecanismo se basa en programas llamados robots o arañas, que recorren las páginas de la red siguiendo los enlaces que presentan o se dirigen hacia ellas. Cuando se utiliza alguno de los buscadores conocidos, no se busca en toda la red, sino en su base de datos, construida gracias a la acción de los robots.

En el año 2000, un estudio de la consultora estadounidense BrightPlanet, elaborado por Michael Bergman, confirmaba y explicaba la existencia de una red profunda que tendría aproximadamente 7 500 terabytes (equivalente a 7 500 billones de bytes) de información frente a los 19 de la Web superficial o parte de la red accesible mediante los buscadores convencionales.

Actualmente, existen herramientas orientadas específicamente a la labor de recuperar información en el Web profundo como: buscadores, agentes de búsquedas, índices generales y portales verticales. Estas herramientas facilitan el acceso a una mayor parte del Web, porque, además de buscar en el Web superficial, buscan en el Web profundo también, inaccesible para la mayor parte de los buscadores tradicionales.

Sherman y Price (2001a) identifican cuatro tipos de contenidos invisibles en la web: la web opaca (the opaque web), la web privada (the private web), la web propietaria (the proprietary web) y la web realmente invisible (the truly invisible web).

Herramientas de búsqueda en la web profunda

Buscadores

En general, los buscadores han mejorado su desempeño en los últimos años, permitiendo un mayor nivel de precisión en las búsquedas y ofreciendo los resultados en formas cada vez más convenientes para el usuario.

Pero por ahora, los buscadores comunes sólo pueden recuperar directamente la información que se encuentra disponible en la web y no aquella que se ofrece a través de la web. Desde que se empezó a hablar de la web invisible los buscadores comunes han añadido funcionalidades adicionales para la búsqueda en la llamada web profunda y han surgido buscadores especializados en ese segmento de la web. Estos últimos permiten la búsqueda directa de artículos y documentos en texto completo y recuperan archivos PDF o PostScript.

Metabuscadores

Como hemos visto, los metabuscadores pueden presentar limitaciones respecto a las posibilidades de búsqueda de cada buscador por separado. Por ejemplo, cuando la búsqueda es sobre materiales o formatos especiales, resulta más práctico sacar provecho de las opciones avanzadas de búsqueda de los buscadores y, si es necesario, realizar búsquedas sucesivas en varios de ellos. En este sentido, son más recomendables los directorios concentradores de buscadores.

Directorios

La mayoría de los mecanismos que se usan para localizar recursos en la web profunda consisten en directorios de recursos especializados, principalmente bases de datos disponibles de forma gratuita en la red. El patrocinio de las instituciones académicas en la elaboración de los directorios, particularmente de los que son anotados, garantiza la cobertura y calidad de los recursos compilados.

Guías

Las guías de recursos especializados generalmente están elaboradas por bibliotecarios y son una excelente herramienta de búsqueda y localización de recursos, además de constituir un buen instrumento de aprendizaje en el uso de la información.

Tutoriales

Las páginas ya mencionadas How to Choose a Search Engine or Directory de la Universidad de Albany en Estados Unidos y las guías de SearchAbility y de la Universidad de Leiden en Holanda A Collection of Special Search Engines incluyen los recursos de información y estrategias búsqueda en la web profunda.

Motores avanzados

Finalmente, los recientes motores de pregunta dirigida (directed query engines) tienen la capacidad de realizar búsquedas simultáneas en varias bases de datos en la web. Lexibot y su sucesor, Deep Query Manager, así como Distributed Explorer (Warnick y otros, 2001) y FeedPoint, son ejemplos de estos motores avanzados de búsqueda.

Recursos de búsqueda en la Web Profunda

Recursos	Tipo
About http://www.about.com/	Guía
AcademicInfo http://www.academicinfo.net/	Directorio
AlphaSearch http://www.alphasearch.org/	Directorio de buscadores
Beaucoup http://www.beaucoup.com/	Directorio de buscadores
The Big Hub http://www.thebighub.com/	Directorio
iBoogie http://www.iboogie.tv/	Metabuscador
Collection of Search Engines http://www.leidenuniv.nl/ub/biv/specials.htm	Directorio de buscadores
CompletePlanet http://www.completeplanet.com/	Directorio
Deep Query Manager (sustituye a Lexibot) http://brightplanet.com/news/dqm2.asp	Motor avanzado
Direct Search http://www.freepint.com/gary/direct.htm	Directorio
Fazzle http://www.fazzle.com/	Metabuscador
FeedPoint http://www.quigo.com/feedpoint.htm	Motor avanzado
Fossick http://fossick.com/	Metabuscador
HotSheet http://www.hotsheet.com/	Directorio
IncyWincy http://www.incywincy.com/	Directorio
Infomine http://infomine.ucr.edu/	Directorio
InternetInvisible http://www.internetinvisible.com/	Directorio

Recursos de búsqueda en la web profunda

Tipo de recurso

Buscadores

ResearchIndex (CiteSeer)

http://citeseer.nj.nec.com/cs

Scirus

http://www.scirus.com/

WebSearch

http://www.websearch.com.au/

Metabuscadores iBoogie

http://www.iboogie.tv/

Fazzle

http://www.fazzle.com/

Fossick

http://fossick.com/

Ixquick

http://www.ixquick.com/

ProFusion

http://www.profusion.com/

Estrategias y mecanismos de búsqueda en la web invisible

Search.Com

http://www.search.com/

Directorios de buscadores

AlphaSearch

http://www.alphasearch.org/

Beaucoup

http://www.beaucoup.com/

Collection of Search Engines

http://www.leidenuniv.nl/ub/biv/specials.htm

Directorios

The Big Hub

http://www.thebighub.com/

CompletePlanet

http://www.completeplanet.com/

Direct Search

http://www.freepint.com/gary/direct.htm

HotSheet

http://www.hotsheet.com/

IncyWincy

http://www.incywincy.com/

Infomine

http://infomine.ucr.edu/

Internet Invisible

http://www.internetinvisible.com/

Internets

http://www.internets.com/

Estrategias y mecanismos de búsqueda en la web invisible

InvisibleWeb.com

http://www.invisibleweb.com/

Invisible Web Directory

http://www.invisible-web.net/

Librarians Index

http://lii.org/

Master Link List On the Internet

http://www.web-friend.com/links/masterlinks.html

RefDesk.com

http://refdesk.com/

Webfile.com

http://webfile.com/

Where to Do Research

http://www.wheretodoresearch.com/

Directorios anotados

 AcademicInfo

http://www.academicinfo.net/

Resource Discovery Network

http://www.rdn.ac.uk/

Directorios de bases de datos

WebData.com

http://www.webdata.com/

Guías About

http://www.about.com/

LibrarySpot

http://www.libraryspot.com/

Motores avanzados Deep Query Manager (sustituye a Lexibot)

http://brightplanet.com/news/dqm2.asp

Estrategias y mecanismos de búsqueda en la web invisible

FeedPoint

http://www.quigo.com/feedpoint.htm

Search4science

http://www.search4science.com/

Strategic Finder

http://www.strategicfinder.com/

Bilbliografía

Jiménez, P. M. M. Estrategias y mecanismos de búsqueda en la web invisible. Disponible en Internet en http://biblio. colmex. mx/recelec/web_invisible. htm.

León, R. R., & Perojo, K. R. (2006). El Web como sistema de información.Revista Cubana de Información en Ciencias de la Salud, 14(1), 7.