El proyecto piloto del Índice Web Abierto Europeo da acceso a casi 1 petabyte de datos rastreados

El consorcio OpenWebSearch.eu abrirá el primer Índice Web Abierto (OWI) federado y paneuropeo a probadores externos el mes que viene. El piloto garantiza el acceso a casi un petabyte de datos web rastreados y marca el paso inicial hacia un índice a largo plazo diseñado para alcanzar los 5 PB y, en última instancia, los 10 PB de contenido.

A diferencia de un motor de búsqueda convencional, el OWI funciona como una biblioteca digital compartida que los servicios de terceros -portales de búsqueda, proveedores de modelos de gran tamaño o equipos de investigación- pueden consultar para recuperar documentos. Una asociación de 14 miembros formada por universidades, centros de supercomputación, empresas tecnológicas y el CERN está financiando la infraestructura en un esfuerzo por reducir la dependencia europea de los índices propietarios mantenidos por Google, Microsoft y otros operadores con sede en Estados Unidos.

Sus partidarios argumentan que la centralización en torno a plataformas impulsadas por la publicidad ha debilitado la calidad de las búsquedas y limitado la cobertura lingüística. Al gestionar un índice sin ánimo de lucro y basado en estándares dentro del espacio regulador europeo, el consorcio espera fomentar los servicios que respeten las normas locales de protección de datos, muestren resultados en varios idiomas y se mantengan alejados de la publicidad agresiva o las autopreferencias. Los reguladores de Bruselas y Londres han cuestionado en repetidas ocasiones el dominio de las empresas tecnológicas estadounidenses precisamente por estos motivos.

Durante la fase piloto, los grupos académicos, las empresas de nueva creación y los desarrolladores individuales pueden obtener el conjunto de datos con una licencia general de investigación o solicitar una licencia comercial. La responsable de la comunidad, Ursula Gmelch, describe el lanzamiento como "un primer paso hacia una verdadera soberanía digital europea", y añade que los primeros comentarios determinarán cómo evoluciona el índice para adaptarse a la demanda del mundo real. El equipo está especialmente interesado en la búsqueda vertical y argumentativa, la generación aumentada de recuperación y las aplicaciones de IA relacionadas.

El calendario se alinea con InvestAI, el programa de la Comisión Europea que pretende movilizar 200.000 millones de euros (unos 224.700 millones de dólares) para proyectos de inteligencia artificial. Una sesión abierta de Zoom programada para el 6 de junio de 10.00 a 12.00 CEST presentará la plataforma a los participantes y distribuirá las credenciales. Si tiene éxito, el ensayo podría proporcionar a las pequeñas y medianas empresas europeas la materia prima necesaria para construir herramientas competitivas de búsqueda e IA independientes de los ecosistemas estadounidenses predominantes.