Nvidia presenta una plataforma de seguridad para supervisar agentes de IA y aislarlos a velocidad ultrarrápida

Recientemente, un número creciente de informes de importantes empresas de IA ha llamado la atención. En ellos se describe cómo su IA supuestamente logró escapar de lo que debía ser un sistema cerrado y presuntamente pirateó otros sistemas. Desde entonces, se ha debatido si se trata principalmente de una maniobra de relaciones públicas diseñada para convencer a los clientes de las increíbles capacidades de su IA o si estos incidentes representan auténticas señales de advertencia.

En cualquier caso, a medida que los agentes de IA se vuelven cada vez más capaces, también crece la preocupación por la seguridad. Nvidia espera abordar esas preocupaciones con su nueva plataforma. Según Nvidia, el problema dista mucho de ser sencillo, ya que una IA también necesita acceder a ciertos documentos o partes de la web para funcionar de manera eficaz.

La nueva plataforma de seguridad de Nvidia se llama OpenShell y, en esencia, es un entorno aislado compuesto por dos capas: a los agentes de IA se les conceden permisos de acceso precisos —por ejemplo, a una carpeta específica—, mientras que todo lo demás queda bloqueado. La segunda capa, llamada Sentry, supervisa y registra continuamente la actividad de los agentes y, al parecer, puede aislar la IA en cuestión de milisegundos si intenta traspasar los límites predefinidos.

Sin embargo, usar el sistema no es tan sencillo: los usuarios tienen que definir de antemano exactamente qué puede y qué no puede hacer el agente. Por un lado, esto resulta algo engorroso; por otro, podría privar a la IA de soluciones alternativas creativas que los usuarios no habían contemplado.

Nvidia también está respondiendo a las advertencias de empleados de empresas de IA de que la IA podría convertirse en una auténtica amenaza para la humanidad, así como a los llamamientos para frenar el rápido desarrollo de la IA, aparentemente imparable. Sin embargo, según Nvidia, la seguridad de la IA es ante todo un problema de ingeniería que puede resolverse por medios técnicos.