Manual (censurado) para el fin del mundo
NEWSLETTER 'ARTIFICIAL'
Anthropic y el Gobierno de Estados Unidos crean un sistema que intenta evitar que su IA pueda ayudar a alguien a fabricar una bomba nuclear
Imagen generada por IA del hongo que forma una explosión nuclear
Es un alivio que, a finales de agosto, Anthropic anunciara que sus modelos de IA Claude no ayudarán a nadie a construir un arma nuclear. Menos mal. Para poner ese filtro o línea roja -o como queramos llamar a la posibilidad de que no nos frían porque una IA le facilitó el trabajo a un loco-, la compañía ha colaborado con el Departamento de Energía de Estados Unidos (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA). El comunicado de Anthropic, probablemente la empresa de inteligencia artificial que más se preocupa por cuestiones éticas, lejos de ser tranquilizador, deja una serie de cuestiones preocupantes en el aire.
La compañía ha explicado que la colaboración con las agencias gubernamentales consistió, en primer lugar, en evaluar los riesgos de proliferación nuclear que ofrecían sus modelos de IA. Más tarde, crearon herramientas para revisar esas situaciones potencialmente peligrosas. El Gobierno de Estados Unidos y la empresa crearon un sistema de IA clasificador que categoriza el contenido de su chatbot Claude de forma automática y distingue “entre conversaciones preocupantes y benignas relacionadas con el ámbito nuclear”. Y aquí viene lo malo: la precisión del sistema es del 96%. Hay más probabilidades que una IA ayude a un terrorista o a un estado a fabricar una bomba nuclear que tener en nuestro bolsillo un cupón premiado de la lotería. Y en esto solemos tener esperanzas de que pase.
El sistema clasificador contra el riesgo nuclear ya está en funcionamiento en el chatbot de Claude y la compañía asegura que funciona bien. Para que esta iniciativa llegue a más modelos de inteligencia artificial, Anthropic ha compartido su enfoque con el organismo industrial de empresas de IA Frontier Model Forum. El objetivo es que cualquiera pueda programar algo parecido en sus chatbots siempre que lo considere oportuno. Sería de esperar que todas las compañías se sumaran entusiastas a estos filtros, pero de momento sólo se ha oído un silencio atronador.
En '¿Teléfono Rojo? Volamos hacia Moscú' Stanley Kubrik recrea en tono de comedia la génesis de una guerra nuclear por fallos tecnológicos
En la línea habitual de Anthropic de explicar cómo tiene que lidiar con los diferentes problemas, la compañía ha explicado que “el despliegue en el mundo real difiere de las pruebas” porque el clasificador de riesgos marcó ciertas conversaciones sobre armas nucleares que finalmente se determinó que eran benignas. Entre los ejemplos, se cita que “los recientes acontecimientos en Oriente Medio han vuelto a llamar la atención sobre la cuestión de las armas nucleares”. El filtro se seguridad marcó de forma incorrecta conversaciones sobre esos conflictos”. Pero al aplicar un resumen jerárquico que agrupaba varias conversaciones, se reconocían correctamente como debates inofensivos gracias al contexto adicional.
Anthropic descubrió de esta forma dos cosas. Por un lado, que “las conversaciones del mundo real a menudo caen en zonas grises que son difíciles de captar en los datos sintéticos”. El segundo aprendizaje es que combinar múltiples herramientas de seguridad “crea un sistema más matizado y preciso”. La conclusión de la empresa es que el sistema de filtrado es capaz de detectar con éxito contenidos preocupantes. Las pruebas que llevaron a cabo miembros de la compañía finalizaron con la detección correcta por parte del chatbot. Por eso, la empresa presume ahora de “un modelo de colaboración público-privada que puede replicarse en otros ámbitos de la seguridad nacional”. Por último, la industria de la inteligencia artificial ya sabe que puede reducir algunos riesgos siguiendo el ejemplo. A ver si alguien lo hace.
Una de las grandes preguntas latentes de este asunto es si alguna vez ha habido, con los modelos de Anthropic o los de otras compañías, la posibilidad de que una IA haya asesorado a alguien sobre cómo fabricar un arma nuclear. Los recursos están en internet y es la inteligencia artificial la tecnología capaz de buscarlos, sintetizar información sobre alta tecnología y presentarlos de forma que tengan una peligrosa coherencia.
Hiroshima, junto con Nagasaki, en Japón, son las dos únicas ciudades atacadas con una bomba atómica
Entre quienes ven el peligro potencial de la IA utilizada para la creación de armas de destrucción masiva está el Gobierno chino. El viceministro ejecutivo de Asuntos Exteriores de China, Ma Zhaoxu, se dirigió en septiembre a la Asamblea General de la ONU, para reclamar a una mayor cooperación mundial en materia de inteligencia artificial que “garantice que la IA siga bajo control humano”. Ma alertó del riesgo de que la IA sea cooptada por actores no estatales, entre los que incluyó “grupos terroristas, fuerzas extremistas y redes criminales transnacionales”. Está claro.
. OpenAI se disculpa con Bryan Cranston. El actor Bryan Cranston, famoso como protagonista de Breaking bad, y OpenAI han publicado una declaración conjunta con las principales agencias de Hollywood y el sindicato SAG-AFTRA, en la que se asegura que “reforzará las medidas de seguridad” en su modelo de vídeo generativo Sora respecta a la réplica de las imágenes y voces de famosos. Cranston encontró vídeos de sí mismo generados y OpenAI le pidió disculpas además de comprometerse a utilizar medidas de protección más estrictas y una colaboración con estas entidades.
. Google integra Gemini en Mapas. Google ha integrado Gemini en Mapas, lo que le da acceso a su IA a datos de ubicación del mundo real. La compañía del buscador ha creado una interfaz de programación para que los desarrolladores puedan aprovechar esta características. Google ya dispone de los datos de 250 millones de establecimientos comerciales, culturales y de todo tipo, con sus horarios y accesos directos.
. El contenido erótico llega a ChatGPT. El director ejecutivo de OpenAI, Sam Altman, anunció la semana pasada que la compañía permitirá a partir de diciembre una relajación de las restricciones de seguridad que permitirá que adultos verificados puedan mantener conversaciones eróticas con el chatbot. La verificación de edad se hará mediante un sistema predictivo por IA.
perplexity banner premium