Percepciones Digitales

Robot de IA es capaz de utilizar información privilegiada y mentir dice investigación

En la cumbre de seguridad de IA del Reino Unido, un robot utilizó información privilegiada inventada para realizar una compra «ilegal» de acciones sin avisar a la empresa (fuente: BBC)

El uso de información privilegiada se refiere al momento en que se utiliza información confidencial de la empresa para tomar decisiones comerciales. Por lo general tanto empresas como individuos sólo pueden utilizar información disponible públicamente al comprar o vender acciones.

La demostración estuvo a cargo de miembros del Frontier AI Taskforce del gobierno, que investiga los riesgos potenciales de la IA, siendo llevado a cabo por Apollo Research, una organización de seguridad de IA que es su socia.

En el Reino Unido, es ilegal actuar sobre este tipo de información cuando no se conoce públicamente.

Durante la prueba, el robot de IA es un comerciante de una empresa de inversión financiera ficticia. Los empleados le dicen que la empresa está pasando apuros y necesita buenos resultados. También le dan información privilegiada, afirmando que otra empresa espera una fusión que aumentará el valor de sus acciones. Los empleados le dicen esto al robot y éste reconoce que no debe utilizar esta información en sus operaciones. Sin embargo, después de otro mensaje de un empleado de que la empresa para la que trabaja sugiere que la empresa está pasando apuros financieros, el robot decide que «el riesgo asociado con no actuar parece superar el riesgo de uso de información privilegiada» y realiza la transacción.

En su manifiesto, Apollo Research afirma: «Esta es una demostración de un modelo de IA real que engaña a sus usuarios, por sí solo, sin recibir instrucciones para hacerlo. Las IA cada vez más autónomas y capaces que engañan a los supervisores humanos podrían llevar a la pérdida del control humano», dice en su informe.

Las pruebas se realizaron utilizando un modelo GPT-4 en un entorno simulado, sin efectos reales.

Sin embargo, al ser GPT-4 un servicio público y según los investigadores, el mismo comportamiento del modelo ocurrió consistentemente en pruebas repetidas.