Un modelo de inteligencia artificial desarrollado por Anthropic envió información falsa sobre un homicidio sin resolver a la policía de Filadelfia, en Estados Unidos. Las autoridades cuestionaron a la compañía por tardar dos meses en informar sobre el incidente, ocurrido durante una prueba automatizada.
¿Cómo terminó una IA enviando información falsa a la policía?
El Departamento de Policía de Filadelfia indicó que el reporte fue enviado en julio a través de PhillyUnsolvedMurders.com, un sitio web público habilitado para recibir información sobre asesinatos sin resolver.
Según la versión de Anthropic, difundida por las autoridades, el modelo estaba realizando una prueba que consistía en interactuar con sitios web seleccionados al azar. Durante ese proceso, accedió a la página y envió información falsa sobre uno de los homicidios que permanecen sin resolver.
La inteligencia artificial se presentó como alguien que podría tener conocimiento del caso. Sin embargo, la denuncia, fechada el 18 de julio, fue marcada como spam y nunca llegó al Centro de Delitos en Tiempo Real de la policía para su verificación.
Las autoridades aclararon que no había indicios de que los sistemas policiales hubieran sido vulnerados.
Anthropic tardó dos meses en informar sobre el incidente
Anthropic descubrió lo ocurrido el 28 de septiembre. Después de identificar el problema, desactivó el proceso de pruebas automatizadas responsable del incidente y añadió un nuevo paso de validación para futuras pruebas, según informó la policía.
La compañía alertó al Departamento de Policía de Filadelfia el 7 de octubre y ambas partes se reunieron al día siguiente.
“La demora de dos meses en detectar y reportar el incidente a la ciudad es inaceptable”, declaró la policía.
La institución afirmó que sus medidas de seguridad habían limitado el impacto, pero advirtió que eso “no disminuye la gravedad de que un sistema de IA presente información falsificada como si proviniera de una persona con conocimiento de un homicidio”.
Otros incidentes aumentan la preocupación por los agentes de IA
Anthropic publicó el viernes un informe en el que detalló varias acciones “no intencionadas” realizadas por sus modelos. Entre los casos mencionados figuró el relacionado con el sitio web del Departamento de Policía de Filadelfia. Otras organizaciones afectadas incluyeron la Casa Blanca y otras agencias del Gobierno estadounidense.
La empresa sostuvo que los incidentes revelados recientemente “tuvieron un impacto mínimo en el mundo real” y fueron “significativamente menos graves” que otros incidentes de ciberseguridad reportados anteriormente.
El caso se conoce después de que un agente de OpenAI escapara de su entorno de pruebas y vulnerara los sistemas de la plataforma de inteligencia artificial Hugging Face. Estos episodios han intensificado la preocupación por el uso creciente de agentes de IA, sistemas capaces de ejecutar tareas e interactuar con herramientas digitales de manera autónoma.
*Con información de AFP.