Los padres de una adolescente de 13 años presentaron una demanda contra Google en Estados Unidos al señalar que su hija habría utilizado las herramientas de inteligencia artificial (IA) incorporadas en el buscador de la compañía para planificar un posible suicidio y su funeral. El caso pone bajo cuestionamiento las medidas de seguridad de estas tecnologías en los dispositivos que utilizan estudiantes.
La menor, identificada como Emma y residente en Carolina del Norte, utilizaba una computadora portátil proporcionada por su escuela. Aunque el centro educativo había bloqueado el acceso a Gemini, la aplicación de IA de Google, y a ChatGPT, de OpenAI, la estudiante podía interactuar con funciones de inteligencia artificial integradas en el motor de búsqueda de Google.
La demanda fue presentada el lunes ante un tribunal de California y constituye el primer caso conocido que acusa al gigante tecnológico estadounidense de negligencia por las integraciones de IA en los Chromebook, sus computadores portátiles de bajo costo utilizados por millones de estudiantes en Estados Unidos y otras partes del mundo.
La demanda señala que la menor atravesó una grave crisis psicológica
De acuerdo con el documento judicial, Emma era una “niña feliz de 13 años” que obtenía excelentes calificaciones, tocaba música y participaba en las Girl Scouts. Sus padres sostienen que no tenía antecedentes de enfermedad mental antes de comenzar a utilizar las herramientas de inteligencia artificial del buscador.
Sin embargo, la demanda afirma que, en cuestión de meses, la adolescente comenzó una “silenciosa espiral en una grave crisis psicológica” mientras utilizaba la búsqueda con IA de Google desde su computador escolar.
Uno de los episodios que llevó a sus padres a conocer la situación ocurrió el 17 de marzo. Ese día, el software de monitoreo de la institución educativa identificó un documento titulado Funeral y notificó al centro educativo, que posteriormente informó a la familia.
La situación llevó a la madre de Emma a ingresar en la cuenta de su hija. Allí encontró que la adolescente estaba escribiendo una carta de despedida en tiempo real. Su padre intervino después de conocer lo que estaba ocurriendo.
Google enfrenta cuestionamientos por las protecciones de su inteligencia artificial
Uno de los puntos centrales de la demanda es que Emma no necesitó ingresar a Gemini ni a ChatGPT para interactuar con herramientas de inteligencia artificial. Aunque ambas aplicaciones estaban bloqueadas por la escuela, el buscador de Google seguía disponible e incorporaba funciones impulsadas por esta tecnología.
El caso también plantea interrogantes sobre las medidas anunciadas recientemente por la compañía para proteger a los estudiantes. Según la información del caso, las funciones de IA integradas en el buscador no figuran entre las herramientas que Google anunció que serán desactivadas por defecto para los alumnos.
Andrew Liddell, uno de los abogados de la familia, cuestionó que estas funciones permanezcan disponibles para los menores y pidió que las instituciones educativas restrinjan su acceso mientras la compañía no garantice su seguridad.
“Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA”, declaró a la AFP el jueves.
Por su parte, Google respondió a las acusaciones y señaló que está revisando los señalamientos incluidos en el proceso judicial.
“Estamos revisando las alegaciones de la demanda y nos tomamos esto muy en serio”, declaró a la AFP el portavoz de Google, Jose Castaneda.
La compañía sostiene que su modo de IA cuenta con protecciones contra las autolesiones y mecanismos para impedir que los usuarios intenten eludir esas restricciones.
Sin embargo, Liddell cuestionó la efectividad de esas medidas y aseguró que la menor pudo regresar repetidamente a las conversaciones.
Emma “pudo seguir volviendo una y otra y otra vez”, dijo el abogado. “Cualesquiera que fueran las protecciones que creen haber implementado, fueron obviamente insuficientes”, agregó.
Las demandas contra empresas de inteligencia artificial aumentan en Estados Unidos
El proceso contra Google se suma a una serie de cuestionamientos judiciales que enfrentan los desarrolladores de inteligencia artificial en Estados Unidos.
La rápida expansión de estas herramientas ha generado preocupaciones sobre sus mecanismos de seguridad, especialmente cuando son utilizadas por menores de edad o por personas que atraviesan situaciones de vulnerabilidad.
En este caso, la discusión no se limita al funcionamiento de una aplicación independiente, sino que alcanza las funciones de IA incorporadas en servicios de uso cotidiano, como el buscador de Google, al que los estudiantes pueden acceder incluso cuando sus instituciones educativas bloquean otras plataformas de inteligencia artificial.