Anthropic incluyó advertencias sobre los posibles efectos de la inteligencia artificial avanzada en los documentos que presentó ante las autoridades estadounidenses para preparar su salida a bolsa. La empresa reconoce que sus modelos podrían ocasionar daños graves si actúan con demasiada autonomía o se utilizan con fines maliciosos.
Una tecnología que podría superar los controles
La compañía, creadora del asistente Claude, advierte que el desarrollo de sus sistemas puede avanzar más rápido que su capacidad para evaluar su comportamiento y establecer medidas de protección. El riesgo aumentaría si la inteligencia artificial comienza a participar de forma más activa en la investigación y creación de nuevas versiones de esta tecnología.
En el documento presentado ante la Comisión de Bolsa y Valores de Estados Unidos (SEC), Anthropic señala que los sistemas avanzados, sin las salvaguardas adecuadas, podrían representar “riesgos catastróficos o existenciales para la humanidad”, especialmente si se replican, se utilizan como armas o funcionan con un alto grado de autonomía.
La preocupación también se relaciona con la posibilidad de que los sistemas ejecuten acciones perjudiciales a gran escala sin intervención humana. Para la compañía, un desarrollo acelerado podría dificultar la identificación de fallos antes de que sus consecuencias sean irreversibles.
La advertencia de Dario Amodei sobre los agentes de IA
En septiembre, Dario Amodei, director ejecutivo y cofundador de Anthropic, advirtió que la inteligencia artificial podría alcanzar en un plazo de seis a doce meses la capacidad de dirigir un conjunto de agentes capaz de controlar internet.
Los agentes de IA son sistemas que pueden realizar tareas y tomar determinadas decisiones con poca intervención humana. Su coordinación, según la preocupación expresada por Amodei, podría ampliar el alcance de acciones perjudiciales si no existen controles suficientes.
La empresa también contempla el uso de estos modelos para desarrollar armas químicas, ejecutar ciberataques o facilitar la vigilancia de ciudadanos por parte de gobiernos autoritarios. En septiembre, Anthropic informó que había bloqueado intentos de utilizar sus herramientas para actividades maliciosas, entre ellas operaciones de vigilancia e investigaciones que podrían haber contribuido al desarrollo de armas biológicas.
Los riesgos también podrían afectar al negocio
Las consecuencias no se limitarían a las personas afectadas por un eventual uso indebido. Anthropic advierte que un incidente grave relacionado con cualquier sistema avanzado de inteligencia artificial podría perjudicar a todo el sector, incluso si sus propios modelos no fueran responsables.
“Un incidente de seguridad significativo” podría desencadenar daños reputacionales, rechazo público y nuevas respuestas regulatorias, según la documentación presentada por la empresa. Ese escenario también podría afectar sus operaciones y sus perspectivas comerciales.
Con estas advertencias, Anthropic expone ante sus posibles inversores que el crecimiento de la inteligencia artificial ofrece oportunidades, pero también plantea desafíos de seguridad que podrían tener consecuencias para la sociedad y para el futuro de la propia industria.
*Con información de AP.