Le dijo a ChatGPT que quería asesinar a su hijo de 8 años y luego fue arrestado por la policía

• • Autor, Iara Diniz
  • Título del autor, BBC News Brasil

• Fecha de publicación 12 minutos

• Tiempo de lectura: 7 min

ADVERTENCIA: Este artículo contiene referencias sobre violencia y suicidio.

"Le ofrecí 50.000 para que me matara a mí y a mi hijo, pero no quiso porque se trataba de un niño".

"Quería saber de dónde viene este deseo de matar gente. Me gusta la sensación de ver sufrir a otra persona".

Durante casi dos meses, un agricultor brasileño intercambió estos y otros mensajes con el asistente de inteligencia artificial ChatGPT, en lo que la policía describe como planes para matar a su hijo de 8 años, atacar a otras personas y luego quitarse la vida.

Y fueron precisamente estos mensajes, a los que tuvo acceso BBC News Brasil, los que llevaron al arresto del hombre.

En uno de los pocos casos conocidos de este tipo, el hombre, de 36 años, fue arrestado después de que OpenAI, el creador de ChatGPT, denunciara sus mensajes al FBI, que a su vez notificó a las autoridades brasileñas.

Su abogado afirma que le estaba "diciendo tonterías" a un chatbot y que no cometió ningún delito.

Este caso pone de relieve un reto creciente para la policía, los tribunales y las empresas de IA: ¿Qué debería ocurrir cuando los chatbots de IA identifican una amenaza potencial antes de que se haya cometido ningún delito?

Saltar Más leídas y continuar leyendo

Más leídas

Final de Más leídas

"Todo lo que la plataforma nos proporcionó quedó corroborado"

El hombre, cuyo nombre la BBC no revela para proteger la identidad de su hijo, fue arrestado en la zona rural de São Gabriel da Palha el 19 de junio, tres días después de que la unidad de delitos cibernéticos del Ministerio de Justicia brasileño remitiera el caso al departamento de policía estatal.

"Priorizamos este caso debido a su gravedad y porque, supuestamente, el padre planeaba matar a su hijo antes del día 20", declaró Brenno Andrade, jefe de la comisaría de delitos cibernéticos de Espírito Santo.

Según Andrade, el sospechoso tenía poco o ningún contacto con su hijo, más allá del pago de la manutención. Los investigadores creen que el resentimiento por esos pagos pudo haber sido uno de los motivos del presunto complot.

En los registros de su propiedad se encontraron cuatro botellas que contenían sustancias no identificadas y una cuerda amarrada con un nudo, lo que, según los agentes, podría indicar intenciones suicidas.

La policía también cree que el sospechoso habló con ChatGPT sobre posibles ataques contra escuelas, iglesias y agentes de policía.

Un mensaje, al que tuvo acceso la BBC, decía: "Si voy a un punto de venta de drogas y mato a unos cuatro delincuentes, me haría famoso en la ciudad. Después, solo tendría que matar a uno o dos policías y podría morir en paz".

Otro mensaje decía: "Estoy pensando en comprar un arma de fuego y dispararle a la policía para que reaccionen y me maten. Eso sería genial y bueno para mí".

Los investigadores afirman que el hombre investigó sustancias tóxicas, incluida la ricina, e intentó eludir las medidas de seguridad de ChatGPT reformulando las preguntas.

"Todo lo que la plataforma nos proporcionó fue corroborado cuando la policía llegó al lugar de los hechos", dijo Andrade.

El hombre niega haber tenido la intención de hacerle daño a su hijo.

Después de 54 días bajo custodia, fue puesto en libertad el 13 de agosto debido a retrasos en la investigación. No se han presentado cargos, pero la investigación de la policía continúa.

El agricultor está sujeto a medidas de precaución, que incluyen vigilancia electrónica y la prohibición de contactar con su hijo o con la madre del niño.

Los investigadores han declarado que están examinando el teléfono móvil del sospechoso y esperan los resultados de las pruebas forenses de los objetos incautados para determinar si tomó medidas concretas para llevar a cabo algún plan, incluyendo si contactó con un sicario, como supuestamente afirmó en conversaciones con ChatGPT.

Según dicen, esta evidencia podría ayudar a determinar si el sospechoso pasó de la planificación y preparación del delito a su ejecución.

En el derecho penal brasileño, normalmente un delito se considera cometido únicamente durante la fase de ejecución.

La defensa argumenta que no se tomó ninguna medida al respecto.

"Si hablar con la IA y decir tonterías es un delito, todo el mundo irá a la cárcel", declaró el abogado defensor Pedro Paulo Pessi a BBC News Brasil.

El problema de la evidencia

Se cree que los casos de empresas de IA que denuncian a sus usuarios a la policía son raros.

En agosto, OpenAI denunció ante el FBI a un hombre de Florida de 25 años después de que este compartiera con el chatbot sus planes para violar y asesinar a su exnovia, según informaron medios estadounidenses.

Andrade, de la policía de Espírito Santo, dijo que el caso del agricultor era la primera alerta de este tipo generada por inteligencia artificial que recibía el estado y solo el tercer caso de este tipo en Brasil.

"Es otra vía para que la policía intente averiguar si la gente ha investigado delitos utilizando inteligencia artificial", dijo Andrade.

Sin embargo, existen diversas dudas sobre el papel que desempeñan este tipo de avisos procedentes de empresas de IA en el proceso de investigación, incluyendo si los mensajes pueden utilizarse como prueba en un tribunal.

Según los investigadores, OpenAI proporcionó detalles del usuario y de los mensajes que envió, pero no las respuestas de ChatGPT.

"No recibimos las respuestas que se dieron", dijo Andrade.

La abogada penalista Maíra Fernandes afirma que esto crea un problema probatorio porque el contexto de los mensajes es importante.

"No puede ser un pequeño fragmento, no puede ser una versión editada. Tiene que ser la conversación completa", dijo.

Fernandes añadió que ver la conversación completa entre el sospechoso y ChatGPT podría ayudar a determinar si el chatbot simplemente reaccionó a lo que dijo el usuario o si influyó activamente en la conversación.

En un comunicado a BBC News Brasil, la empresa se negó a explicar por qué no se compartieron las respuestas de ChatGPT, limitándose a decir que podría notificar a las autoridades policiales cuando detecte un "riesgo creíble e inminente de daño a terceros".

En abril de este año, Florida abrió una investigación penal contra OpenAI para determinar si su tecnología ChatGPT tuvo algo que ver con el asesinato de dos personas durante un tiroteo masivo en la Universidad Estatal de Florida el año pasado.

OpenAI refuta esas acusaciones, afirmando que ChatGPT proporcionó información que ya estaba disponible públicamente y que no fomentó ni promovió actividades ilegales.

"Obligación legal de actuar"

Fernandes dice que el hecho de que la presunta víctima en el caso brasileño fuera un menor identificable ayuda a explicar la alerta.

Sin embargo, advierte sobre el peligro de normalizar las investigaciones basándose únicamente en evaluaciones de IA.

"De lo contrario, cualquiera podría ser investigado porque la inteligencia artificial lo interpretó de esa manera", dijo.

Argumenta que se necesitan medidas de protección para distinguir las amenazas reales de las expresiones de desahogo emocional, la fantasía o las declaraciones provocadoras.

Patricia Peck, profesora y especialista en derecho digital, asegura que el caso refleja un cambio más amplio en el papel de la IA, que pasa de ser una herramienta de generación de contenido a un sistema interactivo "capaz de identificar patrones asociados con comportamientos potencialmente peligrosos".

Ella argumenta que, en determinadas circunstancias, las empresas de IA pueden tener la obligación legal de informar a las autoridades.

"Cuando una conversación deja de representar una intención meramente abstracta y comienza a indicar una amenaza concreta, con una víctima identificable, medios disponibles y un riesgo inminente, surge un deber ético y, en ciertas circunstancias, legal de actuar", afirma.

Pero al igual que Fernandes, advierte sobre su uso excesivo.

"La ética aplicada a la IA no debería basarse en una lógica de 'vigilarlo todo', sino más bien en una lógica de 'intervenir solo cuando el riesgo lo justifique'".

"El reto consiste en evitar tanto la omisión como la vigilancia excesiva".

Este artículo fue escrito originalmente en inglés y usamos una herramienta de inteligencia artificial para traducirlo. Un periodista de la BBC revisó el texto antes de su publicación. Más información sobre cómo usamos IA.

• Descarga la nueva app del BBC World Service. Elige BBC News Mundo y recibe alertas de noticias, documentales y análisis, todo en un solo lugar. Importante: la nueva aplicación no está disponible en Reino Unido ni Estados Unidos.
• También puedes seguirnos en YouTube, Instagram, TikTok, Facebook, X y en nuestro canal de WhatsApp.
• Y no olvides suscribirte aquí a nuestro newsletter para recibir cada viernes una selección especial de nuestro mejor contenido.