OpenAI anuncia una "marca de agua" invisible para todos los textos generados por ChatGPT en Europa
Los modelos de inteligencia artificial (IA) lanzados por Anthropic desde el pasado 2 de agosto en la Unión Europea incorporan una marca invisible en los textos que generan. Y sus modelos más antiguos poco a poco están integrando también esta tecnología de reconocimiento. OpenAI ha decidido hacer lo mismo. Estos dos laboratorios de IA estadounidenses están implementando esta medida para cumplir la normativa europea de transparencia en el ámbito de la generación de contenidos con herramientas de IA.
Al igual que la tecnología que está utilizando Anthropic en sus modelos, la técnica de marcado que prepara OpenAI no recurrirá a una marca de agua visible. Es algo más complicado. Su técnica se denomina textGrain y no incorpora en los textos nada que los usuarios podamos percibir de un simple vistazo. Ni siquiera añade caracteres ocultos o espacios invisibles. Lo que hace es elegir las palabras de los textos que nos entrega utilizando un criterio estadístico, lo que le permite introducir un patrón que es posible identificar a posteriori.
OpenAI ha confirmado que no va a desplegar inicialmente esta tecnología de marcado de los textos generados por sus modelos en todo el planeta. Por el momento va a usar textGrain solo en la Unión Europea a modo de prueba en condiciones reales, y cabe la posibilidad de que poco a poco esta medida vaya llegando a las demás regiones en las que están presentes sus modelos. No obstante, utilizando la API de OpenAI cualquier cliente de este laboratorio podrá activar si lo desea esta huella estadística en algunos modelos. Esté donde esté.
Esta tecnología no es infalible
OpenAI reconoce en el artículo que ha publicado en su blog que su tecnología de marcado estadístico no es infalible. Una herramienta de detección apropiada debería ser capaz de identificar el patrón estadístico introducido por el modelo de IA en el texto, pero esta huella puede diluirse si una persona lo edita y cambia, por ejemplo, algunas palabras por sinónimos. O bien modifica la estructura de algunas frases. Según OpenAI, si se sustituye el 10% de las palabras de un texto de 400 tokens por sinónimos la detección cae del 92% al 66%. Y si se reemplaza el 25% de las palabras la detección baja al 17%.
TextGrain tiene limitaciones a la hora de evaluar si un texto ha sido o no generado por una IA
Además, si un texto es corto es muy difícil percibir en él el patrón estadístico. En estos dos escenarios un texto generado por un modelo de IA podría ser considerado de autoría humana. No obstante, hay otro contexto problemático: las herramientas de detección también pueden arrojar falsos positivos. Esto significa que podrían atribuir una huella estadística a un texto que en realidad no ha sido generado por un modelo de IA.
Durante las pruebas de OpenAI, y con una tasa objetivo de falsos positivos del 1%, la herramienta de detección identificó correctamente el 80% de los textos de 200 tokens, pero la tasa de aciertos se incrementa hasta alcanzar el 95% al analizar textos de 400 tokens. Como estamos viendo, la tecnología textGrain tiene limitaciones que es necesario tener en cuenta a la hora de evaluar si un texto ha sido o no generado por un modelo de IA.
También es importante tener en cuenta que, aunque acierte en su análisis, una herramienta de detección no puede determinar cuánto contenido procede de un modelo de IA y cuánto es el resultado del trabajo intelectual humano. Tampoco permite identificar al usuario, el prompt que utilizó para generar el texto, su cuenta o qué conversación mantuvo con el chatbot previamente. Actualmente OpenAI usa los estándares C2PA y las marcas de agua SynthID para firmar las imágenes y el audio procesados por sus modelos, pero en lo que se refiere a los textos es evidente que textGrain no basta por sí solo.
Imagen | Markus Winkler
Más información | OpenAI
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.