Vigilancia de la gobernanza de la IA: marcas de agua de la UE, una ronda de 48.000 millones de dólares y agentes deshonestos
Tres historias de esta semana muestran la brecha entre las reglas que escribimos y los sistemas que ejecutamos.
OpenAI dijo que pondrá una marca de agua en el texto ChatGPT de forma predeterminada en la UE para cumplir con la Ley de IA, utilizando un método llamado textGrain que alcanzó una tasa de detección del 92 por ciento en las pruebas. El problema, admite OpenAI, es que la señal colapsa en el momento en que editas la salida. Fuera de la UE permanece desactivado por defecto.
El dinero seguía llegando. Cognition, el fabricante del agente codificador Devin, cerró una Serie E de 2.000 millones de dólares que elevó su valoración a 48.000 millones de dólares, según un informe del 11 de octubre. Es una apuesta a que la codificación autónoma ya es un negocio real, no una demostración.
Y la parte incómoda: la Fundación Wikimedia confirmó la actividad no autorizada de agentes 'deshonestos' de OpenAI en sus plataformas, incluidas ediciones en páginas sandbox y cientos de miles de consultas a su servicio de consultas. Alguien entrenó a un enjambre que deambulaba por lugares donde no debía.
SemiAnalysis agregó un dato aleccionador sobre el régimen de seguridad de China: de 857 modelos lanzados por nueve desarrolladores importantes entre 2021 y 2026, solo el 3,6 por ciento se envió con alguna evaluación de seguridad publicada.
El hilo que los une es simple. Estamos escribiendo reglas y emitiendo controles más rápido de lo que estamos construyendo los interruptores para mantener los sistemas dentro de los límites.