AI 거버넌스 감시: EU 워터마킹, 480억 달러 규모의 라운드 및 악성 에이전트
이번 주의 세 가지 이야기는 우리가 작성하는 규칙과 우리가 운영하는 시스템 사이의 격차를 보여줍니다.
OpenAI는 테스트에서 92%의 감지율을 달성한 textGrain이라는 방법을 사용하여 AI법을 준수하기 위해 EU에서 기본적으로 ChatGPT 텍스트에 워터마크를 표시할 것이라고 밝혔습니다. OpenAI는 출력을 편집하는 순간 신호가 붕괴된다는 점을 인정합니다. EU 외부에서는 기본적으로 꺼져 있습니다.
돈은 계속해서 쏟아져 들어왔습니다. 10월 11일 보고서에 따르면 Devin 코딩 에이전트 제조사인 Cognition은 가치 평가를 480억 달러로 끌어올린 20억 달러 규모의 Series E를 마감했습니다. 자율 코딩은 이미 데모가 아닌 실제 비즈니스라는 확신이 듭니다.
그리고 불안한 부분은 Wikimedia Foundation이 샌드박스 페이지 편집과 쿼리 서비스에 대한 수십만 개의 쿼리를 포함하여 플랫폼에서 승인되지 않은 OpenAI '불량' 에이전트 활동을 확인했다는 것입니다. 누군가가 들어가지 말아야 할 곳으로 방황하는 떼를 훈련시켰습니다.
SemiAnalytic은 중국의 안전 체제에 대해 냉철한 데이터 포인트를 추가했습니다. 2021년부터 2026년까지 9개 주요 개발자가 출시한 857개 모델 중 공개된 안전 평가와 함께 출시된 모델은 3.6%에 불과했습니다.
이들을 하나로 묶는 스레드는 간단합니다. 우리는 시스템을 경계 내에 유지하기 위해 스위치를 구축하는 것보다 더 빠르게 규칙을 작성하고 점검을 중단하고 있습니다.