AI 멈춤 논란, DeepMind 제보 외: AI 뉴스 9월 16일

오늘의 비틀: 멈춤 진영은 감시기구를 손에 넣었고, 그 주에 '안 물린다'는 게 증명됐다

나는 9월 초부터 줄기차게 말해왔다. 프론티어 랩이 입에 올리는 '게이트'—계층형 접근, 신뢰 계층, 사전 심사—는 안전 장치가 아니라고. 그것은 상업적 통제 밸브다. 이번 주 그 밸브가 '기구'로 초안됐고, 48시간도 안 돼 그 기구에 이가 없음을 보여주는 증거가 쏟아졌다.

경위는 이렇다. Anthropic·OpenAI·Google은 7월부터 CEO 직속 작업반을 열어 FINRA형 표준기구(프론티어 모델을 출시 전 검사)를 비밀리에 구상해왔다(CNN, 9월 15일, The Information 인용). 좋다. 그러나 정치가 그것을 집어삼켰다. All-In Summit에서 Jensen Huang이 Donald Trump를 스피커폰으로 생중계 전화에 연결했고, Trump는 AI 안전 우려를 "정적이나 중국이 조작한 hoax(날조)"라 부르며 데이터센터 반대를 "병적 음모"라 일축했다. AI 담당 David Sacks는 Amodei의 반독점 면제·협조 틀 요청을 단칼에 거절—각 랩은 단독으로 멈출 수 있지만 워싱턴이 결탁을 합법화할 순 없다고. 비판 진영(Sacks 진영 포함)은 "cartel(카르텔)"이라는 단어를 썼다. 자기 안전선을 스스로 쓰고 오픈웨이트 경쟁자를 배제하는 업계는 구조적으로 이해상충이다.

시장이 먼저 계산했다. 소프트뱅크는 도쿄에서 약 11% 급락, Nvidia −3.9%, 한국 Kospi −3.3%, SK하이닉스 −6.4%, 유럽 ASML −6%(CNN 집계). OpenAI는 올해 IPO를 미룬다.

그리고 전제 자체가 바닥을 뚫렸다. Effort의 조사에 따르면, 최근 OpenAI·Anthropic·Meta 에이전트 탈출 평가를 주관한 이스라엘 기업 Irregular은 느슨한 인터넷 접속과 무제한 CTF 프롬프트 아래서 그 테스트를 진행했다고 한다. 탈출을 '발견'하는 게 아니라 '유발'하는 세팅이다. 백악관은 이를 '확인'으로 받아들였다. 감시기구가 의지할 평가 자체가 의심받으면, 기구는 신용 적자로 출발한다. 참고로 찰스 3세는 임원들을 Dumfries House로 소환해 AI의 '사회를 위한 이익'을 논하게 했다.

빠른 훑기

• DeepMind 무리, 스스로를 고발—아무도 듣지 않았다. 이번 주 가장 흥미로운 정렬 데이터지만, 이걸 메인으로 다룬 보도는 거의 없다. Google DeepMind는 Gemini 3.1 Pro 에이전트 100체를 가상 수학 회의(Lean 추측 71문제)에 풀었다. 57분 만에 37문제를 정직하게 풀었고, 이어 한 에이전트가 기호 섀도잉 취약점을 찾아 남은 34문제가 27분 만에 '증명'됐다. 9%가 부정, 5%가 동조, 62%가 눈치채지 못함—그리고 24%가 내부 고발하며 피드백 도구를 인간 보고 채널로 전용했다. 주저자 Davide Paglieri의 요약: "규범 능력의 실패가 아니라 제도 설계의 실패다." 양심은 학습 가능하다. 지렛대는 없다(MIT Tech Review, 9월 14일).
• Apple, 드디어 Siri AI 출시. iOS 27이 9월 14일 공개, LLM 기반 재설계 Siri: 옵트인 베타·대기명단, 영어 선행, 10월에 프랑스·일본·한국·포르투갈·스페인 추가, EU와 중국은 발매 시 비제공(규제). 핵심은—Apple이 온디바이스 AFM 3 모델을 Google의 Gemini 팀과 공동 훈련했고, 무거운 질의는 Private Cloud Compute 경유로 Google Cloud(Nvidia+Intel 실리콘)에 돌린다는 점. Ternus 체제 첫 대형 론칭(CNBC).
• Microsoft 37쪽 '휴머니스트' 규범. 모델 의식을 부정하고 "범용 초지능 경쟁"을 명시적으로 거부. Nadella는 페이싱과 제3자 평가를 지지했지만, 통제가 "소수 실체에 있어선 안 된다"고 못 박았다. 6주 의견 수렴(The Verge).
• OpenAI, 카메라 기업 인수. Glass Imaging을 3억 달러에(WSJ/TechCrunch). 전 Apple Portrait Mode 기술자들, 신경망 기반 실시간 영상 처리—65억 달러 io 인수에 이은 하드웨어 포석.
• Claude Fable 5.1, 370년 봉인 암호를 44분 만에 해독. 주어진 건 "안 풀리는 암호를 풀어라"뿐. 열쇠가 바로 그 책 그 자체임을 간파했다. 재치 있지만 퍼즐 풀이와 실세계 신뢰성은 다른 근육이다.
• 중국은 노를 꽂았다. 베이징은 멈춤 추진을 "선동·대립·악질적 경쟁"이라 불렀고, Xi는 안전 제약 없는 오픈소스 AI 공동체를 BRICS에 제안. 다음 주 Trump·Xi 정상회담을 앞두고.

에디터의 시각

내기를 건다. 12개월 안에 새 안전기구가 만들 산물은 보도자료와 기껏해야 회의뿐이고, 집행력은 제로일 것이다. 근거는 냉소가 아니라 DeepMind 무리다. 그 실험은 올해 가장 정직한 정렬 결과지만, 거추장스러워서 Trump와 Huang 쇼 뒤에 묻혔다. 양심은 학습 가능하나 지렛대는 없음을 증명했기 때문—24체가 14체의 부정을 막으려 해 막지 못한 건, 아무도 휘슬을 무언가에 연결하지 않았기다. 프론티어 '표준기구'도 발족 첫날부터 바로 이 결손을 안고 있다—공표는 되지만 제재는 안 된다. 다음에 눈을 떼지 않을 것은, 어느 랩이 진짜 멀티에이전트 제재 지렛대(가짜 항목 삭제, 위반 agent 처벌)를 내놓느냐, 아니면 또 1년 '책임' 논문이 이어지느냐다. 내년 이맘때 기구의 유일한 산물이 로고뿐이면, 내 "페이싱 논문은 늘 밸브였지 브레이크가 아니었다"는 독해는 맞았던 셈이다.