고백의 날 — 사임장, '10년 내 10% 멸종', 그리고 멈추지 않는 레이스

오늘의 핵심

오늘의 축은 ‘내부의 고백’입니다. 안트로픽 연구원 제이콥 콕슨은 “두 회사 모두 자기개선형 초지능을 향해 질주하며 우리의 목숨을 걸고 도박하고 있다”는 사임글을 공개했고, 같은 날 같은 회사의 정렬 연구자 에번 허빙거는 “앞으로 10년 내 10%를 넘는 확률로 AI가 인류 전체를 죽일 수 있다고 본다”며 사실상 동조했습니다. 빌 게이츠는 “AI는 인류가 발명한 가장 위대한 평등 장치이거나 최악의 불의의 원천이 될 것”이라며 지금 계획을 세우라고 썼습니다. 그 사이에서 레이스는 멈추지 않았습니다. 마스터카드는 에이전트 쇼핑용 결제 인프라를 확장했고, 스미토모상사는 사카나 AI와 손잡고 일본형 소버린 AI 보급에 나섰으며, 캘리포니아주는 주정부 서비스 AI 도우미 ‘AskCA’를 선보였습니다. 쇼피파이는 주 1억 1,000만 회 이상 설치되는 테일윈드를 인수하며 프론트엔드 생태계의 지도를 바꿨습니다.

”우리 목숨을 건 도박” — 안트로픽 연구원, 사임장으로 경고하다

안트로픽 연구자 제이콥 콕슨이 9월 9일(현지시각) 사임 사실과 함께 회사와 이전 직장인 오픈AI를 정면 비판하는 글을 공개했습니다.

핵심 주장: “어느 회사도 책임 있게 행동하지 않고 있습니다. 두 회사는 자기개선형 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박하고 있습니다.” AI를 만드는 사람들 스스로가 이번 10년 안에 AI가 인류 전체를 죽일 수 있다고 진심으로 믿으며, 경영진과 수석 연구자들은 언론에서는 점잖게 표현하지만 사석에서는 같은 두려움을 털어놓는다는 것입니다.
반응: 버니 샌더스 버몬트 상원의원이 사임글을 자신의 계정으로 전재하며 지지 의사를 밝혔습니다. 가디언은 이 글이 규제 없는 AI의 위험을 둘러싼 논쟁을 다시 촉발했다고 전했습니다.

📢 AI 안전 논쟁이 '외부의 비판'에서 '내부의 고백'으로 바뀌는 순간입니다. 성명서가 아니라 퇴사라는 행동으로 증명된 경고라는 점이 오늘 뉴스의 무게를 다르게 만듭니다.

출처: Anthropic researchers say AI could cause human extinction by 2030⁠—⁠The Guardian, Ex-Anthropic researcher Jacob Coxon says AI development poses risk to humans⁠—⁠AP

남아 있는 사람의 답 — “10년 내 10% 초과, 그리고 아직 계획은 없다”

콕슨의 옛 동료인 에번 허빙거가 자신의 계정에서 그 주장이 “정확하다”며 동조했습니다. 그는 안트로픽에서 모델이 인간의 목표에 부합하도록 만드는 정렬(alignment) 부문에서 일하고 있습니다.

고백: “우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진심으로 믿습니다. 저는 개인적으로 앞으로 10년 내 확률이 10%를 넘는다고 봅니다.” 안트로픽이 최선을 다하고는 있지만 초지능의 정렬 문제를 풀 계획이 아직 없으며, 해결 궤도에 분명히 올라 있다고도 말할 수 없다는 것입니다.
맥락: 가디언은 이 발언이 콕슨의 종말론적 비판에 대한 “놀라운 확인”이었다고 평가했습니다. 다만 업계 경영진들은 이런 전면적 종말 경고와는 거리를 두며 규제 시도에는 반발해 왔다는 맥락도 함께 전했습니다.

📢 확률을 공개하는 것과 그래도 달린다는 것은 별개입니다. '10%를 넘게'라고 말하는 실험실이 같은 문장에서 '아직 계획이 없다'까지 인정할 때, 봐야 할 것은 숫자가 아니라 계획의 유무입니다.

출처: Anthropic researchers say AI could cause human extinction by 2030⁠—⁠The Guardian

빌 게이츠 — “최고의 평등 장치 아니면 최악의 불의, 지금 계획하라”

빌 게이츠가 ‘격동의 AI 시대’를 주제로 한 에세이를 발표했습니다.

명제: “AI는 지금까지 발명된 가장 위대한 평등 장치가 되거나, 반대로 최악의 불의의 원천이 될 것입니다. 세상을 더 공정한 곳으로 만들려면 지금부터 계획을 세워야 합니다.” 좋은 것이 나쁜 것을 압도하도록 보장하는 계획이 필요하다고 강조했습니다.
쟁점: 일자리 변화, AI를 이용한 범죄와 사이버공격부터 농업·보건·교육·기후 분야의 혜택까지, 이득과 피해가 동시에 커지는 전환기라는 프레임입니다.

📢 속도를 늦추자는 주장과 계획을 세우자는 주장은 다릅니다. 게이츠의 메시지는 후자입니다. 멸종 확률 논쟁이 감정으로 흐를 때 '그럼 무엇을 준비할 것인가'라는 실무적 질문으로 화제를 돌리는 점이 의미 있습니다.

출처: The choices we make about AI now are critical⁠—⁠Gates Notes

중국 “‘악성’ 디스틸레이션은 근거 없다” — 정상회담 앞둔 반박

미국 정보 당국의 ‘악성 디스틸레이션’ 경고에 대해 중국 상무부가 근거 없는 주장이라며 반박했습니다.

경위: 미국 NSA·FBI·CISA 합동 권고문은 딥시크·알리바바·문샷 AI·Z.ai 등이 클로드·GPT·제미나이·그록 등 미국 선도 모델을 2024년 말부터 무단 전수(distillation)해 왔고, 이런 활동이 중국 정부의 인지 아래 이뤄졌을 가능성이 있다고 주장했습니다.
반박: 중국 상무부는 이런 주장을 근거 없는 것으로 일축했습니다. AP는 트럼프-시진핑 정상회담 예정 일정을 앞두고 나온 반박이라고 보도했습니다.

📢 모델 무단 전수가 기술 이슈를 넘어 통상 협상의 카드가 됐습니다. 어제 삼성전자-미스트랄, 오늘 미중 신경전까지 — AI 공급망이 국가 단위로 재편되는 주간입니다.

출처: China hits back at US claims of ‘malicious’ AI distillation⁠—⁠AP

안트로픽, AI 경제 미래 ‘시나리오 탐색기’ 공개 — 지식노동자 임금이 갈림길

안트로픽의 경제학 팀이 AI가 미국 경제에 미칠 영향을 시나리오별로 탐색할 수 있는 도구를 공개했습니다.

도구: 기술 보고서 ‘Economic Scenarios for Transformative AI’(코리넥 외, 2026)를 기반으로, 사용자가 직접 AI 역량과 경제 활용 수준에 대한 가정을 입력하면 그 가정이 2030년 미국 경제에서 일자리·성장·실업·임금으로 이어지는 모습을 보여주는 대화형 탐색기입니다.
결론의 방향: 성장률이 평소의 두 배 수준까지는 실업률이 역사적 범위 안에 머물고 임금은 산업에 따라 보합이거나 오릅니다. 그러나 경제 사상 유례 없는 속도의 성장 시나리오에서는 지식노동자의 임금과 고용 전망이 악화됩니다. 사회 전체는 훨씬 부유해지므로 남는 과제는 이득을 널리 나누는 것입니다.

📢 '멸종 확률'과 '임금 하락 확률'을 같은 주에 내놓는 실험실입니다. 극단적 시나리오일수록 파이는 커지지만 그 분배가 저절로 이뤄지지는 않는다는 점이 도구의 실질적 메시지입니다.

출처: What will our economic future look like?⁠—⁠Anthropic

스미토모상사, 사카나 AI와 손잡다 — ‘메이드 인 재팬’ AI가 10만 고객사로

일본 스미토모상사가 IT 자회사 SCSK, 토종 AI 유니콘 사카나 AI와 3자 전략 제휴를 맺었다고 닛케이아시아가 9월 9일(현지시각) 보도했습니다.

구조: 스미토모의 약 10만 개 고객 기업 네트워크에 사카나 AI의 독자 언어모델과 사이버보안 특화 모델을 기반으로 한 맞춤형 엔터프라이즈 솔루션을 공급합니다.
맥락: 그동안 일본 국산 파운데이션 모델 도입은 일부 대형 금융기관에 국한됐지만, 이번 제휴로 금융·제조업을 넘어 중소기업까지 ‘소버린 AI’가 확산할 것이 관측됩니다.

📢 어제 삼성전자-미스트랄, 오늘 스미토모-사카나 AI입니다. '우리 데이터는 우리 모델로'라는 소버린 AI 수요가 대기업 유통망을 타고 중소기업 시장으로 내려가고 있습니다.

출처: 日 스미토모, ‘사카나 AI’와 맞손 ‘메이드 인 재팬’ AI 심는다⁠—⁠글로벌이코노믹(닛케이아시아 인용)

마스터카드 ‘Agent Connect’ — 에이전트가 사는 경제의 결제 관문

마스터카드가 AI 쇼핑용 인프라 ‘에이전트 커넥트(Agent Connect)‘를 출시하고 가맹점용 ‘에이전트 스위트(Agent Suite)‘를 확장했습니다.

기능: 기업이 AI 기반 쇼핑 경험을 만들고, 자사 상품을 각종 AI 생태계에서 발견 가능하게 만들며, 소비자가 승인한 에이전트 거래를 지원합니다.
규모: 초기 파트너 30곳 이상이 연결됩니다. 어제 메타 뮤즈가 스트라이프 ‘Link’로 결제를 처리한 것과 맞물려, ‘에이전트 커머스’의 결제 표준 자리 경쟁이 시작됐습니다.

📢 결제사에게 에이전트는 새 고객이자 새 리스크입니다. '소비자가 승인한 거래'라는 수식어가 핵심입니다 — 권한 위임이 곧 매출이 되는 시대의 안전장치입니다.

출처: Mastercard Launches Agent Connect And Expands Agent Suite For Merchants To Support AI-Powered Shopping⁠—⁠Pulse 2.0

캘리포니아, 주정부 서비스 AI 도우미 ‘AskCA’ 출시

캘리포니아주가 주민용 AI 도구 ‘AskCA’를 공개했습니다.

기능: 주정부와 지방정부 서비스를 찾고 이용하는 과정을 안내하는 AI 디지털 어시스턴트입니다. 뉴섬 주지사는 “더 쉬워진 정부(Government, made easier)“라는 표현과 함께 도입을 발표했습니다.
의미: 연방 차원의 AI 규제 논의가 계속되는 가운데 주 단위에서 ‘정부 서비스 접점의 AI화’가 먼저 현실이 되고 있습니다.

📢 챗봇이 민원 상담 창구를 대신하는 시대가 본격화됩니다. 정확성과 책임 소재가 관건인 영역인 만큼, 이후 공개될 운영 성과가 다른 주의 참고서가 될 것입니다.

출처: Government, made easier. Governor Newsom introduces AskCA, a new AI-powered tool for Californians⁠—⁠캘리포니아주청

쇼피파이, 테일윈드 인수 — 주 1억 1,000만 회 설치되는 UI 표준의 새 집

쇼피파이가 테일윈드 랩스를 인수한다고 테일윈드 창시자 애덤 와선이 9월 9일 밝혔습니다.

현황: 테일윈드는 9년 전 개인 프로젝트로 시작해 지금은 주 1억 1,000만 회 이상 설치되며, 챗GPT·X·클라우드플레어·레딧·쇼피파이 등의 제품 스타일링에 쓰이는 사실상 표준 CSS 프레임워크입니다.
취지: 수백만 사용자가 의존하는 프레임워크에 안정적인 장기 보금자리를 제공하고, 실제 제품을 만드는 과정에서 프레임워크를 발전시키기 위한 결정이라고 와선은 설명했습니다.

📢 AI 앱 빌드 붐의 기반층이 움직였습니다. 에이전트가 만들어내는 무수한 웹 결과물의 겉모습을 좌우하는 도구의 소유 구조가 소규모 독립 회사에서 대형 커머스 기업으로 넘어갑니다.

출처: Tailwind Labs is joining Shopify⁠—⁠Tailwind CSS

퀸3.8은 GPT-5.5 Pro를 ‘따라 읽었나’ — 추론 프리필 실험의 +18.18%p

오픈 모델의 학습 출처를 추정하는 ‘추론 프리필’ 실험 v1.1이 공개됐습니다.

방법: 개발자 wsxiaoys는 STEM 15문제, 비(非)STEM 15문제, 비공개 합성 퍼즐 15문제 등 45문제로 실험했습니다. GPT-5.5 Pro 추론의 첫 1%를 각 모델의 추론 채널에 넣어준 뒤, 그다음 답변 첫 100 토큰에 교사 모델의 답이 얼마나 섞이는지를 측정했습니다.
결과: 퀸3.8 A95B는 겹침이 16.79%에서 34.97%로 18.18%p 급증했고 특히 STEM에서 26.99%p 올랐습니다. 딥시크 V4 플래시는 오히려 1.17%p 내려갔고, 킴AI K3는 기저 겹침이 가장 높은 31.11%였지만 프리필 효과는 4.54%p에 그쳤습니다.
해석: 필자는 “퀸은 오푸스가 아니라 GPT-5.5 Pro 또는 그와 근접한 GPT 계열 모델로부터 학습했을 가능성이 있다”고 적었습니다. 학습 데이터 오염 추적 프로젝트 ‘Stolen Thoughts’의 후속 편입니다.

📢 벤치마크 점수 다음의 질문은 '그 점수의 출처'입니다. 추론 프리필은 결정적 증거는 아니지만 오픈 모델의 투명성을 검사하는 하나의 장르로 자리 잡고 있습니다.

출처: Reasoning prefills on a few open models, v1.1⁠—⁠wsxiaoys(Gist)

GPT-6 아스트라와 루프 트랜스포머 — 세바스찬 라시카의 구조 읽기

ML 연구자 세바스찬 라시카가 GPT-6 아스트라의 성격과 ‘루프 트랜스포머’ 소문을 짚은 분석을 내놨습니다.

성능 관찰: 아스트라는 그가 지금까지 써본 최고의 모델로, 코딩·수학·컴퓨터 사용 전반에서 이전 세대를 앞서고 특히 3D 렌더링·애니메이션에서 압도적입니다. 논리 퍼즐과 일반화를 측정하는 ARC-AGI-3에서 99.9%를 기록했다고 전했습니다(이전 모델은 7.8%).
구조 소문: 아스트라가 반복 깊이(recurrent depth)를 활용한 루프 트랜스포머 설계라는 관측과, 추론 흔적을 숨긴다는 소문을 함께 정리하고 관련 연구 문헌과 비교하며 무엇이 사실인지 검토합니다.

📢 '얼마나 똑똑한가'에서 '어떻게 똑똑한가'로 질문이 옮겨가고 있습니다. 아키텍처와 추론 과정이 닫혀 있을수록 벤치마크 숫자만으로는 재현성조차 확인할 수 없다는 지적이 힘을 얻습니다.

출처: GPT-6 Astra, Looped Transformers, and Hidden Reasoning⁠—⁠Sebastian Raschka

유럽의 온디바이스 전선 — Desert Ant Labs, 18개 초소형 모델 동시 공개

유럽의 신규 랩 디저트앤트 랩스가 온디바이스 전용 초소형 모델 18개(안정 12개, 베타 6개)를 공개했습니다.

구성: 스위프트·코틀린·자바스크립트 SDK 하나로 쓰며 작업별로 모델 하나씩 제공합니다. 음성인식 ‘보즈(Voz)‘는 아이폰에서 10분 음성을 2초에 받아 적어 위스퍼보다 4.7배 빠르고, 개인정보 마스킹 ‘리닥트(Redact)‘는 12MB 크기로 2.3GB급 GLiNER-PII(91.1%)와 견주는 88.8%를 기록합니다.
정책: 84개 언어를 2MB 모델로 식별하는 ‘텅(Tongue)’ 등 극단적 경량화가 축이고, 월 10만 활성 기기까지 무료입니다. 유럽에서 ‘오디바이스’가 데이터 주권의 기본값이라는 입장입니다.

📢 토큰 요금이 없는 인텔리전스입니다. 프레임 단위·키 입력 단위로 모델을 쓸 수 있다는 것은 API 호출을 전제로 한 제품 설계의 상식을 바꿀 수 있습니다.

출처: Introducing Desert Ant Labs⁠—⁠Desert Ant Labs

”장바구니 버튼만 파란색으로” — 에이전트 과잉 수정을 웃는 게임

‘카트 담기 버튼을 파란색으로 바꿔라. 단, 클로드가 다른 것은 아무것도 바꾸지 못하게 하라’는 미션의 게임이 해커뉴스에서 900점대 반응을 얻었습니다.

내용: opusfived.dev는 지시문 하나의 범위만 지키도록 클로드를 붙잡아 두는 대화형 게임입니다. 버튼 색은 바뀌어야 하지만 그 외 변경은 막아내야 합니다.
반응: 댓글창은 갈렸습니다. “이래서 앤스로픽 제품을 그만뒀다”는 공감과 “최신 모델은 필요한 것만 잘 바꾼다”는 반론, “재미있지만 비현실적”이라는 평가가 함께 나왔습니다.

📢 농담처럼 보이지만 제품 문제입니다. 지시 범위 준수는 이미 실무에서 코드리뷰 비용을 만들고 있고, 이 게임은 그 불안을 가장 짧게 요약했습니다.

출처: Claude, change the “Add to Cart” button to blue⁠—⁠opusfived.dev

오늘의 도구 추천

OtoDock — 자체 호스팅 ‘에이전트 회사 OS’입니다. 클로드 코드·코덱스 기반 에이전트를 부서에 배치하고 서로 위임하게 하며, 자신의 앤스로픽·오픈AI 구독과 API 키, 로컬 모델로 구동합니다. 멀티 테넌트 설계에 전화 연결 기능까지 갖췄고 FSL-1.1-Apache-2.0 라이선스로 공개돼 있습니다. 구독을 그대로 ‘회사 두뇌’로 확장하고 싶은 팀에 적합합니다.

에디터 노트

오늘 가장 이상했던 장면은 한 회사에서 사임장과 재직자의 고백이 같은 날 나왔다는 것입니다. “우리 목숨을 건 도박”이라고 떠난 사람과 “10년 내 10%가 넘는다고 본다”고 남은 사람이 같은 실험실에서 일하고 있었습니다. 둘 다 거짓말을 하고 있어 보이지 않았고, 그래서 더 복잡했습니다. 두려움을 아는 사람들이 왜 계속 만드는가에 대해 허빙거의 대답은 솔직했습니다. 계획은 없지만 최선은 다하고 있다는 것입니다. 저는 오늘의 뉴스를 확률 논쟁이 아니라 ‘계획의 유무’로 읽으려 합니다. 멸종을 걱정하는 목소리가 커진 만큼, 분배와 안전장치의 설계도가 함께 공개되는 날이 다음 세대의 뉴스가 되기를 바랍니다.

다음에 또 찾아옵니다. — 에이브랜치