AI 안전 거버넌스 분수령: 프론티어 연구진 사임 파동과 캘리포니아 킬스위치 규제 논쟁

최근 프론티어 AI 연구 현장에서 가장 두드러진 변화는 최전선에서 안전 메커니즘을 설계하던 핵심 연구 인력의 연쇄적인 이탈입니다. 오픈AI(OpenAI)와 xAI뿐만 아니라, 업계에서 ‘안전 최우선’을 기치로 내걸었던 앤트로픽(Anthropic)에서조차 주요 연구진의 사직 서한이 잇따라 공개되며 업계 안팎에 적잖은 충격을 주었습니다.

특히 주목할 만한 사건은 앤트로픽의 안전장치 연구팀(Safeguards Research Team)을 이끌던 므리낭크 샤르마(Mrinank Sharma)의 사임입니다. 앤트로픽은 설립 초기부터 무분별한 상업적 배포를 경계하며 안전 연구를 핵심 가치로 천명해 온 대표적인 기업이기에, 안전 연구 리더의 사임이 던지는 상징성은 결코 작지 않습니다. 아울러 오픈AI 출신 연구진 역시 뉴욕타임스(NYT) 기고 등을 통해 퇴사 배경을 밝히며 통제 불가능한 위험성에 대한 우려를 공식 표명하기도 했습니다.

이러한 안전 연구진의 ‘엑소더스’는 프론티어 모델 개발 경쟁이 격화되면서 빅테크 기업들이 상용화 속도전을 위해 위험 평가와 안전장치 구축을 뒷전으로 미루고 있다는 의구심을 키웁니다. 기술의 최전방에서 위험의 실체를 직접 마주하는 연구원들이 내부 자율 규제의 한계를 체감하고 외부를 향해 목소리를 내기 시작한 것입니다.

---

기업 내부의 자율적 통제가 한계에 봉착하자, 공공 영역에서는 첨단 AI 모델의 잠재적 재앙을 법적으로 강제 차단하려는 시도가 본격화되었습니다. 그 중심에 선 법안이 바로 스콧 위너(Scott Wiener) 캘리포니아주 상원의원이 발의했던 '첨단 AI 모델을 위한 안전 및 혁신 법안(Safe and Secure Innovation for Frontier Artificial Intelligence Models Act, SB 1047)'입니다.

SB 1047은 초거대 모델이 초래할 수 있는 극단적 위협 시나리오를 선제적으로 방지하는 데 초점을 맞추었습니다. 법안의 핵심 골자는 다음과 같습니다.

1. **적용 대상**: 훈련 비용 1억 달러 초과 및 $10^{26}$ FLOPs(부동소수점 연산) 이상의 연산량이 투입된 첨단 모델, 그리고 1,000만 달러 이상의 비용이 투입된 파인튜닝(미세조정) 모델. 2. **핵심 예방 의무**: 화생방 및 핵(CBRN) 무기 제조 지원 방지, 5억 달러 이상의 피해를 유발하는 국가 핵심 인프라 사이버 공격 방지. 3. **기술적 안전장치 및 책임**: 비상 상황 시 시스템 전체를 강제 종료할 수 있는 '킬스위치(Kill Switch)' 구현, 사전 훈련 안전 프로토콜 수립, 독립된 제3자 감사 수검 및 내부고발자 보호 제도화.

이 법안은 AI 분야의 석학인 제프리 힌턴(Geoffrey Hinton)과 요슈아 벤지오(Yoshua Bengio), 그리고 일론 머스크(Elon Musk) 등의 지지를 받았습니다. 이후 산업계의 반발을 고려해 위증죄 처벌 조항과 전담 감독 부서 신설 조항이 삭제되고, 준수 기준이 '합리적 주의(reasonable care)'로 완화되는 등 대대적인 수정을 거쳐 2024년 8월 캘리포니아주 상·하원을 통과했습니다.

그러나 2024년 9월, 개빈 뉴섬(Gavin Newsom) 캘리포니아 주지사는 이 법안에 최종적으로 거부권(Veto)을 행사했습니다. 뉴섬 주지사는 해당 법안이 첨단 기술 생태계의 혁신을 과도하게 옥죄는 반면, 기술의 실제적인 위험 구조는 정밀하게 타격하지 못한다고 지적했습니다.

---

SB 1047의 입법 좌초와 연구진의 연쇄 이탈은 인공지능 거버넌스를 설계하는 과정에서 마주치는 본질적인 난제들을 명확히 드러냅니다.

1. 연산량 중심 정량 규제의 기술적 한계 비판론자들이 제기한 가장 결정적인 반론은 '$10^{26}$ FLOPs'와 '훈련 비용 1억 달러'라는 획일적 기준의 실효성입니다. AI 모델이 내포하는 위험은 단순히 연산의 규모나 파라미터 크기에 정비례하지 않습니다. * **배포 맥락의 중요성**: 위험은 모델 자체의 물리적 연산량보다 의료, 전력망, 금융 등 고위험 핵심 인프라에 배포되는 방식과 실제 운용 환경에 따라 촉발됩니다. * **규제 사각지대 발생**: 지식 증류(Knowledge Distillation) 기술이나 특정 도메인에 특화된 미세조정을 거친 소형 고효율 모델은 기준 연산량에 미치지 않더라도 치명적인 생화학 공격이나 정밀 사이버 해킹에 악용될 수 있습니다. 연산량에만 의존하는 규제는 이러한 고위험 특화 모델을 규제 사각지대에 방치할 위험이 있습니다. * **오픈소스 생태계 위축**: 엄격한 법적 책임과 킬스위치 구현 의무는 막대한 자본력을 갖춘 빅테크보다 개방형 연구 생태계를 지향하는 오픈소스 커뮤니티와 스타트업에 치명적인 부담을 안겨 혁신의 사다리를 걷어찰 수 있다는 비판을 받았습니다.

2. 기업 자율 규제의 신뢰 붕괴 법적 규제가 맹점을 드러내는 사이, 기업의 자율적 거버넌스 역시 구조적 모순에 부딪혔습니다. 앤트로픽과 오픈AI 등 프론티어 기업들은 '책임 있는 확장 정책(RSP, Responsible Scaling Policies)' 등을 선제적으로 도입하며 자율 규제가 가능하다고 강조해 왔습니다.

그러나 핵심 안전 연구진의 사임과 연이은 폭로는 시장 선점과 상업화라는 자본 논리 앞에서 내부 안전장치가 언제든 무력화될 수 있음을 증명합니다. 수익성 극대화를 위해 안전성 검증 기간을 단축하거나 위험 경고를 묵살하기 쉬운 기업 환경에서, 내부 연구자의 직업적 양심은 자본의 이윤 동기와 끊임없이 충돌할 수밖에 없습니다.

---

프론티어 AI의 안전을 둘러싼 혼란은 기술 발전의 가속도와 사회 제도적 대응 속도 사이의 격차, 즉 '동기화 실패(Pacing Problem)'를 선명하게 보여줍니다. 향후 AI 안전 정책과 거버넌스는 다음과 같은 방향으로 패러다임 전환을 이뤄내야 합니다.

첫째, **'연산량 중심'에서 '위험 기반·배포 중심(Risk-based & Deployment-centric)' 규제로의 전환**입니다. 단순히 모델 개발에 투입된 플롭스(FLOPs)나 비용을 통제할 것이 아니라, 해당 AI 시스템이 어떤 인터페이스로 작동하는지, 외부 물리 시스템에 접근할 권한이 있는지, 고위험 핵심 영역에 배포되는지 여부를 정밀하게 평가해야 합니다. 작더라도 위험한 모델은 빈틈없이 포섭하고, 거대하더라도 무해한 모델의 혁신은 가로막지 않는 정교한 '핀셋 규제' 프레임워크가 필요합니다.

둘째, **내부 고발권 보장과 독립적 제3자 감사의 제도화**입니다. 기업 자율 규제의 한계가 드러난 만큼, 연구진이 불이익 없이 위험을 외부에 알릴 수 있는 제도적 안전망이 필수적입니다. 아울러 기업의 자체 평가에만 의존하지 않고, 공인된 전문 기관이 모델 배포 전 생화학 무기 지원 가능성이나 사이버 침투 역량을 독립적으로 검증하는 표준 레드팀(Red Teaming) 체계가 확립되어야 합니다.

셋째, **글로벌 안전선(Red Lines) 구축과 오픈소스 생태계의 공존**입니다. 킬스위치와 같은 일률적 강제 조치는 자칫 기술 통제나 오픈소스 생태계의 질식을 초래할 우려가 있습니다. 인류의 실존적 위협을 방지하기 위한 최소한의 '절대적 안전선'은 국제적 공조를 통해 확립하되, 건전한 학술 연구와 오픈소스 기술 발전을 위축시키지 않는 균형 잡힌 제도 설계가 뒤따라야 합니다.

핵심 연구자들의 경고 서한과 캘리포니아 SB 1047에 대한 거부권 행사는 끝이 아니라, 프론티어 AI 안전 거버넌스를 둘러싼 본격적인 논쟁의 서막입니다. 기술적 위험을 과장하여 혁신의 싹을 자르지 않으면서도, 자본 경쟁에 매몰되어 돌이킬 수 없는 파멸적 위험을 간과하지 않는 정교한 타협점을 찾는 것—이것이 향후 AI 기술 문명의 지속 가능성을 좌우할 핵심 과제입니다.