때는 1945년. 로버트 오펜하이머는 뉴멕시코 사막에서 트리니티 실험이 피어오르는 것을 보며 섬뜩한 깨달음에 휩싸입니다. 수년 후, 그 창조물에 사로잡힌 그는 유명하게도 바가바드 기타를 인용했습니다. “이제 나는 죽음이요, 세계의 파괴자가 되었다.” 우리는 AI로 비슷한 벼랑 끝에 서 있는 것일까요?
클로드(Claude)를 만든 회사인 앤트로픽(Anthropic)의 CEO 다리오 아모데이는 최근 “기술의 청소년기”라는 제목의 장문의 에세이(거의 40페이지)를 발표했습니다. 그는 그 안에서 초지능의 급속한 발전 속에 도사리고 있는 엄청난 위험에 대한 우려를 밝혔습니다.
오해하지 마세요. 앤트로픽은 AI 개발을 중단하지 않습니다.
사려 깊은 에세이로 알려진 아모데이는 인류가 격동적이고 불가피한 “통과의례”인 변혁의 시대 문턱에 있다고 믿으며, 이는 “우리가 종으로서 누구인지 시험할 것”입니다. 그러나 이 시대는 상황이 잘못될 경우 우리의 마지막 시대가 될 수도 있습니다. 그가 말했듯이, “인류는 거의 상상할 수 없는 힘을 곧 손에 쥐게 될 것이며, 우리의 사회적, 정치적, 기술적 시스템이 그것을 휘두를 수 있을 만큼 성숙했는지 여부는 매우 불분명합니다.” 그는 또한 “AI 기반 권위주의는 저를 두렵게 합니다.”라고 섬뜩하게 덧붙입니다.
여담: 앤트로픽은 한때 트럼프 행정부의 연방 정부에 클로드를 상징적인 금액인 연간 1달러(0.93유로)에 제공했습니다.
당신 주머니 속의 바이러스 학자
1995년 도쿄 지하철에서 발생한 옴진리교 종교 운동에 의한 사린 가스 테러를 기억하십니까? 14명이 사망하고 더 많은 사람들이 고통을 겪었습니다. 아모데이는 이것을 뚜렷한 예로 사용하여 “모든 사람의 주머니에 천재를 넣는 것”이 그러한 공격에 대한 진입 장벽을 크게 낮추어 잠재적으로 훨씬 더 치명적으로 만들 것이라고 제안합니다.
그는 “사람을 죽이고 싶지만 훈련이나 기술이 부족한 정신이 불안한 외톨이는 이제 그러한 동기가 없을 가능성이 높은 박사 학위 바이러스 학자의 능력 수준으로 올라갈 것입니다.”라고 씁니다. “저는 잠재적으로 많은 사람들이 있을 수 있다고 우려하며, 그들이 수백만 명을 죽이는 쉬운 방법에 접근할 수 있다면 조만간 그들 중 한 명이 그렇게 할 것입니다.”
그리고, 아무 의미 없이, 클로드 Opus 4.5에 대한 앤트로픽의 “시스템 카드” 보고서의 한 평가는 모델에게 복잡한 바이러스를 재구성하는 데 바이러스 학자를 지원하는 임무를 맡기는 것을 포함했다는 점을 고려하십시오.
우리는 진정한 AI에 얼마나 가까워졌을까요?
아모데이는 최근 AI 기능의 인상적인 발전을 인정하지만, 이러한 속도가 계속된다면 곧 초지능에 도달할 것이라고 경고합니다. 그는 “인공 일반 지능”(AGI)에서 용어의 변화를 지적하지만 근본적인 우려는 여전합니다. “기하급수적인 증가가 계속된다면(확실하지는 않지만 이제 10년 동안 뒷받침하는 추세가 있습니다) AI가 본질적으로 모든 면에서 인간보다 뛰어난 데까지는 몇 년 이상 걸리지 않을 것입니다.”
‘천재의 나라’가 도래하다
초지능적인 존재로 이루어진 새로운 국가가 나타났다는 헤드라인으로 눈을 뜬다고 상상해 보세요. 아모데이는 다음과 같은 비유를 제공합니다. “만약 문자 그대로 ‘천재의 나라’가 ~2027년에 세계 어딘가에 나타난다고 가정해 봅시다. 예를 들어 노벨상 수상자, 정치인 또는 기술자보다 훨씬 더 유능한 5천만 명이 있다고 상상해 보세요.”라고 그는 씁니다. “당신이 주요 국가의 국가 안보 보좌관이고 상황을 평가하고 대응할 책임이 있다고 가정해 보세요. 더욱이 AI 시스템은 인간보다 수백 배 더 빠르게 작동할 수 있기 때문에 이 ‘나라’는 다른 모든 국가에 비해 시간적 이점을 가지고 운영되고 있다고 상상해 보세요. 우리가 인지적 행동을 취할 때마다 이 나라는 10번 행동을 취할 수 있습니다.”
그 틀 안에서 아모데이는 우리의 가장 큰 걱정거리가 무엇이어야 하는지 묻습니다. 그는 자신의 걱정거리인 “자율성 위험”, “파괴를 위한 오용”, “권력 장악을 위한 오용”을 나열하기 전에 합리적인 평가는 이 새로운 국가를 “우리가 지난 세기 동안, 아마도 역사상 직면한 가장 심각한 국가 안보 위협”으로 간주할 것이라고 결론 내립니다.
앤트로픽이 비유에서 그 “나라”를 적극적으로 건설하고 있다는 것을 기억하십시오.
AI 안전은 단지 ‘규제 포획’일 뿐인가요?
앤트로픽은 대부분의 AI 회사보다 AI의 위험성에 대해 목소리를 높여왔고 규제 강화와 소비자 보호를 옹호해 왔습니다(이를 진정한 우려로 보든 냉소적인 규제 포획 시도로 보든 선택의 문제이지만, 그들은 말을 잘합니다). 그러나 그들은 재앙을 초래할 수 있다고 주장하는 바로 그 기술을 계속 구축하고 있습니다. 이것이 역설이 강타하는 지점입니다. 그것은 방화범인 소방관과 같습니다.
AI는 모든 사람이 접근할 수 있을까요?
인류가 AI에 대한 준비가 되어 있지 않다는 진정한 우려가 있다면, 특히 앤트로픽과 같은 회사가 월간 활성 사용자 수가 증가하고 있다고 공개적으로 선전하는 경우 이 기술이 대중에게 너무 쉽게 접근할 수 있도록 해야 할까요?
그렇다면 강력한 AI를 공개적으로 사용할 수 있도록 하는 것이 단지 불꽃을 기다리는 화약고를 만드는 것일까요?
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
