떠나는 안전 보호와 초정밀조정 관련 기술자들
인간을 보호하기 위한 기계 윤리 문제 외면
인공지능의 선두 기업 OpenAI는 본래 인간을 인공지능의 기술로부터 보호하기 위한 목적을 염두에 두고 모든 기술 소스를 공개하면서 공익적 출발점에서 기술 개발에 몰두했다.
그러나 선두 기술이 무지막지한 돈벌이가 될 것으로 나타나자 공익적 목적은 팽개치고 기업의 이윤 극대화에 몰두하고 있다. 회사에 몸담았던 인간 보호와 기술 윤리 문제를 담당하던 팀은 모두 회사를 떠나고 있다. 본래 취지는 사라지고 인간 보호를 위한 안전 보호망을 건드리는 결과를 보이고 있음에도 회사는 이를 외면하고 있다는 것이다.
몇 달 동안 OpenAI는 AI의 안전을 보장하는 데 깊은 관심을 기울이는 직원을 떠나보내고 있다. 이제 회사는 더 이상 공익적 목표는 염두에 두지 않고 오로지 기술 개발을 통한 이윤 확대에 전면하고 있다.
ChatGPT 제조사인 OpenAI를 떠나는 이들은 이제 AI가 예측할 수 없는 행동을 하고 인류에게 해를 끼치는 대신 제작자의 목표에 부합하도록 하는 임무를 맡은 회사의 최첨병 역할을 하던 리더들도 포함된다.
지난해 11월 OpenAI 이사회가 CEO인 샘 알트먼(Sam Altman)을 해고하려 했으나 그가 재빨리 권력을 되찾는 것을 지켜본 이후, 이 회사에서 가장 안전에 민감한 고위 직원 중 최소 5명이 퇴사하거나 쫓겨났다. 도대체 이 회사에 무슨 일이 일어나고 있는 것일까?
인조 인간이 궁극적 목표
소셜 미디어에서 무용담을 팔로우하고 있다면 OpenAI가 비밀리에 엄청난 기술 혁신을 일으킨 결과라고 생각할 수 있다. OpenAI의 전 수석 과학자가 보여준 밈은 인류를 파괴할 수 있는 AI 시스템과 같은 끔찍한 것을 보았기 때문에 회사를 떠났다고 추측한다.
그러나 진짜 대답은 기술에 대한 비관론보다는 인간에 대한 비관론, 특히 한 인간에 대한 비관론과 더 관련이 있을 수 있다. 이 회사는 안전을 중시하는 직원들로부터 더 이상 신뢰를 잃었다. 그 신뢰는 인공 지능 기술이 인간 보호를 전제로 하는 선에서 개발되도록 한다는 이미 이전에 존재했던 굳건한 믿음이다. 도미노가 하나씩 쓰러지듯 신뢰가 조금씩 무너지는 과정에 있다고 표현한다.
공개적으로 이에 대해 말하는 직원은 많지 않은데 부분적으로 OpenAI가 직원들이 퇴사 시 비방 금지 조항이 포함된 오프보딩 계약에 서명하도록 하는 것으로 알려져 있기 때문이다. 서명을 거부하면 회사 지분을 포기하게 되고, 이는 잠재적으로 수백만 달러를 잃게 된다는 것을 의미한다. 이에 대해 OpenAI는 전현직 직원의 기득권 지분을 취소한 적이 없고 사람들이 퇴사할 때 해고나 비방 금지 계약에 서명하지 않더라도 취소하지 않을 것이라고 했다.
그런데 알트먼은 트위터를 통해 퇴사하는 직원에 대한 "잠재적 지분 취소"에 대한 조항이 있었음을 인정했지만, 회사는 그 문구를 변경하는 과정에 있다고 말했다.
그러나 한 전직 직원은 회사를 자유롭게 비판할 수 있도록 퇴사 계약서에 서명하기를 거부했다. 2022년 OpenAI에 합류해 AI의 안전한 배포를 위해 거버넌스 팀에서 일하다가 그만둔 직원에 따르면, OpenAI는 궁극적으로 전반적으로 인간 지능을 능가하는 것을 목표로 더욱 강력한 AI 시스템을 훈련하고 있다고 한다.
이것은 인류에게 일어난 일 중 가장 좋은 일이 될 수도 있지만, 주의를 기울이지 않으면 최악의 일이 될 수도 있다고 말했다. OpenAI는 여러 영역에서 인간 또는 초인간 수준에서 수행할 수 있는 가상 시스템인 인공 일반 지능(AGI)을 구축하기를 원한다. 인공 일반 지능(AGI)란 한마디로 인간과 똑같은 지적 능력을 가진 존재를 말하는 것이다. 한마디로 인조 인간을 만드는 것이 궁극적 목표다.
인조 인간 개발 막는 것 불가능
OpenAI가 AGI 달성에 가까워지면서 이 상황에 대처하고 더 책임감 있게 행동할 것이라는 상당한 희망을 갖고 이 회사에 합류한 기술 전문가들이 상당수다. 이런 일이 일어나지 않을 것이라는 사실이 서서히 분명해지면서 많은 사람들이 회사를 떠나는 것이다. OpenAI 리더십과 AGI를 책임감 있게 처리하는 능력에 대한 신뢰를 점차 잃어버려 그만뒀다는 것이 기술적 표현이다. 즉 인조 인간 개발을 저지하려는 목소리를 더 이상 낼 수 없게 된 것이다.
회사의 핵심 우선순위에 대해 꽤 오랫동안 OpenAI 경영진과 의견이 일치하지 않아 마침내 한계점에 도달해 그만둔 직원도 있다. 이는 OpenAI의 안전보호 팀이 알트먼을 불신하게 된 이유이기도 하다.
작년 11월로 돌아가야 무슨 일이 일어난 것인지 알 수 있다. 당시 기술 과학자는 OpenAI 이사회와 협력해 알트먼을 해고하려고 시도했다. 이사회는 알트먼이 일관되게 솔직하지 않은 발언을 했다고 밝혔다. 알트먼을 내쫓으려던 계획은 처참하게 실패했다.
알트먼의 추종자인 그렉 브록먼 사장은 알트먼이 복직하지 않으면 OpenAI의 최고 인재를 마이크로소프트에 데려가 OpenAI를 사실상 파괴하겠다고 위협했다. 그 위협에 직면해 이사회는 굴복했다. 알트먼은 그 어느 때보다 강력한 모습으로 돌아왔고, 새로운 이사회 구성원들과 더 많은 지원을 아끼지 않았고, 회사를 운영할 수 있는 더 자유로운 권한으로 돌아왔다.
왕을 쏘고 빗나가면 상황이 어색해지는 경향이 있다. 공개적으로 최고 기술 과학자와 알트먼은 계속되는 우정을 보여주었고 마침내 지난 주에 회사를 떠난다고 발표했다. 개인적으로 매우 의미 있는 프로젝트를 추구하기 위해 떠나는 것이라고 말했다. 그러나 수석 기술 과학자는 쿠데타 시도 이후 약 6개월 동안 OpenAI 사무실에 모습을 드러내지 않았다. 그는 원격으로 팀을 공동으로 이끌고 있었고, 미래의 AGI가 악당이 아닌 인류의 목표에 부합하도록 하는 임무를 맡고 있다. 충분히 좋은 야망이지만, 알트먼의 리더십 아래 제품을 상용화하기 위해 경쟁해온 회사의 일상 업무와는 거리가 멀었다.
해고 시도에 대한 알트먼의 반응은 뭔가를 드러냈다: 이사회가 그를 재고용하지 않으면 OpenAI를 공중분해 시키겠다는 그의 위협, 그리고 자신에게 편향된 새로운 구성원으로 이사회를 꾸리려는 그의 고집은 권력을 유지하고 미래에 대한 견제를 피하려는 결의를 보여준 것이었다. 전직 동료들과 직원들은 알트먼을 안전을 우선시한다고 주장하지만 행동에서는 모순되는 행보를 하는 사람이라고 묘사한다.
예를 들어, 알트먼은 사우디아라비아와 같은 독재 정권과 함께 자금을 조달해 새로운 AI 칩 제조 회사를 설립하고 최첨단 AI를 구축하는 데 필요한 탐나는 자원을 대량으로 공급받을 수 있었다. 이는 안전을 중시하는 직원들에게 경종을 울리는 일이다. 알트먼이 진정으로 가능한 가장 안전한 방법으로 AI를 구축하고 배포하는 데 관심이 있었다면, 가능한 한 많은 칩을 축적하기 위해 미친 듯이 돌진하지 않았을 것이다.
AI를 이용해 안전을 위협하는 디지털 감시나 인권 침해를 강화할 수 있는 정권과 협력하는 모습은 그 반대를 보여준다. OpenAI를 통해 무언가를 할 것이라고 말하거나 무언가 가치 있게 여긴다고 말할 때 실제로 그것은 믿음의 상실로 이어지는 결과를 초래했다.
안전 장치는 더 이상 원하지 않아
안전을 중시하는 다른 직원들은 팀장의 사직을 인용하며 하트 이모티콘을 덧붙였다. OpenAI에서 해고된 기술 안전 전문가와 윤리와 기술 조정 전문가들이 뭉친 것이다. 즉, 인간 보호를 우선하는 전문가와 기술을 선도적으로 테스트하는 서로 상반된 전문가들이 같은 입장에 선 것이다. 정보 유출 혐의로 해고되었지만 OpenAI는 유출의 증거를 제시하지 않았다.
그리고 OpenAI에 처음 합류할 때 모든 사람이 서명하는 엄격한 기밀 유지 계약을 감안할 때, 알트먼이 인간 보호 동맹을 제거하기 위해 가장 무해한 정보 공유조차도 유출로 묘사했을 가능성이 높다고 보고 있다.
거의 일주일에 한 명씩 안전 연구원이 회사를 떠나고 있고 AI 안전의 대의에 깊이 관여해 온 효과적인 온라인 이타주의 운동 모임 장소인 EA 포럼이 활성화되고 있다. 그리고 이 온라인 게시판에 초정밀조정팀의 일원으로 OpenAI에서 수행한 작업을 요약한 글이 올라왔고 안전 보호와 정반대 위치에 있는 직원이 글을 올린 것에 궁금증이 일었다. 그는 회사를 그만둔 사실 말고는 아무 말로 할 수 없다고 했고 회원들은 비방 금지 협약에 구속되는 것이 이유일 것이라고 결론지었다.
이 모든 것을 종합하면 OpenAI를 내부에서 더 안전하게 밀어붙이려고 노력했지만 결국 카리스마 넘치는 리더에 대한 믿음을 너무 많이 잃어 그들의 위치를 유지할 수 없게 된 것이라고 할 수 있다. 이제 인간을 위험에 빠뜨리는 인공 지능의 기술에 대한 제동은 불가능해진 셈이다.
안전과 사회적 영향을 진지하게 받아들이는 회사의 많은 직원들은 OpenAI와 같은 회사에서 일하는 것이 좋은 일인가라는 열린 질문으로 되돌아 간다. 그리고 대답은 OpenAI가 하는 일에 대해 정말로 사려 깊고 책임감 있게 할 수준 까지만 ‘그렇다’이다. 안전팀이 해체된 상황에서 OpenAI의 작업이 안전한지 확인할 수 없게 되었다. 더 이상 초정밀조정 팀을 운영할 수 없게 됨에 따라 OpenAI는 공동 설립자인 존 슐먼(John Schulman)으로 대체했다. 그러나 팀에는 아무도 없다. 그리고 이미 OpenAI의 현재 제품의 안전을 보장하는 기존 정규직으로 가득 차 있다. 앞으로 OpenAI에서 진지하고 미래 지향적인 안전 작업은 기대할 수 없게 되었다.
AI가 올바른 궤도로 가지 않는 것 우려
초정밀조정 팀을 구성한 요점은 회사가 AGI를 성공적으로 구축할 경우 실제로 발생하는 다양한 종류의 안전 문제가 있다는 것이었다. 그래서, 이것은 그 미래를 위한 헌신적인 투자였다. 팀이 최대 역량으로 기능할 때조차도 이 "전담 투자"는 OpenAI 연구원 중 극히 일부의 본거지였고 AI 회사에서 가장 중요한 리소스인 컴퓨팅 성능의 20%만 약속 받았다. 이제 그 컴퓨팅 파워는 다른 OpenAI 팀으로 넘어갈 수 있고, 미래 AI 모델의 치명적인 위험을 피하는 데 많은 초점이 맞추기는 어려워 보인다.
분명히 말하면, 이것은 OpenAI가 현재 출시하고 있는 사용자와 자연스럽게 대화할 수 있는 GPT-4o라고 불리는 ChatGPT의 최신 버전이 인류를 파괴할 것이라는 것을 의미하지는 않지만 앞으로 그럴 가능성이 있다는 것을 말한다. '현재 안전하지 않은 AI 시스템을 구축해 배포하고 있는가 그리고 AGI 또는 초지능을 안전하게 구축하고 배포하기 위한 궤도에 있는가를 구분하는 것이 중요하다. AGI 또는 초지능에 대한 안전성 여부 대답은 안전하지 않다는 사실이다.
OpenAI의 안전 팀은 작업을 수행하기에 충분한 컴퓨팅 성능을 확보하기 위해 고군분투했고 일반적으로 바람을 거슬러 항해하고 있다고 표현했다. 가장 눈에 띄는 것은 보안, 모니터링, 대비, 안전, 적대적 견고성, 초정밀조정, 기밀성, 사회적 영향과 관련 주제에 대해 차세대 모델을 준비하는 데 훨씬 더 많은 대역폭을 사용해야 한다는 것이다. 이런 문제들은 바로잡기가 매우 어렵고, 거기에 도달하기 위한 궤도에 오르지 못했다는 사실이 우려된다. AI 안전 분야에서 세계 최고의 지성 중 하나가 세계 최고의 AI 회사가 올바른 궤도에 오르지 않고 있다고 말할 때, 모두는 우려할 만한 충분한 이유가 있다.
Comments