‘인간보다 더 똑똑한 AI’, 통제할 수 있나 [실패로 끝난 인류 위한 쿠데타?]
“5년 전 저는 이 자리에서 ‘초지능(superintelligence)’ AI 시대의 위험성에 대해 이야기했습니다. 그런데 여러분, 제가 틀렸습니다. 지금 상황은 훨씬 더 안 좋으니까요.”

미국의 물리학자로 인공지능(AI)과 관련해 꾸준히 목소리를 내고 있는 맥스 테그마크 MIT 교수는 지난 10월 이 같은 고백으로 테드 강연을 시작했다. ‘어떻게 AI를 통제할 것인가’라는 제목의 강연이었다. 테그마크 교수 또한 일리야 슈츠케버와 같은 ‘효과적 이타주의자들’ 멤버 중 한 명이다.

사실 테드뿐 아니라 인터넷을 조금만 뒤져봐도 얼마나 많은 전문가들이 AI의 위험성을 경고하고 있는지를 알 수 있다. 미국의 인지심리학자인 게리 마커스 뉴욕대 교수는 ‘폭주하는 AI의 위험이 얼마나 긴급한지’를 이야기하고 있으며, 수많은 AI 연구원들은 AI가 얼마나 인간이 예상하지 못한 ‘이상한 방식’으로 인류를 위험에 빠뜨릴 수 있는지를 경고한다.

모두 다 다른 방식으로 경고의 목소리를 보내고 있지만, 그 공포의 근원은 모두 같다. 인간이 ‘통제력을 잃는’ 상황을 걱정한다. 30여 년간 테크 업계에 몸담아 온 전문가이자 구글X의 신사업책임자(CBO)를 역임한 모 가댓은 최근 ‘AI 쇼크, 다가올 미래’라는 책을 출간했다. 그의 경고 목소리는 조금 더 강렬하다.

그는 “인류는 아직 AI가 얼마나 위험할지 또는 얼마나 유익할지 정확하게 이해하지 못하고 있다”며 “이것이 분명해질 때까지 애 낳는 것을 미뤄두는 게 현명할 것”이라고 거침없이 충고한다.

모 가댓의 설명에 따르면 AI의 위험성에 대한 경고는 정확히 말해 지금 당장 AI가 인류에 해를 가하고, 인류가 이에 대응할 방법이 없다는 것과는 다른 의미다.

그는 “현재 인류에게 닥친 위협은 ‘우리에게 주어진 시간이 많지 않다’는 의미가 더 크다”며 “인류가 AI의 위험성에 대응하는 것이 불가능해지는 어떤 한 순간(싱귤래리티)을 지나치게 될 경우 ‘이를 되돌릴 수 있는 방법이 없다’는 데 그 심각성이 있다”고 강조한다. 지금과 같은 AI의 개발 속도가 계속된다면 인류는 ‘미처 깨닫지도 못한 채’ 싱귤래리티를 지나쳐 버릴 가능성이 점점 더 높아지고 있다는 것이다.

영국의 이코노미스트는 최근 ‘AI와 인류의 미래’를 주제로 ‘사피엔스’의 저자이자 세계적인 역사학자인 유발 하라리와 딥마인드의 공동창업자인 무스타파 술레이만의 대담을 마련했다. 이 자리에서 유발 하라리는 “역사학자의 입장에서 AI가 충격적인 것은, 인류의 역사가 끝날 수 있다는 가능성 때문이다”며 “물론 역사는 계속되겠지만 지금처럼 ‘인류가 주도하는 역사’는 더 이상 없을 수도 있다”고 말했다.

유발 하라리는 인간이 이처럼 번영을 누릴 수 있었던 근거로 ‘이야기의 힘’을 꼽는다. 그런데 AI가 바로 그 능력을 갖고 있다. ‘이야기’를 만들어내는 능력이다. 문제는 AI가 만들어내는 이야기 중에서 어느 것이 진짜이고 가짜인지, 정확하게 구별해내기가 점점 더 어려워지고 있다는 것이다. 가짜뉴스, 잘못된 정보의 전달은 물론 인간의 편견을 뿌리 깊이 학습한 내용들이 ‘이야기’라는 매개체를 타고 인류를 매우 큰 혼란으로 몰아넣을 수 있다.

유발 하라리는 “지금까지 인류에 가장 위협적인 무기로 일컬어졌던 핵무기조차도 ‘스스로 이야기를 만들어내는 능력’은 없었다”며 “AI가 만들어낸 이야기에 의해 인간이 잘못된 결정을 내리는 것이 얼마든지 가능한 시나리오다”고 경고했다.

AI의 위험성에 대한 경고의 목소리가 높아지면서 AI 규제에 대한 논의도 점차 가속도가 붙고 있다. 적어도 ‘AI에 대한 규제가 필요하다’는 데 AI 회의론자와 낙관론자 모두 동의하는 부분이기 때문이다. 샘 올트먼 역시도 지난 5월 미 의회 청문회에 참석해 AI 규제의 필요성을 강조하며, AI 기업들에 ‘AI 모델 개발 라이선스’를 부여하는 규제 기관 창설에 대한 지지를 표명한 바 있다.

현재 AI 규제에 가장 적극적인 곳은 유럽이다. 유럽연합(EU) 의회는 지난 6월 AI로 인한 위험과 차별을 방지하기 위한 AI 규제법(EU AI Act) 초안을 통과시켰다. 고위험 AI에 대해 정부가 직접 나서서 ‘불허’ 딱지를 붙이겠다는 것이 골자다. AI에 대한 구속력을 지닌 세계 최초의 법안이다. EU는 2026년 법안 시행을 목표로 하고 있다. 영국은 지난 10월 AI 안전 연구소를 설립해 운영할 것을 발표하기도 했다.

미국 또한 AI 사용 규제를 강화하고 있다. 조 바이든 대통령은 지난 10월 30일 AI 기술 개발과 관련한 행정명령에 서명했다. 현재로서는 AI로 생성된 콘텐츠를 관리하고 AI가 퍼뜨릴 수 있는 ‘가짜뉴스’에 대응하는 데 초점이 맞춰져 있다.

이처럼 각국이 AI 활용과 관련한 규제 법안을 마련하는 데 분주히 움직이고 있지만, AI 전문가들이 무엇보다 강조하는 것은 AI 규제를 위한 ‘전 세계적인 협력’의 중요성이다. AI로 인해 발생할 수 있는 수많은 위험들이 본질적으로 국제적인 성격을 띠고 있는 만큼 광범위한 대처를 위해서는 ‘국제적 협업’이 기반이 돼야 한다는 것이다. 단순히 국가적 차원의 AI 규제 기관이 아니라 글로벌 차원에서 AI 규제를 위한 국제기관의 창설이 필요하다는 주장도 힘을 얻고 있는 중이다.

지난 11월 2일 영국에서는 제1회 AI 안전 정상회의가 열렸다. 이 정상회의가 열린 블레츨리 파크는 제2차 세계대전 당시 독일군의 암호 ‘애니그마’를 해독한 곳으로, 영국 컴퓨터공학의 발상지다. 영국, 미국, 프랑스, 한국, 일본 등 28개국과 EU 대표단은 물론 글로벌 AI 기업 및 학계 관계자 등이 참여해 AI에 관한 규제와 혁신 사이의 균형을 모색하기 위해 열띤 회의를 벌였다.

이곳에서 각국 정상들은 “AI는 인류의 번영을 가져올 잠재력을 지니고 있지만 이를 실현하기 위해서는 안전하게 설계, 개발, 배포 및 사용돼야 한다”고 명시한 ‘블레츨리 선언’을 채택하는 데 합의했다. AI 위협에 대응하기 위한 사상 첫 공동선언문이다. 이와 함께 영국은 AI의 잠재 위험을 파악하기 위한 공동 보고서를 발간하기로 했다. 이 보고서는 AI 딥러닝의 권위자이자 ‘AI 경계론자’로도 잘 알려진 요슈아 벤지오 캐나다 몬트리올대 교수가 총괄할 예정이다.

유발 하라리는 “AI와 같은 인류가 한 번도 경험해 보지 못한 위협에 대처하기 위해서는 ‘규제 자체’보다는 ‘규제 기관을 설립’하는 데 초점을 맞출 필요가 있다”고 강조한다.

AI가 인류에게 어떤 위험과 문제를 가져올 수 있는지 예측할 수 없고 그와 관련한 규제 또한 사전에 만들 수 없다는 것을 인정해야 한다는 것이다.

그는 강연과 기고 등을 통해 “지금 우리에게 필요한 것은 장황한 규제를 만드는 데 복잡하고 오랜 과정을 거치는 것보다 AI와 관련한 위험이 있을 때 이를 빠르게 식별하고 대응하는 것이 더욱 중요하다”며 “강력하면서도 국제적 협력에 기반한 기관이 필요하다”고 거듭 목소리를 높이는 중이다.

[스페셜 리포트 : 실패로 끝난 인류 위한 쿠데타?]

①‘챗GPT 아버지’ 샘 올트먼과 5일의 드라마
②닷새간의 드라마, 등장인물에 답이 있다
③AI는 인류의 구원자일까 침략자일까…오픈AI 사태 계기로 더 거세진 논란
④꺼지지 않는 AI 주가…월가는 여전히 낙관적
⑤챗GPT 1년…개발자가 필요없는 시대가 온다


이정흔 객원기자 luna.jhlee@gmail.com