활용 범위 확대되려면 대중의 신뢰 필수...데이터 처리 및 판단 과정 인간이 이해할 수있어야
[HELLO AI] 인공지능 따라잡기
AI를 둘러싼 주요 이슈 중 하나는 바로 설명 가능성 문제다. 오늘날의 AI는 풍부한 데이터를 기반으로 알고리즘을 강화하고 이를 기반으로 특정 데이터가 주어졌을 때 알고리즘이 적절하게 판단할 수 있도록 설계됐다. 하지만 AI 알고리즘이 학습과 판단 과정에서 데이터를 받아들이고 처리하는 과정은 미스터리 영역으로 남아 있다. 이는 AI를 사용하는 사람들은 물론 전문 연구원들조차 쉽게 설명하기 어렵다. 이 때문에 AI 메커니즘은 그 내막을 정확히 알 수 없는 블랙박스(blackbox) 문제라고 부른다.
정답 내놓지만 처리 과정은 미스터리
설명 가능성 문제는 AI가 글로벌 경제의 화두로 부상한 최근까지도 큰 주목을 받지 않았다. 인간의 판단을 대신해 바람직한 답을 알려줄 수 있다는 AI의 편리성이 크게 부각된 반면 답을 찾는 일련의 과정 자체에는 관심이 크지 않았기 때문이다. 딥 러닝 등 학계와 산업계에서 수행하는 AI 연구의 대부분은 판단의 결과, 즉 정답에 가까운 답을 도출할 수 있도록 AI의 성능을 개선하는 데 초점을 맞췄다.
하지만 AI의 활용 범위가 확대되면서 설명 가능성 문제가 중요한 화두로 부상했다. 특히 AI가 담당하는 영역이 단순 작업을 넘어 전문 지식을 해석하고 복잡한 문제를 판단하는 분야에까지 확대되면서 과연 AI의 판단이 공정성과 정확성을 담보할 수 있는지가 논란이 됐다. 예컨대 의료·금융 등 사람의 생명과 재산이 달려 있는 시스템에 AI를 적용하기 위해서는 그 무엇보다 AI의 사고와 판단이 정확하다는 믿음을 줘야 한다. 단 한 번의 잘못된 판단도 되돌릴 수 없는 엄청난 손실을 야기할 수 있다.
반복적 실험을 통해 AI 결과의 정확성을 입증할 수 있다고 하더라도 데이터 처리 과정을 충분히 이해하지 못한다면 AI에 대한 사회적 불신을 줄이기 어렵다는 지적도 많다. 게다가 최근에는 AI도 사용자의 악의적 목적에 따라 반사회적 결정을 내릴 수 있다는 우려도 커졌다. 실제로 챗봇 등 몇몇 AI 시스템에서는 잘못된 학습으로 부적절한 행동을 배우는 등 오작동 사례가 빈번하게 발생했다. 그러므로 AI의 판단 결과가 대중의 신뢰를 얻기 위해서는 판단을 내리게 된 이유를 명확히 설명할 수 있어야 한다는 주장이 힘을 얻고 있다.
이에 따라 최근 학계에서는 설명 가능한 AI(XAI : Explainable AI)가 차세대 AI 패러다임으로 각광받고 있다. XAI는 특정 상황에서의 판단 결과뿐만 아니라 판단을 도출하는 과정까지 상세히 설명할 수 있는 AI를 의미한다. 즉 사용자가 AI가 제안하는 결과를 이해하고 해석할 수 있도록 돕는다는 점에서 현재의 블랙박스 AI와 대비되는 개념이다. 예를 들어 AI가 동물 사진을 읽고 해당 이미지가 어떤 동물인지 판별하는 업무를 수행한다면 현재 AI는 동물 이미지의 판단 결과만 제공할 수 있다. 반면 XAI는 특정 동물이라는 판단 결과는 물론 외관과 특징 등 이를 판단하게 된 이유를 논리적으로 설명할 수 있다. 따라서 XAI는 판단의 불확실성을 해소할 뿐만 아니라 결과에 대한 신뢰를 줄 수 있다.
XAI 개념 자체는 최근 등장한 것은 아니다. 컴퓨터 과학에서 AI가 주목받을 때부터 AI의 동작 과정을 제대로 이해해야 한다는 주장이 등장했다. 특히 1970년대 AI의 주류를 이뤄던 전문가 시스템의 신빙성을 더하기 위한 XAI 연구가 활발히 이뤄졌다. 하지만 이후 AI 발전이 더디면서 XAI 역시 큰 주목을 받지 못했다. 하지만 최근 딥 러닝이 AI의 대표적 알고리즘으로 부상하면서 딥 러닝의 근본 메커니즘을 이해해야 한다는 주장이 대두됐고 딥 러닝 중심의 XAI가 다시 학계의 주목을 받게 됐다.
AI가 학습과 판단하는 과정을 설명하기 위해 다양한 XAI 기술이 제안되고 있다. 예컨대 데이터를 처리하는 과정을 확인할 수 있도록 기존 알고리즘 외에 추가적인 알고리즘을 더하거나 혹은 판단 결과와 함께 데이터 처리 과정까지 보여줄 수 있는 새로운 알고리즘을 개발하는 방법 등이 연구되고 있다. 한편 특정 알고리즘의 데이터 처리 과정을 해석하기 위해 여러 유사 알고리즘을 비교하는 등의 XAI 기술도 등장하고 있다.
전 세계적 AI 투자 열기에 힘입어 최근 XAI의 R&D도 꾸준히 늘고 있다. 미국 국방부 방위고등연구계획국(DARPA)은 2017년 XAI 기술 개발 프로젝트를 시작했다. 이를 계기로 유수의 글로벌 IT 기업을 중심으로 XAI 연구와 서비스 개발이 활발히 진행되고 있다. XAI의 잠재력은 높지만 아직까지는 XAI의 뚜렷한 강자가 없다는 점도 여러 기업들의 XAI 기술 투자를 가속화하는 요인으로 손꼽힌다.
XAI 연구·개발도 꾸준히 늘어
많은 기업들은 XAI를 통해 점점 치열하게 전개되는 AI 경쟁에서 유리한 고지를 선점할 수 있을 것으로 기대하고 있다. 구글은 자사의 클라우드 플랫폼에 XAI를 지원하는 서비스를 출시했고 IBM·마이크로소프트·아마존 등 AI 경쟁력을 갖춘 기업들도 XAI를 자사의 차세대 AI 핵심 전략으로 선언했다. 한편으로 XAI 플랫폼을 추진하는 킨디(Kyndi) 등 관련 스타트업도 등장하는 등 그간 학문의 영역에 머물러 있던 XAI를 비즈니스 일선에 접목하려는 노력도 두드러지고 있다.
학계와 산업계의 XAI 연구·개발 노력은 물론 AI의 책임을 요구하는 제도 역시 XAI 연구를 한층 강화하는 계기가 될 것으로 보인다. 2018년 유럽연합(EU)은 알고리즘 투명성 제고와 데이터 보호를 강화하기 위한 일반개인정보보호법(GDPR : General Data Protection Regulation)을 마련했고 다른 국가들 역시 AI가 가져올 법적·사회적 이슈를 집중 연구하고 있다. 이런 제도를 효과적으로 적용하기 위해 XAI를 활용하려는 움직임도 한층 뚜렷해질 것으로 예상된다.
XAI에 대한 관심이 커지고 있지만 여전히 갈 길은 멀다는 의견도 많다. 과거보다 훨씬 거대하고 복잡한 AI 알고리즘이 사용되면서 설명 가능성 문제를 해결하기가 더욱 어려워지고 있기 때문이다. 현재 연구되는 XAI도 이미지 인식 등 일부 영역을 중심으로 이뤄지고 있으므로 음성 등 다양한 AI 적용 사례에 적합한 XAI 기술을 개발하는 것도 주요 과제로 손꼽힌다.
XAI의 실현 가능성을 둘러싼 여러 논란에도 불구하고 XAI는 최근 불거지고 있는 AI의 법적·사회적 이슈를 해결하기 위한 의미 있는 시도로 각광받을 전망이다. XAI를 통해 AI의 근본 메커니즘을 이해하고 개선하려는 노력은 AI가 내리는 결과가 공정하다는 대중의 인식을 강화할 수 있다. 이는 궁극적으로 AI에 대한 우려를 해소하고 AI를 더욱 많은 분야에서 보편적으로 활용할 수 있는 중요한 기반으로 자리잡게 될 것이다.
정치·경제·사회 등 다방면에 걸쳐 AI의 중요성이 커지면서 AI를 판단하는 기준도 지금과는 달라질 가능성도 높다. 즉 지금까지는 판단 결과가 얼마나 정답에 가까운지가 AI 우수성의 주요 기준이었다면 향후에는 AI의 구성 요소, 즉 데이터와 알고리즘의 품질을 논리적으로 증명하는 것도 중요한 기준이 될 수 있다. 이런 점에서 XAI는 미래 글로벌 AI 시장의 주도권을 강화할 수 있는 핵심 경쟁력으로 한층 강조될 것으로 보인다.
전승우 IT 칼럼니스트
© 매거진한경, 무단전재 및 재배포 금지