- 기계 학습의 결과는 예측 불가, 사고 과정도 ‘블랙박스’…XAI는 AI 서비스 안전성의 선제 조건
[유성민 동국대 국제정보호대학원 외래교수] 4차 산업혁명은 인공지능(AI) 시대라고 해도 과언이 아니다. 그만큼 AI가 산업에 미치는 영향이 크다. 이러한 사실은 프라이스워터하우스쿠퍼스(PwC)가 분석한 자료에서 확인할 수 있다. PwC는 2030년 AI가 미칠 영향력을 경제가치로 환산했다. 이러한 분석에 따르면 AI는 2030년 15조7000억 달러(약 1경884조원)의 경제가치를 만들어 낸다. 이는 2030년 기준의 전 세계 총생산량(GDP)의 14%를 차지한다.
AI의 이러한 가치는 PwC 분석처럼 우리에게 긍정적인 방향으로 작용한다. 하지만 AI가 제공하는 서비스를 그대로 받아들이는 것에는 큰 위험이 따른다. AI의 분석 과정이 블랙박스처럼 감춰지는 추세에 있기 때문이다.
기계 학습으로 가려지는 AI 학습 과정
AI는 인위적인 지능으로 정의할 수 있다. 쉽게 말해 사람의 지능을 흉내 내는 기술이라고 정의할 수 있다. 이러한 지능은 사람과 유사하게 만들어지는데 두 가지 방식이 있다. 지식공학과 경험적 학습이 이에 해당한다. AI 분야에서는 전자를 전문가 규칙이라고 부르고 후자를 기계 학습이라고 부른다.
전자는 AI 동작 방식을 사전에 정의하는 것이다. 수학적으로 표현하면 연역적으로 접근하는 것이다. 다시 말해 개발자는 AI에 동작을 위한 공식을 주입한다. 그리고 AI는 공식에 따라 움직인다. 장점은 AI를 쉽게 통제할 수 있다. 규칙대로 움직이기 때문이다. 그런데 적용 범위는 제한적이다. 사람이 복잡한 세상을 공식으로 표현하는 것에는 한계가 있기 때문이다.
후자는 동작 방식을 스스로 학습해 정의하는 것이다. 수학적으로 표현하면 귀납적으로 접근하는 것이다. 개발자는 AI에 데이터를 제공하고 스스로 학습하게 한다. 그리고 AI는 이러한 학습에 따라 움직인다.
장점은 적용 범위가 넓다. 복잡한 분야라도 AI에 데이터만 주면 되기 때문이다. 알파고가 이세돌 기사를 이길 수 있었던 것도 이 때문이다. 복잡한 바둑을 스스로 학습해 최고의 바둑 공식을 스스로 만들어 낸 것이다.
그런데 단점이 있다. 통제가 어렵다. 이는 앞서 말했듯이 AI 사고 과정이 블랙박스에 숨겨져 있기 때문이다. 다시 말해 AI는 스스로 학습하고 공식을 만들어 내는데 이러한 공식은 가려져 있다.
현재 기계 학습은 AI 분야에서 많이 활용하는 추세가 되고 있는데 이는 데이터 분석 산업의 추세와도 상충한다. 빅데이터가 정보통신기술(ICT) 분야에서 화두로 떠오르고 있다. 빅데이터는 정형 데이터뿐만 아니라 비정형 데이터를 신속하게 분석해 결과를 제공하는 기술이다. 데이터 분석 산업에 속한 기술인 셈이다. 참고로 데이터 처리의 신속성은 데이터 규모에 영향을 크게 받지 않아야 한다.
빅데이터는 중복을 제외하면 네 가지 특성이 있다. 신속성(Velocity)·다양성(Variety)·대규모(Volume)·정확성(Veracity) 등이 이에 해당한다. 이를 4V라고도 한다. 결국 AI는 빅데이터에 요구되는 정확성 부분에서 상충한다. 이러한 상충을 막을 수 있는 대안이 필요하다.
AI로 인한 브랜드 이미지의 신뢰성 문제
특히 AI 서비스 제공 기업은 이러한 상충을 반드시 해결해야 한다. 특히 신뢰도가 중요시되는 분야일수록 이를 해결할 방안을 마련해야 한다. 신뢰성을 중요시하는 서비스 분야일수록 더 큰 위험을 불러오게 하기 때문이다.
비즈니스 분야를 예로 들어보자. 기업은 사업을 위해 항상 의사결정을 내려야 한다. 그리고 이러한 결정은 데이터를 근거로 주로 산출된다. 그런데 AI가 아무런 근거도 없이 비즈니스 의사결정을 조언한다면 어떨까. 대표이사는 이를 받아들여야 할까. 아마 그렇지 못할 것이다. 이는 아무리 유능한 경영 컨설턴트가 경영 의사결정에 관해 조언하더라도 근거가 없으면 신뢰하기 어려운 것과 같다.
이를 기업 관점에서 좀 더 넓게 살펴보면 브랜드 이미지를 실추하는 문제를 불러온다. 이를 세 가지 부문으로 나눠 볼 수 있다. 첫째는 고객 신뢰도다. AI 서비스는 고객의 불신을 일으킬 수 있다. 고객 또한 AI를 믿지 못할 수 있기 때문이다. 이는 제품 브랜드 이미지에 악영향을 줄 수 있다. 자율주행차 분야에서 이러한 부분을 발견할 수 있다.
2016년 보스턴컨설팅그룹(BCG)은 1260명을 대상으로 자율주행차의 신뢰성을 조사했다. 그중 50%의 응답자는 자율주행차의 사고를 우려한다고 답했다. 그뿐만 아니라 45%의 응답자는 자율주행차를 통제하고 싶다고 답했고 27%의 응답자는 자율주행차 동작 원리가 불투명하다고 응답했다.
또한 나타샤 메랏 리즈대 교수는 자율주행차가 보행자에게 위화감을 줄 수 있다고 주장했다. 자율주행차 동작 원리를 모르기 때문에 그 앞을 지나는 보행자는 불안할 수밖에 없다. 갑자기 움직일 수 있기 때문이다.
둘째는 위험관리가 어렵다. AI는 통제가 어렵다. 그러므로 AI 서비스에 발생한 사고는 갑작스러울 수밖에 없다. 그리고 이러한 사고가 발생할 때마다 기업의 이미지는 실추될 수밖에 없다. 대표적인 예로 우버(Uber)를 들 수 있다. 작년 3월 우버는 자율주행차 테스트 도중 운전 사고로 9개월간 테스트를 중단할 수밖에 없었다. 우버의 자율주행차 안전성에 관한 불신이 퍼졌기 때문이다.
셋째는 책임 회피 부분이다. AI의 불투명성은 기업이 책임을 회피하는 이미지로 보일 수 있다. 물론 이를 악용하는 기업도 있다. 하지만 그렇지 않은 기업은 억울할 수밖에 없다. 2017년 경제협력개발기구(OECD)는 ‘알고리즘과 담합(Algorithm and Collusion)’ 보고서를 출간했다. 해당 보고서는 경영 의사결정의 자동화 시스템 도입이 담합이라는 시장 실패를 일으킬 수 있다고 주장한다. 특히 OECD는 AI 분석의 불투명이 문제가 될 수 있다고 지적했다. 기업이 의도하지 않아도 시스템이 자동으로 담합을 일으킬 수 있기 때문이다. 이를 의도하지 않은 기업에는 브랜드 이미지를 실추시킬 수 있는 위협 요인으로 작용할 수밖에 없다.
AI 도입은 기업에 브랜드 이미지 실추 문제를 불러온다. 이러한 문제를 해결하기 위해서는 블랙박스에 숨겨진 AI 사고 체계를 투명하게 할 필요가 있다. 사고 체계가 보이지 않아 이 같은 문제가 발생하기 때문이다.
XAI로 비즈니스 위험 대비
다행히 이를 해결할 기술이 등장했다. 설명 가능 인공지능(XAI : eXplainable AI)이 이에 해당한다. XAI는 말 그대로 AI의 사고 과정을 표현하는 기술이다. XAI 기술은 크게 두 가지 부분으로 나눌 수 있다.
첫째, AI 사고를 파악하는 기술이다. 현재 여러 기술이 등장했다. 대표적으로 개별 조건 예측(ICE : Individual Conditional Expectations)은 AI에 단일 투입 값을 주면서 반응하는 값을 분석하면서 AI가 고려하는 요인의 가중치를 알아낸다. 또 다른 예로 부분 의존 구성(PDP : Partial Dependence Plots)은 AI에 복수 투입 값을 줘 반응 값을 분석한다. 그 외에도 민감도 분석, 첨가 요인 분석(SHAP), 일부 해석 모델(LIME) 등이 있다.
현재 XAI는 AI와 함께 활발히 연구되고 있다. 미국 국방부 산하 방위고등연구계획국(DARPA)은 유리박스(Glass-Box)라는 과제를 추진하고 있다. DARPA는 XAI의 표현성과 AI 성능에 역관계가 있다고 주장했는데 AI 성능에 영향을 주지 않으면서 XAI를 구현하는 것을 목표로 하고 있다.
엔비디아는 그래픽 처리 장치(GPU) 제공 전문 기업인데, 최근 게임 그래픽에서 AI 전문 기업으로도 인지되고 있다. GPU가 AI 운영에 최적화돼 있기 때문이다. 엔비디아는 이러한 기회를 살려 여러 AI 서비스를 제공하고 있다. 자율주행 시스템이 그중 하나라고 할 수 있다. 테슬라·BMW·아우디 등이 엔비디아의 시스템을 이용하고 있다.
그런데 문제가 있다. 자율주행차의 신뢰성이다. 엔비디아는 이러한 문제를 이미 해결했다. 2017년 ‘파일럿넷(PilotNet)’이라는 기술을 선보였다. 해당 기술은 자율주행 시스템이 주위 사물을 어떻게 인지하는지 화면으로 보여준다.
UC버클리대도 XAI 분야에서 두드러지고 있다. UC버클리대는 XAI가 만들어 내는 시각적 표현에 관해 집중적으로 연구하고 있다. 국내 또한 XAI를 연구하기 시작했다. 2017년 9월 울산과학기술원(UNIST)은 설명가능인공지능연구센터를 개소했다.
UNIST는 4년 6개월간 최대 154억원을 정부로부터 지원받아 XAI를 연구하고 있다. UNIST 외 카이스트·고려대·연세대·서울대 등이 함께 참여해 공동 연구를 진행하고 있다. 그리고 이를 기반으로 의료(세브란스병원)와 금융(코스콤) 분야를 대상으로 실증할 계획이고 포스코와 네이버에 해당 기술을 이전할 계획이다.
이처럼 XAI는 여러 분야에서 연구되고 있다. 이에 따라 기업은 AI뿐만 아니라 XAI 도입도 검토해야 한다. AI로 인해 발생할 수 있는 비즈니스 위험에 대비할 수 있기 때문이다.
© 매거진한경, 무단전재 및 재배포 금지