2016년 테이와 유사한 논란 부른 챗봇 이루다...딥러닝 기반 의사결정 논리 파악 불가능
[HELLO AI] AI 따라잡기
한국에서도 실제 사람들 간의 대화로 학습한 챗봇이 사회적으로 큰 논란을 일으키는 일이 벌어졌다. 인공지능(AI)과 관련된 윤리적 문제는 언제 어디서든 발생할 수 있을 뿐만 아니라 사회적으로 큰 파장과 혼란을 일으킬 가능성도 높아 대비책 마련이 절실하다.
최근 한국 기업이 만든 AI 챗봇이 크게 주목받는 일이 발생했다. 사람들과 대화하는 과정에서 혐오 발언을 해 세간의 이목을 끌기 시작했고 개인 정보 유출 문제로 이어지면서 사회적 파장이 더 커졌다.
사람들 간의 대화 또는 사람과 직접 대화하면서 학습한 AI가 차별·혐오 발언을 한 사례는 해외에서 종종 발생한 바 있다. 대표적인 것이 2016년 마이크로소프트가 공개했던 챗봇 테이(Tay)다. 19세 미국 여성의 대화 패턴을 학습한 딥러닝 기반의 테이는 트윗을 통해 20대 초반의 사람과 가벼운 대화를 하도록 개발됐다.
만반의 준비를 거쳐 탄생한 테이는 공개된 지 하루를 넘기기도 전에 각종 논란의 주인공이 됐다. 정치적으로 편향된 답변에서부터 인종 차별적인 언사나 성폭력적인 발언, 마약 관련 발언까지 쏟아내면서 사회적 논란을 폭발시켰던 것이다. 16시간 만에 서비스를 일시 중단한 마이크로소프트는 1주일 후 테이를 재가동했지만 문제 해결이 어려워지면서 결국 테이의 운영을 영구 중단했다.
당시 조사에 따르면 테이는 백인 우월주의자, 여성 혐오자, 무슬림 혐오자 등 편향된 사람들이 차별적인 발언을 유도하는 바람에 나쁜 지식들을 집중적으로 학습했던 것으로 밝혀졌다. 이후 사티아 나델라 마이크로소프트 최고경영자(CEO)는 AI에 접근하는 방식에 테이를 둘러싼 논란이 큰 영향을 미쳤다고 토로했다. 테이 사태를 지켜본 관련 기업들은 AI도 인간처럼 어떤 경험을 하느냐에 따라 성격과 성향이 달라질 수 있다는 사실을 체감했다.
언제 어디서든 논란 일어날 수 있어
이론적으로는 오직 규칙에 따라 연산해 답을 찾는 용도로 사용되는 AI가 윤리적 이슈를 발생시킬 가능성은 희박하다. 상대방을 의도적으로 속이려는 트릭이 내재된 것을 제외하면 사용자와 AI 간의 소통에서 윤리적 올바름에 대한 가치 판단이 개입할 여지가 거의 없을 것이기 때문이다. 바둑·장기·체스와 같은 각종 게임에 사용되는 AI가 그 예가 될 수 있다. AI의 판단 결과인 다음 수를 어디에 둘 것이냐는 윤리적 올바름과 거의 무관하기 때문이다.
하지만 현실적으로는 AI가 사용되는 많은 분야에서는 정의와 올바름 등 윤리적 가치 판단이 중요한 이슈가 된다. 대화형 AI뿐만 아니라 금융 시장·언론·제약 분야 등 사람과 함께 일하거나 다른 회사의 사람과 경쟁하는 용도의 AI가 내리는 판단은 종종 윤리적 이슈를 수반하게 된다.
심지어 로봇, 자율주행 자동차, 드론 택시 등으로도 불리는 도심형 항공 모빌리티(UAM) 등 AI가 탑재된 각종 기계들도 잠재적으로 윤리적 갈등의 소지를 안고 있다. 사고 상황에 당면해 내린 AI의 판단이 인명 사고로 이어진다면 필연적으로 윤리적 판단의 문제로 귀결되기 때문이다.
이처럼 AI가 유발할 수 있는 윤리 문제는 차별적인 언행을 표현하는 데만 국한되지 않는다. AI가 안고 있는 잠재적 윤리 문제들은 원인과 결과 등의 속성을 기준 삼아 유형화될 수 있다. 많은 이슈들 가운데 중요한 몇 가지를 예로 들면 사회 구성원에 대한 차별성, 사생활 침해, 불공정성, 권한 부여의 제한 등을 꼽을 수 있다.
<차별성> AI는 성별·인종·연령·계층 등의 측면에서 사회 구성원에 대한 각종 차별을 드러낼 수 있다. 차별성의 문제는 사람들이 당장 피부로 느낄 수 있는 데다 사회적으로도 민감한 이슈여서 즉각적이고도 폭발적인 파장을 일으키기 마련이다. 대화형 AI를 출시한 모든 기업들은 테이 사례에서 마이크로소프트가 겪었던 악몽의 발생 가능성에 항상 노출돼 있다.
<프라이버시 침해> AI 비서와 스마트 스피커 등 일상생활에서 사용되는 AI는 언제든지 사생활 노출과 개인 정보 유용 등의 문제 소지를 안고 있다. 요즘 우리는 일상생활에서 내리는 각종 의사 결정과 행동·대화에 대한 데이터를 무심하게 AI(운영 기업)에 넘기고 있다. 온라인 쇼핑, 온라인 동영상 서비스(OTT) 등에서 공짜로 제공하는 듯한 각종 추천 서비스도 사실 이런 데이터를 넘겨 준 대가일 뿐이다. 이렇게 축적된 사생활 데이터들은 어느 순간 AI(운영 기업)가 우리의 삶, 의사 결정, 행위에 대해 부당하게 개입하는 실마리를 제공할 수도 있다.
<지나친 권한 부여> AI에 부여된 권한의 수준도 윤리적 갈등의 소지가 될 수 있다. 예를 들어 자율주행 자동차에 탑재된 AI가 사용자의 운전 습관을 판박이처럼 학습하는 것을 마냥 좋다고만 볼 수 없다. 만일 사용자가 교통질서를 무시하는 폭주족이라면 자율주행차는 교통질서를 어지럽히는 폭주 차량이 될 것이기 때문이다.
또 트롤리의 딜레마(trolley dilemma)처럼 교통사고에 직면한 자율주행 자동차(의 인공지능)가 피해자를 선택해야 하는 순간 다수의 보행자와 소수의 보행자 또는 탑승자와 보행자 중 누구를 선택할 것인지도 여전히 사회적 합의점을 쉽게 찾기 어려운 문제다. 국토교통부가 2020년 12월 발표한 ‘자율주행 자동차 윤리 가이드라인’에서도 피해자 선택 문제는 인간 생명의 보호라는 기본 가치와 충돌하므로 당장의 판단을 유보하고 좀더 추가로 논의해야 한다고 적시한 바 있다.
<불공정성> 제로 섬 게임 방식이 적용되는 분야에서는 AI가 불공정한 결과를 야기할 가능성이 높다. 데이터 분석, 판단, 행동의 각 과정에서 AI가 사람보다 월등하게 빠르기 때문이다. 실제로 열차표, 콘서트 티켓 판매 등의 분야에서는 자동 매표 시스템 도입 이후 암표상들이 더 득세하는 경우가 많아지기도 했다. 간단한 AI를 이용해 할인 티켓이나 황금 시간대의 티켓을 싹쓸이했기 때문이다.
증권 시장의 트레이딩 분야에서도 백만분의 일초 단위로 초단타 매매를 하는 FTS(Frequency Trading System)가 대거 도입된 이후 사람의 역할은 상당 폭 줄어들었다. 이런 분야들에서는 작업의 효율성을 지향한 AI가 도리어 불공정한 부의 이전을 촉진하는 역할을 한 것이다.
목표 지향적으로 만들어진 대부분의 AI들은 행동의 공정성에 대한 개념과 기준이 알고리즘에 내재화되지 않은 이상 불공정성 문제를 일으킬 소지를 항상 지니고 있다. 그런데 불공정 이슈는 주로 한정된 분야에서 발생하거나 쉽게 체감되지 않기 때문인지 차별성 이슈에 비해서는 그다지 큰 주목을 받지 못하는 듯하다.
문제 해결의 열쇠는 개발, 운영 과정에 있어
때로는 AI의 오작동이 윤리적 문제의 원인일 수도 있지만 정상적으로 작동하는 AI의 판단이 문제를 일으키는 경우가 많다. 최근 한국의 챗봇 사례나 테이는 모두 AI가 정상적으로 작동하면서 발생한 문제들이다. 그래서 AI로 인한 윤리적 문제의 발생 가능성을 낮추려면 우선 개발 과정에서부터 대응책이 선행 적용돼야 한다.
이미 많은 개발자들은 학습용 데이터 세트의 수집과 구성 단계에서부터 문제점을 최대한 줄이기 위해 노력하고 있다. 차별성 이슈의 경우 무조건 대용량의 데이터로 학습시키면 해결된다고 보기는 어렵다. 특정 분야나 특정 연령대, 특정 계층, 특정 성향의 사용자들에게서 수집된 데이터는 아무리 양이 많더라도 어느 방향으로든 편향성을 가지기 마련이기 때문이다. 예를 들어 출시 2년 전인 2014년께부터 약 4000만 건 이상의 대화로 학습했던 것으로 알려진 마이크로소프트의 테이도 사람들과 접촉하는 과정에서 각종 편향성을 드러냈다.
프라이버시 침해 문제에 대해서는 점점 발달하는 디바이스의 연산과 저장 능력을 십분 활용해 데이터를 클라우드로 넘기지 않는 방안이나 데이터에 소음을 추가해 특정 사용자와의 연관성을 제거하는 차등 프라이버시 방안 등이 검토되기도 한다. 단, 이런 방안들은 서비스 수준을 제약할 수 있어 AI 서비스 업체들이 적극 추진하기를 꺼릴 수도 있다.
개발 과정뿐만 아니라 AI의 운영 과정에서도 개발자와 운영자들은 지속적으로 AI의 판단 결과를 점검하고 검수해야 한다. AI를 접하는 일반 사용자가 항상 윤리적으로 올바른 사람으로만 구성되지는 않기 때문이다. 정상적으로 개발된 마이크로소프트의 테이는 출시 이후 일반 사용자들에게서 각종 편향된 지식과 발언을 습득하면서 문제의 당사자가 됐다.
그래서 오늘날 AI 챗봇, AI 비서, 스마트 스피커를 운영하는 국내외 빅테크 기업들은 결과값 조정, 민감한 이슈와 관련된 응답 회피 등 다양한 방식으로 검수 작업을 진행하고 있다. 검수 작업에서는 AI의 판단 결과를 설명할 수 있도록 준비할 필요가 있다. 그래야 AI가 윤리적으로 잘못된 결과를 내면 즉각 시정하도록 유도하거나 학습시킬 수 있기 때문이다.
물론 이런 작업의 효과는 실효성이 상당히 제한적일 수 있다. 딥러닝 기반의 AI가 판단한 의사 결정의 논리를 인간이 파악하기는 현실적으로 쉽지 않기 때문이다.
진석용 LG경제연구원 연구위원
© 매거진한경, 무단전재 및 재배포 금지