하용호 데이터오븐 대표(디캠프 배치 멘토)

지난 회에서는 AX를 시작한 회사들이 왜 기대만큼 빨라지지 않는지를 다뤘다.

짧게 되짚어보자. 회사들은 놀랍도록 비슷한 네 단계를 지난다. 전사에 AI를 깔고 교육을 돌리는 환호의 시기, 계정은 줬는데 정작 쓰는 사람이 적은 정체의 시기, 누군가 사내 시스템에 AI를 연결하고 해커톤이 열리는 잠깐의 신남, 그리고 ‘분명 뭔가 많이 일어나는데 왜 체감은 10~20% 뿐인가’라는 의구심의 시기다. 이 마지막 구간에서 리뷰되지 않은 AI 코드가 장애를 내고, 검토되지 않은 보고서가 잘못된 결정으로 이어지는 사고가 터진다.

원인은 '검증세'였다. 도입 전에는 AI에게 시키면 딸깍 끝날 줄 알았는데, 실제로는 그 결과가 제대로 된 것인지 확신하는 데 막대한 시간이 든다. 이 비용이 세 가지 부채로 드러난다. 산출물이 빠르게 쌓이면서 다음 작업이 오히려 더뎌지는 기술부채, 만들어진 결과를 내가 이해할 수도 확신할 수도 없는 인지부채, 그리고 시스템은 돌아가는데 왜 그렇게 만들었는지를 다시는 알 수 없는 의도부채다.

그렇다면 이 구덩이는 어떻게 건너야 할까.

우선 가장 흔한 오답부터 걷어내자. 교육을 한 번 더 돌리고 AX 전담팀에 사람을 더 붙이는 것이다. 이건 첫 단계, 환호의 시기에 이미 다 해본 처방이다. 정체의 원인이 '쓸 줄 몰라서'가 아니라 '결과를 믿을 수 없어서'인데, 같은 약을 용량만 늘려 다시 쓰는 셈이다. 필요한 건 두 가지 재설계다. 검증을 두껍게 만드는 일, 그리고 일의 파이프라인 자체를 다시 짜는 일이다.

검증이 두꺼우면 그 보호막 안에서 AI는 마음껏 날뛸 수 있다. 어디서 왔든 오리처럼 생기고 오리처럼 수영하고 오리처럼 울고 오리알을 낳는다면, 그건 오리라고 믿으면 된다. 산출물의 출처를 심문하는 대신 통과해야 할 관문을 촘촘히 세우는 쪽이 훨씬 싸다. 문제는 그 검증을 사람이 눈으로 하면 AI의 생산 속도를 도저히 따라갈 수 없고, 사람은 지친다는 데 있다. 그래서 '사람과 AI가 함께 만든 두꺼운 검증 레이어를 설계하는 일'이 이제 모든 지식노동자의 본업이 된다. 과거의 회사원은 생산과 검증을 다 했지만, 앞으로의 회사원은 생산을 AI에 넘기고 검증 구조를 짓는 사람이다.

이 전환은 KPI에서 가장 선명하게 드러난다. 도입 초기의 회사는 구성원에게 생산량을 요구한다. 토큰을 얼마나 썼는지 리더보드를 걸던 그 시기다. 시간이 지나면 질문이 바뀐다. ‘당신이 추가한 검증은 무엇이고 어떤 구조인가.’ 그리고 여기에 뜻밖의 이득이 붙는다. 검증 레이어를 짜려면 ‘이 값은 왜 5초인가’, ‘이 고객사는 왜 매출을 절반만 잡는가’를 반드시 언어로 꺼내 테스트와 규칙에 박아야 한다.

휘발되던 의도가 자산으로 남는다. 앞서 말한 의도부채가 검증을 세우는 과정에서 저절로 갚아지는 것이다. 여기서 한 걸음 더 나아간 회사들은 부서마다 따로 겪은 시행착오를 회사 차원의 공통 메모리로 모으기 시작했다. 법률 AI 하비(Harvey)는 이 방식으로 기존 대비 여섯 배의 벤치마크 향상을 얻었다.

두 번째 다리는 파이프라인이다. 업무에 처음 컴퓨터가 들어왔을 때를 떠올려보자. 진짜 도약은 타이핑이 빨라져서 온 게 아니라, 결재와 보고와 회계의 절차 자체가 다시 짜였을 때 왔다. 업무의 틀을 그대로 둔 채 도구만 바꿔 끼우면 효과는 늘 실망스럽다.

지금 회사의 시스템과 프로세스는 예외 없이 '사람이 쓴다'는 전제로 설계돼 있다. 가위를 사람이 쓴다면 손잡이는 손가락 모양이어야 한다. 그런데 그 가위를 로봇이 써야 한다면, 손잡이는 어떻게 생겨야 할까. 사내 지표 시스템, 어드민, 결재 절차, 문서 저장소의 사용자가 사람이 아니라 AI라면 가장 자연스러운 인터페이스는 무엇인가. 이 질문을 컴포넌트마다 다시 던져야 한다. 방향은 양면이다. AI에게는 24시간 멈추지 않고 접근할 수 있게, 사람에게는 그 결과를 빠르게 검증할 수 있게.

여기까지 오면 왜 경영진의 지원이 필수인지가 분명해진다. 검증을 KPI로 바꾸는 일도, 시스템의 손잡이를 다시 깎는 일도 개인이 밑에서 밀어 올릴 수 있는 종류가 아니다. 일하는 구조를 바꾸는 일이기 때문이다.

AX의 진짜 목표는 사람들이 자고 있어도 회사가 돌아가는 반자율주행 상태에 이르는 것이고, 그 문을 여는 열쇠는 임원실에 있다.
하용호 데이터오픈 대표(디캠프 제공)
하용호 데이터오픈 대표(디캠프 제공)
하용호 데이터오픈 대표는 AI를 도입한 회사들이 왜 기대만큼 빨라지지 않는지를 현장에서 들여다봐 왔다. 두 번의 엑싯을 거쳤고, 데이터오븐 대표로 여러 기업의 AI 전환을 자문한다. 국가AI전략위원회 위원이며, 애드테크 기업 데이블의 CDO로 실시간 광고 AI를 이끌었다.

강홍민 기자 khm@hankyung.com