사진=클라이온
사진=클라이온
최근 공공기관을 중심으로 생성형 인공지능(AI) 도입이 확대되면서, 답변 정확도와 신뢰성을 검증하기 위한 품질관리 체계 구축 중요성도 함께 커지고 있다. 특히 생성형 AI의 환각 현상(Hallucination)을 줄이고 응답 품질을 객관적으로 검증하려는 움직임이 이어지는 분위기다.

이러한 가운데 AI 클라우드 서비스 기업 클라이온은 서울특별시의 '생성형 AI 기반 챗봇 2.0 구축 사업'을 마무리했다고 밝혔다.

이번 사업은 서울시가 추진 중인 '서울 AI 비전' 전략 과제 가운데 하나로, 행정서비스 전반에 AI 기술을 적용해 업무 효율성과 시민 편의성을 높이기 위해 추진됐다. 클라이온은 약 6개월간 GPU 기반 인프라 구축과 서울시 행정 데이터 기반 모델 튜닝, RAG(검색증강생성) 기반 챗봇 시스템 개발 등을 수행했다.

서울시는 내부 공무원용 행정 챗봇과 시민 대상 서비스인 '서울톡' 연계 챗봇의 응답 정확도 개선에 집중했다. 이를 위해 클라이온은 자체 개발한 RAG 성능평가 솔루션 'REX(RAG Evaluation eXpert)'를 적용해 AI 응답 품질 검증 체계를 구축했다고 설명했다.

회사 측에 따르면 약 2만 건 규모 데이터셋을 기반으로 평가용 QA셋(Golden Set)을 구축했으며, LLM 기반 자동 평가와 전문가 휴먼 평가를 병행하는 방식으로 응답 품질을 측정했다. 이를 통해 챗봇 응답 정확도를 개선하고 환각 현상 감소 효과도 확인했다고 밝혔다.

REX는 생성형 AI의 핵심 기술인 RAG 시스템의 검색 및 생성 성능을 정량적으로 분석·평가하는 솔루션이다. 답변 충실성(Faithfulness), 관련성(Relevancy) 등 국제 표준 기반 평가 지표를 활용해 응답 품질을 수치화하며, 유해성 탐지와 편향성 분석 기능도 지원한다.
사진=클라이온
사진=클라이온
또한 평가 결과를 검색 영역과 생성 영역으로 구분해 원인을 분석하고 개선 방향을 제시하는 기능을 갖췄다. 운영자는 통합 대시보드를 통해 시스템 상태와 성능 추이, 비용 사용 현황 등을 실시간으로 확인할 수 있다.

클라이온 측은 공공·금융·의료 분야를 중심으로 AI 품질관리 수요가 확대되고 있다고 설명했다. 서울시 사례 역시 공공 생성형 AI 서비스 운영 과정에서 성능 검증 체계 중요성을 보여주는 사례 가운데 하나라고 덧붙였다.

박윤지 클라이온 대표는 "공공 행정 분야에서는 신뢰할 수 있는 생성형 AI 서비스 구축이 중요하다”며 “객관적인 품질 검증 체계를 기반으로 공공 AI 서비스 경쟁력 강화에 기여해 나가겠다"고 밝혔다.

업계에서는 생성형 AI 도입이 확산되면서 단순 서비스 구축을 넘어 응답 정확도와 규제 대응, 데이터 신뢰성을 검증하는 AI 운영관리(AIOps) 시장 경쟁도 본격화되고 있다고 보고 있다.

김민주 기자 minjoo@hankyung.com