챗GPT 수능 성적은…“영어 2등급, 수학은 낙제 수준” [챗GPT의 모든 것]

“산업계 인재 채용 요구 사항도 바뀔 것”…악용 사례도 나와

[스페셜 리포트 : 챗GPT 쇼크]

챗GPT가 대학수학능력시험(이하 수능)을 본다면 어떨까. 최근 챗GPT가 미국 의사시험, 로스쿨과 MBA 등 전문직 시험에 통과했다는 결과가 나와 화제를 모으고 있다. 한국에서도 챗GPT가 실력을 발휘할 수 있을까.

인공지능(AI) 등 소프트웨어 시험 평가를 전문으로 하는 스타트업 애나와 연세대 인공지능대학 김시호 교수 연구팀이 실제 수능 문제를 통해 챗GPT의 실력을 가늠하는 실험을 진행했다. 이번 실험은 2023학년도 수능 문제에서 그림이 포함돼 문항의 입력이 불가능한 것을 제외하고 문제 전체를 입력하고 답을 확인하는 방식으로 진행했다.

애나와 연구팀에 따르면 영어 수능 시험에서 듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞혀 합산 점수 82점을 취득했다. 수능 2등급 수준의 능력이다. 챗GPT는 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제 모두 정답을 맞혔다.

반면 수학 시험에서는 상반된 결과가 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞혔지만 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력했다. 챗GPT의 수학 능력은 아직 현저히 부족한 것으로 나타났다. 기계 학습 방법으로 수학을 배우는 챗GPT의 연산 능력은 한 자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈에서 오답을 낼 정도로 정확도가 떨어진다.

애나와의 이상호 최고기술책임자(CTO)는 “챗GPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있다”며 “이러한 요약·추론 기능을 활용해 응용할 수 있는 서비스가 무궁무진할 것으로 보이고 산업계에서는 이에 맞춰 인재 채용에 대한 요구 사항이 머지않아 바뀌게 될 것”이라고 말했다.

연세대 공학교육혁신센터의 한경희 교수는 “머지않은 미래에 AI의 능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것”이라며 “AI와 동행하게 될 앞으로의 교육에서 새로운 교육 목적과 방법을 고민하지 않는다면 미래 사회에서 대학 교육은 존립의 근거를 잃게 될지도 모른다”고 말했다.

한편 챗GPT를 악용하는 사례도 하나둘 나오고 있다. 챗GPT를 통해 다양한 분야의 논문과 과제를 제출하는 일이 빈번하자 일부 미국 학교는 ‘GPT제로’ 등 프로그램을 통해 이를 가려내겠다는 방책을 시도하고 있다.

한국 학교도 비상이다. 서울대는 최근 교내 AI연구원과 함께 챗GPT를 활용한 부정 행위 방지를 위한 툴 개발 등 대책 논의를 시작했다. 연세대·고려대·한양대·경희대 등도 상황을 인지하고 있지만 뚜렷한 대비책을 마련하지 못하고 있는 것으로 알려졌다.

일각에서는 AI 활용을 막기보다 기술 발전에 따라 AI를 현명하게 활용하는 공존을 가르쳐야 한다는 주장도 나오고 있다.

정채희 기자 poof34@hankyung.com