AI 추론능력 개선한 스트로베리 출시가능성으로
AGI에 대한 기대감 상승..윤리와 안전문제는 숙제
오픈AI가 GPT-4의 후속 버전을 훈련하고 있다는 소문에 이어 새로운 AI 모델의 위험을 다루는 ‘안전 및 보안위원회’ 활동을 3개월간 시작한다는 발표도 나왔다. 이는 이미 사전 훈련은 끝나고 최종 위험 및 안전테스트만 남았다는 것을 말하며 모델 출시가 임박했다는 것을 의미한다.
다만 차세대 AI모델 출시 관련해서 혼란을 가중시키고 있는 것은 언제 출시되느냐보다는 차세대 모델의 정체가 불분명하다는 것이다. 오픈AI가 명확하게 차세대 모델이 무엇인지 차세대 모델이 GPT-5인지에 대해 아직 공식적으로 발표를 하고 있지 않기 때문이다. 최근 부상하는 오픈AI의 차세대 AI 모델들현재 오픈AI가 개발 중인 차세대 AI모델로 거론되는 것은 GPT-Next와 오리온(Orion)이다. 사실 이 두 모델 모두 고급 추론 능력과 문제해결 능력을 개선시키기 위해 개발되고 있는 오픈AI의 차세대 AI모델들이다. 다만 AI 발전 로드맵상 출시 시기나 진화 단계면에서 차이가 있어 보인다.
우선 GPT-Next는 오픈AI가 올가을 공개할 것으로 보이는 차세대 AI모델이다. 모델의 매개변수는 약 7조에서 11조 개에 이를 것으로 추정된다. 현재 GPT-4의 매개변수가 약 2조 개임을 감안하면 3배에서 5배 많은 수치다.
따라서 GPT-Next가 GPT-4보다는 성능 면에서는 월등할 것으로 보인다. 지난 9월 3일 열린 ‘KDDI 서미트 2024’에서 오픈AI 재팬의 CEO인 나가사키 다다오도 GPT-Next 모델이 GPT-4보다 100배 이상 성능이 더 뛰어날 것이라고 말한 바 있다.
또 다른 모델 오리온은 GPT-5로 추정되는 오픈AI의 차세대 LLM의 프로젝트 코드명이다. 궁극적으로 오리온은 오픈AI가 인간의 뇌와 유사한 기능을 가진 AI인 인공일반지능(AGI)을 구현하기 위한 차세대 모델로 보인다.
이런 맥락에서 오리온이 GPT-5가 아닐까라는 전망도 나오고 있다. 물론 아직 오픈AI에서 오리온을 공식적으로 GPT-5라고 발표한 적은 없다. 따라서 오리온이 GPT-4 후속 버전임에는 틀림없어 보이나 이 모델이 오픈AI의 GPT-5가 될지는 오픈AI의 공식 발표를 지켜봐야 할 듯하다.
한편 이 두 개의 차세대 AI모델 못지않게 이 모델의 능력을 향상시키기 위해 활용되고 있는 핵심 기술로 더 주목받고 있는 것이 있다. 바로 스트로베리(Strawberry)다. 오픈AI CEO인 샘 올트먼은 지난 8월 7일에 화분에서 자라는 딸기(Strawberry) 사진을 트윗하면서 ‘프로젝트 스트로베리’에 대한 암시를 준 바 있다. 도대체 스트로베리란 무엇일까.오픈AI 차세대 코드명 ‘스트로베리’스트로베리는 오픈AI가 개발 중인 새로운 AI 추론기술의 코드명이다. 오픈AI가 AI의 추론 능력을 높이기 위해 개발한 큐스타(Q*)라는 기술의 새로운 이름이기도 하다. 원래 큐스타는 기존 GPT 모델이 가진 한계인 과학과 수학의 복잡한 질문에 답할 수 있게 개발되고 있던 오픈AI의 비밀 프로젝트다.
스트로베리의 가장 큰 특징은 기존 기술 대비 추론과 문제 해결 역량이 뛰어나다는 것이다. 특히 현존하는 어떤 챗봇보다 수학과 프로그래밍에서 월등한 역량을 가지고 있다.
사실 챗GPT가 수학 문제를 푸는 데 어려움을 겪는다는 것은 널리 알려진 사실이다. 전문가들은 이러한 오류가 훈련 데이터에 수학 정보가 충분하지 않기 때문이라고 본다. 챗GPT는 전통적인 계산기에 의존하는 대신 자연어와 문서의 패턴에서 수학 답변을 추출한다.
이런 측면에서 스트로베리의 성과는 놀랍다. 스트로베리는 복잡한 수학 문제에 대한 AI 모델의 성능을 평가하기 위한 표준화된 테스트인 벤치마크에서 90% 이상의 점수를 받았다. 이는 GPT-4(53%)와 GPT-4o(76.6%)에 비해 월등이 높는 수치다. 이런 결과가 나온 것은 최종 답변에 대한 보상만 받는 다른 모델과는 달리 문제를 푸는 단계마다 보상을 받아 학습했다.
이런 이유로 스트로베리는 이전에 접하지 못했던 추론이나 문제해결이 가능하다. 최근 스트로베리가 뉴욕타임스의 커넥션(Connections)과 같은 복잡한 단어 퍼즐을 푼 것이 대표적인 사례다.
스트로베리의 또 다른 특징은 심층적인 연구를 수행하고, 계획을 수립하고, 고품질의 합성 데이터를 생성한다는 점이다. 특히 자체 훈련을 위한 합성 데이터를 생성하는 기능이 탁월하다.
이 자체 합성데이터 생성 기능이 중요한 것은 방대한 양의 실제 데이터 없이도 데이터 프라이버시, 품질 및 가용성과 관련된 문제를 해결하고 개선할 수 있기 때문이다. 스트로베리가 차세대 AI모델인 GPT-5라는 새로운 AI 시스템을 훈련하는 데 중요한 역할을 하고 있는 이유다.
실제로 오픈AI는 스트로베리를 통해 고품질의 합성 데이터를 생성하여 GPT-Next와 오리온의 훈련에 통합시켜 활용하고 있는 것으로 전해지고 있다. GPT-Next는 스트로베리의 소규모 버전을, 오리온은 스트로베리의 더 큰 버전을 사용하여 학습 데이터를 생성하는 데 활용되고 있다.
이러한 언어모델의 추론 능력을 향상시키기 위해 스트로베리는 오픈AI의 사전학습 언어모델로 스탠퍼드대에서 개발한 자가학습추론기(STaR: Self-Taught Reasoner)를 적용하고 있다. 이 기술은 언어모델이 스스로 추론과정을 생성하고 학습하도록 함으로써 언어모델의 추론 능력을 향상시키기 위해 설계된 방법이다. 일종의 사후학습 방식으로 초기 대규모 학습 후에 모델을 적응시키고 반복 학습 및 미세 조정을 수행한다.
또 한 가지 스트로베리의 추론 능력을 향상시킬 것으로 기대하게 하는 것은 그로킹(Grokking)이다. 그로킹은 AI 모델의 학습 과정에서 모델의 성능이 급격히 향상되는 현상을 말한다. 이에 대해 더블린 시립대학의 앨런 스미튼 교수는 “그로킹은 어떤 데이터로 모델을 훈련시키고 특정 수준에서 수행되고 그런 다음 계속해서 모델을 훈련시키면 결국 그 훈련 모델에서 추론하는 능력이 갑자기 향상된다”고 설명한다.
이처럼 고성능 AI 추론 역량을 가진 스트로베리는 AI의 고질적 한계인 추론과 자율적 문제해결 역량을 빠르게 향상시키며 AGI 도래에 대한 기대감을 높이고 있다.윤리와 안전, 여전히 해결해야 할 숙제오픈AI에 따르면 AI는 챗봇(Chatbots), 추론자(Reasoners), 에이전트(Agents), 혁신자(Innovators), 조직(Organizations)이라는 5가지 단계로 나누어진다. 아쉽게도 현재의 AI 수준은 챗봇 단계인 1단계로 평가된다. 하지만 전문가들은 스트로베리가 적용되면 추론이 가능한 2단계로 진화할 것으로 기대하고 있다. 그렇다면 2단계가 되면 어떤 일이 가능해지는 걸까.
2단계인 추론자 단계가 되면 AI는 박사 교육을 받은 사람과 같은 수준의 문제해결 역량을 가지게 된다. 복잡한 데이터를 분석하고 의미 있는 결론을 도출할 수도 있다. 심지어 과학연구에서 가설을 세우고 연구 방향을 제안하거나 검증하는 과정을 제안할 수도 있다.
하지만 스트로베리로 인해 무조건 2단계로 진입할 수 있을지는 미지수다. 스트로베리가 추론과 문제 해결 능력을 크게 향상시키고 환각 문제도 많이 줄인다고는 하지만 그렇다고 복잡한 추론과정에서의 오류 발생 가능성이나 환각 문제가 완전히 해결된다는 뜻은 아니다.
더 근본적인 문제는 윤리나 안전이다. 오픈AI는 아직 AGI 개발을 둘러싼 윤리적 문제나 안전문제에 대해서는 아직 명확한 해답을 내놓지는 못하고 있다. 일부에서는 오픈AI의 안전팀 인력의 거의 절반이 회사를 떠났다는 보도도 나오고 있다.
최근에는 오픈AI가 국가 안보 담당자들에게 새로운 모델의 한 버전을 시연했다는 보도도 나오고 있다. 이에 대해 외신들은 생성형 AI의 급속한 발전으로 심각한 보안과 안전 문제가 제기되는 상황에서 정부가 걱정하는 투명성에 대한 우려를 잠재우기 위한 의도가 아닌가 판단하고 있다.
아무튼 AI의 적응성과 유연성을 개선해 AGI를 앞당기려는 오픈AI의 야심찬 기술개발 노력이 어떤 성과로 나타날지 지켜보자.
심용운 SK경영경제연구소 수석연구원
© 매거진한경, 무단전재 및 재배포 금지