생성형 AI 활용이 단순 질의응답을 넘어 도구를 호출하고 업무를 이어가는 에이전트 방식으로 확장되면서, LLM 평가의 무게중심도 실제 작업 수행 능력으로 옮겨가고 있다. 문서 이해, 정보 추출, 긴 맥락 추론처럼 기업 현장에서 요구되는 성능이 모델 경쟁의 핵심 지표로 부상하는 분위기다.

업스테이지(대표 김성훈)는 자체 개발한 거대언어모델(LLM) '솔라 프로 4'를 공개했다고 14일 밝혔다. '솔라 프로 4'는 전작 '솔라 프로 3' 대비 추론 능력과 에이전트 역량을 강화한 차세대 상용 AI 모델로, 실제 업무 환경의 연속적인 작업 흐름을 안정적으로 수행하는 데 초점을 맞췄다.

'솔라 프로 4'는 공개 직후 글로벌 개발자 플랫폼에 한국 모델 최초로 이름을 올렸다. 미국 누스 리서치가 개발한 AI 에이전트 '헤르메스 에이전트'와 API 라우팅 플랫폼 '오픈라우터'에 등재된 유일한 한국 모델이며, 오픈라우터 등재 3일 만에 누적 토큰 소비량 800억 토큰을 넘어섰다.

특히 이번 모델은 에이전트 업무의 성패를 가르는 실행력 지표에서 개선 폭을 보였다. 터미널에서 여러 단계 작업을 끝까지 완수하는 능력을 평가하는 '터미널벤치(Terminal-Bench v2.1)'에서 57점을 기록해 전작 대비 4.8배 향상됐고, 대화를 주고받으며 도구 사용 능력을 평가하는 '타우3-뱅킹(τ³-Banking)'에서는 23점으로 2.6배 개선됐다.

또한 장문 문서를 다루는 성능도 핵심 경쟁력으로 제시됐다. 대량의 긴 문서에서 정보를 추출하고 이를 근거로 답을 추론하는 장문 이해 벤치마크 AA-LCR에서 71점을 기록해 전작보다 2.3배 이상 높은 성능을 보였다. 업스테이지는 문서 중간의 맥락을 놓치는 실패가 줄어 정확도와 토큰 소모 측면에서 효율을 높였다고 설명했다.

이외에도 국내 기업과 공공기관의 사무 환경에 맞춘 한국어 성능과 문서 처리 능력도 강화됐다. '솔라 프로 4'는 업스테이지의 에이전트 문서 처리 통합 솔루션 '업스테이지 스튜디오'에 탑재돼 한글문서를 포함한 다양한 문서 서식에서 정보를 추출하고, 요약·분석·번역 작업을 한 번에 처리할 수 있다.

글로벌 평가에서도 존재감을 확인했다. '솔라 프로 4'는 주요 모델의 에이전트 성능을 비교하는 '에이전트 아레나' 리더보드에 한국 모델 최초로 진입해 엔비디아 '네모트론 3 울트라'와 대등한 성능권에 자리했다. 업스테이지는 미국과 중국 모델이 주로 차지해 온 47개 주요 모델 순위표에 한국 모델이 이름을 올린 사례라고 밝혔다.

종합 성능은 글로벌 AI 평가기관 아티피셜 애널리시스(Artificial Analysis) 기준 42점이다. 이는 전작 대비 3배 이상 개선된 수치로, 엔비디아 '네모트론 3 울트라' 38점, 구글 '제미나이 3.5 플래시-라이트' 37점, 미스트랄 '미디엄 3.5' 30점, 코히어 '커맨드 A+' 23점보다 높은 점수다.

김성훈 업스테이지 대표는 "실무에서 AI에게 필요한 것은 시험을 잘 보는 능력이 아니라 맡은 일을 끝까지 해내는 신뢰성"이라며 "'솔라 프로 4'가 글로벌 개발자 플랫폼에 한국 모델 최초로 이름을 올린 것은 우리 AI 기술이 세계 현장에서 통한다는 증거로, 앞으로도 현장에서 검증된 기술력을 바탕으로 한층 더 활용성 높은 AI를 만들어 나가겠다"고 말했다.

* AVING NEWS는 기사 편집 시, AI도구를 사용합니다.