미 스탠퍼드·워싱턴대, “50달러로 오픈AI 버금 AI 모델 개발”
최고관리자
0
572
2025.02.09 06:08
중국 인공지능(AI) 스타트업 딥시크가 저렴한 비용으로 성능이 우수한 AI 모델을 개발했다고 주장하며 주목 받는 가운데 미국 대학 연구진도 낮은 비용으로 AI 모델을 개발했다.
스탠퍼드대와 워싱턴대 AI 연구진은 최근 발표한 연구 논문에서 50달러도 안되는 클라우드 컴퓨팅 비용으로 최첨단 AI 추론 모델을 훈련했다고 밝혔다.
's1'이라는 이름의 모델은 수학 및 코딩 능력 테스트에서 오픈AI의 'o1', 딥시크의 'R1'과 필적하는 성능을 보인다고 연구진은 설명했다.
o1은 오픈AI가 지난해 처음 출시한 추론 모델이다. R1은 딥시크가 지난달 선보인 추론 모델로 o1과 성능이 비슷한 것으로 알려졌다.
s1 모델과 훈련에 사용된 데이터와 코드는 개발자들이 코드와 파일을 저장하고 관리할 수 있도록 도와주는 웹 기반 플랫폼 깃허브에 공개됐다.
연구진은 s1을 개발하는 과정에서 '증류'라고 하는 기술적 과정을 통해 미세 조정했다고 설명했다. 증류는 AI 모델이 다른 모델의 출력 결과를 훈련 목적으로 사용, 유사한 기능을 개발하는 것을 의미한다.
s1은 구글의 최신 AI 모델인 제미나이 2.0 플래시 싱킹 익스퍼리멘털에서 증류했다. 연구진은 이 모델의 추론 능력을 s1에 학습시키기 위해 문제 해결하는 추론 과정과 1000개의 질문과 답을 담은 데이터 세트를 선별 사용했다.
연구진은 “s1 훈련에 엔비디아 첨단 AI 반도체 H100 그래픽처리장치(GPU)를 사용해 30분도 걸리지 않았다”며 “총 비용은 50달러가 들지 않았다”고 설명했다. 또 s1 훈련에 필요한 컴퓨팅 성능을 약 20달러에 빌릴 수도 있다고 덧붙였다.
연구진은 s1 정확도를 높이기 위해 “기다리라”는 지시 방법을 사용, AI 모델이 답변을 생성하기 전 충분히 생각할 시간을 갖도록 했다.
구글과 마이크로소프트(MS), 메타 등 대형 기술 기업이 AI 인프라에 수십억 달러를 투자하고 있는 가운데 s1은 딥시크와 함께 가성비가 뛰어난 모델로 주목 받을 것으로 전망된다.
앞서 딥시크도 자체 AI 모델을 개발하면서 오픈AI의 AI 모델을 증류한 것으로 알려졌다.
한편 전문가들은 증류 방식을 통해 기존 모델을 복제할 수 있지만, AI 성능의 획기적인 발전을 끌어내기는 어렵다고 보고 있다.
스탠퍼드대와 워싱턴대 AI 연구진은 최근 발표한 연구 논문에서 50달러도 안되는 클라우드 컴퓨팅 비용으로 최첨단 AI 추론 모델을 훈련했다고 밝혔다.
's1'이라는 이름의 모델은 수학 및 코딩 능력 테스트에서 오픈AI의 'o1', 딥시크의 'R1'과 필적하는 성능을 보인다고 연구진은 설명했다.
o1은 오픈AI가 지난해 처음 출시한 추론 모델이다. R1은 딥시크가 지난달 선보인 추론 모델로 o1과 성능이 비슷한 것으로 알려졌다.
s1 모델과 훈련에 사용된 데이터와 코드는 개발자들이 코드와 파일을 저장하고 관리할 수 있도록 도와주는 웹 기반 플랫폼 깃허브에 공개됐다.
연구진은 s1을 개발하는 과정에서 '증류'라고 하는 기술적 과정을 통해 미세 조정했다고 설명했다. 증류는 AI 모델이 다른 모델의 출력 결과를 훈련 목적으로 사용, 유사한 기능을 개발하는 것을 의미한다.
s1은 구글의 최신 AI 모델인 제미나이 2.0 플래시 싱킹 익스퍼리멘털에서 증류했다. 연구진은 이 모델의 추론 능력을 s1에 학습시키기 위해 문제 해결하는 추론 과정과 1000개의 질문과 답을 담은 데이터 세트를 선별 사용했다.
연구진은 “s1 훈련에 엔비디아 첨단 AI 반도체 H100 그래픽처리장치(GPU)를 사용해 30분도 걸리지 않았다”며 “총 비용은 50달러가 들지 않았다”고 설명했다. 또 s1 훈련에 필요한 컴퓨팅 성능을 약 20달러에 빌릴 수도 있다고 덧붙였다.
연구진은 s1 정확도를 높이기 위해 “기다리라”는 지시 방법을 사용, AI 모델이 답변을 생성하기 전 충분히 생각할 시간을 갖도록 했다.
구글과 마이크로소프트(MS), 메타 등 대형 기술 기업이 AI 인프라에 수십억 달러를 투자하고 있는 가운데 s1은 딥시크와 함께 가성비가 뛰어난 모델로 주목 받을 것으로 전망된다.
앞서 딥시크도 자체 AI 모델을 개발하면서 오픈AI의 AI 모델을 증류한 것으로 알려졌다.
한편 전문가들은 증류 방식을 통해 기존 모델을 복제할 수 있지만, AI 성능의 획기적인 발전을 끌어내기는 어렵다고 보고 있다.
