소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

소형 AI 모델의 폭발적인 증가는 AI 거대 기업들이 경쟁할 수 있는 새로운 무대가 되었습니다.

대규모 모델 가격 전쟁은 영원히 계속되고 있으며, 막대한 자금을 투자한 AI 기업들은 최근 비즈니스 스토리의 추가 진전이 시급한 상황이다. , 그리고 새로운 경쟁 라운드가 시작되었습니다.

먼저 HuggingFace는 SmolLM - 135M, 360M 및 1.7B를 출시했습니다. 훈련에 650B 토큰만 사용했지만 성능은 Qwen 1.5B 및 Phi 1.5B를 초과했습니다.

다음날 Mistral AI와 NVIDIA는 "Mistral AI 최고의 소형 모델"이라고 불리는 Mistral NeMo를 공동 출시했습니다. 사용하기 쉽고 Mistral 7B를 사용하는 모든 시스템을 직접 대체할 수 있습니다.

같은 날 OpenAI는 "쇼핑"에 나서 GPT-4o의 미니 버전인 GPT-4o Mini를 출시했습니다. 이 새로운 모델은 "가장 강력하고 비용 효율적인 작은 매개 변수 모델"이라고 평가했습니다. 디스플레이 모델은 GPT-3.5 웹 버전의 "전면 무대" 위치를 대체합니다.

이에 뒤처지지 않기 위해 Apple은 OpenAI와 같은 날 DCLM 소형 모델을 출시했으며, 출시되자마자 오픈 소스였습니다. Apple ML 팀의 연구 과학자인 Vaishaal Shankar는 "이것은 현재까지 가장 성능이 뛰어난 진정한 오픈 소스 모델입니다."라고 말했습니다.

이러한 모델은 매개변수가 작고 메모리를 덜 차지하며 미세 조정 후 결과가 대형 모델과 비슷하므로 비용 효율적인 선택이 가능합니다.

"소형 모델은 가치를 실현하기가 더 쉬워야 합니다." 중국 IBM의 데이터 및 인공 지능 수석 설계자인 Xu Xiaotian은 21세기 비즈니스 헤럴드 기자와의 인터뷰에서 "전문 소형 모델 그룹이 에이전트와 협력하여 목표를 달성합니다."라고 말했습니다. 비즈니스 흐름, 기능 및 경제의 통합이 성적으로 더 실현 가능해질 것입니다.”

AI 생성 모델 전장에서는 반복 속도가 극도로 빠르다. 오늘의 '최고'는 내일의 새 버전에 의해 즉시 패배할 수도 있고, '역사적 기록'은 끊임없이 뒤집어지고 다시 쓰여지고 있다. "모델 업데이트가 너무 빨라 판단이 어렵습니다. 한 제조사는 '가장 크고 최고'라고 주장하는 반면, 다른 제조사는 '최소, 최고'라고 주장합니다." 인공지능 분야 선임 관찰자 업계는 21세기 비즈니스 헤럴드에 말했다. 기자들에 따르면 인공지능 모델은 눈부시다. AI 기업이 비즈니스 스토리에서 성공하려면 10배, 100배 노력해야 한다.

이미지 출처: Creative Drawing Xu Shuxing

소형 모델 트랙이 "롤"을 엽니다.

AI 거대 기업들은 성능뿐 아니라 가격 경쟁을 위해 소형 모델을 집중적으로 출시하고 있다.

Open AI 공식 홈페이지에 따르면, MMLU, MGSM, HumanEval, MMMU 등의 벤치마크 테스트에서 GPT-4o mini는 GPT-3.5 Turbo, Gemini Flash 등 소형 모델보다 텍스트 및 시각적 추론과 수학적 추론이 더 우수한 것으로 나타났습니다. Haiku, 코딩 및 다중 모드 추론 기능, 특히 수학적 추론 및 코딩 기능은 GPT-3.5 Turbo 및 기타 소형 모델보다 훨씬 우수하고 GPT-4o보다 약간 약합니다. 최근 LMSYS 블라인드 테스트 아레나 순위에서도 GPT-4o mini는 GPT-4o와 함께 공동 1위를 차지했습니다. 심지어 OpenAI CEO인 샘 알트만(Sam Altman)도 흥분을 감추지 못하고 소셜미디어 플랫폼에 “이보다 더 기뻤던 적은 없었습니다. 어떤 평가에 대해서도요.”

뛰어난 성능 외에도 OpenAI는 저렴한 비용의 트럼프 카드도 제공합니다. OpenAI는 7월 18일 온라인에 출시되었을 때 GPT-4o mini의 가격이 백만 입력 토큰당 15센트, 출력 토큰 백만당 60센트로 책정될 것이라고 발표했습니다. 이는 GPT-3.5 Turbo보다 ​​60% 이상 저렴합니다. 7월 24일, OpenAI는 지금부터 9월 23일까지 레벨 4 및 레벨 5 사용자에게 GPT-4o 미니 미세 조정 서비스를 무료로 제공하며 일일 한도는 200만 토큰이며 초과분은 요금이 부과된다고 다시 발표했습니다. 1백만 토큰당 미화 3달러입니다. 오픈AI 측은 “GPT-4o mini가 인공지능의 적용 범위를 확대하고 인공지능을 더욱 저렴하게 만들 것으로 기대한다”고 말했다.

Ping An Securities 연구 보고서는 GPT-4o mini가 성능과 비용 효율성을 모두 갖춘 대폭 저렴한 가격의 차세대 보급형 인공 지능 "소형 모델"이라고 믿습니다. 현재 전 세계 대형 모델들은 성능에 대한 일방적인 경쟁에서 성능과 실용성을 모두 강조하는 방향으로 점차 변화하는 개발 추세를 보이고 있다. 대형 모델 역량이 일정 수준에 도달하면 필연적으로 제품의 비용 성능을 개선하고 다운스트림 애플리케이션의 홍보 및 배포를 촉진함으로써 대형 모델 제조업체는 업계에서 폐쇄적인 비즈니스 루프 형성을 가속화할 것으로 예상됩니다. 대형 모델 산업 체인.

GPT-4o mini 이후에 출시된 Apple DCLM 모델도 눈길을 끕니다. DCLM은 코드, 가중치, 훈련 프로세스 및 데이터 세트를 완전히 오픈 소스화했습니다. DCLM은 14억 매개변수와 70억 매개변수의 두 가지 크기로 나누어집니다. 70억 매개변수 버전은 Mistral-7B를 능가하며 성능은 Llama 3 및 Gemma에 가깝습니다. MMLU(5샷) 벤치마크에서 DCLM-7B는 63.7%의 정확도를 달성했습니다. 연구진에 따르면, 이 성능은 기존의 최첨단 개방형 데이터 언어 모델인 MAP-Neo에 비해 6.6% 향상되었으며, 필요한 계산량은 40% 감소했습니다. 더 중요한 것은 이 결과가 62.7%의 정확도로 Mistral-7B-v0.3을 능가하고 64.3%의 정확도로 Gemma 8B, 66.2%의 정확도로 Llama3 8B, 정확도로 Phi-3 7B에 가깝다는 것입니다. 69.9%이다.

Apple은 "클수록 좋다"보다는 소형 모델 경로를 선호합니다. 올해 4월, Apple은 크기가 매우 작은 OpenELM이라는 사전 훈련된 대형 모델 4개 제품군을 발표했습니다. 당시 그들은 이미 "인공 지능을 Apple 장치에서 로컬로 실행할 수 있도록 허용"한다는 목표를 향해 나아가고 있었습니다.

지난 6월, Apple은 AI 개발 로드맵을 공개하고 소형 모델을 모바일 기기에 원활하게 탑재할 계획을 세웠습니다. 이는 '더 빠르고 안전하다'는 목표를 달성할 뿐만 아니라 모바일 기기와 모델을 통합하는 궁극적인 문제를 한꺼번에 해결할 것입니다. .

Mistral AI 및 NVIDIA와의 파트너십을 통해 구축된 Mistral NeMo는 고급 미세 조정 및 정렬 단계를 거쳐 정확한 지침을 따르고, 추론하고, 여러 라운드의 대화를 처리하고, 코드를 생성하는 데 탁월합니다. Mistral NeMo는 주로 기업 환경을 대상으로 하며 기업이 많은 양의 클라우드 리소스를 요구하지 않고 인공 지능 솔루션을 구현할 수 있도록 하는 것을 목표로 하는 것으로 이해됩니다.

NVIDIA의 응용 딥 러닝 연구 부사장인 Bryan Catanzaro는 Venturebeat와의 인터뷰에서 소형 모델의 장점을 자세히 설명했습니다. "소형 모델은 구입 및 실행이 더 쉽고 사람들이 집에서 자신의 시스템에서 실행할 수 있기 때문에 다양한 비즈니스 모델을 가질 수 있습니다"라고 그는 말했습니다.

하반기에는 대형 모델이 등장했습니다. 기술적인 볼륨부터 애플리케이션에 이르기까지 시장에서는 로컬로 배포하기 쉬운 고효율 및 저비용 모델에 대한 관심이 점점 더 높아지고 있습니다. 이는 보안, 개인 정보 보호, 고효율 및 고비용에 대한 욕구를 반영합니다. 성능.

업계 분석가들은 AI 배포, 즉 로컬 하드웨어에서 효율적으로 실행할 수 있는 모델이 데이터 개인 정보 보호, 대기 시간 및 높은 속도와 같은 AI 솔루션의 대규모 채택에 대한 많은 기업의 우려를 불식시키는 새로운 추세가 있다고 믿습니다. 소송 비용. “이로 인해 경쟁이 더욱 공정해질 수 있고, 자원이 제한된 중소기업도 AI 모델의 혜택을 받아 대기업과의 본질적인 격차를 해소할 수 있습니다.”

소형 모델 트랙의 운전석에 올라보세요.

AI 거대 기업이 소규모 모델 트랙을 여는 이유는 무엇입니까? 부분적으로 또는 비용 고려 사항으로 인해.

대형 모델은 개발하고 실행하는 데 비용이 많이 들고 OpenAI와 같은 거대 기업도 이를 감당하기 위해 고군분투하고 있습니다.

최근 한 관계자는 “오픈AI는 올해 50억 달러의 적자를 내며 12개월 안에 자금이 고갈될 위험에 직면할 수 있다”고 분석했다. 올해 3월 현재 OpenAl은 ChatGPT와 기본 LLM(대형 언어 모델)을 실행하기 위해 Microsoft 서버를 임대하는 데 약 40억 달러를 지출했습니다. ChatGPT 운영 외에도 데이터 요금을 포함한 OpenAl의 교육 비용은 올해 30억 달러까지 치솟을 수 있습니다. 이 문제에 정통한 소식통에 따르면 지난해 OpenAl은 새로운 AI 훈련을 원래 계획보다 빠르게 가속화했다고 합니다. 원래 OpenAl은 이러한 비용으로 약 8억 달러를 지출할 계획이었지만 결국 훨씬 더 많은 비용을 지출하게 되었습니다.

이에 비해 소형 모델은 비용이 저렴하고 응답이 빠르며 로컬에서 실행할 수 있으므로 개인화되고 정확한 사용 요구 사항에 더 잘 적응할 수 있습니다. 업계 관계자는 "글로벌 AI 하드웨어 공급이 부족한 상황에서 모델이 작다는 것은 배포 및 훈련 비용이 더 낮다는 것을 의미하며, 그 출력 효과는 일부 특정 작업을 처리하는 데 충분하다"고 말했습니다.

국내 AI 기업 관계자는 21세기 비즈니스 헤럴드 기자에게 작은 매개변수 규모가 추론 비용을 크게 절감할 수 있다고 말했다. 모델 훈련과 조정에 필요한 하드웨어 비용은 대형 모델에 비해 훨씬 저렴하다. 성숙한 개발자는 저렴한 비용으로 수직 모델을 훈련할 수도 있으며, 이러한 작업 비용은 대형 모델의 비용보다 훨씬 낮습니다.

OpenAI의 창립 멤버이자 전 Tesla AI 수석 이사인 Andrej Karpathy의 최근 예측은 매우 대표적입니다. 그는 생성 모델의 크기 경쟁이 역전되어 더 작고 더 똑똑한 모델과 경쟁하게 될 것이라고 제안했습니다.

Andrej Karpathy의 설명에 따르면, 현재 대형 모델이 이렇게 큰 이유는 훈련 중에 여전히 매우 낭비적이기 때문입니다. 비록 대형 모델이 기억력은 매우 뛰어나지만 관련 없는 세부 사항을 많이 기억한다는 의미이기도 합니다. 해당 내용 특정 문제에서는 반복해서 호출하면 안 됩니다.

소규모 모델의 경우 훈련 목표가 더 단순해지고, 더 직접적이며, 더 효율적이 되어 AI가 더 유용한 정보를 더 직접적으로 학습할 수 있습니다.

그러나 대형 모델과 소형 모델은 '선택'이 아니며 개발 경로는 여전히 서로 학습하는 의미를 가지고 있습니다.

Andrej Karpathy는 다음과 같이 말했습니다. "모델이 작아지기 전에 먼저 커져야 합니다. 데이터를 이상적인 형태로 재구성하고 형성하려면 큰 모델이 필요하기 때문입니다. 하나의 모델은 다음 모델에 대한 훈련 데이터를 생성하는 데 도움이 되고 점차적으로 완벽한 훈련을 얻습니다. 그런 다음 모든 것을 기억할 필요는 없지만 그것이 정확한지 확인하기 위해 가끔씩 검색해야 하는 작은 모델에 이를 제공합니다.”

Robin Li는 또한 Baidu AI Developer Conference Create 2024에서 미래의 대규모 AI 네이티브 애플리케이션은 기본적으로 크고 작은 모델이 혼합된 Moe 아키텍처가 될 것이라고 말했습니다. Robin Li는 또한 대규모 모델 압축을 통해 기본 모델을 추출한 다음 데이터로 교육하는 것이 작은 모델을 처음부터 교육하는 것보다 훨씬 낫다고 말했습니다. 오픈 소스 모델을 기반으로 교육한 모델보다 더 좋고 빠르며 비용 효율적입니다. . 낮은.