소식

운중은 아오페이사(Aofei Temple)에서 왔습니다.
Qubits 공개 계정 QbitAI

메타의 오픈소스 대형 모델인 라마 3(Llama 3)가 시장에서 부진한 모습을 보이면서 대형 모델에 대한 오픈소스와 클로즈드 소스 간의 논쟁이 더욱 심화되고 있다.

외신 더인포메이션에 따르면 메타의 대형 오픈소스 모델인 라마3(Llama 3)는 AWS의 기업 고객사인 아마존의 AWS로부터 주목을 받기 어려웠다.Anthropic의 비공개 소스 대형 모델 Claude 사용을 선호합니다.。

마이크로소프트 내부자에 따르면,Llama도 Microsoft의 최고 판매 선택이 아닙니다., 엔지니어와 데이터 과학자가 사내에 있는 회사와 같이 데이터 전문 지식을 갖춘 회사에 Llama를 추천할 가능성이 더 높습니다.

Meta는 현재 도전에 직면해 있으며, 이는 Meta가 기업의 요구 사항을 충족하기 위해 AI 제품에 대한 자체 영업 팀을 구축하도록 영감을 줄 수 있습니다. 이러한 일련의 문제는 대규모 오픈소스 모델의 상용화 과정에서의 어려움을 부각시키기도 합니다. 시장 선택의 관점에서 볼 때 오픈소스 모델의 실제 효과와 상업적 수익은 기업 고객의 기대에 미치지 못할 수 있습니다.

얼굴"오픈 소스 또는 폐쇄 소스" 이에 대해 국내 주요 모델 제조사들은 각자의 기술 노선과 사업 전략에 따라 전혀 다른 입장을 형성해 왔습니다. 그렇다면 기업들은 대형 모델을 어떻게 선택해야 하며, 둘 사이의 최적의 균형을 찾는 방법은 무엇일까요?

이러한 맥락에서,Baidu 지능형 클라우드 AI 및 대형 모델 플랫폼 총괄 관리자 Xin Zhou그는 언론과의 인터뷰를 통해 오픈소스와 클로즈드소스 간의 논쟁 속에서 그 근저에 깔린 논리와 사업 전략, 미래 시장 예측 등을 자세히 분석했다.

Xinzhou는 다음과 같이 믿습니다.대형 모델의 오픈 소스와 소프트웨어의 오픈 소스에는 본질적인 차이가 있습니다.오픈 소스 모델은 모델 효과에 영향을 미치는 훈련 소스 코드, 사전 훈련 및 미세 조정 데이터 및 기타 핵심 정보를 공개하지 않기 때문에 커뮤니티 개발자의 참여에 의존하여 오픈 소스 소프트웨어와 같은 효과와 성능을 향상시킬 수 없습니다. 그러나 기본 모델의 교육은 제조업체 자체에서만 가능합니다.

"오픈 소스 모델과 폐쇄 소스 모델 중 누가 더 비쌉니까?"에 대해 Xin Zhou는 오픈 소스 모델이 무료이며 사람들에게 저렴한 느낌을 준다고 말했습니다.대형 모델의 적용은 단순한 단일 기술이 아니라 '기술 + 서비스'를 포괄하는 완전한 솔루션이며 기업은 '총계정원장'을 계산해야 합니다. 실제로 비즈니스를 구현했을 때 오픈소스 모델이 클로즈드소스 모델과 같은 효과를 얻으려면 이후 인력, 비용, 시간에 대한 많은 투자가 필요하며 전체적인 비용도 더 높아진다.。

오픈 소스 및 폐쇄 소스 모델은 어떤 시나리오에 적합합니까? Xinzhou는 다음과 같이 믿습니다.오픈 소스 모델은 학술 연구에 더 적합하지만 외부 세계에 서비스를 제공하는 대규모 상업 프로젝트에는 적합하지 않습니다. 수백만 또는 수천만 달러의 투자가 필요한 일부 심각한 프로젝트에서는 폐쇄 소스 모델이 여전히 존재합니다. 주인공.。

“오픈소스 모델은 저렴하지 않아요”

다음은 편집된 인터뷰 전문이다.

1. 대형모델 시장에서 각 모델 제조사의 역할은 무엇인가? 비즈니스 모델은 무엇입니까?

신저우: 이번 대형 모델의 향연에서는 각 제조사의 포지셔닝과 비즈니스 모델이 다르며, 크게 3가지로 나눌 수 있습니다.

첫 번째 역할 유형인 클라우드 공급업체의 경우 비즈니스 모델은 실제로 컴퓨팅 리소스를 판매하는 것입니다. 규모를 통해 비용을 절감하고 리소스 탄력성을 향상하여 수익성을 달성하는 것이 클라우드 공급업체의 지속적인 모델입니다. 오픈 소스 모델이든, 폐쇄 소스 모델이든 관계없이 클라우드 벤더가 호스팅하는 한 클라우드 벤더는 돈을 벌 수 있습니다.

두 번째 유형의 역할은 클라우드 공급업체이자 모델 공급업체입니다. 이들은 모델을 사용하여 비즈니스를 클라우드로 전환하기를 희망합니다. 현재 모델 API 호출에만 의존하여 얻을 수 있는 이익은 여전히 ​​매우 낮습니다. 그들은 현재 시장에서 유리한 점유율을 차지하고 대형 모델 테이블에서 새로운 확장 기회를 계속 찾고 있습니다.

세 번째 유형의 역할은 기업 모델 제조업체의 주요 클라우드 공급업체가 모델 가격 인하를 발표한 후 통화량이 급격히 감소했습니다. 대형 모델 분야는 곧 여러 주요 클라우드 벤더 간의 전쟁으로 바뀔 것입니다. 대형 모델 스타트업은 특정 산업에 집중하거나 toB 프로젝트를 민영화하거나 toC 제품으로 전환할 것입니다.

2. 왜 "오픈소스 모델은 저렴하지 않고 기술은 점점 낙후될 것"이라고 말하는가?

신저우: 먼저 낙후된 기술의 문제부터 말씀드리겠습니다.

첫째, 대형 모델의 오픈소스는 모델 성능을 향상시킬 수 없습니다.。

차이오픈 소스 소프트웨어모바일 운영체제인 안드로이드, 데이터베이스 소프트웨어인 MySQL 등 이러한 오픈소스 소프트웨어의 모든 소스코드는 공개되어 있으며, 사회 각계각층의 개발자들이 코드 개발에 참여할 수 있습니다. 이는 소프트웨어 개발 비용을 절감할 뿐만 아니라 소프트웨어 반복 속도를 높이고 소프트웨어 보안을 향상시킬 수 있습니다. 이것이 소프트웨어에 대한 오픈 소스의 가치입니다.

오픈 소스 모델은 훨씬 더 복잡합니다., 모델 훈련 소스 코드, 매개변수 가중치, 훈련 데이터 등을 포함하여 오픈 소스로 제공될 수 있습니다.그러나 현재 모델 제조업체는 일반적으로 오픈 소스 매개변수 가중치만 적용하고 훈련 소스 코드, 훈련 데이터 등은 오픈 소스가 아니기 때문에 개발자는 이를 개선하고 오픈 소스 모델의 효율성에 기여할 수 없습니다.。

예를 들어 Llama의 경우 모델 성능의 모든 향상은 실제로 개발자 참여의 결과가 아니라 Meta 자체 교육의 결과입니다. 네트워크 구조 측면에서 Llama2와 Llama3는 큰 차이가 없습니다. 한편으로는 다단계 훈련과 같이 훈련 단계의 프로세스가 최적화되는 반면, Llama2와 Llama3의 데이터는 훨씬 더 많은 데이터와 훈련이 추가됩니다. 시간이 지나면 모델에 더 나은 결과가 제공됩니다.

하지만 이러한 좋은 효과는 모두 메타 자체에서 만들어지는 것이며, 오픈소스 소프트웨어와 같은 커뮤니티 피드백 과정은 고사하고 개발자의 힘을 활용할 방법도 없습니다.

둘째, 모델의 지속적인 반복을 보장할 수 있는 좋은 비즈니스 모델이 없기 때문에 오픈 소스 모델은 점점 더 뒤처지게 될 것입니다.。

모델 훈련과 데이터 주석 작성에는 매우 비용이 많이 듭니다. 오픈 소스 모델의 지속 가능한 개발을 지원하는 Meta와 같은 강력한 회사 리소스가 없으면 오픈 소스 모델을 갖춘 스타트업 회사라면 폐쇄적인 비즈니스를 형성할 수 없습니다. 고리. 동시에 개발자는 모델의 효율성에 기여할 수 없으므로 이를 수행할 때 스타트업은 점점 더 뒤처지게 됩니다. 결과로 볼 때 가장 좋은 모델은 사실상 Open AI이고, 현재 평가 목록의 상위에 있는 모델은 모두 비공개 소스 모델입니다.

오픈소스 모델이 왜 저렴하지 않은지 이야기해보겠습니다.대형 모델 적용은 '기술+서비스'를 포괄하는 완벽한 솔루션이다. 대형 모델을 적용하는 기업은 '총계정원장 계산'이 필요하다.. 총계정원장을 계산하는 방법은 무엇입니까?

첫 번째 수준은 하드웨어 리소스 비용을 계산하는 것입니다.. 폐쇄 소스 비즈니스 모델에는 교육 도구 체인 및 추론 도구 체인을 포함한 해당 도구 체인이 장착되므로 이러한 도구 체인의 성능은 오픈 소스 도구 체인보다 우수합니다. 고객의 경우 교육을 통해 하드웨어 비용을 약 10~20% 절약할 수 있습니다. , 추론할 때 더 많이 절약하고, 사업 규모가 클수록 더 많이 절약합니다.

두 번째 수준은 모델이 가져오는 비즈니스 이점을 살펴보는 것입니다.. 매개변수 척도가 동일한 모델의 경우 비공개 소스 결과가 더 좋습니다. 일부 고객은 90% 또는 95% 정확도에 그다지 민감하지 않습니다. 그러나 상업 광고와 같이 CPM과 CTR이 1점 차이가 나는 일부 비즈니스가 있습니다. 광고 플랫폼의 경우 하루에 수천만 개의 불일치가 발생할 수 있습니다. 이때 모델 효과에 대한 요구 사항이 더 높습니다. 더 잘 작동하는 폐쇄 소스 모델을 구입하려는 의향이 더 높습니다.

세 번째 수준에는 기회비용과 인건비가 포함됩니다.. 더 빠르게 융합하기 위해 비공개 소스 비즈니스 모델을 사용하면 경쟁사보다 더 빠르게 신제품을 출시할 수 있습니다. 비공개 소스 비즈니스 모델에서는 제조업체가 모델과 하드웨어를 최적의 상태로 조정했으며 고객은 성숙한 경험을 간단히 복사할 수 있습니다. 하지만 오픈소스를 사용한다면 스스로 적응해야 하고, 컴퓨팅 성능과 엔지니어 비용도 더 높아질 것입니다.

따라서 엔터프라이즈 애플리케이션 모델은 "총계정원장 계산"이 필요하며 이 총계정원장의 계산은 매우 다를 것입니다.

3. 하드웨어 비용 측면에서 오픈소스가 폐쇄소스보다 훨씬 더 비싼 이유는 ​​무엇입니까?
신저우: 대부분의 기업 고객은 공급망의 보안과 유연성을 고려해야 하기 때문에 두 가지 이상의 하드웨어를 구매하게 됩니다. 오픈 소스 모델을 각 하드웨어에 적용해야 한다면 비용이 매우 높을 것입니다.

이는 대규모 판매를 통해 소프트웨어 및 하드웨어 적응 비용을 공유할 수 있다는 점에서 폐쇄형 비즈니스 모델의 장점을 반영합니다. 게다가 멀티코어 적응은 바이두의 매우 기술적인 문제입니다.Baige 이기종 컴퓨팅 플랫폼특히 멀티 코어 이질성을 위해 많은 최적화가 이루어졌으며 다양한 하드웨어에 적합합니다. Baige 자체는 하드웨어 계층의 다양한 차이점을 보호할 수 있습니다. Baige는 Wenxin 대규모 모델에 대한 엔드투엔드 최적화도 제공합니다.

이것이 고객에게 주는 장점은 어떤 하드웨어를 사용하든 빠르게 실행할 수 있고 절약되는 시간과 인건비가 매우 높다는 것입니다.

4. 오픈소스 모델과 클로즈드소스 모델은 각각 어떤 시나리오에 적합합니까?

신저우: 일반적인 아이디어는 다음과 같습니다. 개별 비즈니스 시나리오에서 시도하고 검증하려는 경우 먼저 비공개 소스 모델로 실행하고 즉시 실행한 다음 수백만 달러 또는 수백만 달러의 비용이 드는 일부 심각한 비즈니스에서 빠르게 검증할 수 있습니다. 수천만 달러의 높은 규모와 정확성이 요구되는 프로젝트에서는 폐쇄 소스 비즈니스 모델이 여전히 기업을 위한 최선의 선택입니다. 효과와 성능에 대한 요구 사항이 높지 않지만 프라이빗 배포가 필요하고 특히 가격에 민감한 일부 비즈니스 시나리오에서만 오픈 소스 모델 사용을 고려하세요.

오픈소스는 추론의 엔지니어링 성능 최적화, 사전 훈련 및 미세 조정 데이터가 결과에 미치는 영향 등 학술 및 연구를 촉진하는 데 가치가 있습니다. 오픈 소스화할 수 있다면 훈련 코드, 훈련 데이터, 데이터 등도 공개되어 학술 연구 및 기술 개발에 대한 가치가 더욱 커질 것입니다. 모델 가중치만 공개하더라도 연구자에게 좋은 기본 모델을 제공합니다.

5. 일부 제조사는 오픈소스와 클로즈드소스를 동시에 추구할 수 있기를 희망합니다. 즉, 오픈소스 모델은 생태계 확장을 위해 사용자를 유인하는 반면, 클로즈드소스 모델은 상용화를 담당합니다.

신저우: 실천해본 적이 없다면 가능할 것 같습니다. 그러나 현실은 다음과 같습니다.

퍼블릭 클라우드에서는 다양한 제조사가 발표한 통화량 중 오픈소스 모델에 비해 클로즈드소스 모델의 통화량이 훨씬 높은 것으로 나타나 오픈소스 모델이 실제로 고객 유치에 아무런 역할을 하지 못하고 있음을 알 수 있다. 사용자는 퍼블릭 클라우드에서 생태계를 확장합니다.. 또한, 퍼블릭 클라우드에서 미세 조정이 이루어지면 오픈소스 모델과 클로즈드 소스 모델 모두 구현이 가능해 고객이 퍼블릭 클라우드에서 가장 좋은 모델을 직접 선택할 수 있다.

민영화된 배포 측면에서 이 논리는 어느 정도 의미가 있습니다.. 많은 회사는 먼저 테스트를 위해 오픈 소스 모델을 시작하고 나중에 결과가 좋다는 것을 알고 이를 구매하고 싶어합니다. 동일한 소스 모델이 더 적합하기 때문입니다. 이 경우에는 이 논리가 적용됩니다.하지만 이 가치는 점차 줄어들고 있다.. 각 제조업체 모델의 전반적인 성능이 빠르게 향상되고 있기 때문에 전환 비용이 점점 낮아지고 있으며 점차 이 모델의 상속이 사라지고 있습니다.

하드웨어를 홍보하기 위해 오픈 소스 모델을 출시하는 제조업체도 있습니다. 예를 들어 Nvidia는 오픈 소스 모델을 출시하며 비즈니스 로직은 매우 간단하며 해당 모델을 사용하려면 카드를 구입해야 합니다.

6. 바이두는 왜 오픈소스 모델을 출시하지 않았나요?

Xin Zhou: 다양한 제조업체의 배포 규모를 보면 퍼블릭 클라우드에서 배포량이 가장 많은 상용 폐쇄 소스 모델이 퍼블릭 클라우드에 큰 영향을 미치지 않는다는 것이 분명하게 나타났습니다.

민영화된 시장에서 대형 모델에 대한 고객의 인식이 지속적으로 향상됨에 따라 오픈 소스와 폐쇄 소스는 점차 더 이상 핵심 요소가 되지 않습니다.. 많은 대기업 고객과 대화한 결과, 비즈니스 리더가 모델을 사용해야 하는지 여부를 결정하는 데는 여러 가지 요소가 있으며 일반적으로 우선순위는 효과, 성능, 보안, 가격 순이라는 것을 알게 되었습니다. 모델이 오픈 소스인지, 폐쇄 소스인지는 결정적인 요소가 아닙니다.

7. 기업이 모델을 선택할 때 가장 중요한 것은 효과, 성능, 안전성, 가격이라고 말씀하셨습니다. Baidu Cloud가 출시한 "Qianfan Large Model All-in-one Machine"은 소프트웨어와 소프트웨어를 통합하는 새로운 비즈니스 모델을 시도하고 있습니까? 하드웨어?

신저우: 현재 기업의 대형 모델 활용은 아직 탐색 단계에 있으며, 대형 모델의 사용 시나리오와 효과를 신속하게 검증할 수 있는 저가형, 즉시 사용 가능한 제품이 절실히 필요합니다. "Qianfan 대형 모델 일체형 기계"는 중국에서 민영화 배치에 대한 수요가 많기 때문에 현재 단계에 매우 적합합니다. 당사의 일체형 기계는 개방형이며 다양한 하드웨어에 적용할 수 있습니다. 시장의 모든 주류 제품. Baidu Smart Cloud의 Qianfan 대형 모델 올인원 머신은 두 가지 기능을 제공합니다.

첫째, 소프트웨어 및 하드웨어 적응을 위한 통합 플랫폼을 제공합니다., 이 플랫폼에는 Wenxin 대형 모델과 업계의 주류 오픈 소스 대형 모델 및 시나리오 응용 프로그램 샘플 룸이 내장되어 있습니다. 인기 있는 오픈 소스 모델도 조정 및 최적화되었습니다. 사용자는 모델을 직접 조정할 필요 없이 올인원 시스템에서 직접 실행할 수 있습니다. 동시에 Qianfan의 대형 모델 일체형 기계는 기본 관리 및 제어, AI 프레임워크, 모델 교육, 예측 추론 및 시나리오 적용에서 통합된 대형 모델 소프트웨어 및 하드웨어 솔루션을 제공하여 고객에게 전체 프로세스 소프트웨어 및 하드웨어를 제공할 수 있습니다. 하드웨어 서비스.

두번째Qianfan 대형 모델 일체형 기계는 엔드-투-엔드 성능 최적화와 모든 하드웨어 성능을 최대한 활용하는 기능으로 인해 매우 비용 효율적입니다. 고객은 보다 빠르고 저렴한 비용으로 사용할 수 있습니다.

전체 가격 측면에서 Qianfan 일체형 머신의 가격은 서버, 대형 모델 및 플랫폼을 별도로 구매하는 것보다 훨씬 저렴합니다.。

8. 오늘날 많은 사람들은 기본적인 대형 모델을 사용하는 것만으로는 충분하지 않다고 생각합니다. 대형 모델의 산업적 구현을 ​​실제로 실현하려면 여전히 산업 모델을 구축해야 합니다. 그렇다면 현재 기업이 산업 모델을 자체적으로 교육하는 데 드는 비용은 얼마입니까?

신저우: 비용이 매우 높습니다. 첫째, 이 비용은 학습할 모델의 매개변수 크기에 따라 선형적으로 증가합니다. 둘째, 데이터 볼륨의 크기에 따라 다릅니다. 마지막으로 데이터 라벨링 비용이 있습니다.

70b 모델을 처음부터 훈련하려면 탄력적인 클라우드 리소스가 3천만 개가 필요할 수 있습니다. 더 많은 수의 매개변수를 사용하여 모델을 학습하려면 비용이 수억 달러가 될 수 있습니다. 경험이 없는 사람에게 교육을 받아야 하며, 그 과정에서 우회를 하면 비용이 더 높아집니다.

9. 그렇게 높은 비용이 드는 상황에서 기업은 산업 모델 구축이 필요한지 여부를 어떻게 판단할 수 있습니까?

신저우: 이익과 관계없이 처음부터 산업 기반 모델을 구축하는 것은 고객에게 권장하지 않습니다. 우리는 고객이 자신의 요구 사항을 먼저 분석하도록 돕습니다.

예를 들어 좌표계를 그리는 경우 가로축은 작업의 민감도이고 세로축은 산업 데이터에 대한 수요입니다. 소위 작업의 민감도는 시나리오가 산업 및 비즈니스와 밀접하게 관련되어 있는지 여부를 나타냅니다. 예를 들어 의료 분야에서는 이는 상당히 전문적인 문제입니다. 세로축은 산업 데이터에 대한 수요입니다. 산업이 폐쇄적일수록, 공용 네트워크에 있는 데이터가 적을수록 사전 교육이 더 많이 필요합니다. 예를 들어, 의료 분야에서는 민감하지 않은 일부 의료 기록 정보를 모델에 사전 학습해야 합니다.

분석 결과, 이 좌표축 중 좌측 하단은 업종 특성이나 업종 데이터가 없어 일반 모델을 바로 활용이 가능하지만, 우측 상단은 해당 업종의 사업 속성에 민감하고 업종 데이터가 많이 필요한 것으로 나타났다. . 이제 산업 모델을 구축할 차례입니다.

우리는 일반적으로 기업에 세 가지 단계를 수행할 것을 권장합니다.

첫 번째 단계는 가치 검증입니다.. 대규모 모델 소프트웨어 및 하드웨어 인프라의 초기 구축 및 예비 대규모 산업 모델 구축. 상대적으로 성숙한 생성 AI의 적용과 결합하면 결과를 빠르게 확인할 수 있습니다. 예를 들어, Qianfan 대형 모델 플랫폼의 경량 버전을 통해 지능형 고객 서비스, 기업 지식 관리, 디지털 인간과 같은 성숙한 애플리케이션이 추가됩니다.

두 번째 단계는 기업의 다양한 애플리케이션을 깊게 연결하는 것입니다.. 대형 모델 인프라가 더욱 개선되어 Qianfan Large Model Ultimate Edition으로 업그레이드되었습니다. 대형 모델과 관련된 교육 및 튜닝 외에도 애플리케이션 구축을 위한 플랫폼도 포함되어 있습니다. Baidu와 생태학적 파트너는 회사 내 대규모 모델의 교육 및 운영, 기술 분위기 구축, 관련 인재 교육, 회사와 협력하여 어려운 비즈니스 문제를 해결하고 회사에 더 많은 가치를 제공하는 데 깊이 관여하고 있습니다.

세 번째 단계는 포괄적인 혁신과 독립적인 제어 가능성입니다.. 기업은 대형 모델 및 응용 프로그램 개발과 관련된 기술을 습득했으며 이에 상응하는 인재 계층을 보유하고 있어 독립적이고 통제 가능한 방식으로 더 잘 개발하고 포괄적인 혁신을 시작할 수 있습니다. Baidu는 개발을 지원하고 기업에 새로운 기술과 솔루션을 지속적으로 제공하기 위한 장기적인 기술 지원 및 컨설턴트 역할을 할 것입니다.

10. 내년 대형모델 시장을 어떻게 판단하시나요?

신저우: 나는 내년의 발전 추세에 대해 세 가지 판단을 내렸습니다.

첫째, 멀티모달리티(Multi-modality)가 시장의 새로운 핫스팟이 될 것입니다.

둘째, 대형 모델을 기반으로 한 애플리케이션이 폭발적으로 늘어날 것이며, 매우 중요한 방향이 Agent이다.. 대규모 모델이 "입력과 출력"이라는 규정된 작업만 수행한다면 그 가치는 크게 제한될 것입니다. 인간과 비슷해야 하며, 도구를 사용할 수 있고, 서로 협력할 수 있고, 계획하고 생각하고, 반영하고 반복할 수 있어야 합니다. . 특정 비즈니스 시나리오의 요구 사항을 충족하려면 다양한 구성 요소 및 플러그인과 결합해야 하므로 Agent는 차세대 모델 제조업체의 핵심이 될 것입니다.

셋째, 지식 기반, 고객 서비스, 디지털 인력, 보조 코드 작성 및 기타 시나리오와 같은 엔터프라이즈 애플리케이션에 대한 더 많은 기회가 있을 것입니다.예를 들어, Baidu에는 대규모 모델을 사용하여 코드를 작성하는 "Wenxin Quick Code"라는 제품이 있는데, 이는 Baidu 내에서 널리 사용되며 채택률은 46%에 달하고 생성된 새 코드 비율은 30%에 달합니다. 기업의 개발 효율성을 크게 향상시키는 데 도움이 될 수 있습니다. 동시에 AI 애플리케이션 개발에 참여하는 기업이 많이 등장할 것입니다. 이러한 기업은 운영 효율성이 충분히 높으면 애플리케이션 배포 및 복사 비용을 충분히 낮출 수 있습니다.