소식

편집자 | 시 릴롱

중국 시장에서는 대형 모델 가격 전쟁이 반년 가까이 계속되고 있다. 이번 가격 전쟁은 마이너스 총마진에 도달했으며 당분간 멈출 기미를 보이지 않습니다. 주요 클라우드 공급업체는 여전히 새로운 가격 인하를 계획하고 있습니다. 이번 가격 인하는 올해 9월 말부터 시행될 예정이다.

올해 5월, 중국 클라우드 공급업체는 대규모 모델 추론 컴퓨팅 성능을 놓고 가격 전쟁을 시작했습니다. bytedance의 클라우드 서비스인 volcano engine, alibaba cloud, baidu smart cloud 및 tencent cloud는 대규모 모델 추론 컴퓨팅 성능의 가격을 연속적으로 90% 이상 인하했습니다.

대형 모델을 사용하려면 프롬프트 언어를 입력하고 추론을 통해 콘텐츠 출력을 얻어야 합니다. 이 프로세스는 api(물과 전기 스위치와 같은 응용 프로그래밍 인터페이스)를 호출하고 소비된 토큰 수에 따라 비용을 지불합니다(토큰은 대형 모델의 텍스트 단위이며 토큰은 단어, 구두점, 숫자, 기호 등). 수도, 전기 사용료를 내는 것과 같습니다.

가격 인하 이후 추론 컴퓨팅 파워의 소비는 실제로 급격히 증가하고 있다. 올해 8월 baidu의 2분기 실적 컨퍼런스 콜에서는 5월 baidu wenxin big model의 일일 평균 api 호출이 2억 건에서 8월에는 6억 건으로 증가했으며 5월의 일일 평균 토큰 소비량은 2,500억 건으로 나타났습니다. 8월 1조로 성장했습니다. bytedance는 올해 8월에 7월 기준으로 bytedance doubao 모델의 일일 평균 토큰 사용량이 5,000억을 초과했다고 발표했습니다. 5월과 비교하면 기업당 일일 평균 토큰 사용량은 22배 증가했다.

토큰 가격은 90% 이상 하락했습니다. 이로 인해 단기적으로 클라우드 공급업체의 추론 수익이 감소합니다. 그러나 클라우드 공급업체는 이러한 방식으로 기업 고객의 시행착오 임계값을 줄여 컴퓨팅 전력 소비를 10배 이상 기하급수적으로 줄이고 궁극적으로 장기적인 수익 성장을 달성하기를 희망합니다.

국내 대형 모델 시장에서 추론 컴퓨팅 파워를 둘러싼 가격 전쟁이 반년 동안 지속됐다. 현재 세 가지 기본적인 사실이 있다.

첫째, 추론된 컴퓨팅 파워 가격 전쟁은 마이너스 총 이익에 도달했습니다. 최근 alibaba cloud 및 baidu smart cloud를 포함한 많은 클라우드 공급업체의 대표는 올해 5월 이전에 국내 대규모 모델 추론 컴퓨팅 성능의 총 이익 마진이 60%보다 높았으며 이는 기본적으로 국제적인 동료들입니다. 올해 5월 주요 제조사들이 잇달아 가격을 인하한 이후 추론 컴퓨팅 파워의 매출총이익률은 마이너스 수치로 떨어졌다.

둘째, 동일한 사양의 openai 모델과 비교하면 국내 모델의 가격은 일반적으로 20%-50%에 불과합니다. 국내 대형 모델의 매출총이익률은 openai보다 훨씬 낮다. 올해 8월 국제 시장 조사 기관인 퓨처서치(futuresearch)의 조사 보고서에 따르면 openai의 gpt-4 시리즈 플래그십 모델의 매출총이익률은 약 75%이며, gpt-4o 시리즈 메인 모델의 매출총이익률은 약 75%에 달한다고 한다. 55%. openai의 종합 매출총이익률은 최소 40% 이상입니다.

가격 전쟁을 벌여야 한다

alibaba cloud, volcano engine, baidu smart cloud, tencent cloud 및 openai 공식 홈페이지에서 발표한 대형 모델 추론 가격을 확인했습니다. openai의 동일한 사양 모델과 비교하면 국내 모델의 가격은 일반적으로 20%-50%에 불과합니다.

alibaba의 tongyi qianwen-max, baidu의 ernie-4.0-8k 및 tencent의 hunyuan-pro를 예로 들면 백만 토큰당 세 모델의 출력 가격은 각각 120위안, 120위안, 100위안입니다. 벤치마크 openai 플래그십 모델 gpt-4-turbo의 출력 가격은 백만 토큰당 210위안입니다. (openai 공식 웹사이트에 게시된 가격은 30달러이며, 이는 미국 달러와 위안화 환율을 기준으로 변환되었습니다. 1: 7). 이들 국산 대형 모델 3종의 가격은 gpt-4-터보 가격의 50% 수준에 불과하다.

alibaba의 qwen-long, baidu의 ernie-speed-pro-128k 및 tencent의 hunyuan 임베딩을 예로 들면 백만 토큰당 세 가지 모델의 출력 가격은 각각 2위안, 0.8위안, 5위안입니다. openai의 저렴한 모델인 openai gpt-4o-mini 백만 토큰의 출력 가격은 4.2위안(openai 공식 웹사이트에 게시된 가격은 0.6달러이며, 이는 미국 달러와 rmb 1:7의 환율을 기준으로 환산됨) ). 알리바바와 바이두의 보급형 모델 가격은 오픈ai 보급형 모델 가격의 48%, 19%에 불과하다.

대형 모델의 가격 전쟁으로 총마진이 마이너스에 이르렀지만 이로 인해 다양한 클라우드 공급업체가 가격을 계속 인하하는 것을 막지는 못했습니다.

우리가 받은 소식은 alibaba cloud와 같은 주요 클라우드 공급업체가 여전히 새로운 가격 인하를 계획하고 있다는 것입니다. 이번 가격 인하는 올해 9월 말부터 시행될 예정이다. 이번 가격 인하의 초점은 고성능 플래그십 모델이다.

위 클라우드 업체의 대형 모델 사업 핵심 책임자는 현재 저가형 소형 모델 가격 인하 여지가 거의 없어 마지막 가격 인하가 '심리적 이익' 수준으로 떨어졌다고 판단하고 있다. 기업 고객의. 다음으로 주목해야 할 점은 각 플래그십 모델의 가격 인하가 지속될지 여부이다. 플래그십 모델도 대부분의 문제를 해결할 수 있는 비용 효율적인 버전과 매우 어려운 문제를 해결하는 고품질, 고가 버전으로 더욱 세분화됩니다.

대형 모델 추론의 컴퓨팅 성능이 마이너스 총 이익에 도달했는데, 왜 계속해서 가격을 낮추는 걸까요?

대형 클라우드 제조업체는 장기적인 시장 동향을 살펴봅니다. 즉, 클라우드 컴퓨팅의 컴퓨팅 파워 구조가 급격한 변화를 겪고 있습니다. 더 많은 추론 컴퓨팅 성능을 확보하려면 더 많은 증분 시장을 확보해야 합니다. 국제 시장조사기관 idc는 2022년부터 2027년까지 중국의 일반 컴퓨팅 파워는 연평균 복합 성장률 16.6%, 지능형 컴퓨팅 파워는 연간 복합 성장률 33.9%를 기록할 것으로 전망했다. 2022년부터 2027년까지 지능형 컴퓨팅 파워 내에서 추론 컴퓨팅 파워의 비율은 72.6%로 증가하고, 트레이닝 컴퓨팅 파워의 비율은 27.4%로 감소할 것이다.

클라우드 공급업체는 예상되는 장기 성장을 위해 단기 수익을 기꺼이 포기합니다. 단기적으로 추론 컴퓨팅 성능은 큰 수익을 가져오지 않습니다. 중국 클라우드 벤더의 한 기술 관계자는 연간 수백억 달러 규모의 시장에 국한되는 2024년에도 각 기업의 모델별 매출이 10억 위안을 넘지 못할 것이라고 설명했다. 클라우드 공급업체는 향후 1~2년 동안 단기 수익 손실과 비즈니스 손실을 기꺼이 감수할 것입니다. 앞으로 1~2년 안에 대규모 모델 호출 건수가 최소 10배 이상 기하급수적으로 증가할 것이라고 모두들 장담하고 있습니다. 궁극적으로 장기적인 수익 성장은 단기적인 수익 손실을 보상할 수 있습니다.

그는 또한 이 과정에서 고객 수요가 증가함에 따라 컴퓨팅 성능 비용이 점차 희석될 것이라고 설명했습니다. 대형 모델 사업은 결국 흑자 이익을 달성할 수 있는 기회가 아직 남아 있다. 내기가 사실이 아니더라도, 모델 제조업체 그룹은 가격 전쟁에서 죽을 것이고, 살아남은 제조업체가 부품을 가져갈 것입니다.

다양한 클라우드 공급업체는 가격 전쟁에 직면할 때 서로 다른 경쟁 고려 사항을 가지고 있습니다. volcano engine, alibaba cloud 및 baidu smart cloud는 모두 싸워야 하는 가격 전쟁에 참여하고 있습니다.

volcano engine은 현재 중국 퍼블릭 클라우드 시장에서 상위 5위 안에 들지 못하지만, 2023년에는 매출 성장률이 150%를 초과할 것입니다. 대형 모델은 클라우드 시장을 따라잡을 수 있는 중요한 기회다. 볼케이노 엔진(volcano engine)의 탄 다이(tan dai) 사장은 올해 3월 실리콘밸리에서 미국의 ai 응용 창업이 2012년부터 2014년까지 중국 모바일 인터넷 초기 단계의 추세를 보여줬다는 사실을 발견했다고 우리에게 언급했다. "소규모 ai 응용 스타트업 팀이 빠르게 수익과 자금 조달을 달성했습니다. 중국 시장은 앞으로 이러한 추세를 보일 수도 있습니다. 하지만 전제는 추론 가격을 낮추고 시행착오의 문턱을 낮춰야 한다는 것입니다."

alibaba cloud는 중국 퍼블릭 클라우드 시장에서 1위를 차지했습니다. 경쟁업체의 가격 인하로 인해 alibaba cloud는 후속 조치를 취해야 합니다. alibaba cloud 퍼블릭 클라우드 부문 총괄 관리자인 liu weiguang은 올해 6월 alibaba cloud가 여러 차례의 내부 공제 및 계산을 거쳤고 두 가지 모순을 발견했다고 분석했습니다.

baidu intelligent cloud는 ai를 핵심 전략으로 간주합니다. 바이두 대형 모델 기술 이사는 올해 7월 우리에게 대형 모델은 반드시 승리해야 하는 전투이며 가격 전쟁은 어떤 대가를 치르더라도 싸워야 한다고 솔직하게 말했습니다. 이 전략은 실제 결과를 달성했습니다. 바이두 스마트 클라우드의 2024년 2분기 매출 성장률은 지난 2년 중 최고치인 14%로 반등했다. 바이두 경영진은 2024년 2분기 수익 결산에서 바이두 인텔리전트 클라우드의 대형 모델 매출 비중이 2023년 4분기 4.8%에서 2024년 2분기 9%로 증가했다고 밝혔다.

대형 모델 추론 가격 전쟁과 마이너스 총 마진의 반대 측면은 저렴한 가격이 기업 고객이 대형 모델을 사용하는지 여부를 결정하는 주요 요인이 아니라는 것입니다.

앞서 언급한 클라우드 벤더의 대형 모델 사업을 담당하는 핵심 담당자는 클라우드 벤더가 대형 모델 산업의 구현을 촉진하기 위해 장기적인 자금 손실과 손실에만 의존할 수는 없다고 생각합니다. 성능이 낮고 가격이 저렴한 모델은 별 의미가 없습니다. 불충분한 모델 기능은 마이너스 총 이익 가격 전쟁의 중요한 원인입니다. 국내 모델콜 가격이 크게 떨어지면서 기업 고객에게 가격은 더 이상 가장 중요한 요소가 아니다. 모델의 기능과 효과는 기업 고객이 가장 중요하게 생각하는 것입니다.

한 보험회사의 it 책임자도 이에 동의했습니다. 그는 현재 회사 매출에서 금융·보험업 it 지출 비중이 3~5% 정도라고 직설적으로 말했다. 하드웨어 it 지출의 80%를 제외하면 실제로 it 지출 중 디지털 전환에 사용되는 비중은 20%에 불과하다. 대형 모델 등 신기술을 사용할 경우 입출력 비율을 계산해야 한다. 명시적인 모델 비용 외에도 암묵적인 비용도 고려해야 합니다. 대형 모델은 기존 it 시스템과 호환되어야 하고, 대형 모델에 대한 비즈니스 데이터를 준비하려면 데이터 거버넌스가 필요하며, ai를 이해하는 제품 관리자 그룹을 채용해야 합니다. 그가 가장 고민하는 것은 모델 역량과 실질적인 효과다.

스탠포드 대학의 crfm(center for research on fundamental models)은 오랫동안 글로벌 대형 모델 테스트 순위를 실시해 왔습니다. 9월 17일 기준 대규모 다중 작업 언어 이해(mmlu) 테스트 순위를 보면 모델 제조사 상위 10위에는 ai 스타트업 앤트로픽(아마존 투자)이 소유한 클로드 3.5 시리즈, 라마3.1 시리즈가 포함된 것으로 나타났다. meta 소유, openai(microsoft investment 소유 gpt-4 시리즈) 및 google 소유 gemini 1.5 시리즈. 현재 중국 대형 모델 중 알리바바가 소유한 tongyi qianwen 2 instruct(72b)만이 상위 10위 내에 있다.

많은 중국 클라우드 공급업체의 대형 모델 기술 인력은 caijing에 대해 동일한 견해를 표명했습니다. 즉, 대형 모델 시장에서 낮은 성능과 저렴한 가격 전략은 지속 가능하지 않습니다. 이상적인 상황은 높은 성능과 합리적인 가격에 의존하여 건전하고 오래 지속되는 비즈니스 폐쇄 루프를 구축하는 것입니다.

더 가치 있는 벤치마크는 openai입니다. 올해 9월 기준 openai는 월간 활성 사용자가 10억 명, 유료 사용자가 1,100만 명(유료 개인 가입자 1,000만 명, 기업 가입자 100만 명 포함)을 보유하고 있습니다. 올해 5월 openai 경영진은 회사의 연간 수익을 발표했습니다(연간 수익은 당월 수익 × 12. 구독 기반 소프트웨어 회사는 매달 사용자 구독 갱신을 받고 안정적인 수익 기대치를 가지기 때문에 연간 수익 구경을 사용하는 경우가 많습니다)에 도달했습니다. 34억 달러(미국 달러와 위안화 환율을 1:7로 환산하면 약 241억 위안)이다.

국제 시장 조사 기관인 퓨처서치(futuresearch)의 최신 연구 보고서는 openai가 발표한 연간 수익 및 유료 사용자 구조를 기반으로 회사의 수익 구조를 계산했습니다. 기업 가입자는 7억 1천만 달러(21%)의 수익을 올렸고, api 호출은 5억 1천만 달러(15%)의 수익을 올렸습니다.

여러 차례의 가격 인하 후에도 openai는 여전히 상대적으로 건강한 총 이익 마진을 유지할 수 있습니다. 올해 4월 오픈ai의 주력 모델인 gpt-4 터보 출력 가격이 67% 인하됐다. 올해 8월에는 오픈ai의 주력 모델인 gpt-4o의 출력 가격이 30% 인하됐다. 퓨처서치가 올해 8월 발표한 연구 보고서에 따르면 오픈ai의 gpt-4 시리즈 플래그십 모델의 매출총이익률은 약 75%, gpt-4o 시리즈 메인 모델의 매출총이익률은 약 55%라고 밝혔다. openai의 종합 매출총이익률은 최소 40%입니다.

openai는 독특한 성장 환경을 가지고 있습니다. 충분한 컴퓨팅 파워를 보유하고 있을 뿐만 아니라, to c(소비자 고객용) 사용자도 많고, 세계 최대 규모의 to b(기업 고객용) 소프트웨어 시장에도 진출하고 있습니다.

지난 2년간 openai의 성공적인 경험은 "기적을 만들기 위한 무차별 대입"을 위해 대규모 컴퓨팅 성능에 의존한다는 것입니다. 중국 기업은 openai처럼 컴퓨팅 성능 조건과 자금 조달 환경이 부족합니다. 컴퓨팅 성능은 중국 모델 제조업체의 주요 단점입니다.

중국 클라우드 공급업체의 한 모델 기술자는 지난 1년여 동안 중국 클라우드 공급업체가 엔비디아 ai 칩 구매 비용의 1.5배 이상을 지불해 모델 컴퓨팅 성능 비용을 높게 유지했다고 설명했습니다. 이는 대형 모델의 성능 상한선에 영향을 미치고 대형 모델의 산업적 구현을 ​​방해합니다. 한 서버 딜러에 따르면 2023년 중국 시장에서 엔비디아 h100/h800 시리즈 ai 칩을 탑재한 8카드 서버는 엔비디아 공식 가격의 1.5배가 넘는 대당 300만 위안을 돌파한 적이 있다.

컴퓨팅 자원이 제한되어 있고 컴퓨팅 비용이 높을 때 중국 기업은 어떻게 자신에게 적합한 개발 경로를 찾을 수 있습니까? 이를 위해서는 신중한 계획과 조정이 필요합니다.

지난 2년 동안 대형 모델의 개발은 스케일링 법칙(2020년 openai가 제안한 법칙, 문자 그대로 "스케일링 법칙"으로 번역됨)을 따랐습니다. 모델 성능은 주로 계산량, 모델 매개변수의 양 및 훈련 데이터의 양.

앞서 언급한 클라우드 벤더들의 대형 모델 사업 핵심 책임자는 스케일링 법칙의 제약 하에서 데이터의 질과 양을 향상하고 모델 매개변수인 moe(mixture of experts)를 적절하게 줄이는 것이 핵심 원칙이라고 언급했습니다. 설계 전략은 여러 모델을 혼합하는 데에도 사용할 수 있습니다(더 나은 성능을 위한 전문 모델) 아키텍처는 모델 성능을 향상시키고 추론 비용을 줄입니다. 특정 비즈니스 전략을 구현하는 데에는 두 가지 옵션이 있습니다.

매출총이익이 마이너스인 가격 전쟁으로 인해 대형 모델 시장의 몰락이 가속화되고 있다. 많은 업계 관계자들은 caijing에 대해 동일한 견해를 표명했습니다. 이번 제거 라운드는 1~2년 동안 지속될 것이며 3~5개의 기본 모델 회사만이 계속 살아남을 수 있습니다.

중국 정보화 100위원회 집행위원이자 알리바바 클라우드 지능형 기술 연구 센터 소장인 안샤오펑(an xiaopeng)은 올해 7월 caijing과의 인터뷰에서 대형 모델에는 지속적인 투자, 10,000개 또는 심지어 100,000개의 카드 보유 능력 및 상업적 수익이 필요하다고 말했습니다. 많은 회사에는 그러한 능력이 없습니다. 앞으로 중국 시장에는 기본 모델 제조업체가 3~5개만 남게 될 것입니다.

대형 모델을 개발하려면 칩과 서버를 구입하고 데이터 센터를 구축하기 위해 토지를 임대해야 합니다. 이 투자는 매년 수백억 위안에 달할 수도 있습니다. 이러한 비용은 기술 기업의 자본 지출에 반영됩니다. microsoft의 2024 회계연도 4분기 실적 발표에 따르면 해당 월 자본 지출 중 거의 190억 달러가 컴퓨팅 성능에 지출된 것으로 나타났습니다. 지난해(2023년 3분기~2024년 2분기) 알리바바, 텐센트, 바이두의 자본지출은 각각 232억 위안, 231억 위안, 113억 위안으로 77.1% 증가했다. 각각 154.1%, 46.9%는 컴퓨팅 파워에 대한 투자의 결과이다.

컴퓨팅 파워에 대한 지속적인 투자에 수백억 위안을 추가하는 것 외에도 대형 모델 추론 사업에는 연간 10억 위안의 보조금이 필요합니다. 중국의 한 클라우드 벤더 임원은 대형 모델 통화에서 마이너스 매출총이익률이 나온다는 것은 단기적으로 통화가 많아질수록 손실도 커지는 것을 의미한다고 분석했다. 현재 추론 컴퓨팅 파워 소비량에 따르면, 가격 전쟁에 참여하는 몇몇 주요 클라우드 공급업체는 2024년에 대형 모델 추론 컴퓨팅 파워 소비에 대해 10억 위안 이상의 보조금을 지급할 예정입니다.

알리바바 클라우드, 볼케이노 엔진, 바이두 스마트 클라우드, 텐센트 클라우드 등은 그룹의 대규모 모델을 활용해 가격 전쟁을 벌일 수 있지만 대형 모델 스타트업이 지속하기는 어렵다. 위에서 언급한 중국 최고의 기술 기업의 ai 전략 기획자들은 alibaba cloud와 volcano engine이 이번 가격 전쟁에서 가장 강력한 피를 가지고 있다고 믿습니다. 알리바바는 클라우드로 돈을 벌 수 있고, 볼케이노 엔진은 수혈로 바이트댄스의 광고 사업을 하고 있다. 가격 전쟁에서 baidu는 alibaba 및 bytedance만큼 좋지 않습니다. 그러나 baidu의 wenxin 대형 모델은 강력한 기술을 보유하고 있으며 기술 비용을 지불할 의향이 있는 고객 그룹을 보유하게 될 것입니다. 이는 baidu가 가격 전쟁에서 살아남는 데 도움이 될 것입니다.

대형 모델 스타트업은 단기적으로 생존하기 위해 대형 제조업체와 자금 조달에 의존해야 합니다. 대형 모델 스타트업 회사의 한 기술 담당자는 올해 9월 caijing에 zhipu ai, baichuan intelligence, dark side of the moon, zero one thing 및 국내 대형 모델의 '다섯 마리의 작은 호랑이'인 minimax가 모두 투자되었다고 말했습니다. 알리바바에 의해. 투자방법 중 하나는 투자금액을 컴퓨팅 파워의 형태로 지급하고, 투자받은 기업은 알리바바 클라우드의 컴퓨팅 파워를 활용하는 것이다. '다섯 마리의 작은 호랑이'가 계속해서 살아남을 수 있을지는 어느 정도 알리가 계속해서 투자를 하느냐에 달렸다.

앞서 언급한 주요 클라우드 벤더의 기술 인력과 앞서 언급한 대형 모델 스타트업 기업의 기술 인력 역시 중국 시장의 대형 모델 스타트업이 향후 2년 내에 시험에 직면할 것이라고 믿고 있습니다. 앞으로 기본 모델 시장을 돌파할 수 있는 방법은 세 가지가 있을 수 있습니다. 정부 및 기업 프로젝트 모델 개발 회사가 되려면 to b의 수직적 산업 모델로 전환하거나 to의 응용 시장으로 전환해야 합니다. 기음. 실제로 시장 차별화는 이미 시작됐다. zhipu ai는 정부 및 기업 프로젝트에서 다수의 입찰에서 승리한 반면 dark side of the moon은 to c 시장에만 집중하고 있습니다.