2024-08-05
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
새로운 지혜 보고서
편집자: 타오지(Taozi)
[새 지혜 소개] 예상외로 다중 모드 Llama 4는 이미 본격적인 훈련을 시작했습니다. Xiao Zha는 2025년 출시 예정인 모델 학습을 위해 Llama 3 계산량의 10배를 투자할 것이라고 밝혔습니다. 그는 GPU를 구입하기 위해 많은 돈을 썼지만 너무 늦을 까봐 두려웠습니다.
Llama 3.1이 방금 출시되었으며 Llama 4는 완전히 훈련되었습니다.
지난 며칠 동안 Xiao Zha는 2분기 재무 보고서에서 Meta가 2025년에 출시될 것으로 예상되는 차세대 다중 모드 Llama 4를 훈련시키기 위해 Llama 3의 10배에 달하는 컴퓨팅 성능을 사용할 것이라고 말했습니다.
이 법안으로 Lao Huang이 다시 최대 승자가 되었습니다.
계산량이 10배라는 개념이 뭔가요?
아시다시피 Llama 3는 24,000개의 GPU가 포함된 2개의 GPU 클러스터에서 학습되었습니다. 즉, Llama 4 훈련에는 240,000개의 GPU가 필요합니다.
그럼 메타 인벤토리로 충분할까요?
저는 Xiao Zha가 연초에 연말까지 Nvidia H100 350,000대를 배포할 계획이라고 발표한 것을 아직도 기억합니다.
그는 또한 더 자세한 내용도 공개했습니다. Meta는 LLM 훈련을 위해 내부적으로 2개의 단일 클러스터를 구축할 예정입니다. 하나는 22,000개의 H100 블록을 갖추고 다른 하나는 24,000개의 블록을 갖추고 있습니다.
일부 네티즌들은 Llama 모델의 반복 프로세스 중에 GPU 사용량이 어떻게 증가했는지 검토한 적이 있습니다.
라마 1: 2048 GPU
라마 2: 4096 GPU
라마 3.1: 16384 GPU
아니면 400억 달러를 쓰거나, 샤오자는 너무 늦지 않았으면 좋겠다.
대형 모델을 훈련하는 것은 비용이 많이 드는 사업이라는 것을 알 수 있습니다.
재무 보고서에 따르면 Meta의 서버, 데이터 센터 및 네트워크 인프라에 대한 자본 지출은 2분기에 거의 33% 증가했습니다.
지난해 같은 기간 64억 달러에서 85억 달러로 늘었다.
연간 지출은 이전 추정치 350억~400억 달러에서 370억~400억 달러로 증가할 것으로 예상된다.
Information의 보고서에 따르면 OpenAI는 훈련 모델에 30억 달러를 지출하고 Microsoft에서 할인된 가격으로 서버를 임대하는 데 40억 달러를 추가로 지출했습니다.
대규모 모델을 훈련하기 위해 컴퓨팅 성능을 소비하는 것이 얼마나 아이러니한지 알 수 있습니다.
하지만 중요한 점은 라마 3.1의 오픈소스가 AI 산업에 중요한 전환점이 될 것이며, 오픈소스 인공지능이 리눅스처럼 산업 표준이 되기 시작할 것이라는 점이다.
Meta는 차세대 AI 모델을 지원하기 위해 향후 몇 년 동안 컴퓨팅 클러스터와 데이터 센터를 계획하고 있습니다.
샤오자(Xiao Zha)는 AI 기술의 미래 발전 경로를 예측하기 어렵지만 인프라 구축이 빠르지 않다고 인정했다.
불확실성에도 불구하고, 준비가 부족하여 경쟁업체에 뒤처지기보다는 미리 위험을 감수하고 구축해 나가고자 했습니다.
Xiao Zha의 선견지명은 한때 회사가 메타버스의 물결 속에서 두각을 나타내는 데 도움이 되었습니다.
2022년 회사 주가가 큰 폭의 타격을 입었을 때, Xiao Zha는 여전히 위험을 감수하고 H100을 대량 구매했습니다.
그해 3분기 재무보고서에 따르면 메타의 자본 지출은 320억~330억 달러에 달했다.
이 중 대부분은 데이터 센터, 서버 및 네트워크 인프라 구축과 메타버스에 대한 막대한 투자에 사용됩니다.
인터뷰에서 Xiao Zha는 "당시 Meta는 짧은 비디오 도구인 Reels를 적극적으로 개발하고 있었기 때문에 모델을 훈련하려면 더 많은 GPU가 필요했습니다"라고 설명했습니다.
Meta에서는 모델 추론이 중요한 문제이기 때문에 Facebook, Ins 등 자체 애플리케이션 사용자를 위한 서비스를 제공해야 합니다.
Xiao Zha의 원래 말은 다음과 같습니다.
우리에게 필요한 추론 계산 및 교육 비율은 이 분야에 종사하는 다른 회사보다 훨씬 높을 수 있습니다. 이는 우리가 서비스를 제공하는 커뮤니티 사용자의 수가 매우 많기 때문입니다.
누구에게나 AI 에이전트가 있다
얼마 전 Meta AI 과학자인 Thomas Scialom도 블로그 인터뷰에서 Llama 4가 6월부터 훈련을 시작했다고 언급했습니다.
그는 새로운 모델이 에이전트 기술에 초점을 맞출 수 있으며 Toolformer와 같은 에이전트 도구에 대한 일부 연구가 수행되었다고 말했습니다.
Xiao Zha는 AI 에이전트가 곧 온라인 기업의 '표준 장비'가 될 것이라고 믿습니다.
"시간이 지남에 따라 모든 기업에 웹사이트, 소셜 미디어 계정, 이메일 주소가 있는 것처럼 미래에는 모든 기업에 고객이 상호 작용할 수 있는 AI 에이전트가 있을 것이라고 생각합니다."
Meta의 목표는 모든 중소기업, 심지어 모든 대기업이 자체 콘텐츠와 제품을 AI 에이전트에 쉽게 통합할 수 있도록 하는 것입니다.
이 기술이 대규모로 실용화되면 우리의 비즈니스 정보 수익이 크게 가속화될 것입니다.
Meta가 AI와 Metaverse에 대한 높은 지출에 대한 투자자들의 비판에도 불구하고 Zuckerberg는 여전히 자신의 전략에 전념하고 있습니다.
가상 현실은 최근 Meta에서 뒷자리를 차지한 것으로 보이지만 Zuckerberg는 Quest 3 판매가 회사의 기대치를 초과했다고 언급했습니다.
2분기 수치에 따르면 이 분야의 매출은 22% 증가한 미화 391억 달러, 이익은 73% 증가한 미화 135억 달러를 기록했습니다.
3분기에 Meta는 385억~410억 달러의 매출을 예상하고 있습니다.
소식통에 따르면 회사는 9월 Connect 컨퍼런스에서 더 저렴한 헤드폰을 발표할 것이라고 합니다.
또한, AI 비서인 Meta AI가 점점 인기를 얻고 있으며, Xiao Zha는 연말까지 가장 널리 사용되는 AI 비서가 될 것으로 예상된다고 말했습니다.
참고자료:
https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next- Generation-lama-4-ai-model/
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
