Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Neuer Weisheitsbericht

Herausgeber: Taozi

[Einführung in die neue Weisheit] Unerwarteterweise hat das multimodale Lama 4 bereits mit dem Training in vollem Gange begonnen. Xiao Zha sagte, dass es das Zehnfache des Rechenaufwands von Llama 3 investieren werde, um das Modell zu trainieren, das voraussichtlich im Jahr 2025 veröffentlicht wird. Er gab viel Geld aus, um eine GPU zu kaufen, hatte aber Angst, dass es zu spät sein würde.

Llama 3.1 wurde gerade veröffentlicht und Llama 4 wurde vollständig in das Training aufgenommen.

In den vergangenen Tagen sagte Xiao Zha im Finanzbericht für das zweite Quartal, dass Meta die zehnfache Rechenleistung von Llama 3 nutzen werde, um das multimodale Llama 4 der nächsten Generation zu trainieren, das voraussichtlich im Jahr 2025 erscheinen wird.

Mit diesem Gesetzentwurf wurde Lao Huang erneut der größte Gewinner

Was ist das Konzept des zehnfachen Rechenaufwands?

Wissen Sie, Llama 3 wird auf zwei GPU-Clustern mit 24.000 GPUs trainiert. Mit anderen Worten: Für das Llama 4-Training sind 240.000 GPUs erforderlich.

Reicht das Meta-Inventar also aus?

Ich erinnere mich noch daran, dass Xiao Zha Anfang des Jahres bekannt gab, dass er bis zum Jahresende den Einsatz von 350.000 Nvidia H100 plant.

Er enthüllte auch weitere Details. Meta wird intern zwei einzelne Cluster für das LLM-Training aufbauen, einen mit 22.000 H100-Blöcken und einen mit 24.000 Blöcken.

Einige Internetnutzer haben einmal untersucht, wie die GPU-Nutzung während des Iterationsprozesses des Llama-Modells zugenommen hat:

Lama 1: 2048 GPUs

Lama 2: 4096 GPUs

Lama 3.1: 16384 GPUs

Oder 40 Milliarden US-Dollar ausgeben, Xiao Zha will nicht, dass es zu spät ist

Es ist ersichtlich, dass das Training großer Modelle eine kostspielige Angelegenheit ist.

Der Finanzbericht zeigt, dass Metas Investitionsausgaben für Server, Rechenzentren und Netzwerkinfrastruktur im zweiten Quartal um fast 33 % gestiegen sind.

Es stieg von 6,4 Milliarden US-Dollar im gleichen Zeitraum des Vorjahres auf 8,5 Milliarden US-Dollar.

Die jährlichen Ausgaben werden nun voraussichtlich 37 bis 40 Milliarden US-Dollar betragen, eine frühere Schätzung lag bei 35 bis 40 Milliarden US-Dollar.

Einem Bericht von Information zufolge gab OpenAI 3 Milliarden US-Dollar für die Schulung von Modellen und weitere 4 Milliarden US-Dollar für die Anmietung von Servern von Microsoft mit einem Rabatt aus.

Es ist ersichtlich, wie ironisch es ist, Rechenleistung für das Training großer Modelle aufzuwenden.

Die Bedeutung liegt jedoch darin, dass die Open Source von Llama 3.1 ein wichtiger Wendepunkt in der KI-Branche sein wird und Open Source-künstliche Intelligenz beginnen wird, ein Industriestandard wie Linux zu werden.

Meta plant für die nächsten Jahre Rechencluster und Rechenzentren, um zukünftige Generationen von KI-Modellen zu unterstützen.

Xiao Zha gab zu, dass es schwierig sei, den zukünftigen Entwicklungspfad der KI-Technologie vorherzusagen, der Aufbau der Infrastruktur jedoch nicht schnell voranschreite.

Trotz der Ungewissheit war ich bereit, das Risiko einzugehen, vorzeitig zu bauen, anstatt aufgrund mangelnder Vorbereitung hinter meine Konkurrenten zurückzufallen.

Xiao Zhas Weitsicht führte einst dazu, dass das Unternehmen aus der Welle des Metaversums hervorstach.

Als der Aktienkurs des Unternehmens im Jahr 2022 einen schweren Einbruch erlitt, ging Xiao Zha dennoch das Risiko ein und kaufte eine große Anzahl von H100.

Der Finanzbericht für das dritte Quartal dieses Jahres zeigte, dass Metas Investitionsausgaben 32 bis 33 Milliarden US-Dollar betrugen.

Ein Großteil davon fließt in den Bau von Rechenzentren, Servern und Netzwerkinfrastruktur sowie in enorme Investitionen in das Metaverse.

In dem Interview erklärte Xiao Zha: „Zu dieser Zeit entwickelte Meta intensiv das Kurzvideo-Tool Reels, daher waren mehr GPUs erforderlich, um das Modell zu trainieren.“

Da Modellinferenz für Meta von entscheidender Bedeutung ist, muss das Unternehmen Dienste für Benutzer seiner eigenen Anwendungen wie Facebook und Ins bereitstellen.

In Xiao Zhas ursprünglichen Worten:

Das Verhältnis der von uns benötigten Inferenzberechnungen und Schulungen ist möglicherweise viel höher als bei anderen Unternehmen, die in diesem Bereich tätig sind. Dies liegt daran, dass die Anzahl der von uns betreuten Community-Benutzer sehr groß ist.

Jeder hat einen KI-Agenten

Vor einiger Zeit erwähnte auch der Meta-KI-Wissenschaftler Thomas Scialom in einem Blog-Interview, dass Llama 4 im Juni mit dem Training begonnen habe.

Er sagte, dass sich das neue Modell möglicherweise auf die Agententechnologie konzentrieren könnte und dass einige Untersuchungen zu Agententools wie Toolformer durchgeführt wurden.

Xiao Zha glaubt, dass KI-Agenten bald zur „Standardausrüstung“ für Online-Unternehmen werden werden.

„Im Laufe der Zeit denke ich, dass jedes Unternehmen, so wie jedes Unternehmen eine Website, Social-Media-Konten und E-Mail-Adressen hat, in Zukunft einen KI-Agenten haben wird, mit dem Kunden interagieren können.“

Ziel von Meta ist es, jedem kleinen Unternehmen und schließlich sogar jedem großen Unternehmen die einfache Integration seiner eigenen Inhalte und Produkte in KI-Agenten zu ermöglichen.

Wenn diese Technologie in großem Umfang in die Praxis umgesetzt wird, wird dies unseren Umsatz mit Geschäftsinformationen erheblich steigern.

Trotz der Kritik von Investoren an Metas hohen Ausgaben für KI und das Metaverse bleibt Zuckerberg seiner Strategie treu.

Während die virtuelle Realität bei Meta in den letzten Quartalen in den Hintergrund gerückt zu sein scheint, erwähnte Zuckerberg, dass die Verkäufe von Quest 3 die Erwartungen des Unternehmens übertrafen.

Die Zahlen für das zweite Quartal zeigen, dass der Umsatz in diesem Bereich um 22 % auf 39,1 Milliarden US-Dollar und der Gewinn um 73 % auf 13,5 Milliarden US-Dollar stiegen.

Für das dritte Quartal erwartet Meta einen Umsatz in der Größenordnung von 38,5 bis 41 Milliarden US-Dollar.

Quellen zufolge wird das Unternehmen auf seiner Connect-Konferenz im September ein günstigeres Paar Kopfhörer vorstellen.

Darüber hinaus erfreut sich der KI-Assistent Meta AI immer größerer Beliebtheit, und Xiao Zha sagte, dass er voraussichtlich bis Ende des Jahres der am weitesten verbreitete KI-Assistent sein wird.

Verweise:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg