Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Die Explosion kleiner KI-Modelle ist zu einer neuen Arena für den Wettbewerb der KI-Giganten geworden.

Der Preiskampf bei großen Modellen dauert ewig. KI-Unternehmen, die große Summen investiert haben, müssen ihre Geschäftsgeschichte dringend weiterentwickeln. Vor Kurzem haben sie ihre eigenen kostengünstigen, einfach zu implementierenden kleinen Modelle auf den Markt gebracht , und eine neue Wettbewerbsrunde hat begonnen.

Zuerst veröffentlichte HuggingFace SmolLM – 135M, 360M und 1,7B. Es verwendete nur 650B-Token für das Training, aber seine Leistung übertraf Qwen 1,5B und Phi 1,5B.

Am nächsten Tag veröffentlichten Mistral AI und NVIDIA gemeinsam Mistral NeMo, das als „das beste kleine Modell von Mistral AI“ bezeichnet wird. Es ist einfach zu bedienen und kann jedes System mit Mistral 7B direkt ersetzen.

Am selben Tag ging OpenAI auf „Einkaufstour“ und brachte eine Mini-Version von GPT-4o auf den Markt – GPT-4o Mini. Es nannte dieses neue Modell „das leistungsstärkste und kostengünstigste Modell mit kleinen Parametern“ und betrachtete es als das Das Anzeigemodell ersetzt die Position „Front Stage“ der Webversion von GPT-3.5.

Um nicht zu übertreffen, veröffentlichte Apple das kleine DCLM-Modell am selben Tag wie OpenAI und es war sofort nach seiner Veröffentlichung Open Source. „Dies ist das bisher leistungsstärkste echte Open-Source-Modell“, sagte Vaishaal Shankar, ein Forschungswissenschaftler im ML-Team von Apple.

Diese Modelle haben kleine Parameter und belegen weniger Speicher. In bestimmten Szenarien können die Ergebnisse nach der Feinabstimmung mit großen Modellen vergleichbar sein, was sie zu einer kostengünstigen Wahl macht.

„Mit kleinen Modellen muss es einfacher sein, einen Wert zu realisieren.“ Die Integration von Geschäftsabläufen, Funktionalität und Wirtschaftlichkeit wird sexuell machbarer sein.“

Auf dem Schlachtfeld generativer KI-Modelle ist die Iterationsgeschwindigkeit extrem hoch. Die „Besten“ von heute können sofort von der neuen Version von morgen besiegt werden, und „historische Rekorde“ werden ständig umgeworfen und neu geschrieben. „Die Modelle werden zu schnell aktualisiert, und das ist schwer zu beurteilen. Ein Hersteller behauptet, es sei das ‚Größte und Beste‘, während ein anderer behauptet, es sei das ‚Kleinste und Beste‘.“ Ein leitender Beobachter im Bereich der künstlichen Intelligenz Die Branche sagte gegenüber dem 21st Century Business Herald Reportern zufolge sind Modelle der künstlichen Intelligenz umwerfend. Wenn KI-Unternehmen in Geschäftsgeschichten erfolgreich sein wollen, müssen sie zehnfach oder hundertfach arbeiten.

Bildquelle: Creative Drawing Xu Shuxing

Kleine Modellbahn öffnet „Rolle“

KI-Giganten bringen intensiv kleine Modelle auf den Markt, um nicht nur in der Leistung, sondern auch im Preis zu konkurrieren.

Laut der offiziellen Website von Open AI hat GPT-4o mini in Benchmark-Tests wie MMLU, MGSM, HumanEval und MMMU ein besseres Text- und visuelles Denken sowie mathematisches Denken gezeigt als kleine Modelle wie GPT-3.5 Turbo und Gemini Flash, Claude Haiku, Codierungs- und multimodale Denkfähigkeiten, insbesondere mathematische Argumentations- und Codierungsfähigkeiten, sind weitaus besser als GPT-3.5 Turbo und andere kleine Modelle und etwas schwächer als GPT-4o. In der neuesten LMSYS-Blindtest-Arena-Rangliste erreichte GPT-4o mini ebenfalls den ersten Platz mit GPT-4o. Sogar OpenAI-CEO Sam Altman konnte seine Begeisterung nicht verbergen und schrieb auf der Social-Media-Plattform: „Wir waren noch nie so aufgeregt.“ über jede Beurteilung.“

Neben einer hervorragenden Leistung wartet OpenAI auch mit einem günstigen Preis auf. Als es am 18. Juli online ging, gab OpenAI bekannt, dass der Preis für GPT-4o mini 15 Cent pro Million Input-Token und 60 Cent pro Million Output-Token betragen würde, was mehr als 60 % günstiger ist als GPT-3.5 Turbo. Am 24. Juli gab OpenAI erneut bekannt, dass es von nun an bis zum 23. September GPT-4o-Mini-Feinabstimmungsdienste für Benutzer der Stufen 4 und 5 kostenlos bereitstellen wird, mit einem Tageslimit von 2 Millionen Token, wobei der Überschuss in Rechnung gestellt wird bei 3 US-Dollar pro 1 Million Token. OpenAI sagte: „Wir gehen davon aus, dass GPT-4o mini den Anwendungsbereich künstlicher Intelligenz erweitern und künstliche Intelligenz erschwinglicher machen wird.“

Der Forschungsbericht von Ping An Securities geht davon aus, dass es sich bei GPT-4o mini um ein „kleines Einstiegsmodell“ der neuen Generation künstlicher Intelligenz mit deutlich reduziertem Preis handelt, das sowohl Leistung als auch Kosteneffizienz bietet. Weltweit lässt sich derzeit bei großen Modellen nach und nach ein Entwicklungstrend erkennen, der sich von einem einseitigen Leistungswettbewerb hin zu einem Wettbewerb verschiebt, bei dem sowohl Leistung als auch Praktikabilität im Vordergrund stehen. Wenn die Fähigkeiten großer Modelle ein bestimmtes Niveau erreichen, werden sie sich zwangsläufig in Richtung Anwendung bewegen. Durch die Verbesserung der Kostenleistung ihrer Produkte und die Förderung der Förderung und Bereitstellung nachgelagerter Anwendungen wird von großen Modellherstellern erwartet, dass sie die Bildung eines geschlossenen Geschäftskreislaufs beschleunigen große Modellbaukette.

Das Apple DCLM-Modell, das nach GPT-4o mini veröffentlicht wurde, ist ebenfalls ein Hingucker. DCLM hat den Code, die Gewichte, den Trainingsprozess und die Datensätze vollständig als Open Source bereitgestellt. DCLM ist in zwei Größen unterteilt: 1,4 Milliarden Parameter und 7 Milliarden Parameter. Seine 7-Milliarden-Parameter-Version übertrifft Mistral-7B und seine Leistung kommt der von Llama 3 und Gemma nahe. Beim MMLU-Benchmark (5-Schuss) erreichte DCLM-7B eine Genauigkeit von 63,7 %. Laut den Forschern verbessert sich diese Leistung um 6,6 % gegenüber dem bisherigen hochmodernen Open-Data-Sprachmodell MAP-Neo und erfordert 40 % weniger Rechenaufwand. Noch wichtiger ist, dass dieses Ergebnis Mistral-7B-v0.3 mit einer Genauigkeit von 62,7 % übertrifft und nahe an Gemma 8B mit einer Genauigkeit von 64,3 %, Llama3 8B mit einer Genauigkeit von 66,2 % und Phi-3 7B mit einer Genauigkeit liegt von 69,9 %.

Anstelle von „Größer ist besser“ geht Apple lieber den Weg des kleinen Modells. Im April dieses Jahres kündigte Apple eine Familie von vier vorab trainierten großen Modellen namens OpenELM an, die extrem klein waren. Damals näherten sie sich bereits dem Ziel, „die lokale Ausführung künstlicher Intelligenz auf Apple-Geräten zu ermöglichen“.

Im Juni stellte Apple seine KI-Entwicklungs-Roadmap vor und plante, kleine Modelle reibungslos in mobile Geräte einzubetten, was nicht nur das Ziel „schneller und sicherer“ erreichen, sondern auch das ultimative Problem der Integration mobiler Geräte und Modelle auf einen Schlag lösen wird .

Mistral NeMo wurde in Zusammenarbeit mit Mistral AI und NVIDIA entwickelt und durchläuft eine fortgeschrittene Feinabstimmungs- und Ausrichtungsphase, um präzise Anweisungen zu befolgen, zu argumentieren, mehrere Gesprächsrunden zu bewältigen und Code zu generieren. Es versteht sich, dass Mistral NeMo hauptsächlich auf Unternehmensumgebungen ausgerichtet ist und es Unternehmen ermöglichen soll, Lösungen für künstliche Intelligenz zu implementieren, ohne große Mengen an Cloud-Ressourcen zu benötigen.

In einem Interview mit Venturebeat ging Bryan Catanzaro, Vizepräsident für angewandte Deep-Learning-Forschung bei NVIDIA, auf die Vorteile kleiner Modelle ein. „Kleine Modelle sind einfacher zu bekommen und zu betreiben und können unterschiedliche Geschäftsmodelle haben, weil die Leute sie auf ihren eigenen Systemen zu Hause ausführen können“, sagte er.

Große Modelle sind in die zweite Jahreshälfte eingetreten, der Markt ist zunehmend an hocheffizienten und kostengünstigen Modellen interessiert, die sich einfacher vor Ort einsetzen lassen. Dies spiegelt den Wunsch nach Sicherheit, Datenschutz, hoher Effizienz und hohen Kosten wider Leistung.

Branchenanalysten glauben, dass es einen klaren neuen Trend bei der KI-Bereitstellung gibt, d Kosten. „Dadurch kann der Wettbewerb fairer werden, und auch kleine Unternehmen mit begrenzten Ressourcen werden den Segen von KI-Modellen erhalten und so die inhärente Kluft zu großen Unternehmen schließen.“

Setzen Sie sich ans Steuer der kleinen Modellbahn

Warum eröffnen KI-Giganten kleine Modellbahnen? teilweise oder aus Kostengründen.

Die Entwicklung und der Betrieb großer Modelle sind teuer, und selbst Giganten wie OpenAI haben Schwierigkeiten, sie sich zu leisten.

Kürzlich analysierte ein Insider, dass „OpenAI in diesem Jahr möglicherweise 5 Milliarden US-Dollar verlieren könnte und das Risiko besteht, dass ihm innerhalb von 12 Monaten die Mittel ausgehen.“ Bis März dieses Jahres hat OpenAl fast 4 Milliarden US-Dollar für die Anmietung von Microsoft-Servern ausgegeben, um ChatGPT und das zugrunde liegende Large Language Model (LLM) auszuführen. Zusätzlich zum Betrieb von ChatGPT könnten die Schulungskosten von OpenAl, einschließlich Datengebühren, in diesem Jahr auf 3 Milliarden US-Dollar steigen. Letztes Jahr beschleunigte OpenAl das Training neuer KIs schneller als ursprünglich geplant. Laut mit der Angelegenheit vertrauten Personen hatte OpenAl ursprünglich geplant, etwa 800 Millionen US-Dollar für solche Kosten auszugeben, am Ende aber viel mehr ausgegeben.

Im Vergleich dazu sind kleine Modelle kostengünstig, reagieren schnell und können lokal ausgeführt werden, wodurch sie besser an personalisierte und präzise Nutzungsanforderungen angepasst werden können. Brancheninsider sagten: „Da weltweit KI-Hardware knapp ist, bedeuten kleine Modelle geringere Bereitstellungs- und Schulungskosten, und ihre Ausgabeeffekte reichen aus, um einige spezifische Aufgaben zu bewältigen.“

Ein relevanter Geschäftsmann, der für ein inländisches KI-Unternehmen verantwortlich ist, sagte einem Reporter des 21st Century Business Herald, dass eine kleine Parameterskala die Inferenzkosten erheblich senken kann. Die für die Modellschulung und -anpassung erforderlichen Hardwarekosten seien weitaus niedriger als bei einem großen Modell. Ältere Entwickler können sogar vertikale Modelle zu geringen Kosten trainieren. Die Kosten dieser Vorgänge sind viel niedriger als die großer Modelle.

Die jüngste Vorhersage von Andrej Karpathy, einem Gründungsmitglied von OpenAI und ehemaliger Senior Director für KI bei Tesla, ist ziemlich repräsentativ. Er schlug vor, dass der Größenwettbewerb generativer Modelle umgekehrt wird, um mit dem Modell zu konkurrieren, das kleiner und intelligenter ist.

In Andrej Karpathys Erklärung liegt der Grund, warum das aktuelle große Modell so groß ist, darin, dass es beim Training immer noch sehr verschwenderisch ist. Obwohl das große Modell ein sehr gutes Gedächtnis hat, bedeutet dies auch, dass sich das große Modell viele irrelevante Details merkt Diese Inhalte sollten bei einem bestimmten Problem nicht wiederholt aufgerufen werden.

Bei kleinen Modellen werden die Trainingsziele einfacher, direkter und effizienter, sodass die KI nützlichere Informationen direkter lernen kann.

Große Modelle und kleine Modelle sind jedoch keine „Wähler“, und ihre Entwicklungsrouten haben immer noch die Bedeutung, voneinander zu lernen.

Andrej Karpathy sagte: „Das Modell muss zuerst größer werden, bevor es kleiner werden kann. Denn wir brauchen große Modelle, um die Daten zu rekonstruieren und in eine ideale Form zu bringen. Ein Modell hilft dabei, Trainingsdaten für das nächste Modell zu generieren und erhält nach und nach ein perfektes Training.“ Geben Sie es dann an das kleine Modell weiter, das sich nicht alles merken muss, aber gelegentlich nachschlagen muss, um sicherzustellen, dass es korrekt ist.“

Robin Li erklärte auf der Baidu AI Developer Conference Create 2024 außerdem, dass groß angelegte native KI-Anwendungen in der Zukunft im Wesentlichen eine Moe-Architektur sein werden, die eine Mischung aus großen und kleinen Modellen darstellt. Robin Li sagte auch, dass es viel besser ist, ein Basismodell durch Komprimierung eines großen Modells zu destillieren und es dann mit Daten zu trainieren, als ein kleines Modell von Grund auf zu trainieren. Es ist besser, schneller und kostengünstiger als ein Modell, das auf einem Open-Source-Modell trainiert wird . Niedrig.