Belegung

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kluge Dinge
AutorZeR0
Herausgeber Mo Ying

Generative KI scheint einem unsichtbaren Muster zu folgen: Hin und wieder kommt es zu einem schockierenden Großereignis „Autounfall“.

Allein in diesem Jahr wurde das Google Gemini 1.5 Pro-Modell veröffentlicht, das OpenAI-Videogenerierungsmodell Sora auf den Markt gebracht und das OpenAI GPT-4o auf der Google I/O Developer Conference vorgestellt, sodass Zuschauer auf der ganzen Welt die starke Konkurrenz spüren konnten Hegemonie unter den großen Modellen.

Wenn alle bisherigen Zufälle darauf hindeuten, dass OpenAI Google absichtlich abgefangen hat, dann haben Hugging Face, OpenAI, Mistral und Apple letzte Woche innerhalb von vier Tagen nacheinander ihre leistungsstärksten Leichtbaumodelle herausgebracht, was definitiv der neueste Trend in der KI-Branche ist.

Mittlerweile geht es bei großen KI-Modellen nicht mehr nur um Rennen„Größer und stärker“und rollte heftig auf„Tue kleine Dinge und tue feine Dinge“。

Das Übertreffen von GPT-4o ist nicht mehr der einzige KPI. Große Modelle sind in eine kritische Phase eingetreten, um um den Markt zu konkurrieren. Um Benutzer zu beeindrucken, müssen wir uns nicht nur darauf verlassen, technische Stärke zu zeigen, sondern auch beweisen, dass unsere eigenen Modelle kostengünstiger sind -Wirksam--Das Modell ist bei gleicher Leistung kleiner, bei gleichen Parametern ist die Leistung höher und spart Geld.。

▲Die letzte Woche neu erschienenen Leichtbaumodelle GPT-4o mini und Mistral NeMo sind hinsichtlich der Kostenleistung sehr führend (Quelle: Artificial Analysis)

Tatsächlich begann sich dieser technologische Trend des „Rückspulens großer Modelle in die Miniaturisierung“ in der zweiten Hälfte des letzten Jahres zusammenzubrauen.

Die Game Changer sind zwei Unternehmen. Das eine ist das französische KI-Startup Mistral AI, das im September letzten Jahres ein großes Modell mit 7 Milliarden Parametern eingesetzt hat, um Llama 2 mit 13 Milliarden Parametern zu besiegen. Das andere ist das chinesische KI-Startup Face the Wall Intelligence hat im Februar dieses Jahres ein konzentrierteres End-Side-Modell MiniCPM eingeführt, das mit nur 2,4 Milliarden Parametern eine Leistung übertrifft, die Llama 2 13B übertrifft.

Beide Startups sind in der Entwickler-Community bekannt und viele Modelle stehen ganz oben auf der Open-Source-Hotlist. Insbesondere Wall-Facing Intelligence, das vom Natural Language Processing Laboratory der Tsinghua-Universität entwickelt wurde, sorgte dieses Jahr für Aufruhr, als sein multimodales Modell von einem Team von Top-Universitäten in den Vereinigten Staaten „beschossen“ wurde Die Originalarbeit wurde in akademischen Kreisen im In- und Ausland anerkannt, sodass inländische Open-Source-KI-Modelle stolz auf sich sind.

Apple hat seit letztem Jahr auch damit begonnen, terminalseitige Modelle zu erforschen, die sich besser an Mobiltelefone anpassen lassen. OpenAI, das den Weg einer umfassenden und gewaltsamen Expansion verfolgt hat, ist ein relativ überraschender Neueinsteiger. Die Einführung des Leichtbaumodells GPT-4o mini letzte Woche bedeutet, dass der große Modellbruder die Initiative ergriffen hat, vom „Altar“ zurückzutreten und begann, dem Branchentrend zu folgen und zu versuchen, einen breiteren Markt mit günstigeren und einfacher zu bedienenden Produkten zu erschließen. Modelle erhalten.

2024 wird ein entscheidendes Jahr für die „Miniaturisierung“ großer Modelle!

▲Unvollständige Statistiken zu leichtgewichtigen allgemeinen Sprachmodellen, die im Jahr 2024 neu veröffentlicht wurden, sind nur im allgemeinen Sprachmodell mit einem Parametervolumen von ≤8B enthalten, das auf der Geräteseite bereitgestellt werden kann, und multimodale Modelle sind nicht enthalten (Quelle: Zhidongxi)

1. „Moores Gesetz“ im Zeitalter großer Modelle: Nur Effizienz kann zu Nachhaltigkeit führen

Derzeit gerät die Forschung und Entwicklung großer Modelle in eine Trägheit:Kraftvolles Wunder。

Im Jahr 2020 bestätigte ein Papier von OpenAI, dass ein starker Zusammenhang zwischen Modellleistung und -skala besteht. Solange Sie mehr hochwertige Daten verarbeiten und ein größeres Modell trainieren, können Sie eine höhere Leistung erzielen.

Auf diesem einfachen, aber effektiven Weg kam es in den letzten zwei Jahren zu einem rasanten weltweiten Wettlauf um die Verfolgung größerer Modelle. Darin liegt die versteckte Gefahr einer algorithmischen Hegemonie. Nur Teams mit ausreichenden Mitteln und Rechenleistung verfügen über das Kapital, um langfristig am Wettbewerb teilzunehmen.

Letztes Jahr gab OpenAI-CEO Sam Altman bekannt, dass die Kosten für das Training von GPT-4 mindestens betragen100 Millionen US-Dollar . Ohne ein gewinnbringendes Geschäftsmodell wird es selbst großen Technologieunternehmen mit großen finanziellen Mitteln schwerfallen, sich langfristige Investitionen unabhängig von den Kosten zu leisten. Die Umwelt kann es nicht ertragen, dieses grenzenlose Geldverbrennungsspiel zuzulassen.

Der Leistungsunterschied zwischen den besten großen Sprachmodellen wird sichtlich kleiner. Obwohl GPT-4o klar an erster Stelle steht, bleibt der Unterschied in den Benchmark-Ergebnissen mit Claude 3 Opus und Gemini 1.5 Pro unverändert. Bei manchen Fähigkeiten können zig Milliarden große Modelle sogar eine bessere Leistung erzielen. Die Modellgröße ist nicht mehr der einzige entscheidende Faktor für die Leistung.

Es ist nicht so, dass die großen Top-Modelle unattraktiv sind, sondern dass die leichten Modelle kostengünstiger sind.

Das Bild unten ist ein Trenddiagramm der KI-Inferenzkosten, das Ende März dieses Jahres von der KI-Ingenieurin Karina Ngugen auf sozialen Plattformen geteilt wurde. Es zeigt deutlich die Beziehung zwischen der Leistung großer Sprachmodelle im MMLU-Benchmark und ihren Kosten seit 2022: Over Mit der Zeit erreicht das Sprachmodell höhere MMLU-Genauigkeitswerte und die damit verbundenen Kosten sinken erheblich. Die Genauigkeit des neuen Modells erreicht rund 80 %, während das Kosten-Leistungs-Verhältnis um Größenordnungen niedriger ist als noch vor ein paar Jahren.

Die Welt verändert sich sehr schnell und in den letzten Monaten gab es eine Welle neuer kostengünstiger Leichtbaumodelle.

▲Kleinere Modelle können eine hervorragende Leistung zu geringeren Kosten erzielen (Quelle: Embedded AI)

„Der Wettbewerb um große Sprachmodellgrößen verschärft sich – rückwärts!“ KI-Technologie-Guru Andrej Karpathy setzt: „Wir werden einige sehr, sehr kleine Modelle sehen, die sehr gut und zuverlässig ‚denken‘.“

Modellfähigkeit ÷ an der Berechnung beteiligte Modellparameter = Wissensdichte Diese Messdimension kann verwendet werden, um darzustellen, dass Modelle mit derselben Parameterskala eine starke Intelligenz aufweisen können. Das im Juni 2020 veröffentlichte große GPT-3-Modell verfügt über 175 Milliarden Parameter.Im Februar dieses Jahres wurde die Parametergröße des an die Wand gerichteten intelligenten MiniCPM-2.4B-Modells, das die gleiche Leistung erzielte, auf 2,4 Milliarden reduziert, was einer Erhöhung der Wissensdichte um etwa 1,5 Milliarden entspricht86 Mal。

Basierend auf diesen Trends hat Liu Zhiyuan, ständiger außerordentlicher Professor der Abteilung für Informatik an der Tsinghua-Universität und Chefwissenschaftler für wandbezogene Intelligenz, kürzlich einen interessanten Standpunkt vertreten:Die Ära der großen Modelle hat ihr eigenes „Moores Gesetz“。

insbesondere,Durch die koordinierte Entwicklung von Daten, Rechenleistung und Algorithmen steigt die Wissensdichte großer Modelle immer weiter an und verdoppelt sich durchschnittlich alle acht Monate.。

▲Anhand der Änderungen in der OpenCompass-Liste können wir erkennen, dass kleine Parameter und Hochleistungsmodelle zum Trend geworden sind

Durch die Erhöhung der Schaltungsdichte auf dem Chip werden sich Rechengeräte mit gleicher Rechenleistung von Supercomputern, die in mehrere Räume passen, zu Mobiltelefonen entwickeln, die in der Tasche getragen werden können. Die spätere Entwicklung großer Modelle wird einem ähnlichen Muster folgen. Liu Zhiyuan nannte das von ihm vorgeschlagene Leitgesetz „Gesetz zur Wandverkleidung“.

Sollte dieser Trend anhalten,Die Fähigkeit, ein Modell mit 100 Milliarden Parametern zu trainieren, kann mit einem Modell mit 50 Milliarden Parametern in 8 Monaten erreicht werden, und in weiteren 8 Monaten kann dies mit nur 25 Milliarden Parametern erreicht werden.。

2. Die Kräfte sind in mehrere Richtungen aufgeteilt: Der Preiskampf für geschlossene Quellen ist in vollem Gange, und die offenen Quellen China, die Vereinigten Staaten und Europa konkurrieren miteinander.

Die Spieler, die derzeit am Großmodell-Leichtgewichtswettbewerb teilnehmen, sind in viele Gruppen eingeteilt.

OpenAI, Google und Anthropic haben alle den Closed-Source-Weg gewählt. Ihre Flaggschiffmodelle wie GPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro steuern die höchsten Leistungsniveaus, und die Parameterskala dieser Modelle erreicht Hunderte von Milliarden oder sogar Billionen.

Das Leichtgewichtmodell ist eine abgespeckte Version seines Flaggschiffmodells. Nach der Einführung von OpenAI letzte Woche hat sich GPT-4o mini zur kostengünstigsten Option auf dem Markt unter 10B entwickelt, da seine Leistung Gemini Flash übertrifft und Claude Haiku To C GPT-3.5 für die kostenlose Nutzung durch Benutzer ersetzt hat ToB hat den API-Preis deutlich gesenkt und damit die Schwelle für die Einführung großer Modelltechnologie gesenkt.

Andriy Burkov, Autor von „Machine Learning Engineering“, folgert, dass die Parameterspezifikationen des GPT-4o mini basierend auf dem Preis bei etwa 7B liegen. Li Dahai, CEO von Wall-Facing Intelligence, spekuliert, dass es sich bei GPT-4o mini um ein „Wide MoE“-Modell mit einer großen Anzahl von Experten und nicht um ein terminalseitiges Modell handelt, das als kostengünstiges Cloud-Modell positioniert ist, um den Industrieaufwand erheblich zu reduzieren Kosten für die Implementierung großer Modelle.

Das Lager der Open-Source-Lightweight-Modelle ist sogar noch größer, mit repräsentativen Akteuren aus China, den Vereinigten Staaten und Europa.

Inländische Unternehmen wie Alibaba, Wall-Facing Intelligence, SenseTime und das Shanghai Artificial Intelligence Laboratory haben einige leichtgewichtige Modelle als Open-Source-Lösungen bereitgestellt.Darunter werden die Modelle der Qwen-Serie von Alibaba häufig in Benchmark-Tests für leichte Modelle verwendet, und die Modelle der MiniCPM-Serie für Wandintelligenz sind ebenfalls Beispiele für die Verwendung kleiner Parameter, um große Modelle in Sekundenschnelle zu überspringen, und werden in der Open-Source-Community hoch gelobt.

Face Wall Intelligence ist ein zukunftsorientiertes Unternehmerteam, das im Jahr 2020 die Führung in China übernahm und mit der Erforschung der Möglichkeiten zur Reduzierung der Schulungskosten begann von AI Agent Anfang letzten Jahres und veröffentlichte im August mehr als 100 Milliarden KI-Agenten, wendete große Modell- und Agententechnologie auf Szenarien wie Finanzen, Bildung, Regierungsangelegenheiten, intelligente Terminals usw. an und formulierte die Ziel ist es, Ende des Jahres die Richtung der Zusammenarbeit zwischen Gerät und Cloud festzulegen und dann in diesem Jahr intensiv verschiedene geräteseitige Modelle mit hoher Effizienz und geringem Energieverbrauch auf den Markt zu bringen.

In den letzten sechs Monaten hat Wallface Intelligence die Basismodelle MiniCPM 2.4B und MiniCPM 1.2B, das Langtextmodell MiniCPM-2B-128k, das multimodale Modell MiniCPM-V 2.0 und die GPT-4V-Leistungsstufe MiniCPM veröffentlicht. Llama3-V 2.5. Hybrid-Expertenmodell MiniCPM-MoE-8x2B usw. Bisher beträgt das Gesamt-Downloadvolumen der MiniCPM-Serie fast 950.000, mit 12.000 Sternen.

Dieses Startup implementierte auch ein energieeffizienteres MiniCPM-S 1.2B-Modell durch eine effiziente Sparse-Architektur: Die Wissensdichte erreichte das 2,57-fache des dichten Modells MiniCPM 1.2B im gleichen Maßstab und das 12,1-fache des Mistral-7B, was eine weitere Schlussfolgerung darstellt Das „Wall-Facing-Gesetz“ fördert eine erhebliche Reduzierung der Kosten für große Modellinferenzen.

▲Das an die Wand gerichtete intelligente Modell der MiniCPM-Serie iteriert schnell und verbessert die Wissensdichte

Im leichten Open-Source-Modelllager in den Vereinigten Staaten sind große Technologieunternehmen stark vertreten, darunter Meta, Microsoft, Google, Apple, Stability AI usw., und die Geschichte „die Welle dahinter schlägt die Welle nach vorne.“ „Down on the Beach“ wird häufig aufgeführt.

Hugging Face hat letzte Woche auch SmolLM-Modelle mit drei Parameterspezifikationen auf den Markt gebracht: 135M, 360M und 1,7B. Im Vergleich zu Modellen gleicher Größe hat die 1,7B-Version in mehreren Benchmark-Tests die Leistung von Microsoft übertroffen. , Google MobileLLM-1.5B und Alibaba Qwen2-1.5B.

Apple, das für seine „Geschlossenheit“ bekannt ist, ist eine bekannte Open-Source-Schule im Bereich KI: Im Oktober letzten Jahres veröffentlichte es das multimodale Ferret-Modell und im April dieses Jahres vier OpenELM-Vorschulungen Modelle mit Parametern im Bereich von 2,7 Milliarden bis 30 Milliarden. Unter den neuesten DCLM-Modellen übertrifft die Leistung von Version 6.9B Mistral 7B und der MMLU-Wert von Version 1.4B übertrifft SmolLM-1.7B.

▲Apple verwendet DCLM-Baseline zum Trainieren des Modells (orange), das im Vergleich zu Closed-Source-Modellen (Kreuze) und anderen Open-Source-Datensätzen und -Modellen (Kreise) eine gute Leistung zeigt.

Der repräsentative Player in Europa ist kein geringerer als das französische Großmodell-Einhorn Mistral AI.Letzte Woche wurde das kleine Cup-Modell Mistral Nemo 12B veröffentlicht, das die Verarbeitung von 128.000 Kontexten unterstützt. Seine Leistung übertrifft Google Gemma 2 9B und Llama 2 8B. Seine Argumentation, sein Weltwissen und seine Codierungsfunktionen sind die stärksten unter den Open-Source-Modellen dieser Größenordnung .

Diese Fortschritte zeigen das Anwendungspotenzial der Miniaturisierung großer Modelle.

Clem Delangue, Mitbegründer und CEO von Hugging Face, sagte voraus: „Kleinere, günstigere, schnellere und personalisiertere Modelle decken 99 % der Anwendungsfälle ab . Sie brauchen weder ein 1-Millionen-Dollar-Formel-1-Auto, um jeden Tag zur Arbeit zu fahren, noch brauchen Sie einen Bankkunden-Chatbot, der Ihnen den Sinn des Lebens erklärt! "

3. Wie wurden Sie zum Sparexperten in der Großmodellbranche?

Das Zurückspulen und Miniaturisieren großer Modelle ist ein unvermeidlicher Trend für KI, von dem alle profitieren.

Nicht alle Anwendungen erfordern das leistungsstärkste Großmodell. Der Geschäftswettbewerb berücksichtigt die Kosteneffizienz und legt Wert auf hohe Qualität und niedrige Preise. Verschiedene Szenarien und Unternehmen haben sehr unterschiedliche Anforderungen an die Ausgabequalität und Kosteneffizienz.

Sehr umfangreiche Modelle verursachen hohe Lernkosten für Entwickler und erfordern viel Aufwand von der Schulung bis zur Bereitstellung. Ein optimierteres Modell kann das Input-Output-Verhältnis senken und weniger Mittel, Daten, Hardwareressourcen und Schulungszyklen verbrauchen, um wettbewerbsfähige Modelle zu erstellen, wodurch die Infrastrukturkosten gesenkt werden, die Zugänglichkeit verbessert und die Modellentwicklung und Anwendungsimplementierung beschleunigt wird.

▲Laut dem Apple DataComp-LM-Papier gilt: Je weniger Modellparameter, desto weniger Rechenleistung und Zeitaufwand für das Training.

Für bestimmte Anwendungen benötigen Lightweight-Modelle weniger Daten, sodass sie einfacher auf bestimmte Aufgaben abgestimmt werden können, um die Leistung und Effizienz zu erreichen, die Ihren Anforderungen entspricht. Aufgrund einer optimierten Architektur benötigt dieser Modelltyp weniger Speicherkapazität und Rechenleistung. Nach der Optimierung des Designs für endseitige Hardware kann es lokal auf Laptops, Smartphones oder anderen kleinen Geräten ausgeführt werden, mit geringer Latenz, einfachem Zugriff und Schutz . Datenschutz- und Sicherheitsvorteile stellen sicher, dass keine personenbezogenen Daten nach außen übermittelt werden.

Obwohl das leichte Hochleistungsmodell klein ist, muss es „Nutzen Sie begrenzte Rechenleistung und Energieverbrauch, um Wissen in einem Modell mit kleineren Parametern zu verdichten„Die technische Hürde ist nicht niedrig.

Der Trainingsprozess istErst größer werden, dann kleiner werden , Destillation der Essenz des Wissens aus komplexen großen Modellen. Beispielsweise wird das multimodale Small-Cup-Modell Gemma-2 von Google mithilfe des Wissens des 27B-Modells verfeinert.

Aber in Bezug auf bestimmte technische Routen haben verschiedene Akteure unterschiedliche Ansätze.

Zum Beispiel inTrainingsdaten Auf der anderen Seite hat Meta stolz die Trainingsdaten für Llama 3 15T-Tokens eingespeist. Microsoft, Apple usw. konzentrieren sich auf die Optimierung von Trainingsdatensätzen und die Innovation von Datenmethoden. Microsoft Phi-3 verwendet nur 3,3T-Token und Apple DCLM 7B verwendet nur 2,6T-Token. Laut dem Apple DataComp-LM-Papier:Durch die Verbesserung von Trainingsdatensätzen kann ein Gleichgewicht zwischen Berechnung und Leistung hergestellt und die Trainingskosten gesenkt werden . Mistral NeMo wurde letzte Woche neu veröffentlicht und komprimiert Text und Code effizienter als frühere Modelle, indem es den fortschrittlichen Tekken-Tagger verwendet.

„Kleiner werden“ erfordert immer nochArchitekturinnovation . Beispielsweise führt das OpenELM-Modell von Apple ein hierarchisches Feinabstimmungsdesign für Hardware-Engpässe durch, um die Betriebseffizienz auf der Endseite zu verbessern. Das effiziente Sparse-Modell MiniCPM-S 1.2B mit Wandzugang erreicht eine Sparsität von fast 88 % und ermöglicht so die vollständige Verbindungsschicht Der Verbrauch wird auf 84 % reduziert und die Dekodierungsgeschwindigkeit ist 2,8-mal höher als beim entsprechenden dichten Modell, ohne die Leistung zu beeinträchtigen.

▲Technische Klassifizierung zur Realisierung ressourceneffizienter großer Sprachmodelle (Quelle: Artikel „Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models“)

Das große Modell ist ein systematisches Projekt, das erforscht werden muss.Wissenschaft der künstlichen Intelligenz„Richtung, das heißtDurch die kontinuierliche Iteration technischer Lösungen wie Algorithmen, Architektur, Datenverwaltung und multimodale Fusion können wir Modelle zuverlässiger, vorhersehbarer und mit höherer Qualität trainieren., um die Wissensdichte großer Modelle kontinuierlich zu verbessern.

Um Modelle schnell zu trainieren und zu optimieren, muss eine effiziente Produktionslinie eingerichtet werden.Es ist notwendig, eine vollständige Prozess-Tool-Suite-Plattform aufzubauen und eine effiziente und skalierbare Modelltrainingsstrategie zu entwickeln. . Beispielsweise erreicht der wandorientierte Modell-Sandbox-Mechanismus eine schnelle Bildung von Modellfähigkeiten, indem kleine Modelle verwendet werden, um die Leistung großer Modelle vorherzusagen, und Hyperparameterschemata zwischen großen und kleinen Modellen gemeinsam genutzt werden.

▲Tatsächlicher Vergleich der Inferenzdekodierungsgeschwindigkeit von MiniCPM 1.2B und MiniCPM-S 1.2B

Um die Verwendung großer Modelle in intelligenten Terminals zu beschleunigen, hat Facewall Intelligence kürzlich das branchenweit erste sofort einsatzbereite, clientseitige Toolset für große Modelle „MobileCPM“ als Open-Source-Lösung bereitgestellt und Tutorials im Nanny-Stil bereitgestellt, um Entwicklern bei der Integration großer Modelle zu helfen mit einem Klick in Apps integrieren.

▲Wandseitiges, intelligentes, terminalseitiges Großmodell-Werkzeugset „MobileCPM“

Dieses Jahr fällt mit der Explosion der geräteseitigen KI zusammen: Von Chipgiganten wie Intel, Nvidia, AMD und Qualcomm bis hin zu großen KI-PC- und Smartphone-Herstellern fördern sie alle eine Vielzahl geräteseitiger KI-Anwendungen. Terminalhersteller haben begonnen, sich mit Herstellern allgemeiner Modelle zusammenzuschließen, um die Implementierung von Leichtbaumodellen in einer Vielzahl von Endgeräten voranzutreiben.

Da die Leistung endseitiger Chips zunimmt und die Dichte des Modellwissens zunimmt, werden die Modelle, die lokal auf endseitigen Geräten ausgeführt werden können, größer und besser.Jetzt kann GPT-4V auf der Terminalseite laufen, prognostiziert Liu ZhiyuanIm nächsten Jahr können auf der Geräteseite GPT-3.5-Level-Modelle in Betrieb genommen werden, und in den nächsten zwei Jahren können auf der Endseite GPT-4o-Level-Modelle in Betrieb genommen werden.。

Fazit: Starten Sie einen großen Modellwettbewerb, ohne viel Geld zu verbrennen

In der Welt der Technologie wiederholt sich immer wieder der historische Trend, kleiner, billiger und benutzerfreundlicher zu werden. Im Mainframe-Zeitalter waren Computer High-End-Luxusgüter, die nur den Reichen und Eliten zugänglich waren. Mit Beginn der Ära der Minicomputer haben technologische Fortschritte dazu geführt, dass Computergeräte tragbarer und benutzerfreundlicher geworden sind, und PCs und Mobiltelefone haben Einzug in die tägliche Arbeit und das Leben der breiten Öffentlichkeit gehalten.

So wie wir Supercomputer mit enormer Rechenleistung und Mobiltelefone brauchen, die der normale Mensch in die Tasche stecken kann, erfordert das Zeitalter der generativen KI extrem intelligente Großmodelle, die näher am Benutzer sind, kostengünstiger und in der Lage sind, spezifische Anwendungen zu erfüllen Modell der Nachfrage.

OpenAI GPT-4o steht immer noch an der Spitze der leistungsstärksten KI-Großmodelle, ist aber nicht mehr so ​​unbesiegbar wie zuvor. Eine Reihe großer GPT-4-Modelle haben eine ähnliche Leistung erzielt. Gleichzeitig stellen kompaktere und effizientere Großmodelle das Konzept „Größer ist besser“ in Frage. Der neue Trend „Aus Kleinen macht Groß“ dürfte die Art und Weise der KI-Entwicklung verändern und neue Möglichkeiten für die Umsetzung eröffnen von KI in Unternehmens- und Verbraucherumgebungen.

Der Übergang zur Miniaturisierung stellt einen großen Wandel in der KI-Branche dar. Große Modellwettbewerbe haben begonnen, sich von der Verbesserung der Leistung auf detailliertere Anforderungen in der realen Welt zu konzentrieren. Inmitten dieser Begeisterung wächst Chinas Open-Source-Macht, repräsentiert durch wandnahe Intelligenz, durch eine Reihe technologischer Innovationen kräftig, um das Gesetz der Wissensdichte großer Modelle auf wirtschaftlich sinnvollere Weise zu überprüfen und letztendlich die Nutzung von zu fördern große Modelle in praktischen Anwendungsszenarien.