Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Neuer Weisheitsbericht

Herausgeber: Redaktion

[Einführung in die neue Weisheit] Heute Morgen waren alle Entwickler fassungslos über die plötzliche Beta-Version von iOS 18.1! Unerwarteterweise kann Apple AI jetzt für Early Adopters genutzt werden und eine große Anzahl von Rezensionen hat das gesamte Internet überschwemmt. Noch überraschender ist, dass auch ein 47-seitiger technischer Bericht über das Grundmodell hinter Apples KI online ist.

Am frühen Morgen wurde die lang erwartete erste Vorschauversion von „Apple AI“ offiziell an die Entwickler weitergeleitet!

Die neuesten Funktionen von Apple AI sind in die drei Hauptsysteme iOS 18.1, iPadOS 18.1 und macOS Sequoia 15.1 eingebettet.

Die ersten Benutzer, die die Beta-Version von iOS 18.1 erhalten haben, jubeln bereits vor Freude und Welle um Welle tatsächlicher Testfreigaben verbreitet sich über das gesamte Netzwerk.

Die neueste Vorschauversion enthält viele Überraschungen (Schnellvorschauversion):

• Neues Siri: Leuchtet beim Aufwachen sanft am Bildschirmrand auf; kommuniziert mit Benutzern durch Umschalten zwischen Text und Sprache; kann Befehle auch dann verstehen, wenn der Lautsprecher stolpert; kann auch Fragen zur Fehlerbehebung bei Apple-Produkten beantworten

• Schreibwerkzeuge: Sie können Texte in jedem Szenario umschreiben, Korrektur lesen und zusammenfassen. (Memos, Dokumente und APPs von Drittanbietern sind alle akzeptabel)

• Fokusmodus (Unterbrechungen reduzieren): Zeigen Sie nur die Benachrichtigungen an, die Sie sofort sehen müssen

• Fotofunktionen: Suchen Sie Fotos in natürlicher Sprache und erstellen Sie Videos

• Generieren Sie KI-Zusammenfassungen für E-Mails, Nachrichten und Voicemail-Transkriptionen

Darüber hinaus gibt es einige Funktionen, die Apple laut eigenen Angaben nächstes Jahr einführen wird, darunter die ChatGPT-Integration, die Generierung von Bildern/Emojis, die automatische Fotobereinigung und die superstarke Siri mit Bildschirmerkennung.

Übrigens ist die Betaversion von iOS 18.1 (einschließlich iPadOS und macOS) derzeit nur in den USA verfügbar und wurde in China noch nicht eingeführt.

Darüber hinaus unterstützen nur das iPhone 15 Pro und das iPhone 15 Pro Max unter den Mobiltelefonen das neue System.

Laut Systemeinführung belegt die Betaversion von iOS18.1 insgesamt 15,44 GB Speicherplatz, wovon die iOS-Systemkapazität 12,58 GB beträgt, während Apple AI nur 2,86 GB belegt.

Dies liegt daran, dass das von Apple auf Endgeräten verwendete Modell nur über 3 Milliarden Parameter verfügt.

Eine ausführlichere Einführung in das Modell ist im frisch veröffentlichten technischen Apple AI-Bericht versteckt.

Das 48 Seiten lange Papier behandelt den Entwurf und die Bewertung von Apples LLM, einschließlich Architektur, Datenmanagement, Rezepten vor und nach dem Training, Optimierung, Funktionsanpassung und Bewertungsergebnissen.

Papieradresse: https://machinelearning.apple.com/papers/apple_intelligence_foundation_lingual_models.pdf

Konkret hat Apple zwei neue grundlegende Sprachmodelle entwickelt, die den Kern der Apple AI bilden:

Eines davon ist das End-Side-Modell AFM-on-Device, das nach der Optimierung über etwa 3 Milliarden Parameter verfügt und mit höherer Effizienz und Reaktionsfähigkeit auf dem iPhone und anderen Endgeräten ausgeführt werden kann.

Das andere ist ein größeres Parametermodell, das auf Apples Cloud-Server namens AFM-Server ausgeführt werden kann, der für intensive Aufgaben konzipiert ist und ein privates Cloud-Computing-System (Private Cloud Compute) zum Schutz von Benutzerdaten verwendet.

Ich erinnere mich noch daran, dass Cook auf der WWDC-Konferenz letzten Monat der Welt die leistungsstarken Funktionen von Apples KI verkündete, die Apples Familien-Eimer ein episches Upgrade verschafften.

Das gesamte Internet denkt, dass KI überhaupt nicht mehr gut ist, und wir müssen uns immer noch Apple AI ansehen.

Im Allgemeinen veröffentlicht Apple normalerweise zuerst das iOS18-Hauptsystem.

Aber ich hätte nicht erwartet, dass Apple die Beta-Version dieses Mal in so kurzer Zeit an die ersten Entwickler liefern würde.

In diesem Zusammenhang wurde in Bloombergs jüngstem Bericht darauf hingewiesen, dass Apple seinen üblichen Software-Release-Rhythmus gebrochen habe, da Apple AI noch mehr Testzeit benötige.

Ich frage mich, welche neuen Kontinente die ersten Early Adopters entdeckt haben?

Tatsächlicher Test durch Internetnutzer

Der Apple-Technologie-Blogger Brandon Butch hat umgehend ein Erklärungsvideo erstellt, das die umfassendsten Apple-KI-Funktionen in der Beta-Version von iOS 18.1 zeigt.

Egal wie streng Sie sind, es wird immer sanft und süß sein.

Er sagte, dass Apple AI ihm geholfen habe, eine bessere Möglichkeit zu finden, das auszudrücken, was er sagen wollte.

Schreiben Sie in der Nachrichtenschnittstelle in das Eingabefeld, was Sie sagen möchten.

Wählen Sie dann alle aus und klicken Sie auf die Apple AI-Schaltfläche, um im Schreibtool „Friendly“ zu verwenden. Dadurch wird der Ton dieses Absatzes sofort taktvoller.

Schauen wir uns noch einmal einen anderen Internetnutzer an, der speziell ein Schimpfwort geschrieben hat, was viel komfortabler war, nachdem die KI es umgeschrieben hatte.

Korrektur von Grammatik-Tippfehlern

Darüber hinaus rief Butch aus, dass Grammarly getötet wurde und dies die echte Apple-KI sei.

Schauen Sie sich einfach die folgende Passage an: „Informativ“ ist falsch geschrieben, der erste Buchstabe wird nicht groß geschrieben und was sollte Ihrer Meinung nach mit einem Fragezeichen statt mit einem Punkt enden.

Es ist ersichtlich, dass Apple AI alles für Sie korrigiert hat.

Es gibt auch Apples KI-Fähigkeiten in E-Mails, was die Leute verrückt macht, wenn sie es hören.

Es unterstützt auch die Funktionen von Schreibwerkzeugen in Memos und Nachrichten, einschließlich Korrekturlesen, Umschreiben usw.

Oben wird eine Zusammenfassung einer E-Mail angezeigt.

Der Animationseffekt von Apples KI-Schreibtool ist „sehr Apple“. Verglichen mit dem dichten Fluss von Token, wenn das Modell reagiert, sieht alles so reibungslos aus.

Brandneue Siri, superweiche Reaktion

Wenn ich mir den Randeffekt des Bildschirms ansehe, wenn ich Siri anrufe, muss ich sagen, dass Apple sich mit Design am besten auskennt.

Schauen wir uns die iPad-Version von Siri an.

Ein KI-Ingenieur bei Humane und ein ehemaliger Apple-Ingenieur testeten Siri und lobten es mit der Aussage, dass die KI von Apple sehr, sehr schnell sei.

Wecken Sie Siri auf und fragen Sie, wie hoch der Eiffelturm ist? Wo befindet es sich?

Lassen Sie uns übrigens einige aktuelle Nachrichten über die Olympischen Spiele in Paris veröffentlichen und wie Sie die olympischen Ereignisse verfolgen können.

In kurzer Zeit hatte Apple AI die Antwort.

Zusammenfassung der KI-Transkription, wichtige Telefoninhalte haben keine Angst davor, verloren zu gehen

Darüber hinaus kann Apple AI Ihnen auch dabei helfen, Telefonanrufe in Notizen umzuwandeln und aufzuzeichnen, worüber Sie gesprochen haben.

Wenn die Aufnahmetaste gedrückt wird, ertönt sowohl für den anrufenden als auch für den angerufenen Teilnehmer ein Ton, der anzeigt, dass der Anruf aufgezeichnet wird.

Nachdem die Aufnahme abgeschlossen ist, können Sie direkt das Benachrichtigungs-Popup-Fenster aufrufen, um den Aufnahmeinhalt anzuzeigen.

Fokus Modus

Nutzen Sie Apple AI, um Benachrichtigungsinhalte automatisch zu analysieren und wichtige Benachrichtigungen zu erkennen!

Benachrichtigungen von wichtigen Personen werden am unteren Bildschirmrand angeheftet.

Fotosuche, viele Beschwerden

Der Grund, warum iOS 18.1 zuerst eingeführt wurde, besteht natürlich darin, Entwicklern die Möglichkeit zu geben, mehr zu testen, gemeldete Probleme zu entdecken und die KI-Funktionen von Apple besser zu verbessern.

Nein, als ein YouTube-Blogger die Fotofunktion testete, stellte er fest, dass Siri immer noch „geistig zurückgeblieben“ sei.

Der Blogger fragte zunächst: „Siri zeigt mir Fotos von der Thanksgiving-Reise 2022.“ Siri antwortete: Die Häufigkeit, mit der die Gesundheits-App geöffnet wurde....

Dann wiederholte er die Frage noch einmal: „Siri, finde Fotos über Thanksgiving in Fotos.“

Lustigerweise hat Siri direkt im Internet nach einer Reihe von Thanksgiving-Bildern gesucht.

Als er erneut fragte: „Siri, zeig mir Fotos von meiner Reise nach Taiwan“, hörte sich Siri die ursprünglichen Wörter als Schlüsselwörter an und suchte im Internet nach „Meine Reise nach Twaiwan“.

Dann fragte er weiter und Siri war immer noch verwirrt.

Hartnäckiger Blogger, kaputte Siri, ich kann nicht anders als zu lachen ...

Wie eingangs erwähnt, basiert die Möglichkeit, Apple AI in Endgeräte zu installieren, auf dem vom Team selbst entwickelten Basismodell, das glänzend glänzt.

Die KI-Revolution des iPhone: 3 Milliarden Parameter in Ihrer Tasche

Konkret handelt es sich bei AFM um ein reines Decoder-Dichtungsmodell, das auf der Transformer-Architektur basiert.

Seine Designideen sind wie folgt:

• Gemeinsame Eingabe-/Ausgabe-Einbettungsmatrizen zur Reduzierung der Parameterspeichernutzung

• Nutzen Sie die Vornormalisierung von RMSNorm, um die Trainingsstabilität zu verbessern

• Abfrage-/Schlüsselnormalisierung zur Verbesserung der Trainingsstabilität

• Grouped Query Attention (GQA) mit 8 Schlüsselwert-Headern zur Reduzierung des Speicherbedarfs des KV-Cache

• Effizientere SwiGLU-Aktivierung

• RoPE-Standorteinbettung mit einer Basisfrequenz von 500.000, unterstützt langen Kontext

Adapterarchitektur

Durch die Verwendung des LoRA-Adapters kann sich Apples Basismodell im laufenden Betrieb dynamisch basierend auf der aktuellen Aufgabe spezialisieren.

Diese kleinen neuronalen Netzwerkmodule können in verschiedene Schichten des Basismodells eingebunden und zur Feinabstimmung des Modells für bestimmte Aufgaben verwendet werden.

Um das Training von Adaptern zu erleichtern, hat Apple außerdem eine effiziente Infrastruktur geschaffen, die es ermöglicht, Adapter schnell hinzuzufügen, neu zu trainieren, zu testen und bereitzustellen, wenn das zugrunde liegende Modell oder die Trainingsdaten aktualisiert werden oder neue Funktionen erforderlich sind.

Optimierung

Aufgrund der Notwendigkeit, der täglichen Nutzung durch die Benutzer gerecht zu werden, hat das Team verschiedene Optimierungs- und Quantifizierungstechniken eingeführt, um die Speichernutzung, Latenz und den Stromverbrauch deutlich zu reduzieren und gleichzeitig die Modellqualität beizubehalten.

Methode

In der Post-Training-Phase komprimierte und quantisierte Apple das Modell auf durchschnittlich weniger als 4 Bit pro Gewicht.

Quantisierte Modelle erleiden normalerweise einen gewissen Qualitätsverlust. Daher übergibt das Forschungs- und Entwicklungsteam das quantitative Modell nicht direkt an das Anwendungsteam zur funktionalen Entwicklung, sondern fügt eine Reihe Parameter-effizienter LoRA-Adapter hinzu, um die Modellqualität wiederherzustellen.

Anschließend optimiert jedes Produktteam seinen funktionsspezifischen LoRA-Adapter, indem es Adaptergewichte von Adaptern zur Genauigkeitswiederherstellung initialisiert und dabei das quantisierte Basismodell unverändert lässt.

Es ist erwähnenswert, dass der Trainingsgenauigkeits-Wiederherstellungsadapter probeneffizient ist und als Miniversion des Trainingsbasismodells betrachtet werden kann.

Unter anderem sind in der Vortrainingsphase des Adapters nur etwa 10 Milliarden Token (etwa 0,15 % des Grundmodelltrainings) erforderlich, um die Fähigkeit des quantisierten Modells vollständig wiederherzustellen.

Da die Anwendungsadapter anhand dieser Präzisionswiederherstellungsadapter fein abgestimmt werden, fallen für sie keine zusätzlichen Speichernutzungs- oder Inferenzkosten an.

Bezüglich der Adaptergröße stellte das Team fest, dass ein Adapter mit Rang 16 das beste Gleichgewicht zwischen Modellkapazität und Inferenzleistung bietet.

Um jedoch mehr Flexibilität zu bieten, stellt Apple den Anwendungsteams eine Reihe unterschiedlicher Präzisionswiederherstellungsadapter zur Auswahl.

Quantifizieren

Ein weiterer Vorteil von Präzisionswiederherstellungsadaptern besteht darin, dass sie eine flexiblere Auswahl von Quantisierungsschemata ermöglichen.

In der Vergangenheit war es bei der Quantisierung großer Sprachmodelle üblich, die Gewichte in kleine Blöcke aufzuteilen, jeden Block mit seinem entsprechenden maximalen Absolutwert zu normalisieren, um Ausreißer herauszufiltern, und dann einen Quantisierungsalgorithmus auf Blockbasis anzuwenden.

Während größere Blockgrößen die Anzahl effektiver Bits pro Gewicht verringern und den Durchsatz erhöhen, steigt auch der Quantisierungsverlust. Um diesen Kompromiss auszugleichen, wird die Blockgröße normalerweise auf einen kleineren Wert eingestellt, beispielsweise 64 oder 32.

Aber in Apples Experimenten stellte das Team fest, dass der Genauigkeitswiederherstellungsadapter die Pareto-Front dieses Kompromisses deutlich verbessern kann.

Bei aggressiveren Quantisierungsschemata werden mehr Fehler behoben. Dadurch ist Apple in der Lage, effiziente Quantisierungsschemata für AFM zu verwenden, ohne sich Gedanken über einen Verlust der Modellkapazität machen zu müssen.

Quantisierung mit gemischter Präzision

In jedem Transformatorblock und in jeder Schicht des AFM gibt es Restverbindungen. Daher ist es unwahrscheinlich, dass alle Schichten gleich wichtig sind.

Basierend auf dieser Intuition reduzierte Apple die Speichernutzung weiter, indem es bestimmte Ebenen auf die 2-Bit-Quantisierung umstellte (der Standardwert ist 4-Bit).

Im Durchschnitt können Modelle auf AFM-Geräten ohne nennenswerten Qualitätsverlust auf etwa 3,5 Bit pro Gewicht (bpw) komprimiert werden.

In der Produktion entscheidet sich Apple für die Verwendung von 3,7 bpw, da dies bereits die Speicheranforderungen erfüllt.

Bewertungsergebnis

Vortraining

Tabelle 2 zeigt die Ergebnisse von AFM-on-device und AFM-server auf HELM MMLU v1.5.0, bei dem Multiple-Choice-Fragen mit 5 Stichproben bei 57 Probanden getestet wurden.

Die Tabellen 3 und 4 zeigen die Ergebnisse des AFM-Servers bei den Benchmarks HuggingFace OpenLLM Ranking V1 und HELM-Lite v1.5.0.

Es ist ersichtlich, dass das AFM-Modell vor dem Training über leistungsstarke Sprach- und Argumentationsfunktionen verfügt und somit eine solide Grundlage für die Feinabstimmung der Funktionen nach dem Training bietet.

nach der Ausbildung menschliche Einschätzung

Bei Apple AI-Anwendungsszenarien ist die menschliche Bewertung näher an der Benutzererfahrung.

Um die allgemeinen Fähigkeiten des Modells zu bewerten, sammelte das Team einen umfassenden Satz von 1.393 Hinweisen.

Die Eingabeaufforderungen sind umfassend und decken verschiedene Kategorien und Schwierigkeitsgrade ab, darunter: Analytisches Denken, Brainstorming, Chatbots, Klassifizierung, Beantwortung geschlossener Fragen, Codierung, Extraktion, mathematisches Denken, Beantwortung offener Fragen, Umschreiben, Sicherheit, Zusammenfassen und Schreiben.

Abbildung 3 zeigt den Vergleich von AFM mit Open-Source-Modellen (Phi-3, Gemma-1.1, Llama-3, Mistral, DBRX-Instruct) und kommerziellen Modellen (GPT-3.5 und GPT-4).

Es wurde festgestellt, dass menschliche Bewerter das AFM-Modell dem Konkurrenzmodell vorzogen.

Obwohl die Modellgröße von AFM-on-Device um 25 % kleiner ist, liegt die Erfolgsquote im Vergleich zu Phi-3-mini bei 47,7 % und übertrifft damit sogar die Open-Source-starken Basislinien Gemma-7B und Mistral um mehr als das Doppelte Anzahl der Parameter.

Im Vergleich zum Closed-Source-Modell zeigte der AFM-Server auch eine gewisse Wettbewerbsfähigkeit, mit einer Gewinnquote von mehr als 50 % und einer Ziehungsquote von 27,4 % gegenüber GPT-3.5.

Instruktionen befolgen

Das Befolgen von Anweisungen (Instruction Following, IF) ist eine Kernfunktion, von der das Apple-Team große Hoffnungen auf Sprachmodelle setzt, da reale Eingabeaufforderungen oder Anweisungen oft komplex sind.

Hier verwendete das Team den öffentlichen IFEval-Benchmark, um zu bewerten, ob große Sprachmodelle bei der Generierung von Antworten den Anweisungen in der Eingabeaufforderung genau folgen können. Dazu gehören häufig spezifische Anforderungen an Länge, Format und Inhalt der Antwort.

Wie in Abbildung 4 dargestellt, schneiden AFM-on-Device und AFM-Server sowohl hinsichtlich der Genauigkeit auf Befehlsebene als auch auf Eingabeaufforderungsebene gut ab.

Darüber hinaus hat das Apple-Team das AFM-Modell auch mit dem AlpacaEval 2.0 LC-Benchmark verglichen, um seine allgemeinen Fähigkeiten zur Befehlsfolge zu messen, und die Ergebnisse zeigten, dass sein Modell äußerst wettbewerbsfähig ist.

Werkzeugnutzung

In Tool-Nutzungsszenarien kann das Modell, nachdem es eine Benutzeranfrage und eine Liste potenzieller Tools mit Beschreibungen erhalten hat, wählen, ein bestimmtes Tool aufzurufen, indem es eine strukturierte Ausgabe bereitstellt und den Toolnamen und die Parameterwerte angibt.

Das Team bewertete das Modell anhand des öffentlichen Berkeley Function Calling Leaderboard-Benchmarks mithilfe von AST-Metriken mit nativer Unterstützung für Funktionsaufrufe.

Wie in Abbildung 5 dargestellt, schneidet der AFM-Server hinsichtlich der Gesamtgenauigkeit am besten ab und übertrifft Gemini-1.5-Pro-Preview-0514 und GPT-4.

Schreiben

Schreiben ist eine der wichtigsten Fähigkeiten großer Sprachmodelle, da es eine Vielzahl nachgelagerter Anwendungen unterstützt, wie z. B. das Ändern des Tons, das Umschreiben und das Zusammenfassen.

Das Team bewertet die Schreibfähigkeiten von AFM in internen Zusammenfassungs- und Schreib-Benchmark-Tests. Und gemäß dem LLM-als-Richter-Ansatz wurden Bewertungsanweisungen für jede Zusammenfassungs- und Schreibaufgabe entworfen und GPT-4 Turbo wurde aufgefordert, die Modellantwort auf einer Skala von 1 bis 10 zu bewerten.

Wie in Abbildung 6 dargestellt, zeigt AFM-on-Device im Vergleich zu Gemma-7B und Mistral-7B eine vergleichbare oder bessere Leistung. AFM-Server ist deutlich besser als DBRX-Instruct und GPT-3.5 und sogar vergleichbar mit GPT-4.

Es ist zu beachten, dass es bei der Verwendung der LLM-Bewertung einige Einschränkungen und Verzerrungen gibt, wie z. B. die Längenverzerrung.

Mathematik

In Abbildung 7 vergleicht das Team die Leistung von AFM anhand eines mathematischen Benchmarks.

Unter anderem verwendeten die Forscher 8-Schuss-CoT-Spitzen für GSM8K und 4-Schuss-CoT-Spitzen für MATH.

Die Ergebnisse zeigen, dass AFM-on-Device Mistral-7B und Gemma-7B deutlich übertrifft, selbst wenn beide weniger als halb so groß sind.

Zusammenfassungsfunktion

Das Produktteam entwickelte einen maßgeschneiderten Satz von Richtlinien, Metriken und speziellen Bewertungskriterien für die Zusammenfassung von E-Mails, Nachrichten und Benachrichtigungen, um die Qualität der Zusammenfassungen zu bewerten, wobei eine Vielzahl von Open-Source-, lizenzierten und proprietären Datensätzen verwendet wurden.

Die Zusammenfassung wird als „Schlecht“ klassifiziert, wenn eine Unterdimension basierend auf den vordefinierten Produktspezifikationen mit „Schlecht“ bewertet wird. Ebenso wird eine Zusammenfassung nur dann als „gut“ eingestuft, wenn alle Teildimensionen mit „gut“ bewertet sind.

Abbildung 8 zeigt, dass die Gesamtleistung des AFM-on-Device+-Adapters besser ist als die von Phi-3-mini, Llama-3-8B und Gemma-7B.

die Sicherheit beurteilen

Abbildung 9 zeigt die Bewertungsergebnisse menschlicher Prüfer für Modellverstöße. Je niedriger der Wert, desto besser.

Es ist ersichtlich, dass AFM-on-Device und AFM-Server eine hohe Robustheit im Umgang mit gegnerischen Eingabeaufforderungen aufweisen und die Verletzungsrate deutlich niedriger ist als bei Open-Source- und kommerziellen Modellen.

Abbildung 10 zeigt die Präferenzen menschlicher Prüfer für Eingabeaufforderungen zur Sicherheitsbewertung.

Das AFM-Modell gewann erneut die Runde, weil es eine sicherere und hilfreichere Antwort liefern konnte.

Das Obige ist ein wichtiger Einblick in das KI-Modell von Apple.

Wann kann jeder die KI-Funktionen von Apple nutzen?

Jedes Jahr stellt Apple auf der Herbstkonferenz neue Produkte vor und die erste Version von iOS 18 wird zeitgleich mit dem iPhone 16 auf den Markt kommen.

Allerdings müssen alle bis Oktober warten, um es zu erleben.

Verweise:

https://machinelearning.apple.com/papers/apple_intelligence_foundation_lingual_models.pdf

https://x.com/BrandonButch/status/1817982978540404776