Γράφτηκε από τον Ma Xuewei

Το Siri έχει τελικά μεταμορφωθεί σε "AI Siri" και το πολυαναμενόμενο Apple Intelligence είναι εδώ.

Με την κυκλοφορία του Apple Intelligence για iOS 18, iPadOS 18 και macOS Sequoia, η Apple κυκλοφόρησε επίσης μια τεχνική αναφορά για το δικό της μεγάλο μοντέλο, ανακοινώνοντας μεγάλο αριθμό τεχνικών λεπτομερειών, που τράβηξαν μεγάλη προσοχή από τη βιομηχανία.

Σύμφωνα με αναφορές, το Apple Intelligence περιέχει πολλαπλά μοντέλα παραγωγής υψηλής απόδοσης που είναι γρήγορα, αποτελεσματικά, σχεδιασμένα για τις καθημερινές εργασίες των χρηστών και μπορούν να προσαρμοστούν άμεσα στις τρέχουσες δραστηριότητες των χρηστών. Τα βασικά μοντέλα που είναι ενσωματωμένα στο Apple Intelligence είναι ήδη βελτιστοποιημένα για εμπειρίες χρήστη, όπως σύνταξη και στίλβωση κειμένου, ιεράρχηση και σύνοψη ειδοποιήσεων, δημιουργία ενδιαφέρων εικόνων για συνομιλίες με την οικογένεια και φίλους και λήψη ενεργειών εντός εφαρμογής για τον εξορθολογισμό της αλληλεπίδρασης μεταξύ εφαρμογών.

Στην τεχνική έκθεση, η ομάδα της Apple εξήγησε πώς κατασκευάστηκαν και προσαρμόστηκαν δύο από τα μοντέλα - ένα μοντέλο γλώσσας AFM (Apple Foundation Model) με περίπου 3 δισεκατομμύρια παραμέτρους και ένα μεγαλύτερο μοντέλο γλώσσας διακομιστή AFM επαγγελματικά καθήκοντα αποτελεσματικά και με ακρίβεια.

Εικόνα | Επισκόπηση μοντέλου AFM

Αυτά τα δύο βασικά μοντέλα αποτελούν μέρος μιας μεγαλύτερης οικογένειας δημιουργημένων μοντέλων που δημιουργήθηκε από την Apple για την υποστήριξη χρηστών και προγραμματιστών. όπως σε εφαρμογές ανταλλαγής μηνυμάτων.

Πώς λειτουργεί το AFM;

Το AFM υποβλήθηκε σε αυστηρή αξιολόγηση κατά τη διαδικασία ανάπτυξης και τα αποτελέσματα της αξιολόγησης έδειξαν ότι το μοντέλο απέδωσε καλά στην προ-εκπαίδευση, μετά την εκπαίδευση και σε συγκεκριμένες εργασίες και ήταν σύμφωνο με τις βασικές αξίες της Apple και τις αρχές της υπεύθυνης τεχνητής νοημοσύνης.

1. Προεκπαιδευτική αξιολόγηση

Η ομάδα της Apple χρησιμοποίησε σημεία αναφοράς δημόσιας αξιολόγησης όπως τα HELM MMLU, HELMLite και OpenLLM για να αξιολογήσει τη γλωσσική κατανόηση και τις δυνατότητες συλλογιστικής του μοντέλου AFM. Τα αποτελέσματα δείχνουν ότι το μοντέλο AFM πέτυχε εξαιρετικά αποτελέσματα σε πολλαπλούς δείκτες αξιολόγησης, έδειξε ισχυρές ικανότητες κατανόησης και συλλογιστικής γλώσσας και έθεσε τα θεμέλια για επακόλουθες εφαρμογές μετά την εκπαίδευση και συγκεκριμένες εργασίες.

2. Αξιολόγηση μετά την εκπαίδευση

Η ομάδα της Apple συνδύασε ανθρώπινη αξιολόγηση και αυτοματοποιημένα σημεία αναφοράς αξιολόγησης για να αξιολογήσει τις γενικές δυνατότητες και τις συγκεκριμένες δυνατότητες του μοντέλου AFM, όπως η παρακολούθηση οδηγιών, η χρήση εργαλείου και η γραφή.Τα αποτελέσματα της αξιολόγησης έχουν ως εξής:

• Ανθρώπινη αξιολόγηση:Το μοντέλο AFM είναι συγκρίσιμο ή καλύτερο από άλλα ανοιχτού κώδικα και εμπορικά μοντέλα σε πολλαπλές εργασίες, αποδεικνύοντας ότι το μοντέλο μπορεί να κατανοήσει και να ακολουθήσει περίπλοκες οδηγίες και να δημιουργήσει κείμενο υψηλής ποιότητας.

Σχήμα |. Συγκρίνοντας το μοντέλο AFM με άλλα μοντέλα ανοιχτού κώδικα και εμπορικά μοντέλα, οι αξιολογητές προτιμούν το μοντέλο AFM.

Η ερευνητική ομάδα αξιολόγησε το MAIA στο παράδειγμα περιγραφής νευρώνων Η μελέτη έδειξε ότι το MAIA πέτυχε εξαιρετικά αποτελέσματα περιγραφής τόσο σε πραγματικά μοντέλα όσο και σε σύνολα δεδομένων συνθετικών νευρώνων, με προγνωστικές ικανότητες καλύτερες από τις βασικές μεθόδους και συγκρίσιμες με τους ειδικούς.

• Αξιολόγηση συμμόρφωσης με τις οδηγίες:Το μοντέλο AFM πέτυχε εξαιρετικά αποτελέσματα σε σημεία αναφοράς όπως το IFEval και το AlpacaEval 2.0 LC, αποδεικνύοντας ότι το μοντέλο μπορεί να κατανοήσει και να ακολουθήσει αποτελεσματικά τις οδηγίες.

Εικόνα |.

• Αξιολόγηση χρήσης εργαλείου:Το μοντέλο AFM πέτυχε την καλύτερη συνολική ακρίβεια στο σημείο αναφοράς Berkeley Function Calling Leaderboard, υποδεικνύοντας ότι το μοντέλο μπορεί να χρησιμοποιήσει αποτελεσματικά το εργαλείο.

Figure |. Ο διακομιστής AFM επιτυγχάνει την καλύτερη συνολική ακρίβεια, καλύτερη από το Gemini-1.5-Pro-Preview-0514 και το GPT-4.

• Γραπτή αξιολόγηση:Το μοντέλο AFM απέδωσε καλά σε εσωτερικά σημεία αναφοράς σύνοψης και γραφής, αποδεικνύοντας την ικανότητα του μοντέλου να παράγει άπταιστα και υψηλής ποιότητας κείμενο.

Σχήμα |. Σε σύγκριση με το Gemma-7B και το Mistral-7B, το AFM-on-device μπορεί να επιτύχει ισοδύναμη ή καλύτερη απόδοση. Ο διακομιστής AFM ξεπερνά σημαντικά την οδηγία dbrx και είναι συγκρίσιμος με τους GPT-3.5 και GPT-4.

• Αξιολόγηση Μαθηματικών:Το μοντέλο AFM έχει επιτύχει εξαιρετικά αποτελέσματα σε σημεία αναφοράς όπως το GSM8K και το MATH, υποδεικνύοντας ότι το μοντέλο μπορεί να λύσει αποτελεσματικά μαθηματικά προβλήματα.

Εικόνα | Η απόδοση του AFM-on-device είναι σημαντικά καλύτερη από το Mistral-7B και το Gemma-7B.

Επιπλέον, η ερευνητική ομάδα διεξήγαγε αξιολογήσεις για συγκεκριμένες εργασίες και αξιολογήσεις ασφάλειας του μοντέλου. Χρησιμοποίησαν την ανθρώπινη αξιολόγηση και τα κριτήρια αξιολόγησης για συγκεκριμένες εργασίες για να αξιολογήσουν την απόδοση του μοντέλου AFM σε συγκεκριμένες εργασίες, όπως η σύνοψη μέσω email, η σύνοψη μηνυμάτων και η σύνοψη ειδοποιήσεων. Σύμφωνα με τα αποτελέσματα της αξιολόγησης, η απόδοση του μοντέλου AFM στη σύνοψη email, στη σύνοψη μηνυμάτων και στη σύνοψη ειδοποιήσεων είναι καλύτερη από άλλα μοντέλα από πολλές απόψεις, όπως η ακρίβεια, η πληρότητα και η αναγνωσιμότητα.

Όσον αφορά την ασφάλεια, η ερευνητική ομάδα χρησιμοποίησε αντίθετα σύνολα δεδομένων και ανθρώπινη αξιολόγηση για να αξιολογήσει την αντίσταση του μοντέλου AFM σε επιβλαβές περιεχόμενο και ευαίσθητα θέματα. Τα αποτελέσματα της αξιολόγησης δείχνουν ότι το μοντέλο AFM παρουσιάζει καλή αντίσταση σε αντίθετα δεδομένα και ευαίσθητα θέματα, αποφεύγοντας σε κάποιο βαθμό επιβλαβείς ή ακατάλληλες απαντήσεις.

Πώς «εξασκείται» το AFM;

Αρχιτεκτονική

Όπως τα περισσότερα κύρια μοντέλα, το μοντέλο AFM βασίζεται σε Μετασχηματιστής αρχιτεκτονική, αλλά χρησιμοποιεί επίσης ορισμένες συγκεκριμένες σχεδιαστικές επιλογές για τη βελτίωση της αποδοτικότητας και της απόδοσης.Τα κύρια συστατικά είναι τα εξής:

• Μονάδα μετασχηματιστή: Το AFM χρησιμοποιεί την τυπική μονάδα μετασχηματιστή, συμπεριλαμβανομένου του μηχανισμού προσοχής πολλαπλών κεφαλών και της τροφοδοσίαςΝευρωνικά δίκτυα。

• Κοινόχρηστη μήτρα ενσωμάτωσης εισόδου/εξόδου: Αυτός ο σχεδιασμός μειώνει τον αριθμό των παραμέτρων του μοντέλου και βελτιώνει την απόδοση της μνήμης.

• Προκανονικοποίηση και RMSNorm: Αυτές οι τεχνικές βελτιώνουν τη σταθερότητα της προπόνησης και βοηθούν το μοντέλο να μάθει πιο περίπλοκα μοτίβα.

• Κανονικοποίηση ερωτήματος/κλειδιού: Αυτή η τεχνική βελτιώνει περαιτέρω τη σταθερότητα της προπόνησης.

• Προσοχή ομαδικού ερωτήματος (GQA): Ο μηχανισμός GQA μειώνει τη χρήση μνήμης και βελτιώνει την υπολογιστική απόδοση.

• Λειτουργία ενεργοποίησης SwiGLU: Αυτή η λειτουργία ενεργοποίησης βελτιώνει την απόδοση του μοντέλου.

• Ενσωμάτωση θέσης RoPE: Ο μηχανισμός RoPE υποστηρίζει την κωδικοποίηση μεγάλου κειμένου και βελτιώνει την ικανότητα του μοντέλου να αναπαριστά το περιβάλλον.

Εικόνα |. Το AFM-on-device έχει 3072 παραμέτρους και είναι κατάλληλο για συμπέρασμα στη συσκευή. Χρησιμοποιεί 26 επίπεδα μετασχηματιστή, κάθε επίπεδο περιέχει 128 κεφαλίδες, 8 κεφαλίδες ερωτήματος/κλειδιού και 24 κεφαλίδες ερωτήματος.

προ-προπόνηση

Η διαδικασία προεκπαίδευσης του μοντέλου AFM έχει σχεδιαστεί για να εκπαιδεύει ισχυρά μοντέλα γλώσσας για την υποστήριξη διαφόρων λειτουργιών του συστήματος Apple Intelligence. Τα μοντέλα AFM εκπαιδεύονται σε συμπλέγματα Cloud TPU χρησιμοποιώντας το πλαίσιο AXLearn, το οποίο υποστηρίζει εκπαίδευση μοντέλων μεγάλης κλίμακας και μήκη ακολουθίας και παρέχει αποτελεσματική εκπαίδευση και απόδοση συμπερασμάτων.

Το σύνολο δεδομένων προεκπαίδευσης AFM αποτελείται από πολλούς τύπους δεδομένων υψηλής ποιότητας, όπως:

• Περιεχόμενο ιστού: δημόσια διαθέσιμες πληροφορίες που ανιχνεύονται με χρήση Applebot και φιλτράρονται.

• Σύνολα δεδομένων με άδεια χρήσης: Σύνολα δεδομένων υψηλής ποιότητας που λαμβάνονται από εκδότες που παρέχουν διαφορετικά δεδομένα μεγάλου κειμένου.

• Κώδικας: Δεδομένα ανοιχτού κώδικα που λαμβάνονται από το GitHub και καλύπτουν πολλές γλώσσες προγραμματισμού.

• Μαθηματικά: Δεδομένα Ιστού που περιέχουν μαθηματικό περιεχόμενο, όπως μαθηματικές ερωτήσεις, φόρουμ, ιστολόγια, σεμινάρια και σεμινάρια.

• Δημόσιο σύνολο δεδομένων: Ένα δημοσίως διαθέσιμο σύνολο δεδομένων που έχει αξιολογηθεί και ελεγχθεί.

Η προ-προπόνηση AFM χωρίζεται σε τρία στάδια:

• Βασικό στάδιο: Χρησιμοποιήστε το μεγαλύτερο σύνολο δεδομένων για εκπαίδευση Ο κύριος στόχος είναι η εκμάθηση βασικών γλωσσικών γνώσεων και προτύπων.

• Συνεχές στάδιο: Με βάση το βασικό στάδιο, προστίθενται κώδικας και μαθηματικά δεδομένα και το βάρος των δεδομένων της ιστοσελίδας μειώνεται για να επεκταθεί περαιτέρω το γνωστικό πεδίο του μοντέλου.

• Στάδιο επέκτασης περιβάλλοντος: Με βάση το συνεχές στάδιο, χρησιμοποιούνται μεγαλύτερα μήκη ακολουθίας και δεδομένα συνθετικού μεγάλου κειμένου για τη βελτίωση των δυνατοτήτων επεξεργασίας του μοντέλου για μεγάλα κείμενα.

μετά την εκπαίδευση

Το AFM αποκτά ισχυρές ικανότητες κατανόησης γλώσσας στην προ-προπονητική φάση, αλλά για να το εφαρμόσει σε συγκεκριμένες εργασίες, όπως η σύνοψη μέσω email, η σύνοψη μηνυμάτων και η σύνοψη ειδοποιήσεων, απαιτείται μετεκπαίδευση.περιλαμβάνω:

• Εποπτευόμενη μικρορύθμιση (SFT):

  • Συλλογή δεδομένων: Χρησιμοποιήστε δεδομένα σχολιασμένα από ανθρώπους και συνθετικά δεδομένα για να διασφαλίσετε ότι η ποιότητα των δεδομένων είναι διαφορετική και καλύπτει μια ποικιλία σεναρίων χρήσης φυσικής γλώσσας.

  • Ανάμειξη δεδομένων: Επιλέξτε προσεκτικά και συνδυάστε ανθρώπινα και συνθετικά δεδομένα για να σχηματίσετε συνδυασμούς δεδομένων υψηλής ποιότητας.

  • Μέθοδος μικροσυντονισμού: Χρησιμοποιήστε τον προσαρμογέα LoRA για να ρυθμίσετε το μοντέλο, προσαρμόστε μόνο τις παραμέτρους του προσαρμογέα και διατηρήστε τις γενικές γνώσεις του μοντέλου.

• Ενισχυτική μάθηση με βάση την ανθρώπινη ανατροφοδότηση (RLHF):

  • Μοντέλο ανταμοιβής: Εκπαιδεύστε ένα μοντέλο ανταμοιβής χρησιμοποιώντας δεδομένα ανθρώπινων προτιμήσεων και αξιολογήστε την ποιότητα των απαντήσεων του μοντέλου.

  • Επαναληπτική Επιτροπή διδασκαλίας (iTeC): Βελτιώνει επαναληπτικά το μοντέλο χρησιμοποιώντας πολλαπλούς αλγόριθμους βελτιστοποίησης προτιμήσεων, συμπεριλαμβανομένης της δειγματοληψίας απόρριψης, της βελτιστοποίησης άμεσης προτίμησης και της διαδικτυακής ενισχυτικής μάθησης.

  • Διαδικτυακός αλγόριθμος RLHF (MDLOO): Χρησιμοποιήστε τη βελτιστοποίηση πολιτικής Mirror Descent και τον εκτιμητή πλεονεκτημάτων Leave-One-Out για να μεγιστοποιήσετε τις ανταμοιβές και να βελτιώσετε την ποιότητα του μοντέλου.

Πλεονεκτήματα της μετεκπαίδευσης:

• Βελτίωση ποιότητας μοντέλου: Η μετά την εκπαίδευση βελτιώνει σημαντικά την ποιότητα και την απόδοση του μοντέλου AFM, καθιστώντας το να αποδίδει καλά σε συγκεκριμένες εργασίες.

• Συμμόρφωση με τις βασικές αξίες της Apple και τις υπεύθυνες αρχές τεχνητής νοημοσύνης: Η διαδικασία μετά την εκπαίδευση λαμβάνει πλήρως υπόψη την ποιότητα των δεδομένων, την ασφάλεια και το φιλτράρισμα του επιβλαβούς περιεχομένου για να διασφαλίσει ότι το μοντέλο συμμορφώνεται με τις βασικές αξίες της Apple και τις υπεύθυνες αρχές τεχνητής νοημοσύνης.

• Επεκτασιμότητα: Η μέθοδος μετά την εκπαίδευση είναι επεκτάσιμη σε άλλες εργασίες, επιτρέποντας στο μοντέλο AFM να ​​υποστηρίζει περισσότερες λειτουργίες Apple Intelligence.

Βελτιστοποίηση συμπερασμάτων

Το AFM όχι μόνο πρέπει να έχει ισχυρές δυνατότητες κατανόησης γλώσσας, αλλά πρέπει επίσης να μπορεί να λειτουργεί αποτελεσματικά σε συσκευές όπως iPhone, iPad και Mac, καθώς και σε Private Cloud Compute σε διακομιστές πυριτίου της Apple. Για την επίτευξη αυτού του στόχου, η Apple έχει αναπτύξει μια σειρά τεχνικών βελτιστοποίησης για να διασφαλίσει ότι τα μοντέλα AFM εκτελούνται αποτελεσματικά σε συγκεκριμένες εργασίες, διατηρώντας παράλληλα τη συνολική ποιότητα του μοντέλου.

Βελτιστοποίηση:

• Κβαντοποίηση μοντέλου: Χρησιμοποιήστε τεχνολογία κβαντοποίησης 4 bit για να κβαντοποιήσετε το μοντέλο AFM, μειώνοντας σημαντικά το μέγεθος του μοντέλου και το κόστος συμπερασμάτων.

• Προσαρμογέας ανάκτησης ακρίβειας: Χρησιμοποιήστε τον προσαρμογέα LoRA για να επαναφέρετε την ακρίβεια του κβαντισμένου μοντέλου, ώστε να είναι κοντά στην απόδοση του μη κβαντισμένου μοντέλου.

• Κβαντισμός μικτής ακρίβειας: Κβαντίστε κάθε στρώμα του μοντέλου χρησιμοποιώντας ακρίβεια κβαντισμού 4 και 2 bit για να μειώσετε περαιτέρω τη χρήση μνήμης, διατηρώντας παράλληλα την ποιότητα του μοντέλου.

• Διαδραστική ανάλυση μοντέλου: Χρησιμοποιήστε το εργαλείο Talaria για να αναλύσετε την καθυστέρηση και την κατανάλωση ενέργειας του μοντέλου, να καθοδηγήσετε την επιλογή ρυθμού bit και να βελτιστοποιήσετε την απόδοση του μοντέλου.

• Αντικαταστάσιμοι προσαρμογείς χρόνου εκτέλεσης: Χρησιμοποιήστε προσαρμογείς LoRA για να ρυθμίσετε το μοντέλο σας, ώστε να μπορεί να προσαρμοστεί σε συγκεκριμένες εργασίες, διατηρώντας παράλληλα τη γενική γνώση του μοντέλου.

Περίληψη υπόθεσης-email βελτιστοποίησης:

• Συλλογή δεδομένων: Συλλέξτε δεδομένα εισόδου που περιέχουν αποσπάσματα μηνυμάτων ηλεκτρονικού ταχυδρομείου, μηνυμάτων και ειδοποιήσεων και εκτελέστε καθαρισμό και αφαίρεση των δεδομένων.

• Δημιουργία συνθετικής σύνοψης: Χρησιμοποιήστε τον διακομιστή AFM για να δημιουργήσετε συνθετικές περιλήψεις που πληρούν τις απαιτήσεις του προϊόντος και χρησιμοποιήστε κανόνες και μοντέλα για φιλτράρισμα για να διασφαλίσετε την ποιότητα των δεδομένων.

• Συμβουλή έγχυσης: Προσθέστε περιλήψεις που δημιουργούνται από τον διακομιστή AFM στα δεδομένα εκπαίδευσης για να βοηθήσετε το μοντέλο συσκευής AFM να ​​κατανοήσει καλύτερα και να δημιουργήσει περιλήψεις.

Επιπλέον, η Apple Intelligence ακολουθεί μια σειρά από υπεύθυνες αρχές τεχνητής νοημοσύνης, όπως η ενδυνάμωση των χρηστών, η εκπροσώπηση των χρηστών, ο προσεκτικός σχεδιασμός και η προστασία του απορρήτου. Στην τεχνική έκθεση, η Apple αντικρούει τις κατηγορίες ότι χρησιμοποιεί ηθικά αμφισβητήσιμες μεθόδους για την εκπαίδευση ορισμένων μοντέλων, επαναλαμβάνοντας ότι δεν χρησιμοποιεί προσωπικά δεδομένα χρηστών και αντίθετα χρησιμοποιεί έναν συνδυασμό διαθέσιμων και αδειοδοτημένων δεδομένων για σκοπούς της Apple. Τόνισαν ότι τα δεδομένα εκπαίδευσης για το μοντέλο AFM ελήφθησαν με «υπεύθυνο» τρόπο.