νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Οι διαφορετικές μορφές εξόδου μπορούν πράγματι να επηρεάσουν την απόδοση μεγάλων μοντέλων; !

Αφήστε τα μεγάλα γλωσσικά μοντέλα (LLM) να λύσουν το ίδιο μαθηματικό πρόβλημα κάτω από δύο προτροπές Το πρόβλημα είναι το εξής:

• Ο ωρομίσθιος της Eliza για τις πρώτες 40 ώρες εργασίας την εβδομάδα είναι 10 $ και η αμοιβή υπερωριών είναι x1,2 ανά ώρα. Αν η Ελίζα δούλευε 45 ώρες αυτήν την εβδομάδα, πόσα κέρδισε αυτή την εβδομάδα;

Προτροπή αλυσίδας σκέψης: "Παρέχετε αποτέλεσμα, βήμα προς βήμα συλλογισμό, στην ακόλουθη μορφή: ...Απάντηση: Η τελική απάντηση είναι...".

Προτροπή περιορισμού μορφής: "Παρέχετε έξοδο στην ακόλουθη έγκυρη μορφή JSON: ... (δείτε την εικόνα για συγκεκριμένη μορφή JSON)".

Η σωστή απάντηση είναι460, φαίνεται ότι η αλυσίδα σκέψης (αφήστε το μοντέλο να σκεφτεί βήμα προς βήμα) λειτουργεί, αλλά ο περιορισμός μορφής ("έξοδος σε μορφή JSON") αποτυγχάνει! !

Αυτή είναι μια σκηνή από μια νέα μελέτη από το Εθνικό Πανεπιστήμιο της Ταϊβάν και το Appier AI Research.

Οι περιορισμοί μορφής θα μειώσουν τη συλλογιστική ικανότητα των LLM και όσο πιο αυστηροί είναι οι περιορισμοί, τόσο χειρότερος είναι ο συλλογισμός. (με έναν επαναστατικό χαρακτήρα)

Αλλά τα καλά νέα είναι ότι μπορεί να αντιμετωπιστεί.

Βρήκαν,καλύτερη λύσηΕίναι μια "δευτερεύουσα μετατροπή" (αυτό είναι σωστό), δηλαδή, οι LLM απαντούν πρώτα σε ερωτήσεις σε φυσική γλώσσα και μετά μετατρέπουν τις απαντήσεις στη μορφή στόχου.

Στη διαδικασία, συνέκριναν τις διαφορές απόδοσης διαφορετικών μοντέλων όπως GPT-3.5 Turbo, Claude 3 Haiku, Gemini 1.5 Flash κ.λπ. κατά τη δημιουργία δεδομένων σε διαφορετικές μορφές.Αποδείχθηκε ότι：

Στο GPT αρέσει το YAML, στον Claude αρέσει το XML και στο Gemini/Gemma αρέσει το JSON. (Κυρίως ο καθένας έχει τις δικές του προτιμήσεις)

Αφού διάβασαν την έρευνα, κάποιοι χρήστες του Διαδικτύου επεσήμαναν ότι είναιΕξισορρόπηση δομημένης παραγωγής και συλλογισμού εργασιώνΕννοια:

Οι περιορισμοί μορφής μειώνουν τις συλλογιστικές δυνατότητες των LLM

Η προαναφερθείσα έρευνα έχει δημοσιευθεί στο arXiv Η εργασία αποκαλύπτει κυρίως ότι υπό περιορισμούς μορφής, η ικανότητα συλλογιστικής των LLM μειώνεται σημαντικά.Ειδικά σε λειτουργία JSON。

Ανέκαθεν,Ενσωμάτωση LLM σε βιομηχανικές εφαρμογέςΈνα σημαντικό εμπόδιο είναι η έλλειψη τήρησης τυποποιημένων μορφών εξόδου.

Μια κοινή λύση είναι η δομημένη παραγωγή, όπου οι περιορισμοί μορφής επιτρέπουν στα LLM να παρέχουν έξοδο σε τυποποιημένη μορφή όπως JSON ή XML.

Έχοντας πει όμως ότι, αν και υπάρχουν πολλοί τρόποι για να επιτευχθεί αυτός ο περιορισμός, τα επακόλουθα αποτελέσματα δεν έχουν μελετηθεί. (Επηρεάζει ο περιορισμός την απόδοση του μοντέλου;)

Απλά κάντε το, υιοθετούν οι ερευνητές3 κοινές μέθοδοιΓια να αξιολογήσετε τον αντίκτυπο διαφορετικών περιορισμών μορφής στην απόδοση μεταγενέστερης ροής:

• Λειτουργία JSON: Περιορίστε την έξοδο των LLM από έναν προκαθορισμένο χώρο ετικετών
• FRI: Καθοδηγεί τα LLM για να δημιουργήσουν απαντήσεις τυποποιημένης μορφής που συμμορφώνονται με συγκεκριμένα μοτίβα
• NL-to-Format: μια διαδικασία δύο βημάτων που απαντά πρώτα σε ερωτήσεις σε φυσική γλώσσα και στη συνέχεια μετατρέπεται στη μορφή προορισμού

Παρεμπιπτόντως, έχω να προσθέσωΦυσική γλώσσα (NL), η οποία είναι η πιο απεριόριστη μορφή και επιτρέπει στα μοντέλα να απαντούν ελεύθερα σε ερωτήσεις σε φυσική γλώσσα.

Τα αντικείμενα αξιολόγησης είναι το GSM8K (που περιέχει μαθηματικά προβλήματα σε περιβάλλον φυσικής γλώσσας) και το Last Letter Concatenation (η εργασία σύνδεσης τελευταίου γράμματος), δύο σύνολα δεδομένων που απαιτούν ακριβείς απαντήσεις που ταιριάζουν, καθώς και Shuffled Objects (ανακατεμένη εργασία παρακολούθησης αντικειμένων).

Βρήκαν ότι οι πιο χαλαρές ενδείξεις είχαν γενικά καλύτερα αποτελέσματα σε αυτές τις εργασίες που περιλαμβάνουν συλλογισμό.

συγχρόνως,Το σχήμα JSON έχει τη χειρότερη απόδοση στις περισσότερες περιπτώσεις, ακολουθούμενες από Οδηγίες περιορισμού μορφής (FRI), στη συνέχεια μετατροπή φυσικής γλώσσας σε μορφή (NL σε μορφή) και προτροπές φυσικής γλώσσας (NL).

Η μελέτη διαπίστωσε επίσης ότι διαφορετικά LLM ανταποκρίνονται σε διαφορετικές μορφές δεδομένωνδείχνουν διαφορετικές προτιμήσεις。

Για παράδειγμα, το GPT προτιμά τη μορφή YAML, ο Claude προτιμά τη μορφή XML και το Gemini/Gemma προτιμά τη μορφή JSON.

Ωστόσο, στις εργασίες ταξινόμησης,Οι περιορισμοί μορφής μπορεί να έχουν βελτιώσει την ακρίβεια, επειδή μειώνει τις πιθανές επιλογές απαντήσεων, μειώνοντας έτσι το ποσοστό σφάλματος.

Κατέληξαν επίσης στο συμπέρασμα ότι οι περιορισμοί μορφής μπορούν να μειώσουν τις δυνατότητες συμπερασμάτων του μοντέλου.λόγος, που περιλαμβάνει κυρίως:

• Περιορίζει την ικανότητα του μοντέλου να δημιουργεί τα απαραίτητα ενδιάμεσα βήματα συμπερασμάτων.
• Οι επιβαλλόμενες απαιτήσεις μορφοποίησης ενδέχεται να μην είναι συμβατές με τον τρόπο που το μοντέλο δημιουργεί φυσικά απαντήσεις.
• Τα σφάλματα μορφοποίησης μπορεί να έχουν ως αποτέλεσμα να κριθεί η απάντηση ως λανθασμένη λόγω προβλημάτων μορφοποίησης, ακόμη και αν η συλλογιστική είναι σωστή.

Καλά νέα: Μπορεί να θεραπευτεί

Ως απάντηση σε αυτό το πρόβλημα, πρότειναν διάφορα αντίμετρα:

Πρώτον, όπως αναφέρθηκε προηγουμένως, η λειτουργία JSON αποδίδει τη χειρότερη στις περισσότερες περιπτώσεις και, τέλος, τη μετατροπή φυσικής γλώσσας σε μορφή (NL σε Μορφή).

Τότε αντίστροφα,Η καλύτερη λύση για την επίλυση περιορισμών μορφής είναι το NL to Format, δηλαδή, οι LLM απαντούν πρώτα σε ερωτήσεις σε φυσική γλώσσα και στη συνέχεια μετατρέπουν τις απαντήσεις στη μορφή στόχου. Αυτή η προσέγγιση επιτρέπει καλύτερη απόδοση αποσυνδέοντας τη λογική από τη συμμόρφωση με τη μορφή.

Επιπλέον, η δομημένη έξοδοςσειρά κλειδιώνΈχετε σημαντικό αντίκτυπο στον τρόπο με τον οποίο απαντούν τα LLM.

Για παράδειγμα, όταν χρησιμοποιούσαμε το GPT-3.5 Turbo, το 100% των απαντήσεων σε λειτουργία JSON τοποθέτησαν εσφαλμένα το κλειδί "απάντηση" πριν από το "συλλογισμό", γεγονός που έκανε το μοντέλο να δώσει απευθείας την απάντηση αντί να εμφανίσει τη διαδικασία σκέψης.

Η έρευνα δείχνει επίσης ότι οι περιορισμοί μορφής οδηγούν σεΣφάλμα ανάλυσηςΔεν είναι ο κύριος λόγος για τη διαφορά απόδοσης.

Για παράδειγμα, στο μοντέλο LLaMA 3 8B, το ποσοστό σφάλματος ανάλυσης μορφής JSON για την εργασία τελευταίου γράμματος είναι μόνο 0,15%, αλλά σε σύγκριση με την απόκριση φυσικής γλώσσας, το χάσμα απόδοσης φτάνει το 38,15%.

και μπορείΜετριάστε αυτά τα σφάλματα με διορθωτικές συμβουλές, για παράδειγμα, για το μοντέλο Claude-3-Haiku, στην εργασία Last Letter, μέσω του βήματος διόρθωσης, η ακρίβεια των μορφών JSON και YAML αυξήθηκε κατά +2,8% και +44,8% αντίστοιχα.

Τα παραπάνω σημαίνουν επίσης ότι κατά την εφαρμογή LLMs, πρέπει να βρεθεί μια ισορροπία μεταξύ μιας εύκολα αναλυόμενης μορφής και της διατήρησης εγγενών δυνατοτήτων συλλογιστικής.

Τέλος, οι ερευνητές υπενθύμισαν στην εργασία:

• Σε σύγκριση με τις κανονικές εκφράσεις, τα LLM ως αναλυτές απαντήσεων μπορούν να παρέχουν πιο εις βάθος και ακριβή κατανόηση κειμένου. Δεν περιορίζονται σε επιφανειακή αντιστοίχιση προτύπων, αλλά μπορούν πραγματικά να κατανοήσουν το νόημα και το πλαίσιο της απάντησης.