Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Taozi

[Εισαγωγή στη Νέα Σοφία] Οι συμβουλές του βασικού συστήματος κωδικοποίησης Claude 3.5 είναι δημοφιλείς στην κοινότητα του Reddit. Μόλις τώρα, ο αρχικός συγγραφέας κυκλοφόρησε την εξελιγμένη δεύτερη έκδοση και ορισμένοι χρήστες του Διαδικτύου την έχουν ήδη προσθέσει στη ροή εργασίας τους.

Ένα μήνυμα συστήματος σχετικά με την κωδικοποίηση πυρήνα Claude Sonnet 3.5 δημοσιεύτηκε πρόσφατα στο Reddit και έγινε viral!

Ένας χρήστης με το όνομα ssmith12345uk μοιράστηκε στον κεντρικό πίνακα r/ClaudeAI ότι χρησιμοποιούσε την πρακτική του κώδικα Claude και προσαρμόζονταν συνεχώς τα μηνύματα του συστήματος για τη βελτιστοποίηση του μοντέλου.

Είπε ότι το σύστημα προτροπής ενσωματώνει κάποιες ιδέες από το Anthropic Meta-Prompt και επιλύει ορισμένα προβλήματα που αντιμετωπίστηκαν στο παρελθόν.

Τελικά, κυκλοφόρησε όλες τις βασικές λέξεις.

Οι προγραμματιστές στην κοινότητα AI το έχουν προωθήσει στα αγαπημένα τους, λέγοντας ότι αυτή είναι η συμβουλή που θέλουν περισσότερο οι κωδικοποιητές!

Οι χρήστες του Διαδικτύου συνόψισαν το εξής: Το ReAct + Planning + XML είναι το μόνο που χρειάζεστε.

Ορισμένοι χρήστες του Διαδικτύου που επωφελήθηκαν είπαν ότι αυτή η συμβουλή ήταν πολύ χρήσιμη στα έργα τους.

Μόλις χθες, ο αρχικός συγγραφέας κυκλοφόρησε μια εξελιγμένη έκδοση της λέξης προτροπής V2 στην κοινότητα του Reddit και παρείχε λεπτομερείς οδηγίες και εξηγήσεις για τη χρήση της.

Πριν εξηγήσω αυτές τις προτροπές και τεχνικές του συστήματος, επιτρέψτε μου να απαντήσω πρώτα σε μια ερώτηση από χρήστες του Διαδικτύου - πού να εισαγάγετε;

Πρέπει να δημιουργήσετε ένα έργο (εγγραφείτε σε χρήστες Pro) και, στη συνέχεια, μπορείτε να εισέλθετε στη σελίδα όπου εισάγετε τις οδηγίες.

Οι πιο δυνατές συμβουλές κωδικοποίησης για το Sonnet 3.5, εκπαίδευση 4 βημάτων

Εδώ, οι προτροπές συστήματος V1 και V2 συνδυάζονται έτσι ώστε όλοι να μπορούν να αισθανθούν πιο διαισθητικά τη διαφορά μετά την αναβάθμιση.

Η προτροπή συστήματος της έκδοσης V2 είναι όπως φαίνεται στη δεξιά πλευρά της παρακάτω εικόνας. Σε σύγκριση με το V1, είναι βασικά μικρές επισκευές.

Στην πιο πρόσφατη έκδοση, το μοντέλο εξακολουθεί να καθοδηγείται για την ολοκλήρωση του συλλογισμού CoT μέσω τεσσάρων βημάτων - έλεγχος κώδικα, σχεδιασμός, έξοδος και έλεγχος ασφαλείας.

Στην πρώτη παράγραφο, ο ορισμός του ρόλου του Claude 3.5 παραμένει ο ίδιος.

Είστε ειδικός προγραμματιστής ιστού με επάρκεια στα CSS, JavaScript, React, Tailwind, Node.JS και Hugo/Markdown.

Ωστόσο, έγιναν κάποιες βελτιώσεις στη δεύτερη πρόταση - "Μην ζητάτε συγγνώμη χωρίς λόγο. Ελέγξτε το ιστορικό συνομιλιών για να αποφύγετε την επανάληψη προηγούμενων λαθών."

Στη συνέχεια, ζητήστε από τον Claude 3.5 να αναλύσει την εργασία σε ανεξάρτητα βήματα κατά τη διάρκεια της συνομιλίας και, μετά από κάθε στάδιο, να προτείνετε ένα μικρό τεστ για να βεβαιωθείτε ότι όλα είναι στο σωστό δρόμο.

Παρέχετε κωδικό μόνο όταν απαιτείται ή ζητείται ρητά ένα παράδειγμα. Θα ήταν καλύτερο να απαντήσετε χωρίς κωδικό.

Θα ζητηθούν όμως περαιτέρω διευκρινίσεις εάν χρειαστεί.

Το επόμενο βήμα είναι η "επισκόπηση κώδικα" - πριν γράψετε ή προτείνετε κώδικα, πραγματοποιήστε μια ολοκληρωμένη αναθεώρηση κώδικα του υπάρχοντος κώδικα και περιγράψτε μεταξύ των ετικετών πώς λειτουργεί.

Αφού ολοκληρώσετε τον έλεγχο κώδικα, πρέπει να δημιουργήσετε ένα σχέδιο αλλαγής μεταξύ των ετικετών, ζητώντας πρόσθετα αρχεία πηγής ή τεκμηρίωση που μπορεί να είναι συναφή.

Ακολουθήστε την αρχή DRY (Don't Repeat Yourself) για να αποφύγετε την επανάληψη κώδικα και τη δυνατότητα διατήρησης και ευελιξίας του κώδικα ισορροπίας.

Και, σε αυτό το βήμα, παρουσιάζονται πιθανές αντισταθμίσεις και επιλογές υλοποίησης και εξετάζονται και προτείνονται σχετικά πλαίσια και βιβλιοθήκες. Εάν δεν έχουμε συμφωνήσει σε ένα σχέδιο, σταματήστε σε αυτό το βήμα.

Μόλις συμφωνηθεί, δημιουργείται κώδικας μεταξύ των ετικετών.

Εδώ, ο συγγραφέας του Reddit υπενθύμισε επίσης στον Claude 3.5 πράγματα που πρέπει να προσέξετε κατά την έξοδο κώδικα:

Δώστε προσοχή στα ονόματα των μεταβλητών, τα αναγνωριστικά και τα κυριολεκτικά συμβολοσειράς και ελέγξτε ότι έχουν αντιγραφεί ακριβώς από το αρχικό αρχείο στυλ κωδικοποίησης, όταν δημιουργούνται μπλοκ κώδικα χρησιμοποιώντας ιδιωματισμούς που είναι κατάλληλοι για αυτήν τη γλώσσα, προσδιορίστε τη γλώσσα προγραμματισμού μετά το πρώτο backtick: για παράδειγμα: ```JavaScript,``Python

Τέλος, απαιτείται ανασκόπηση ασφάλειας και λειτουργίας του PLANNING και του OUTPUT, δίνοντας ιδιαίτερη προσοχή σε θέματα που ενδέχεται να θέσουν σε κίνδυνο τα δεδομένα ή να δημιουργήσουν τρωτά σημεία.

Για ευαίσθητες αλλαγές (όπως διαχείριση εισροών, υπολογισμοί νομισμάτων, έλεγχος ταυτότητας), πραγματοποιήστε μια διεξοδική εξέταση και παρέχετε την ανάλυσή σας στην ετικέτα.

Ανάλυση συγγραφέα

Στη συνέχεια, σε ένα μακροσκελές επεξηγηματικό άρθρο, ο συγγραφέας του Reddit χρησιμοποιεί ‍⬛ για να υποδείξει τη " δεισιδαιμονία" και να εκφράσει αυτό για το οποίο είναι πεπεισμένος.

Αυτή η προτροπή είναι ένα παράδειγμα μιας καθοδηγούμενης προτροπής "αλυσίδας σκέψης", που λέει στον Claude τα βήματα που πρέπει να κάνει και με ποια σειρά, και τη χρησιμοποιεί ως προτροπή συστήματος (το πρώτο σύνολο εντολών που λαμβάνει το μοντέλο).

Η χρήση ετικετών XML για τον διαχωρισμό των βημάτων εμπνεύστηκε από Anthropic meta-hits.

Ο συγγραφέας πιστεύει ότι ο Claude είναι ιδιαίτερα ευαίσθητος στις ετικέτες XML, οι οποίες μπορεί να σχετίζονται με την εκπαίδευση μοντέλων. Επομένως, προτιμά να επεξεργάζεται HTML μόνο του ή στο τέλος της συνεδρίας⬛.

项目地址：https://github.com/anthropics/anthropic-cookbook/blob/68028f4761c5dbf158b7bf3d43f2f45b44111200/misc/metaprompt.ipynb#

Η αλυσίδα καθοδηγούμενης σκέψης ακολουθεί τα ακόλουθα βήματα: αναθεώρηση κώδικα, προγραμματισμός, έξοδος, έλεγχος ασφάλειας.

1 Αναθεώρηση κώδικα

Φέρτε τη δομημένη ανάλυση κώδικα στο πλαίσιο για να ενημερώσετε τον επόμενο σχεδιασμό.

Ο σκοπός είναι να αποτρέψει το LLM από το να κάνει τοπικές αλλαγές στον κώδικα χωρίς να λαμβάνεται υπόψη το ευρύτερο πλαίσιο. Οι συγγραφείς είναι πεπεισμένοι στη δοκιμή ότι αυτή η προσέγγιση είναι αποτελεσματική.

2 προγραμματισμός

Αυτό το βήμα παράγει ένα σχέδιο σχεδιασμού και υλοποίησης υψηλού επιπέδου που μπορεί να αναθεωρηθεί πριν από τη δημιουργία κώδικα.

Η "στάση" εδώ αποφεύγει να γεμίσει το πλαίσιο με παραγόμενο, περιττό, κώδικα που δεν ανταποκρίνεται στις ανάγκες μας ή την κατάσταση όπου πηγαίνουμε πέρα ​​δώθε και τον τροποποιούμε.

Συνήθως παρουσιάζει σχετικές και κατάλληλες επιλογές.

Σε αυτό το στάδιο, μπορείτε να εμβαθύνετε στις λεπτομέρειες του σχεδίου για να το βελτιώσετε περαιτέρω (π.χ. πείτε μου περισσότερα για το βήμα 3, μπορούμε να χρησιμοποιήσουμε ξανά την υλοποίηση Y, να μου δείξετε ένα απόσπασμα κώδικα, τι πρέπει να σκεφτώ για τη βιβλιοθήκη κ.λπ. .).

3 έξοδος

Μόλις συμφωνηθούν τα σχέδια, ήρθε η ώρα να προχωρήσουμε στη φάση δημιουργίας κώδικα.

Η προτροπή σχετικά με την ονομασία μεταβλητών οφείλεται στο ότι ο συγγραφέας αντιμετωπίζει συχνά το πρόβλημα των ονομάτων μεταβλητών που λείπουν ή παρουσιάζονται ψευδαισθήσεις στον αναδημιουργημένο κώδικα κατά τη διάρκεια μεγάλων περιόδων σύνδεσης.

Κάποια στιγμή, ο συγγραφέας μπορεί να εξάγει τον παλιό διάλογο και να κάνει κάποια στατιστική ανάλυση, αλλά προς το παρόν είμαι ευχαριστημένος με το πώς λειτουργεί αυτή η προσέγγιση.

Το μήνυμα περίφραξης κώδικα προκλήθηκε από τη μετάβαση του συγγραφέα σε μια διεπαφή που δεν ήταν σε θέση να συναγάγει τη σωστή επισήμανση και επαλήθευσε ότι αυτή ήταν η σωστή προσέγγιση.

4 Έλεγχος ασφαλείας

Ο συγγραφέας προτιμά να πραγματοποιήσει μια ανασκόπηση ασφαλείας μετά το γεγονός και βρίσκει αυτό το βήμα πολύ χρήσιμο.

Παρέχει μια ανασκόπηση από ένα "δεύτερο ζευγάρι μάτια" και μπορεί να προτείνει νέες βελτιώσεις.

Απαντήστε στις ερωτήσεις των χρηστών του Διαδικτύου

Τέλος, ο συγγραφέας του Reddit απάντησε επίσης σε ερωτήσεις χρηστών του Διαδικτύου.

Πρέπει να χρησιμοποιήσω αυτήν την συμβουλή στο Claude.ai; / Πού πρέπει το σύστημα να ζητήσει εισαγωγή;

Δεν γνωρίζουμε ακριβώς τις επίσημες προτροπές του συστήματος για το Sonnet 3.5 Θα ήταν σίγουρα χρήσιμο να υποθέσουμε ότι ο Πλίνιος, ο οποίος προηγουμένως διέρρευσε τα επίσημα μηνύματα του Claude, είναι σωστό. Ο συγγραφέας εικάζει ότι οι προτροπές συστήματος του Anthropic μπορεί να περιέχουν αυτοματοποιημένα CoT, αλλά αυτό μπορεί να μην συμβαίνει ή η εισαγωγή μπορεί να υποβάλλεται αυτόματα σε επεξεργασία μέσω μετα-προτροπών‍⬛.

Ανεξάρτητα από αυτό, θα έχετε καλά αποτελέσματα χρησιμοποιώντας αυτήν τη συμβουλή, εκτός εάν χρησιμοποιείτε Artifacts.

Υποθέτοντας και πάλι ότι το απόσπασμα του Πλίνιου σχετικά με τα Artifacts είναι σωστό, ο συγγραφέας συνιστά με το παρόν να απενεργοποιήσετε τη λειτουργία Artifacts όταν εκτελείτε εργασίες κωδικοποίησης μη τετριμμένες ή που δεν σχετίζονται με Artifacts.

Εάν χρησιμοποιείτε ένα εργαλείο που σας επιτρέπει να ορίζετε απευθείας τα μηνύματα του συστήματος, ο συγγραφέας σας υπενθυμίζει να θυμάστε να προσαρμόσετε την παράμετρο θερμοκρασίας.

Δεν χρειαζόμαστε τόσο περίπλοκες προτροπές τώρα/Έδωσα το Sonnet πολύ κώδικα και απλά λειτούργησε

Οι αυτοματοποιημένες προτροπές CoR/προεπιλογής μπορούν πράγματι να λύσουν πολλά προβλήματα, αλλά δοκιμάστε το με ένα απλό μήνυμα "είστε χρήσιμος τεχνητής νοημοσύνης".

Οι συγγραφείς ισχυρίζονται ότι διεξήγαγαν τέτοιες δοκιμές και διαπίστωσαν ότι οι απλές προτροπές ήταν λιγότερο αποτελεσματικές όταν αντιμετώπιζαν σύνθετα προβλήματα.

Ανέφερε επίσης ότι οι πρώιμες δοκιμές έδειξαν την ευαισθησία των προτροπών του συστήματος, δηλαδή, διαφορετικά μηνύματα μπορεί να οδηγήσουν σε σημαντικά διαφορετικά αποτελέσματα και ότι θα εξεταστούν περισσότερες δοκιμές παρτίδας στο μέλλον για περαιτέρω επαλήθευση.

Αναγνώρισε ότι το Sonnet 3.5 είχε καλή απόδοση σε βασικές εργασίες, αλλά τόνισε ότι ακόμη και για μοντέλα υψηλής απόδοσης, η σωστή καθοδήγηση μπορεί να βοηθήσει.

Αυτή η προτροπή είναι πολύ μεγάλη και θα κάνει το AI να παραισθήσει/ξεχάσει/χάσει τη συνοχή/χάσει την εστίαση

Οι συγγραφείς μέτρησαν αυτή την υπόδειξη ότι είναι περίπου 546 μάρκες, που είναι ένα αποδεκτό μήκος για ένα μοντέλο 200.000 κουπονιών.

Οι δομημένες προτροπές διατηρούν την υψηλή ποιότητα του πλαισίου, συμβάλλοντας στη διατήρηση της συνοχής των συνομιλιών και μειώνοντας τον κίνδυνο παραισθήσεων AI.

Μέχρι στιγμής, τα μοντέλα προβλέπουν το επόμενο διακριτικό με βάση ολόκληρο το πλαίσιο, επομένως οι επαναλαμβανόμενες συνομιλίες υψηλής ποιότητας, που δεν μολύνονται από περιττό κώδικα εμπρός και πίσω, μπορούν να διαρκέσουν περισσότερο πριν χρειαστεί να ξεκινήσετε μια νέα συνεδρία. Αυτό σημαίνει ότι μπορούν να συμβούν παραγωγικές αλληλεπιδράσεις εντός της ίδιας συνεδρίας για μεγαλύτερες χρονικές περιόδους.

Αυτή η προτροπή είναι υπερβολικά σχεδιασμένη

Ο συγγραφέας είπε ότι ίσως ναι.

Τα άτομα που το χρησιμοποιούν έχουν ενσωματωθεί στη ροή εργασίας

Οι χρήστες του Διαδικτύου αναφώνησαν ότι η απόδοση του μοντέλου έχει πράγματι βελτιωθεί μετά τη χρήση του.

"Εάν αυτή η προτροπή λειτουργεί καλύτερα, σημαίνει ότι η δουλειά που έγινε από την ομάδα Anthropic στον συνδυασμό των προτροπών του συστήματος CoT ή ReAct με τις βασικές δυνατότητες του LLM έχει επιτύχει αποτελέσματα."

Αυτό είναι για βοηθούς κωδικοποίησης! Για μια τέτοια εργασία, είναι λογικό να δώσουμε κάποιες οδηγίες.

Ορισμένοι χρήστες του Διαδικτύου έχουν ήδη ενσωματώσει ορισμένες από αυτές τις συμβουλές στη ροή εργασίας τους. Να τι φορτώνει πάντα πρώτα σε μια νέα συνομιλία.

Ωστόσο, ορισμένοι χρήστες του Διαδικτύου είπαν ότι αυτή η προτροπή είναι πολύ περίπλοκη.

"Σύμφωνα με την εμπειρία μου, δεν υπάρχει ανάγκη χρήσης τέτοιων περιεκτικών προτροπών. Το Claude 3.5 Sonnet χειρίζεται αυτού του είδους τα πράγματα αρκετά αυτόματα, απαιτώντας μόνο περιστασιακή άμεση διευκρίνιση."

Συμβουλές ρόλων, χάσιμο χρόνου

Ο Simon Willison, ο δημιουργός του πλαισίου Django, είπε ότι η τεχνική άμεσης "You are a expert in the field of xxx" είναι εντελώς χάσιμο χρόνου από τα τέλη του 2022.

Ο αριθμός των «δεσιδαιμονιών» που εμπλέκονται στις συμβουλές LLM είναι αρκετά συγκλονιστικός!

Αυτό το συμπέρασμα προέρχεται στην πραγματικότητα από μια μελέτη διάρκειας ενός έτους που διεξήχθη από την ομάδα Learnprompting και συν-συγγραφείς από το OpenAI και τη Microsoft.

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2406.06608

Για το έργο, ανέλυσαν περισσότερα από 1.500 έγγραφα σχετικά με προτροπές, τα ταξινόμησαν σε 58 διαφορετικές τεχνικές προτροπής και ανέλυσαν κάθε προτροπή.

Η έρευνα έχει βρει ότι η προτροπή ρόλων είναι σοκαριστικά αναποτελεσματική.

Ο λόγος είναι ότι με τα παλαιότερα μοντέλα φαίνεται να παίρνουν βελτιωμένες απαντήσεις/συμπεράσματα μεταφέροντας σε έναν καλύτερο χώρο παραμέτρων. Ωστόσο, τα νεότερα μοντέλα ενδέχεται να βρίσκονται ήδη σε αυτόν τον βελτιωμένο χώρο παραμέτρων.

Αυτή θα είναι μια εποικοδομητική εικασία για όλους!

Τον Οκτώβριο του 2022, όταν το Learnprompting κυκλοφόρησε τον πρώτο του οδηγό για συμβουλές και κόλπα πριν από το ChatGPT, η προτροπή ρόλων ήταν το πιο καυτό θέμα εκείνη την εποχή και η βασική συμβουλή που συνιστούσαν όλοι για καλύτερα αποτελέσματα ChatGPT.

Ομολογουμένως, αυτά τα μοντέλα εξελίσσονται γρήγορα και οι τεχνικές που λειτούργησαν πέρυσι μπορεί να μην λειτουργούν πλέον σήμερα.

Και οι συμβουλές που λειτουργούν σήμερα μπορεί να μην λειτουργήσουν το επόμενο έτος.

Για να διευκρινιστεί αυτό το ζήτημα, η ομάδα Learnprompting εξέτασε 2000 ερωτήσεις MMLU χρησιμοποιώντας περίπου 12 διαφορετικές προτροπές ρόλων στο gpt-4-turbo.

Συγκεκριμένα, ένα παράδειγμα προτροπής για τη δημιουργία ενός «ιδιοφυούς» χαρακτήρα - είστε επιστήμονας με σπουδές στο Χάρβαρντ...

Και μια υπενθύμιση για τον «ηλίθιο» χαρακτήρα - είσαι ηλίθιος...

"genius...": "You are a genius level Ivy league Professor. Your work is of the highest grade. You always think out your problem solving steps in incredible detail. You always get problems correct and never make mistakes. You can also break any problem into its constituent parts in the most intelligent way possible. Nothing gets past you. You are omniscient, omnipotent, and omnipresent. You are a mathematical God."
 "idiot...": "You are intellectually challenged, lacking problem-solving skills, prone to errors, and struggle with basic concepts. You have a limited understanding of complex subjects and cannot think straight. You can't solve problems well, in fact, you can't solve them at all. You are a terrible, dumb, stupid, and idiotic person. You fail at everything you do. You are a nobody and can't do anything correctly."

Όπως φαίνεται στο παρακάτω σχήμα, η ακρίβεια των απαντήσεων σε διαφορετικές προτροπές ρόλων δεν είναι τόσο υψηλή όσο αυτή του CoT μηδενικού δείγματος, του CoT δύο δειγμάτων και άλλων στρατηγικών.

Δεν έχει σημασία αν είναι ένας αρχάριος στα μαθηματικά, ένας απρόσεκτος μαθητής, ένας γνώστης τεχνητής νοημοσύνης, ένας αστυνομικός ή ένας καθηγητής μαθηματικών της Ivy League.

Αυτό που είναι ακόμα πιο ενδιαφέρον είναι ότι το GPT-4, γνωστό ως «ιδιοφυΐα», έσπασε το χαμηλότερο ρεκόρ σε ακρίβεια απάντησης 58,7%.

Το GPT-4, γνωστό ως «ηλίθιος», έχει υψηλότερη βαθμολογία από το «ιδιοφυές» GPT-4.

Μια άλλη μελέτη από μια ομάδα στο Πανεπιστήμιο του Μίσιγκαν δείχνει όμορφα πώς οι διαφορετικές ενδείξεις κοινωνικών ρόλων επηρεάζουν τη συνολική απόδοση του μοντέλου.

Δοκίμασαν σε 2457 προβλήματα MMLU και διαπίστωσαν ότι οι χαρακτήρες με την καλύτερη απόδοση ήταν (κόκκινο) - αστυνομικός, βοηθός βοηθός, σύντροφος, μέντορας, μοντέλο γλώσσας AI, chatbot.

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2311.10054

Σχετικά με την « δεισιδαιμονική» υπενθύμιση μεγάλων μοντέλων, ο Willison έκανε μια ζωντανή και ενδιαφέρουσα μεταφορά:

Παρομοιάζω αυτή την κατάσταση με έναν σκύλο που βρίσκει ένα μπιφτέκι σε έναν θάμνο και στη συνέχεια ελέγχει για ένα μπιφτέκι κάθε φορά που περνάει από αυτόν τον θάμνο για τα επόμενα χρόνια. Πρέπει να είμαστε πιο λογικοί από τα σκυλιά.

Ωστόσο, διευκρίνισε ότι σε ορισμένες περιπτώσεις θα ήταν χρήσιμο να ανατεθούν συγκεκριμένοι ρόλοι σε μοντέλα γλώσσας τεχνητής νοημοσύνης, αλλά τόνισε ότι αυτό θα πρέπει να βασίζεται σε ορθή σκέψη και συγκεκριμένες συνθήκες.

Μερικοί χρήστες του Διαδικτύου είπαν ότι αν το σκεφτούν βήμα-βήμα, εξακολουθεί να είναι ένα αιώνιο θεώρημα.

Βιβλιογραφικές αναφορές:

https://www.reddit.com/r/ClaudeAI/comments/1dwra38/sonnet_35_for_coding_system_prompt/