νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ο δυτικός άνεμος του Τζιν Λέι προέρχεται από τον ναό Αοφέι
Qubits | Δημόσιος λογαριασμός QbitAI

Μετά τον Ντέβιν, άλλοςΜηχανικός λογισμικού AIΗ οθόνη σύρθηκε——

λέγεταιΤζίνι, γνωστό ως ρεύμαΤο πιο δυνατό στην επιφάνεια, μπορεί ήδη να σκέφτεται και να ενεργεί σαν άνθρωποι!

Πόσο δυνατό είναι λοιπόν αυτό το «πιο δυνατό στην επιφάνεια»;

Ας ρίξουμε μια ματιά πρώταΒαθμολογία κριτικής。

Στην έγκυρη λίστα SWE-Bench, η Τζίνι έλυσε30.07%Η βαθμολογία της ερώτησης ήταν στην κορυφή της λίστας.

(Το SWE-Bench είναι ένα σημείο αναφοράς που χρησιμοποιείται για την αξιολόγηση μεγάλων μοντέλων για την επίλυση προβλημάτων λογισμικού του πραγματικού κόσμου.)

Αυτό το αποτέλεσμα μπορούμε να πούμε ότι είναι πολύ μπροστά από τη δεύτερη θέση κατά 19,27%, ξεκλειδώνονταςΗ μεγαλύτερη αύξηση στη βελτίωση SOTA - 57%!

Όσο για το ΤζίνιΠραγματικό αποτέλεσμα, σύμφωνα με τα λόγια της ομάδας:

Μπορεί να λύσει προβλήματα λογισμικού της πραγματικής ζωής όπως και οι άνθρωποι μηχανικοί.

Πρώτα απ 'όλα, μπορείτε να χρησιμοποιήσετε 4 τρόπους για να ξεκινήσετε το Genie, συγκεκριμένα λέξεις προτροπής, Ζήτημα GitHub, Γραμμικό εισιτήριο ή API.

Λαμβάνοντας ως παράδειγμα την επίλυση προβλημάτων GitHub, πρώτα τροφοδοτήστε το Genie με έναν σύνδεσμο προς το repo και θα ξεκινήσειΑυτόματη επίλυση προβλημάτωνΠήρα:

Λέσχη ΤζίνιΑυτόματη επαναληπτική σκέψηΑν θέλει να λύσει αυτό το πρόβλημα, τι αρχεία χρειάζεται μέχρι να νιώσει ότι έχει βρει ένα με το οποίο είναι ικανοποιημένος:

Αμέσως μετά θα κάνει αΑυτόματη επαναληπτική ανάλυσηΗ διαδικασία:

Τότε η Τζίνι άρχισε να "σουιτσάρει, σούϊχ, σούϊχ"Αυτόματη εγγραφή + εκτέλεση κώδικαΠήρα:

Εάν παρουσιαστεί σφάλμα κατά την εκτέλεση του κώδικα, το Genie θα επικεντρωθεί μόνο στην προβληματική περιοχή και θα επαναλάβει τη διαδικασία ανάλυσης, εγγραφής κώδικα και εκτέλεσης μέχρι να ολοκληρωθεί.

Η όλη διαδικασία απαιτεί μόνο χρόνο84 δευτερόλεπτα！

Με τα λόγια της ομάδας:

Η Τζίνι έχει παρακολουθήσει και μάθει από το πώς οι άνθρωποι προγραμματιστές λύνουν προβλήματα λογισμικού εκατομμύρια φορές.
Αυτός είναι ένας αριθμός που κανένας προγραμματιστής δεν μπορεί να πετύχει σε μια ζωή.

Αλλά αυτό που είναι ακόμα πιο απροσδόκητο είναι η ομάδα πίσω από το Genie--Συνημίτονο, μόνο 5 άτομα。

Και ο Διευθύνων Σύμβουλος Alistair δημοσίευσε επίσης ένα μήνυμα ευχαριστώντας το OpenAI:

Δεν θα μπορούσαμε να φτιάξουμε το Τζίνι χωρίς εσένα.

Πώς λοιπόν η ομάδα Cosine έφτιαξε το Genie;

Πώς να γίνετε ο ισχυρότερος μηχανικός AI;

Το κύριο χαρακτηριστικό του Genie είναι η ικανότητά του να μιμείται τις γνωστικές διαδικασίες, τη λογική και τη ροή εργασίας των ανθρώπινων μηχανικών.

Για να γίνει αυτό, η ομάδα του Genie αποκάλυψε ότι συνέλεξε ένα σύνολο δεδομένων που περιείχε τις δραστηριότητες ανάπτυξης πραγματικών ανθρώπινων προγραμματιστών τον περασμένο χρόνο.

Δεν χρησιμοποιεί μόνο ανάλυση αποτελεσμάτων, στατική ανάλυση, αυτο-παιχνίδι, επαλήθευση βήμα προς βήμα και άλλες μεθόδους, αλλά χρησιμοποιεί επίσης μοντέλα τεχνητής νοημοσύνης που έχουν εκπαιδευτεί με βάση μεγάλο αριθμό δεδομένων με ετικέτα. Το πλεονέκτημα είναι ότι όσο βελτιώνονται οι δυνατότητες των υποκείμενων μοντέλων, βελτιώνεται και η ποιότητα των δεδομένων που μπορούν να εξαγάγουν.

Επιτέλους ΤζίνιΧρησιμοποιήστε αυτά τα ιδιόκτητα δεδομένα για εκπαίδευση。

Η πλήρης διαδικασία του ανθρώπινου συλλογισμού κωδικοποιείται στο σύνολο δεδομένων, συμπεριλαμβανομένης της τέλειας ανίχνευσης πληροφοριών, της σταδιακής ανακάλυψης γνώσης και της διαδικασίας λήψης αποφάσεων βήμα προς βήμα με βάση πραγματικές περιπτώσεις εργασίας μηχανικών λογισμικού.

Η συλλογιστική διαδικασία του Τζίνι περιλαμβάνειΣχεδιασμός, ανάκτηση, συγγραφή κώδικα και εκτέλεση κώδικαΤα τέσσερα βασικά βήματα ξεπερνούν τους περιορισμούς άλλων μηχανικών τεχνητής νοημοσύνης που βασίζονται στην προσθήκη πρόσθετων εργαλείων όπως προγράμματα περιήγησης ιστού και διερμηνείς κώδικα πάνω από το βασικό μοντέλο και μπορούν να χειριστούν διάφορα, εξαιρετικά περιστασιακά και πρωτόγνωρα προβλήματα όπως οι άνθρωποι.

Αυτή η μέθοδος εκπαίδευσης έκανε τους χρήστες του Διαδικτύου να σκεφτούν αμέσως παρόμοιες ιδέες που είχε παρουσιάσει η Karpathy στο παρελθόν:

Για το LLM, τα ιδανικά δεδομένα εκπαίδευσης δεν είναι το ίδιο το περιεχόμενο που γράφετε, αλλά η πλήρης διαδικασία σκέψης σας και κάθε ενέργεια επεξεργασίας κατά τη διάρκεια της διαδικασίας συγγραφής. Ωστόσο, μπορούμε να κάνουμε ό,τι καλύτερο μπορούμε με τους πόρους που διαθέτουμε.

Επιπλέον, η εκπαίδευση Genie εισάγει επίσηςμηχανισμός αυτοβελτίωσης。

Τα αρχικά δεδομένα εκπαίδευσης είναι ως επί το πλείστον κώδικας χωρίς σφάλματα που μπορεί να εκτελεστεί κανονικά, γεγονός που καθιστά δύσκολο για το Genie να αντιμετωπίσει καταστάσεις σφαλμάτων. Για να λύσει αυτό το πρόβλημα, η ομάδα χρησιμοποίησε την πρώτη έκδοση του Genie για να δημιουργήσει συνθετικά δεδομένα που περιέχουν σφάλματα και στη συνέχεια χρησιμοποίησε αυτά τα δεδομένα για να εκπαιδεύσει την επόμενη έκδοση του μοντέλου.

Συγκεκριμένα, η παλιά έκδοση του Genie χρησιμοποιείται για να προτείνει μια λύση και αν η λύση είναι λανθασμένη, χρησιμοποιείται η κατακτημένη τελική κατάσταση της εργασίας για να τη διδάξει να φτάσει στη σωστή κατάσταση από την τρέχουσα κατάσταση.

Με την επανάληψη αυτής της διαδικασίας, η αρχική λύση που προτείνει ο Genie γίνεται σταδιακά πιο ακριβής, δίνοντας άμεσα τη σωστή απάντηση στις περισσότερες περιπτώσεις, και ακόμη κι αν κάνει λάθος, απαιτεί μόνο λιγότερες διορθώσεις στο σύνολο δεδομένων.

Ένα άλλο κλειδί για τη βελτίωση των δυνατοτήτων του Genie βρίσκεται στη μεγάλη υποστήριξη μοντέλων που παρέχεται από το OpenAI.

Η ομάδα δήλωσε ότι όταν ανέπτυξαν για πρώτη φορά το Genie, μπορούσαν να έχουν πρόσβαση μόνο σε μοντέλα σύντομων πλαισίου στην περιοχή 16-32k για λεπτομέρεια Μοντέλα Αν και διαπίστωσαν ότι η σχεδιασμένη αρχιτεκτονική είχε ορισμένα πλεονεκτήματα, αλλά περιορίζεται θεμελιωδώς από τον όγκο των πληροφοριών που μπορεί να επεξεργαστεί το μοντέλο σε ένα δεδομένο χρονικό διάστημα.

Αφού δοκιμάσαμε διάφορες μεθόδους συμπίεσης/τεμαχισμού, η μόνη λύση ήταν να χρησιμοποιήσετε ένα μοντέλο με μεγαλύτερο πλαίσιο.

Το OpenAI παρέχει υποστήριξη μοντέλων μακράς διάρκειας και η τελευταία έκδοση του Genie έχει εκπαιδευτεί σε δισεκατομμύρια μάρκες.

Η ομάδα πιστεύει ότι σε σύγκριση με την προσαρμογή υπερπαραμέτρων και τον όγκο δεδομένων, η ποιότητα των δεδομένων είναι το κλειδί. Ως εκ τούτου, διεξήγαγαν επίσης πολλά πειράματα σχετικά με την ανάμειξη δεδομένων, συμπεριλαμβανομένων πολλαπλών διαστάσεων, όπως γλώσσα, τύπος εργασίας, μήκος εργασίας κ.λπ. Ακολουθεί η αναλογία των δεδομένων διαφορετικών γλωσσών προγραμματισμού που χρησιμοποιούνται για την εκπαίδευση του Genie:

Υπάρχουν επίσης αναλογίες δεδομένων διαφορετικών τύπων παρουσιών:

Μια ομάδα μόνο 5 ατόμων

Όπως αναφέραμε παραπάνω, η ομάδα εκκίνησης της Cosine έχει επί του παρόντος μόνο 5 άτομα.

Στην εισαγωγή στον επίσημο ιστότοπο, περιγράφουν επίσης τον εαυτό τους πολύ άμεσα ως:

Μικρό αλλά δυνατό.
Μικρό αλλά δυνατό.

Κρίνοντας από την εισαγωγή, μερικά από τα μέλη είναι από εταιρείες unicorn, κάποια έχουν εμπειρία στη διαχείριση παγκόσμιων ομάδων και μερικά έχουν ξεκινήσει ακόμη και προγραμματισμό από την ηλικία των 8 ετών.

Αλλά όταν ιδρύθηκε για πρώτη φορά το Cosine, ο στόχος τους ήταν μόνο τρειςΚατανοήστε την ανθρώπινη λογική。

Αξίζει να αναφέρουμε ότι ένα από τα μέλη της ομάδας είναι Κινέζος.Γιανγκ Λι, είναι ο συνιδρυτής του Cosine και συμπεριλήφθηκε στο Forbes 30 κάτω των 30 ετών το 2021.

Επιπλέον, σχετικά με το ίδιο το Genie, ο CEO Alistair είπε επίσης:

Αρχίσαμε να οραματιζόμαστε το Genie ήδη από το 2022, αλλά δεν ήταν τεχνικά εφικτό εκείνη την εποχή.
Μόλις τους τελευταίους έξι μήνες το Genie έγινε πραγματικότητα καθώς το μεγάλο μοντέλο ωρίμαζε σταδιακά.

Λοιπόν, πρέπει να πω ότι το μεγάλο μοντέλο έχει συνεισφέρει και πάλι πολύ.

Το Genie μπορεί να υποβάλει αίτηση για τη λίστα αναμονής Οι ενδιαφερόμενοι φίλοι μπορούν να κάνουν κλικ στον σύνδεσμο στο τέλος του άρθρου

Διεύθυνση λίστας αναμονής:
https://cosine.sh/register

Σύνδεσμοι αναφοράς:
[1]https://x.com/alistairpullen/status/1822981361608888619?s=46
[2]https://cosine.sh/blog/genie-technical-report
[3]https://cosine.sh/blog/state-of-the-art
[4]https://x.com/AlistairPullen/status/1823030874579120223
[5]https://x.com/yangli_