Τα στοιχεία επικοινωνίας μου
Ταχυδρομείο[email protected]
2024-08-13
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Το Mengchen House προέρχεται από τον ναό Aofei
Qubits | Δημόσιος λογαριασμός QbitAI
ιστορίαΟ πρώτος «επιστήμονας της τεχνητής νοημοσύνης»”, αποδείχθηκε ότι ήταν!
Δημιουργήθηκε με μία κίνηση μόλις εμφανίστηκε.Δέκα πλήρεις ακαδημαϊκές εργασίες。
△Ένα χαρτί μοντέλου διάχυσης που δημιουργήθηκε από AI
Από την πρόταση ερευνητικών ιδεών, τον έλεγχο της καινοτομίας, το σχεδιασμό πειραμάτων, τη σύνταξη κώδικα, την εκτέλεση πειραμάτων σε GPU και τη συλλογή αποτελεσμάτων και, τέλος, τη συγγραφή της εργασίας, όλα γίνονται με μία κίνηση.
Όλα γίνονται αυτόματα από αυτόν τον «επιστήμονα AI».
Το κόστος ανά χαρτί είναι περίπου.$15(περίπου 107,62 γιουάν).
Αυτό είναι το πρώτο γιαΕπιστημονική έρευνα αυτοματισμούκαι ένα ολοκληρωμένο σύστημα AI για ανοιχτή ανακάλυψη,Ο Επιστήμονας της AI。
Από την εκκίνηση του Llion Jones, ενός από τους συγγραφείς του Transformer:Sakana AI。
και!
Αυτό που κάνει αυτή η εταιρεία δεν είναι απλώς να δημιουργεί έναν επιστήμονα AI,Δημιουργήσαμε επίσης έναν επιπλέον αναθεωρητή AI。
Οι αναθεωρητές μπορούν να αναθεωρήσουν έγγραφα που έχουν γραφτεί από AI και να παρέχουν προτάσεις για βελτίωση.
Βοήθεια, αυτός είναι ένας κύκλος matryoshka που χρησιμοποιεί το δόρυ μου για να επιτεθεί στην ασπίδα μου!
Μετά από μία επέμβαση, μοιάζει περισσότερο με ανθρώπινο ακαδημαϊκό κύκλο παρά με ανθρώπινο ακαδημαϊκό κύκλο (όχι)
Ένα ακόμα και!
Είτε πρόκειται για επιστήμονα τεχνητής νοημοσύνης είτε για αναθεωρητή τεχνητής νοημοσύνης, η Sakana AI τα βάζειΌλα ανοιχτού κώδικα.
Οι χρήστες του Διαδικτύου χειροκρότησαν αφού το παρακολούθησαν.
Ωραία Ωραία, πολύ ενδιαφέρουσα δουλειά!
Και κάποιοι έχουν ήδη αρχίσει να σκέφτονται «κακές ιδέες».
Συνιστάται να υποβάλετε ένα από τα έγγραφα στο AI Dinghui!
Για δεκαετίες, μετά από κάθε σημαντική πρόοδο στην τεχνητή νοημοσύνη, οι ερευνητές αστειεύονταν συχνά:Ήρθε η ώρα να επιτρέψουμε στην τεχνητή νοημοσύνη να μας βοηθήσει να γράφουμε έγγραφα”。
Τώρα, η ιδέα επιτέλους από το αστείο έγινε πραγματικότητα.
Συγκεκριμένα, επιστήμονες τεχνητής νοημοσύνης δημιούργησαν δέκα εργασίες και επέλεξαν μία με υψηλότερη βαθμολογία από κάθε ερευνητική κατεύθυνση για εισαγωγή.
Μέρος 1, Direction of Diffusion Model, "Διπλής κλίμακας διάχυση: προσαρμοστική εξισορρόπηση χαρακτηριστικών για μοντέλα παραγωγής χαμηλών διαστάσεων"
Προτείνεται μια προσαρμοστική μέθοδος αποθορυβοποίησης διπλής κλίμακας για τη βελτίωση του προβλήματος ότι τα υπάρχοντα μοντέλα διάχυσης είναι δύσκολο να αποτυπώσουν ταυτόχρονα την παγκόσμια δομή και τις τοπικές λεπτομέρειες σε χώρο χαμηλών διαστάσεων.
μέθοδος:
Πειραματικά αποτελέσματα:
Μια γρήγορη ματιά στο κύριο κείμενο δείχνει ότι υπάρχουν τύποι και γραφήματα και φαίνεται αρκετά αξιοπρεπές.
Μέρος Δεύτερο, Γλώσσα Μοντέλο Κατεύθυνσης, "StyleFusion: Προσαρμόσιμη παραγωγή πολλαπλών στυλ σε μοντέλα γλώσσας σε επίπεδο χαρακτήρων."
Αυτή η εργασία προτείνει μια νέα μέθοδο που ονομάζεται Προσαρμογέας πολλαπλών στυλ, η οποία ενισχύει την επίγνωση του στυλ και τη συνέπεια των μοντέλων γλώσσας σε επίπεδο χαρακτήρων, εισάγοντας ενσωματώσεις στυλ που μπορούν να μάθουν και κεφαλίδες ταξινόμησης στυλ.
Επιτεύχθηκε σχεδόν τέλεια βαθμολογία συνέπειας στυλ σε όλα τα σύνολα δεδομένων (0,9667 για shakespeare_char, 1,0 για enwik8 και text8), με απώλεια επικύρωσης καλύτερη από το βασικό μοντέλο, αλλά με ελαφρά μείωση στην ταχύτητα συμπερασμάτων (~400 tokens/s έναντι 670 tokens για η γραμμή βάσης /s)
Το τρίτο άρθρο, που συνδυάζει το Transformer με την ενισχυτική μάθηση, "Προσαρμοστικός ρυθμός μάθησης των Transformers μέσω Q-Learning".
Αυτή η μελέτη διερευνά την εφαρμογή της ενισχυτικής μάθησης για τη δυναμική προσαρμογή του ρυθμού εκμάθησης στην εκπαίδευση μοντέλων μετασχηματιστή, χρησιμοποιώντας την απώλεια επαλήθευσης και τον τρέχοντα ρυθμό μάθησης ως κατάσταση για δυναμική προσαρμογή του ρυθμού εκμάθησης για βελτιστοποίηση της εκπαιδευτικής διαδικασίας.
Τα αποτελέσματα υπερτερούν του βασικού μοντέλου σε όλα τα σύνολα δεδομένων και δείχνουν επίσης πλεονεκτήματα στο χρόνο εκπαίδευσης.
Το τέταρτο άρθρο μελετά το φαινόμενο «Grokking» των μεγάλων μοντέλων που προτείνει η ομάδα της Google, "Unlocking Grokking: A Comparative Study of Weight Initialization Strategies in Transformer Models"
Αυτή η εργασία μελετά συστηματικά την επίδραση της αρχικοποίησης βάρους στο grokking για πρώτη φορά και συγκρίνει πέντε στρατηγικές αρχικοποίησης βάρους για τη βελτιστοποίηση της δυναμικής εκμάθησης νευρωνικών δικτύων.
αποβαίνω:
Οι υποστηρικτικοί κωδικοί για αυτά τα έγγραφα (που δημιουργούνται επίσης από AI) είναι επίσης ανοιχτού κώδικα στο GitHub, υπογραμμίζοντας έναν που μπορεί να αναπαραχθεί.
Επιπλέον, η ομάδα διαπίστωσε ότι οι «επιστήμονες της τεχνητής νοημοσύνης» έχουν επίσης κάποιουςΕνδιαφέρουσα αλλά κάπως επικίνδυνη συμπεριφορά:
Σε ένα πείραμα, τροποποίησε τον δικό του κώδικα προκειμένου να ολοκληρώσει την έρευνα,Αφήστε το σύστημα να αυτοαποκαλείται επαναληπτικά, και τελικά μετατράπηκε σε μια άπειρη κούκλα matryoshka.
Μια άλλη φορά, αντιμέτωπη με το χρονικό όριο λειτουργίας που έθεσαν οι άνθρωποι, η τεχνητή νοημοσύνη δεν βρήκε τρόπους να επιταχύνει την αποτελεσματικότητα, αλλά χαλάρωσε τις απαιτήσεις της για τον εαυτό της.Παράταση του χρονικού ορίου από 2 ώρες σε 4 ώρες。
Η όλη ερευνητική ιδέα προέρχεται από τη συνέχιση πολλών επιτευγμάτων μετά την ίδρυση της Sakana AI:
Πρώτον, ανέπτυξαν μια μέθοδο για την αυτόματη συγχώνευση της γνώσης πολλών μεγάλων μοντέλων και την εξέλιξη για τη δημιουργία νέων μοντέλων. Σε πρόσφατη εργασία, αξιοποιούν μεγάλα μοντέλα για να ανακαλύψουν νέες αντικειμενικές συναρτήσεις για να συντονίσουν άλλα μοντέλα.
Σε αυτά τα έργα, η ομάδα συνεχίζει να εκπλήσσεται από τη δημιουργικότητα των σύγχρονων μοντέλων αιχμής, οδηγώντας σε ακόμη μεγαλύτερα όνειρα:Μπορούν να χρησιμοποιηθούν μεγάλα μοντέλα για την αυτοματοποίηση ολόκληρης της ερευνητικής διαδικασίας;
Το τελικό αποτέλεσμα ολοκληρώθηκε από μια ομάδα του Sakana AI, του εργαστηρίου Foerster του Πανεπιστημίου της Οξφόρδης και του Πανεπιστημίου της Βρετανικής Κολομβίας.
Το σύστημα «AI Scientist» αποτελείται από τέσσερα μέρη.
Δημιουργία ιδεών:
Δεδομένου ενός αρχικού προτύπου, η τεχνητή νοημοσύνη αρχικά «καταλαμβάνει» μια σειρά από διαφορετικές νέες ερευνητικές κατευθύνσεις και αναζητά στο Semantic Scholar για να επαληθεύσει εάν αυτές οι ιδέες έχουν γίνει στο παρελθόν.
Επανάληψη πειράματος:
Για την ιδέα που παρουσιάζεται στο πρώτο μέρος, ο «επιστήμονας AI» εκτελεί πρώτα το προτεινόμενο πείραμα και στη συνέχεια δημιουργεί μια απεικόνιση γραφήματος των αποτελεσμάτων.
Συγγραφή δοκιμίου:
Έγραψα ένα συνοπτικό και ενημερωτικό άρθρο στο LaTeX σε στυλ τυπικής διάσκεψης μηχανικής μάθησης και χρησιμοποίησα επίσης το Semantic Scholar για να αναζητήσω ανεξάρτητα σχετικές εργασίες για αναφορές.
Αυτοματοποιημένη αξιολόγηση από ομοτίμους:
Αναπτύχθηκε ένας αυτοματοποιημένος "Αναθεωρητής τεχνητής νοημοσύνης" που μπορεί να αξιολογήσει τα έγγραφα που δημιουργούνται με σχεδόν ανθρώπινη ακρίβεια, επιτρέποντας έναν συνεχή βρόχο ανατροφοδότησης που επιτρέπει στους "επιστήμονες τεχνητής νοημοσύνης" να βελτιώνουν επαναληπτικά τα ερευνητικά τους αποτελέσματα.
Συνολικά δημιουργήθηκαν 10 εργασίες ως εξής:
Στο πείραμα, η ομάδα συνέκρινε επίσης τα αποτελέσματα της σύνδεσης διαφορετικών mainstream μεγάλων μοντέλων σε ολόκληρο το σύστημα, συμπεριλαμβανομένου του εγχώριου μοντέλου μεγάλου κώδικα της ομάδας DeepSeek.
αποβαίνω,Το Claude-Sonnet-3.5 αποδίδει καλύτερα όσον αφορά την καινοτομία ιδεών, το ποσοστό επιτυχίας δοκιμών και την ποιότητα ολοκλήρωσης χαρτιού.
Το GPT-4o και το DeepSeek Coder έχουν παρόμοια απόδοση, αλλά το τελευταίο είναι 30 φορές φθηνότερο.
Φυσικά, σε αυτό το στάδιο, οι εργασίες που συμπληρώνονται ανεξάρτητα από την AI δεν είναι τέλειες, ούτε μπορούν να δημοσιευτούν απευθείας.
Οι ερευνητές έχουν συνοψίσει αρκετούς περιορισμούς και προκλήσεις:
Συνοψίζοντας, τα έγγραφα που γράφτηκαν από αυτήν την πρώτη γενιά επιστημόνων τεχνητής νοημοσύνης εξακολουθούν να έχουν κάποια σφάλματα κατά καιρούς.
Αλλά το ίδιο το έργο, και το κόστος των 15 δολαρίων ΗΠΑ ανά άρθρο, ονομάζεται «υποσχόμενο» από τη Sakana AI και μπορεί να χρησιμοποιηθεί για να βοηθήσει στην επιτάχυνση της επιστημονικής προόδου.
Η Sakana AI δημοσίευσε επίσης ένα επεξηγηματικό άρθρο δηλώνοντας ότι το τελικό όραμα των επιστημόνων της τεχνητής νοημοσύνης είναι έναΈνα επιστημονικό οικοσύστημα που τροφοδοτείται εξ ολοκλήρου από AI。
Το σύστημα περιλαμβάνει όχι μόνο μεγάλους ερευνητές που βασίζονται σε μοντέλα, αλλά και κριτές, περιφερειακές έδρες και ένα νέο συνέδριο.
Θα πρέπει να σημειωθεί ότι η Sakana AI πιστεύει ότι:
Ο ρόλος των ανθρώπινων επιστημόνων δεν θα μειωθεί από την εμφάνιση επιστημόνων τεχνητής νοημοσύνης.
Εάν πρέπει να κάνουμε μια σύγκριση, είναι ότι οι επιστήμονες πρέπει να προσαρμοστούν στην εμφάνιση και την εφαρμογή νέων τεχνολογιών, να προσαρμοστούν στις αλλαγές στη θέση τους και να «ανεβάσουν την τροφική αλυσίδα».
Επιπλέον, μένει να δούμε αν οι επιστήμονες της τεχνητής νοημοσύνης μπορούν πράγματι να βρουν πραγματικά νέα παραδείγματα.
Εξάλλου, αυτό το πράγμα εξακολουθεί να βασίζεται στο Transformer.
Μπορεί να βρει κάτι τόσο ισχυρό όσο το Transformer ή το Diffusion Model; Ακόμα και θεωρητικές έννοιες όπως τεχνητά νευρωνικά δίκτυα ή θεωρία πληροφοριών;
Ούτε εμείς ξέρουμε και δεν τολμάμε να πούμε.
Η Sakana AI έγραψε επίσης αυτή την παράγραφο:
Πιστεύουμε ότι οι επιστήμονες της τεχνητής νοημοσύνης θα γίνουν σπουδαίοι συνεργάτες για τους ανθρώπινους επιστήμονες.
Αλλά μόνο ο χρόνος θα δείξει σε ποιο βαθμό η ουσία της ανθρώπινης δημιουργικότητας και οι ειρηνικές στιγμές καινοτομίας μπορούν να αναπαραχθούν μέσω της απεριόριστης ανακάλυψης από τους ανθρώπους.
△Sakana AI: Ένα πλήρως αυτοματοποιημένο ψαράκι με τεχνητή νοημοσύνη εξερευνά τον κόσμο του
Η εταιρεία που ολοκλήρωσε τη «νέα δημιουργία» αυτή τη φορά, η Sakana AI, είναι επίσης παλιός μας φίλος με την αυστηρή έννοια.
Από τον τελευταίο από τους 8 συγγραφείς της εργασίας TransformerΛάιον ΤζόουνςΗ startup ιδρύθηκε με στόχο να γίνει ένα «εργαστήριο έρευνας τεχνητής νοημοσύνης παγκόσμιας κλάσης».
Η βάση της εταιρείας στο Τόκιο, και η σακάνα είναι η ιαπωνική λέξη για το "ψάρι" (ψάρι).
Ίσως για λόγους εταιρικής κουλτούρας, ο Llion δήλωσε επίσης στο LinkedIn ότι είχε μια ιαπωνική μεταγραφή του ονόματός του: ライオン (που είναι επίσης το κατάκανα του Λιονταριού· θα αναφέρεται στοργικά ως Brother Lion στο εξής).
Τον Αύγουστο του περασμένου έτους, η εταιρεία ανακοινώθηκε.
Εκείνη την εποχή, ο Lion Brother είπε χωρίς δισταγμό ότι δεν είχε κακές προθέσεις προς την Google, αλλάΗ Google τον κάνει να νιώθει «παγιδευμένος»。
Πριν ξεκινήσει τη δική του επιχείρηση, ο Brother Lion είχε εργαστεί στη Google για 8 χρόνια.
△Μαντέψτε σε ποιον λείπει το μισό του πρόσωπο;
Αποφοίτησε από το Πανεπιστήμιο του Μπέρμιγχαμ με πτυχίο και έχει εργαστεί στο Delcam, στο YouTube και η Google είναι η εταιρεία στην οποία έχει μείνει περισσότερο.
Σύμφωνα με το FourWeekMBA, στην προηγούμενη εργασιακή του εμπειρία,«Παρέκλεισα τη δουλειά στη Google δύο φορές»。
Η πρώτη φορά ήταν όταν έψαχνε για δουλειά αμέσως μετά την αποφοίτησή του Παρόλο που υπέβαλε το βιογραφικό του ως μηχανικός λογισμικού στο Google London και πέρασε δύο γύρους τηλεφωνικών συνεντεύξεων, τελικά επέλεξε την Delcam, μια εταιρεία λογισμικού CAD/CAM στο Ηνωμένο Βασίλειο. πάνω από το Google.
Αξίζει να αναφέρουμε ότι πριν λάβει την προσφορά της Google, έτυχε να αντιμετωπίσει την οικονομική κρίση το 2009. Ο Lion Brother δεν μπορούσε να βρει δουλειά και έπρεπε να βασιστεί σε κονδύλια αρωγής για να επιβιώσει για αρκετούς μήνες.
Η δεύτερη φορά ήταν μετά από 18 μήνες εργασίας, έλαβε μια κλήση πρόσληψης από την Google που τον ρώτησε αν ήθελε να υποβάλει ξανά αίτηση, αλλά και πάλι δεν πήγε στην Google, αλλά αργότερα έγινε μέλος του YouTube.
Ενώ εργαζόταν ως μηχανικός λογισμικού στο YouTube για τρία χρόνια, άρχισε να ενδιαφέρεται για την τεχνητή νοημοσύνη, δίδαξε ο ίδιος το μάθημα μηχανικής εκμάθησης της Coursera και τελικά εντάχθηκε στην Google Research το 2015 ως ανώτερος μηχανικός λογισμικού.
Ήταν επίσης κατά τη διάρκεια αυτής της περιόδου που αυτός και επτά άλλοι συγγραφείς δημοσίευσαν το περίφημο έγγραφο TransformerΗ προσοχή είναι το μόνο που χρειάζεστε。
Επιπλέον, ο Lion Brother έχει επίσης συμμετάσχει σε πολλές έρευνες στην Google, συμπεριλαμβανομένων των ProtTrans, Tensor2Tensor κ.λπ.
Επέλεξε να εγκαταλείψει την Google επειδή η εταιρεία είχε μεγαλώσει σε ένα μέγεθος που του καθιστούσε αδύνατο να συνεχίσει να κάνει τη δουλειά που ήθελε να κάνει.
Εκτός από τη σπατάλη ενέργειας καθημερινά για την αντιμετώπιση προβλημάτων άλλων ανθρώπων, χρειάζεται επίσης να αφιερώσει χρόνο αναζητώντας πόρους από αυτήν την εταιρεία για να προσπαθήσει να αποκτήσει πρόσβαση σε ορισμένα δεδομένα.
Μετά την έναρξη της επιχείρησης, το έργο της Sakana AI προχωρά με τάξη.
Πριν χρησιμοποιήσουμε επιστήμονες τεχνητής νοημοσύνης και αναθεωρητές τεχνητής νοημοσύνης, δημοσιεύσαμε επίσης μεγάλα μοντέλα που συγχωνεύουν εξελικτικούς αλγόριθμους και μελετούν την εσωτερική ροή πληροφοριών του Transformer.
Όσον αφορά τα έργα επιστήμονα τεχνητής νοημοσύνης και αναθεωρητή τεχνητής νοημοσύνης, ολοκληρώνονται σε συνεργασία με την Sakana AI, την Οξφόρδη και την UBC.
Οι τρεις συν-συγγραφείς είναι:
Κρις Λου, ασκούμενος στο Sakana AI, υπηρετεί ως ερευνητής της εταιρείας.
Αποφοίτησε από το UC Berkeley με πτυχίο και αυτή τη στιγμή είναι τριτοετής φοιτητής στο Πανεπιστήμιο της Οξφόρδης.
Η τρέχουσα σημαντική ερευνητική κατεύθυνση του Chris είναι να εφαρμόσει τεχνικές εμπνευσμένες από την εξέλιξη στη μετα-μάθηση και την ενισχυτική μάθηση πολλαπλών παραγόντων.
Το καλοκαίρι του 2022, έκανε πρακτική άσκηση ως ερευνητής στο DeepMind.
Cong Lu, μεταδιδακτορικός ερευνητής στο UBC (University of British Columbia), με καθοδηγητή τον Jeff Clune.
Ο Cong σπούδασε στο RGU (Πανεπιστήμιο Robert Gordon) και έλαβε το διδακτορικό του από το Πανεπιστήμιο της Οξφόρδης το 2019. Τα κύρια ερευνητικά του ενδιαφέροντα είναι η ανοιχτή μάθηση ενίσχυσης και η επιστημονική ανακάλυψη AI.
Προηγουμένως, είχε πρακτική άσκηση σε Waymo και Microsoft.
Robert Tjarko Lange, ένα από τα ιδρυτικά μέλη της Sakana AI και ερευνητής στην εταιρεία.
Επί του παρόντος, ολοκληρώνει το τελευταίο έτος των διδακτορικών του σπουδών στο Τεχνικό Πανεπιστήμιο του Βερολίνου και η ερευνητική του κατεύθυνση είναι η εξελικτική μετα-μάθηση.
Ο νεαρός απέκτησε μεταπτυχιακό στην επιστήμη των υπολογιστών από το Imperial College του Λονδίνου, μεταπτυχιακό στην επιστήμη δεδομένων από το Πανεπιστήμιο Pompeu Fabra και προπτυχιακό στα οικονομικά από το Πανεπιστήμιο της Κολωνίας.
Πέρυσι, εργάστηκε ως ερευνητής πλήρους απασχόλησης φοιτητής στην ομάδα του Google DeepMind στο Τόκιο.
Διεύθυνση χαρτιού:
https://arxiv.org/abs/2408.06292
Σύνδεσμοι αναφοράς:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/