νέα

01.

η αυτόνομη οδήγηση μοιάζει πολύ με το agi

sarah guo:πώς σας φαίνεται η εξέλιξη της αυτόνομης οδήγησης σήμερα; πόσο καιρό μέχρι να δούμε να διαδίδεται ευρέως η αυτόνομη οδήγηση;

andrej karpathy: δουλεύω στον χώρο της αυτόνομης οδήγησης εδώ και 5 χρόνια και βρίσκω αυτόν τον τομέα πολύ ενδιαφέρον. κρίνοντας από την τρέχουσα εξέλιξη αυτού του τομέα, η αυτόνομη οδήγηση και το agi μοιάζουν πολύ, επίσης, επειδή είμαι εξοικειωμένος με τον τομέα της αυτόνομης οδήγησης, αλλά πιστεύω ότι είμαστε κοντά στο agi στον τομέα της αυτόνομης οδήγησης για παράδειγμα, υπάρχουν ήδη προϊόντα που μπορούν να χρησιμοποιηθούν από τους χρήστες με χρέωση.

η πρώτη μου εμπειρία με τη waymo ήταν σχεδόν πριν από 10 χρόνια ένας φίλος εργαζόταν για τη waymo εκείνη την εποχή και με πήγε σε μια βόλτα με τη waymo, από τεχνική άποψη, πριν από 10 χρόνια είναι ήδη πολύ καλό, αλλά η διαδικασία από την επίδειξη έως το να γίνει προϊόν που αναπτύσσεται σε μεγάλη κλίμακα στις πόλεις διήρκεσε 10 χρόνια φυσικά, η waymo εξακολουθεί να επεκτείνεται σήμερα.

έλαντ γκιλ:χρειάστηκαν 10 χρόνια από το demo έως το επιτυχημένο προϊόν επί πληρωμή. πότε πιστεύετε ότι θα είναι έτοιμη η τεχνολογία αυτόνομης οδήγησης;

andrej karpathy:νομίζω ότι η αυτόνομη οδήγηση έχει φτάσει σε ένα αρκετά ώριμο επίπεδο πριν από 10 χρόνια, αλλά μια επίδειξη διάρκειας 30 λεπτών δεν μπορεί να αποδείξει πλήρως όλες τις προκλήσεις που αντιμετώπισαν τα τελευταία 10 χρόνια φυσικά, θα υπάρχουν υπάρχουν κάποιοι κανονιστικοί λόγοι.

νομίζω όμως ότι έχουμε φτάσει ως ένα βαθμό στο agi στον τομέα της αυτόνομης οδήγησης. ταυτόχρονα, υπάρχει ένα μεγάλο χάσμα μεταξύ του demoing και της παγκόσμιας προβολής.αν και η waymo μπορεί ήδη να δραστηριοποιείται στο σαν φρανσίσκο, δεν έχει ακόμη πολύ ουσιαστικό αντίκτυπο και προκύπτει από την προοπτική της εκλαΐκευσης στην παγκόσμια αγορά. εδώ νομίζω ότι το agi και η αυτόνομη οδήγηση είναι παρόμοια.

επιστροφή στον τομέα της αυτόνομης οδήγησης,πολλοί πιστεύουν ότι η waymo είναι τεχνολογικά μπροστά από την tesla, αλλά προσωπικά πιστεύω ότι η tesla είναι στην πραγματικότητα πιο μπροστά από την waymo αυτή η άποψη μπορεί να μην είναι η ίδια με την τρέχουσα κύρια φωνή, αλλά έχω εμπιστοσύνη στην αυτόνομη οδήγηση της tesla.

η tesla αντιμετωπίζει προβλήματα σε επίπεδο λογισμικού, ενώ οι προκλήσεις της waymo προέρχονται από το υλικό, συγκριτικά, τα προβλήματα λογισμικού. η tesla έχει αναπτύξει οχήματα σε μεγάλη κλίμακα σε όλο τον κόσμο, ενώ η waymo δεν έχει φτάσει ακόμη σε αυτήν την κλίμακα. επομένως, πιστεύω ότι από τη στιγμή που το σύστημα της tesla μπορεί να εφαρμοστεί σε μεγάλη κλίμακα και να λειτουργήσει αποτελεσματικά, τα αποτελέσματα θα είναι εκπληκτικά. μόλις δοκίμασα χθες την τελευταία έκδοση του fsd και η εμπειρία οδήγησης ήταν πολύ ομαλή. μια σειρά λειτουργιών του συστήματος αυτόνομης οδήγησης της tesla με κάνει να νιώθω ότι η tesla έχει πετύχει αρκετά καλά αποτελέσματα στην αυτόνομη οδήγηση σήμερα.

συνολικά, νομίζω ότι η μεγαλύτερη πρόκληση για την αυτόνομη οδήγηση της tesla έγκειται στην προοπτική του λογισμικού, ενώ οι προκλήσεις της waymo προέρχονται περισσότερο από την άποψη του υλικού. από τη σημερινή σκοπιά, η waymo φαίνεται να βρίσκεται σε ισχυρή θέση, αλλά πιστεύω ότι αν το δεις σε μια περίοδο 10 ετών, η tesla θα είναι πιο μπροστά από την άποψη της κλίμακας και του μοντέλου εσόδων.

έλαντ γκιλ:πόσος χρόνος πιστεύετε ότι θα χρειαστεί για να λυθεί ένα πρόβλημα λογισμικού; μόλις αναφέρατε ότι τα οχήματα της waymo διαθέτουν πολλά ακριβά lidars και αισθητήρες. σύστημα και ισχύει για περισσότερα μοντέλα. πότε πιθανότατα θα πραγματοποιηθεί αυτή η αλλαγή;

andrej karpathy: προσωπικά ελπίζω ότι θα λυθεί μέσα στα επόμενα χρόνια. στην πραγματικότητα, η tesla χρησιμοποίησε επίσης πολλούς ακριβούς αισθητήρες στη φάση της εκπαίδευσης και επίσης κατασκεύασε πολλές τεχνολογίες που δεν μπορούν να προωθηθούν σε μεγάλη κλίμακα, όπως ασύρματεςέρευνα μοντέλων εμπιστοσύνης αισθητήρα γραμμής και χαρτογράφηση χαρτών κ.λπ.κατά τη φάση της δοκιμής, η tesla εξορθολογούσε αυτά τα δεδομένα σε ένα πακέτο δοκιμής που βασιζόταν μόνο στο σύστημα όρασης και το ανέπτυξε σε οχήματα παραγωγής. πολλοί άνθρωποι μπορεί να μην συνειδητοποιούν ότι στην πραγματικότητα πρόκειται για ένα πολύ έξυπνο «διαιτησία» μεταξύ αισθητήρων και κόστους. επειδή η κάμερα μπορεί να συλλάβει αρκετές πληροφορίες, το νευρωνικό δίκτυο είναι επίσης ικανό να επεξεργάζεται αυτές τις πληροφορίες. κατά τη φάση της εκπαίδευσης, αυτοί οι αισθητήρες είναι πολύ χρήσιμοι, αλλά κατά τη φάση της δοκιμής, ο ρόλος τους δεν είναι τόσο σημαντικός. οπότε, νομίζω ότι αρκεί μόνο να βασίζεσαι στην κάμερα.

έλαντ γκιλ: μια πρόσφατη τάση στον τομέα της αυτόνομης οδήγησης είναι η σταδιακή μετάβαση από τους ευρετικούς αλγόριθμους που έχουν σχεδιαστεί με βάση τις ακμές σε περιπτώσεις βαθιάς εκμάθησης από άκρο σε άκρο. ποιοι είναι οι λόγοι και η λογική πίσω από αυτό;

andrej karpathy: από άκρη σε άκρη είναι στην πραγματικότητα αυτό που θέλαμε να κάνουμε από την αρχή. όταν μπήκα για πρώτη φορά στην tesla, συζητήσαμε ότι τα νευρωνικά δίκτυα θα αντικαταστήσουν τελικά ολόκληρη τη στοίβα τεχνολογίας. υπήρχε πολύς κώδικας c++ στο σύστημα εκείνη την εποχή, αλλά σήμερα υπάρχει πολύ λίγος κώδικας c++ που εκτελείται στο πακέτο δοκιμής. τα νευρωνικά δίκτυα σταδιακά τα αντικατέστησαν αρχικά, τα νευρωνικά δίκτυα χρησιμοποιήθηκαν μόνο για την επεξεργασία της αναγνώρισης εικόνων και αργότερα επεκτάθηκαν για την επεξεργασία πολλαπλών καρέ εικόνων και τη δημιουργία αποτελεσμάτων πρόβλεψης. τελικά, το σύστημα χρειάζεται μόνο να δώσει οδηγίες οδήγησης και το νευρωνικό δίκτυο μπορεί να παράγει τα αποτελέσματα.

αυτό που κάνει λοιπόν η tesla είναι οδήγηση με τεχνητή νοημοσύνη από άκρο σε άκρο, αλλά η waymo μάλλον δεν επέλεξε αυτήν την τεχνική διαδρομή. αν και προσπάθησαν, τα αποτελέσματα δεν είναι ικανοποιητικά.

προσωπικά πιστεύω ότι η διαδρομή από άκρο σε άκρο είναι σωστή και η αναπόφευκτη κατεύθυνση για μελλοντική ανάπτυξη.αν το δούμε από αυτή την οπτική γωνία, το σύστημα tesla σε δέκα χρόνια είναι πιθανό να εξελιχθεί σε ένα νευρωνικό δίκτυο από άκρο σε άκρο, το οποίο εξάγει απευθείας οδηγίες οδήγησης μετά την εισαγωγή της ροής βίντεο. φυσικά, αυτή η διαδικασία απαιτεί τη σταδιακή βελτίωση κάθε ενότητας του συστήματος. δεν νομίζω ότι όλες οι τρέχουσες ενδιάμεσες προβλέψεις είναι παραπλανητικές στη διαδικασία ανάπτυξης, αντιθέτως, αποτελούν σημαντικό μέρος του συστήματος. διότι όταν εκπαιδεύουμε ένα εντελώς από άκρο σε άκρο νευρωνικό δίκτυο, τα σήματα εποπτείας για την προσομοίωση της ανθρώπινης οδήγησης είναι πολύ περιορισμένα και δεν μπορούν να υποστηρίξουν την εκπαίδευση ενός τόσο μεγάλου δικτύου. οι ενδιάμεσες προβλέψεις μπορούν να βοηθήσουν στην ανάπτυξη χαρακτηριστικών και ανιχνευτών, καθιστώντας το από άκρο σε άκρο πρόβλημα πιο εφικτό. οπότε εικάζω ότι κάνουν πολλή προ-εκπαίδευση για να επιτρέψουν τελειοποίηση από άκρο σε άκρο στο μέλλον.

συνολικά, πιστεύω ότι η διαδικασία των νευρωνικών δικτύων που αντικαθιστούν ολόκληρη τη στοίβα τεχνολογίας είναι απαραίτητη, αλλά η διαδικασία πρέπει να είναι σταδιακή. οι τρέχουσες προσπάθειες της tesla έχουν δείξει αρχικά αποτελέσματα, κάνοντας τους ανθρώπους γεμάτους προσδοκίες για το μέλλον.

02.

η tesla είναι επίσης μια εταιρεία ρομποτικής

sarah guo: πριν φύγετε από την tesla, συμμετείχατε επίσης στο έργο του ανθρωποειδούς ρομπότ της tesla. από την αυτόνομη οδήγηση στα ρομπότ, ποιες τεχνολογίες μπορούν να μεταφερθούν;

andrej karpathy: βασικά όλες οι τεχνολογίες μπορούν να μεταφερθούν. αλλά νομίζω ότι οι άνθρωποι μπορεί να μην το έχουν συνειδητοποιήσει ακόμα.δεν υπάρχει μεγάλη διαφορά μεταξύ ρομπότ και αυτοκινήτων. νομίζω ότι το να κατανοήσουμε απλώς την tesla ως εταιρεία αυτοκινήτων είναι στην πραγματικότητα μια παρεξήγηση.

η tesla είναι στην πραγματικότητα μια μεγάλη εταιρεία ρομποτικής που όχι μόνο παράγει αυτοκίνητα, αλλά κατασκευάζει και αυτοματοποιημένες μηχανές. η μαζική παραγωγή είναι ένας πολύ διαφορετικός τομέας και νομίζω ότι η tesla είναι μια εταιρεία που ειδικεύεται στη ρομποτική μεγάλης κλίμακας.

η μετάβαση από την τεχνολογία του αυτοκινήτου στην ανθρωποειδή ρομποτική δεν απαιτεί στην πραγματικότητα πολλή επιπλέον δουλειά. στην πραγματικότητα, το πρώιμο ρομπότ optimus νόμιζε ότι ήταν αυτοκίνητο επειδή χρησιμοποιούσε ακριβώς τον ίδιο υπολογιστή και κάμερες με ένα αυτοκίνητο. είναι ενδιαφέρον ότι εκτελούσαμε ένα νευρωνικό δίκτυο σχεδιασμένο για αυτοκίνητα στο ρομπότ και όταν το ρομπότ περπάτησε γύρω από το γραφείο, ο "χώρος οδήγησης" που εντόπισε στην πραγματικότητα έγινε "βατός χώρος". ενώ απαιτείται λεπτή ρύθμιση, αυτό καταδεικνύει την ευελιξία της τεχνολογίας.

sarah guo: από μια ορισμένη προοπτική, η tesla μπορεί πράγματι να θεωρηθεί ως εταιρεία ρομποτικής και πολλές βασικές τεχνολογίες μπορούν να μεταφερθούν σε πλατφόρμες. το βασικό μέρος που λείπει από τα ρομπότ παραγωγής είναι στην πραγματικότητα ο μηχανισμός εκτέλεσης και τα σχετικά δεδομένα δράσης.

andrej karpathy: ναι, αν και ορισμένα μέρη δεν είναι ακόμα τέλεια, θέλω να τονίσω ότι πολλές τεχνολογίες μπορούν να μεταφερθούν απευθείας. για παράδειγμα, το έργο optimus ξεκίνησε πολύ γρήγορα αφού ο elon musk ανακοίνωσε το έργο, οι σχετικές ομάδες και τα εργαλεία τέθηκαν σε εφαρμογή. πόροι όπως μοντέλα cad, αλυσίδες εφοδιασμού κ.λπ. προετοιμάστηκαν γρήγορα. εκείνη την εποχή, ένιωσα ότι η tesla είχε στην πραγματικότητα ήδη έναν μεγάλο πλούτο πόρων κατασκευής ρομπότ εσωτερικά, οι οποίοι είχαν ληφθεί από αυτοκίνητα tesla. αυτή η αίσθηση μοιάζει κάπως με αυτό που εμφανίζεται στο "transformers" αφού το αυτοκίνητο μεταμορφωθεί σε ρομπότ, όλα είναι ίδια, αλλά ορισμένα πράγματα πρέπει να προσαρμοστούν ελαφρώς και να διαμορφωθούν εκ νέου. εκτός από το υλικό, θα αλλάξει ολόκληρος ο τρόπος σκέψης, οι ομάδες σχολιασμού, ο συντονισμός μεταξύ των διαφόρων τμημάτων στοιχείων κ.λπ. αλλά γενικά, κάποια εμπειρία και πόροι μπορούν να μεταφερθούν.

έλαντ γκιλ:ποιο πιστεύετε ότι θα είναι το πρώτο σενάριο εφαρμογής ανθρωποειδών ρομπότ;

andrej karpathy: πολλοί άνθρωποι θα πίστευαν ότι τα ρομπότ μπορούν να μας βοηθήσουν σε καθημερινές εργασίες όπως το πλύσιμο ρούχων. αλλά νομίζω ότι μπορεί να χρειαστεί πολύς χρόνος για να εφαρμοστούν πραγματικά αυτές οι τεχνολογίες. δεν νομίζω ότι η άμεση πρόσβαση στον καταναλωτή είναι μια καλή αφετηρία για τα ανθρωποειδή ρομπότ, επειδή ακόμα δεν μπορούμε να διασφαλίσουμε πλήρως την ασφάλεια των ρομπότ κατά την αλληλεπίδραση με άτομα όπως οι ηλικιωμένοι, όπως η αποφυγή ατυχημάτων όπως "να γκρεμίσουμε το ηλικιωμένη κυρία», μια τέτοια κατάσταση θα επιφέρει τεράστιους νομικούς κινδύνους, επομένως νομίζω ότι αυτή η κατεύθυνση δεν είναι κατάλληλη. ακόμη και σε πολλά απλά σενάρια αλληλεπίδρασης, τα ρομπότ είναι πιθανό να χτυπήσουν τους ανθρώπους απευθείας.

όμως η σημερινή τεχνολογία δεν είναι αρκετά ώριμη και χρειάζεται περαιτέρω βελτίωση. ως εκ τούτου, νομίζω ότι για τους προγραμματιστές ρομπότ, ο καλύτερος πελάτης στο πρώτο στάδιο είναι το ίδιο το ρομπότ, εάν οι προγραμματιστές ρομπότ μπορούν να το συνειδητοποιήσουν, το πρώτο πράγμα που πρέπει να κάνουν είναι να χρησιμοποιήσουν αυτές τις τεχνολογίες εσωτερικά για επώαση και στη συνέχεια να μπορούν να εφαρμοστούν στα εργοστάσια. , όπως διακίνηση υλικών κ.λπ., ώστε να μην υπάρχει ανάγκη υπογραφής σύμβασης με τρίτους, αποφεύγοντας την κοπιαστική διαδικασία που αφορά δικηγόρους και συμβάσεις.

μετά την εσωτερική επώαση και την επιτυχία, μπορείτε να εισέλθετε στην αγορά προς β και να συνεργαστείτε με ορισμένες εταιρείες με μεγάλες επιχειρήσεις αποθήκης για να εκτελέσετε εργασίες όπως η διαχείριση υλικών. σε αυτές τις συνεργασίες, οι εταιρείες ρομποτικής μπορούν να δημιουργήσουν ένα σύστημα ασφάλειας της αγοράς και μετά από επιτυχή εφαρμογή από πολλές εταιρείες, μπορούν σταδιακά να μεταβούν σε εφαρμογές προσανατολισμένες στον καταναλωτή. πιστεύω ότι θα δούμε πολλά ρομπότ να αναπτύσσονται για τους καταναλωτές στο μέλλον.

όταν τα ρομπότ είναι δημοφιλή σε διάφορα σενάρια, θα υπάρχει ένα πλήρες οικοσύστημα, δηλαδή όλοι θα αναπτύσσουν διάφορους τύπους ρομπότ με βάση την πλατφόρμα ρομπότ. αλλά από την άποψη της κλίμακας, νομίζω ότι ο δρόμος της σταδιακής προόδου είναι ο πιο λογικός.

μπορεί να ξεκινήσει με το χειρισμό ορισμένων εργασιών που σχετίζονται με το χειρισμό υλικών (χειρισμός υλικού) και στη συνέχεια να επεκταθεί σταδιακά σε πιο εξειδικευμένους τομείς και τομείς υψηλής ζήτησης. ένα στοιχείο που με ενδιαφέρει ιδιαίτερα προσωπικά είναι ο «φυσητήρας φύλλων». για παράδειγμα, μια μέρα μπορούμε να δούμε ρομπότ optimus να περπατούν στους δρόμους και να μαζεύουν απαλά κάθε πεσμένο φύλλο, έτσι ώστε να μην χρειάζεται πλέον να χρησιμοποιούμε φυσητήρες φύλλων. νομίζω ότι αυτό είναι ένα εξαιρετικό έργο και ελπίζω ότι αυτό μπορεί να γίνει ένα πρώιμο σενάριο εφαρμογής.

sarah guo: όσον αφορά τη μορφή ρομπότ, μερικοί άνθρωποι πιστεύουν ότι τα ανθρωποειδή ρομπότ θα είναι μια καλύτερη επιλογή, επειδή πολλά σχέδια στον φυσικό κόσμο σήμερα βασίζονται σε συνήθειες ανθρώπινης συμπεριφοράς, έτσι ένα ενοποιημένο μοντέλο ανάπτυξης φόρμας υλικού βασισμένο σε ανθρωποειδή ρομπότ μπορεί να ολοκληρώσει όλο και περισσότερες εργασίες μια άλλη άποψη είναι ότι τα ανθρωποειδή ρομπότ δεν είναι απαραίτητα η μόνη απάντηση στα καθολικά ρομπότ. τι πιστεύετε για αυτό το θέμα;

andrej karpathy: νομίζω ότι πολλοί άνθρωποι υποτιμούν την πολυπλοκότητα του σταθερού κόστους των διαφορετικών πλατφορμών ρομπότ απόπειρα.

επομένως, νομίζω ότι τα ανθρωποειδή ρομπότ έχουν πραγματικά μεγάλες δυνατότητες και οι άνθρωποι μπορούν εύκολα να τα ελέγξουν εξ αποστάσεως για να βοηθήσουν στη συλλογή δεδομένων. ταυτόχρονα, ακριβώς όπως μια από τις προοπτικές που μόλις αναφέρατε, ολόκληρος ο κόσμος περιστρέφεται γύρω από την ανθρώπινη συμπεριφορά και συνήθειες, κάτι που είναι ένας άλλος λόγος για τον οποίο τα ανθρωποειδή ρομπότ είναι σημαντικά.

φυσικά, μπορεί να υπάρξουν διάφορες αλλαγές στα ανθρωποειδή ρομπότ στο μέλλον, αλλά για κάθε νέα πλατφόρμα ρομπότ, το σταθερό κόστος είναι ένα σημαντικό ζήτημα που πρέπει να ληφθεί υπόψη.

θέλω επίσης να τονίσω ότι θα κερδίσετε περισσότερα αν μοιράζεστε πληροφορίες και μαθαίνετε ο ένας από τον άλλον μεταξύ διαφορετικών εργασιών.

στον τομέα της τεχνητής νοημοσύνης, θέλουμε να δημιουργήσουμε ένα νευρωνικό δίκτυο που να μπορεί να χειρίζεται πολλαπλές εργασίες και να μαθαίνει ο ένας από τον άλλο μέσω πολλαπλών εργασιών για να βελτιώσει το συνολικό επίπεδο νοημοσύνης. το ενδιαφέρον με τα γλωσσικά μοντέλα είναι ότι χρησιμεύουν ως μοντέλα πολλαπλών εργασιών για την επεξεργασία κειμένου, ικανά να χειριστούν πολλούς διαφορετικούς τύπους προβλημάτων ενώ παράλληλα μοιράζονται πληροφορίες μεταξύ αυτών των εργασιών. αλλά όλες αυτές οι εργασίες εκτελούνται στην πραγματικότητα μέσω ενός ενιαίου νευρωνικού δικτύου.

ομοίως, ελπίζουμε ότι τα δεδομένα που συλλέγονται κατά την εργασία συλλογής φύλλων θα σας βοηθήσουν να ολοκληρώσετε άλλες εργασίες, αλλά εάν αναπτύξετε ένα σύστημα ειδικά για μια συγκεκριμένη εργασία, το περιθώριο κέρδους σας ενδέχεται να περιοριστεί.

sarah guo: ρομπότ όπως το unitree g1 κοστολογούνται επί του παρόντος σε περίπου 300.000 δολάρια ηπα φαίνεται ότι ο τομέας των ανθρωποειδών ρομπότ έχει επιτύχει χαμηλό κόστος επί του παρόντος., υψηλών λειτουργιών διαμέρισμαείναι δύσκολο να ισορροπήσουμε, αλλά αν υιοθετήσουμε μια δομή με τροχούς και προσθέσουμε έναν ρομποτικό βραχίονα για να ολοκληρώσουμε συγκεκριμένες εργασίες, δεν θα είχαμε περισσότερες πιθανότητες να δημιουργήσουμε ένα πιο οικονομικό ρομπότ γενικής χρήσης;

andrej karpathy:είναι λογικό από πλευράς υλικού να αναζητήσετε φθηνότερες πλατφόρμες γενικής χρήσης. σε ορισμένες περιπτώσεις, μπορεί να είναι μια πιο αποτελεσματική επιλογή να χρησιμοποιείτε τροχούς και άλλες κατασκευές αντί για πόδια για την ολοκλήρωση των εργασιών, αλλά νομίζω ότι αυτό μπορεί να επιδιώκει μια τοπική βέλτιστη λύση. μακροπρόθεσμα, νομίζω ότι είναι μάλλον πιο σοφό να διαλέξετε μια φόρμα και να την γυαλίσετε στην τελειότητα. και από την ανθρώπινη ψυχολογική προοπτική, τα πλεονεκτήματα των ανθρωποειδών ρομπότ θα είναι πιο προφανή. αισθάνονται οικεία και κάνουν τους ανθρώπους να θέλουν να αλληλεπιδράσουν μαζί τους.

φυσικά, λαμβάνοντας υπόψη το παράξενο φαινόμενο κοιλάδας, ίσως οι αφηρημένες μορφές να είναι πιο δημοφιλείς στους χρήστες. επειδή στην πραγματικότητα δεν είμαι σίγουρος πώς θα αντιδράσουν οι άνθρωποι σε διαφορετικές μορφές ρομπότ αν καταλήξουμε σε ένα τέρας με οκτώ τροχούς για να ολοκληρώσουμε τη δουλειά, δεν είμαι σίγουρος ότι θα αρέσει στους ανθρώπους ή θα φοβηθούν περισσότερο.

έλαντ γκιλ: οι μηχανικοί σκύλοι είναι επίσης μια διαδρομή φόρμας και οι σκύλοι είναι επίσης μορφές που είναι πιο γνωστές στον άνθρωπο.

andrej karpathy:ναι, αλλά πολλοί άνθρωποι που έχουν παρακολουθήσει το "black mirror" μπορεί να συνδυάζουν μηχανικούς σκύλους με ορισμένες σκηνές τρόμου, επομένως η ψυχολογική αποδοχή του καθενός θα είναι διαφορετική τις λειτουργίες και τις συμπεριφορές του.

έλαντ γκιλ:εάν θέλουμε να επιτύχουμε ανθρωποειδές σχήμα, ποιες βασικές προόδους πρέπει να επιτευχθούν από τεχνική άποψη;

andrej karpathy: δεν νομίζω ότι υπάρχει ακόμη σαφής απάντηση σε αυτό το ερώτημα. μια από τις πιο ενδιαφέρουσες συζητήσεις εδώ είναι ότι στο σχεδιασμό των ανθρωποειδών ρομπότ, το κάτω μέρος του σώματος δεν είναι κατάλληλο για απομίμηση , συλλογή δεδομένων και εκμάθηση από άκρο σε άκρο. κατά κάποιο τρόπο, τα ρομποτικά συστήματα πρέπει να συνδυάζουν πολλαπλές τεχνολογίες, αλλά δεν είμαι ακόμα σίγουρος πώς λειτουργούν αυτά τα συστήματα μεταξύ τους.

έλαντ γκιλ: όταν επικοινωνούσα με μερικούς ανθρώπους στον τομέα της ρομποτικής, διαπίστωσα ότι ανησυχούν πολύ για θέματα όπως η τροφοδοσία, ο έλεγχος και ο ψηφιακός χειρισμός.

andrej karpathy: ναι, νομίζω ότι στα αρχικά στάδια, θα υπάρξουν πράγματι πολλά σενάρια τηλεχειρισμού, όπως το να αφήνουμε τα ρομπότ να μιμούνται ανθρώπους να μαζεύουν αντικείμενα από το έδαφος, έως ότου το σύστημα μπορεί να λειτουργεί αυτόνομα το 95% του χρόνου. στη συνέχεια, αυξήστε σταδιακά το ποσοστό της εργασίας των ρομπότ, επιτρέποντας στους ανθρώπους να αλλάξουν από χειριστές σε επόπτες.

στην πραγματικότητα, νομίζω ότι δεν υπάρχουν ιδιαίτερα τεχνικά εμπόδια, αλλά χρειάζεται να γίνει πολλή βασική δουλειά.έχουμε ήδη τα κατάλληλα εργαλεία και τους πόρους, όπως η αρχιτεκτονική του transformer μια τέτοια τεχνολογία είναι σαν ένας εξαιρετικός "συντονιστής". αν και η διαδικασία είναι περίπλοκη, στην πραγματικότητα δεν υπάρχουν πολλά βασικά τεχνικά σημεία συμφόρησης.

03.

συνθετικά δεδομένα, μικρά μοντέλα, εταιρείες llm

sarah guo: πού πιστεύετε ότι βρισκόμαστε από την άποψη της έρευνας των μεγάλων σταγόνων;

andrej karpathy: νιώθω ότι βρισκόμαστε σε μια φάση ραγδαίας ανάπτυξης τώρα. το transformer δεν είναι απλώς ένα νευρωνικό δίκτυο, αλλά ένα ισχυρό και ευέλικτο νευρωνικό δίκτυο.

για παράδειγμα, όταν όλοι συζητούν τον νόμο κλιμάκωσης, συχνά αναφέρονται στα χαρακτηριστικά της αρχιτεκτονικής του μετασχηματιστή. πριν από το transformer, οι άνθρωποι χρησιμοποιούσαν κυρίως στοιβαγμένο lstm για να κάνουν κάποια εργασία, αλλά δεν βρέθηκε σαφής νόμος κλιμάκωσης. το transformer είναι το πρώτο μοντέλο που το κάνει ξεκάθαρο και κλιμακώνει αποτελεσματικά.

ο μετασχηματιστής είναι σαν ένας γενικός υπολογιστής, πιο συγκεκριμένα ένας διαφοροποιήσιμος νευρωνικός υπολογιστής (dnc). μπορούμε να το κάνουμε να κάνει είσοδο και έξοδο σε πολύ μεγάλη κλίμακα και να εκπαιδεύσουμε αυτόν τον υπολογιστή μέσω της μεθόδου backpropagation,τελικά, θα γίνει ένα αυτο-εξελισσόμενο σύστημα ολοκλήρωσης της αποστολής.

παρόλο που το transformer είναι ένα θαύμα που ανακαλύψαμε κατά λάθος στον τομέα των αλγορίθμων, υπάρχουν πράγματι πολλές βασικές καινοτομίες πίσω από αυτό, όπως υπολειπόμενες συνδέσεις, κανονικοποιήσεις επιπέδων και μπλοκ προσοχής. σε αντίθεση με τις παραδοσιακές μεθόδους, το transformer δεν χρησιμοποιεί μη γραμμικές συναρτήσεις ενεργοποίησης που προκαλούν την εξαφάνιση των κλίσεων, αντ' αυτού, ενσωματώνει καινοτόμες τεχνολογίες όπως αναφέρονται στα τεχνικά έγγραφα, γεγονός που βελτιώνει σημαντικά την απόδοση και την απόδοση της προπόνησης.

sarah guo:κατά τη διάρκεια αυτής της περιόδου, υπήρξε συζήτηση για τον τοίχο δεδομένων και το κόστος της κλιμάκωσης του μοντέλου επόμενης γενιάς θα είναι εξαιρετικά υψηλό. τι πιστεύετε για θέματα δεδομένων;

andrej karpathy: αυτό συζητήσαμε από την αρχή. νομίζω ότι η ίδια η αρχιτεκτονική των νευρωνικών δικτύων δεν αποτελεί πλέον εμπόδιο σήμερα, αν και πριν από τη γέννηση του transformer, τα αρχιτεκτονικά ζητήματα ήταν πράγματι ένα εμπόδιο.ως εκ τούτου, πολλές εταιρείες και ερευνητές δεν επικεντρώνονται πλέον σε αλλαγές στην αρχιτεκτονική του transformer. για παράδειγμα, η llama δεν έχει ιδιαίτερα εμφανή αρχιτεκτονική καινοτομία. η μόνη μεγάλη αλλαγή μπορεί να είναι οι "περιστροφικές κωδικοποιήσεις θέσης" (rope positional encodings).το ίδιο το transformer δεν έχει αλλάξει πολύ τα τελευταία πέντε χρόνια.

sarah guo:όταν δεν υπάρχουν αρκετά δεδομένα στο διαδίκτυο, θα αρχίσουμε να χρησιμοποιούμε συνθετικά δεδομένα ή παρόμοιες ακριβότερες μεθόδους συλλογής δεδομένων;

andrej karpathy: επί του παρόντος, πολλές έρευνες επικεντρώνονται στα γλωσσικά μοντέλα. αν και τα δεδομένα διαδικτύου δεν είναι η πιο ιδανική πηγή δεδομένων για το transformer, μπορούν να χρησιμοποιηθούν ως εργαλείο για τη συνεχή βελτίωση των δυνατοτήτων του μοντέλου. τα δεδομένα του διαδικτύου είναι απλώς μια συλλογή ιστοσελίδων, αλλά αυτό που είναι πραγματικά πολύτιμο είναι αυτό που υπάρχει στον εγκέφαλό μαςεσωτερικός μονόλογος«—— αυτές οι πολύπλοκες και βαθιές τροχιές σκέψης.

εάν μπορούμε να έχουμε δισεκατομμύρια δεδομένα παρόμοια με "tought tracks", τότε μπορεί να είμαστε κοντά στο agi σε κάποιο βαθμό. αλλά αυτά τα δεδομένα επί του παρόντος δεν υπάρχουν, επομένως η τρέχουσα έρευνα επικεντρώνεται κυρίως στην αναδιοργάνωση των υπαρχόντων συνόλων δεδομένων σε μια μορφή παρόμοια με τον "εσωτερικό μονόλογο (εσωτερικός μονόλογος)". τα σημερινά μοντέλα μπορούν να μας βοηθήσουν να δημιουργήσουμε την επόμενη γενιά μοντέλων αυτή είναι μια διαδικασία συνεχούς επαναληπτικής προόδου, όπως ακριβώς το ανέβασμα μιας σκάλας, πλησιάζοντας βήμα προς βήμα τον στόχο.

elad gil:πόσο χρήσιμα είναι τα συνθετικά δεδομένα; όπως είπατε, κάθε μοντέλο μπορεί να μας βοηθήσει να εκπαιδεύσουμε το επόμενο μοντέλο ή τουλάχιστον να παρέχουμε εργαλεία για εργασίες όπως ο σχολιασμός δεδομένων, μέρος των οποίων μπορεί να είναι συνθετικά δεδομένα.

andrej karpathy: νομίζω ότι τα συνθετικά δεδομένα είναι απαραίτητα για τη βελτίωση των δυνατοτήτων του μοντέλου.αλλά να είστε προσεκτικοί όταν χρησιμοποιείτε συνθετικά δεδομένα, γιατί το μοντέλο «καταρρέει» χωρίς να ξέρει πότε. για παράδειγμα, όταν ζητάμε από το chatgpt να μας πει αστεία, αν προσπαθήσουμε μερικές φορές ακόμη, θα συνειδητοποιήσουμε ότι μπορεί να ξέρει μόνο 3 ανέκδοτα, αν και φαίνεται να ξέρει πολλά, στην πραγματικότητα ξέρει μόνο αυτά τα λίγα. collapse" ", δηλαδή, δεν υπάρχει πρόβλημα με μία μόνο έξοδο, αλλά εάν η έξοδος προς αυτή τη συγκεκριμένη κατεύθυνση, η ποικιλομορφία και η ευελιξία του μοντέλου μειωθούν σημαντικά, αυτό είναι ένα πρόβλημα κατά τη δημιουργία δεδομένων, ειδικά κατά τη δημιουργία συνθετικών δεδομένων, είναι εύκολο να "καταρρεύσει" η κατάσταση οφείλεται στο γεγονός ότι χρειαζόμαστε πραγματικά την ποικιλομορφία και τον πλούτο των δεδομένων, δηλαδή την "εντροπία", για να αποφύγουμε προβλήματα που προκαλούνται από ένα πολύ απλό σύνολο δεδομένων.

για παράδειγμα, κάποιος κυκλοφόρησε ένα σύνολο δεδομένων που σχετίζεται με χαρακτήρες που περιέχει 1 δισεκατομμύριο φανταστικά υπόβαθρα χαρακτήρων, όπως «είμαι δάσκαλος» ή «είμαι καλλιτέχνης, ζω εδώ, κάνω αυτή τη δουλειά» και ούτω καθεξής.όταν δημιουργείτε συνθετικά δεδομένα, το αφήνετε να φανταστεί τη διαδικασία της αλληλεπίδρασης με ένα συγκεκριμένο άτομο.επομένως, πρέπει να εισάγουμε προσεκτικά την εντροπία διατηρώντας παράλληλα τη σταθερότητα της διανομής δεδομένων, η οποία είναι η μεγαλύτερη πρόκληση για τη δημιουργία συνθετικών δεδομένων.

sarah guo:τι πιστεύετε ότι μπορούμε να μάθουμε για την ανθρώπινη γνώση από αυτή την έρευνα; για παράδειγμα, μερικοί άνθρωποι πιστεύουν ότι η κατανόηση της διαδικασίας διαμόρφωσης των τροχιών σκέψης θα μας βοηθήσει να κατανοήσουμε πώς λειτουργεί ο εγκέφαλος.

andrej karpathy:τα ερευνητικά μοντέλα και η ανθρώπινη γνώση είναι δύο εντελώς διαφορετικά πράγματα, αλλά σε ορισμένες περιπτώσεις μπορούν να συγκριθούν. για παράδειγμα, νομίζω ότι το transformer είναι ισχυρότερο από τον ανθρώπινο εγκέφαλο σε ορισμένες πτυχές και το μοντέλο είναι ένα πιο αποτελεσματικό σύστημα από τον ανθρώπινο εγκέφαλο, αλλά λόγω των περιορισμών δεδομένων, η τρέχουσα απόδοσή του δεν είναι τόσο καλή όσο ο ανθρώπινος εγκέφαλος. αλλά αυτή είναι μόνο μια πρόχειρη εξήγηση.

για παράδειγμα, όσον αφορά τις δυνατότητες μνήμης, τα transformers αποδίδουν καλύτερα από τον ανθρώπινο εγκέφαλο όταν επεξεργάζονται μεγάλες ακολουθίες. εάν του δώσετε μια ακολουθία και του ζητήσετε να εκτελέσει έναν υπολογισμό προς τα εμπρός και προς τα πίσω, μπορεί να θυμηθεί το μπροστινό και το πίσω μέρος της ακολουθίας και να ολοκληρώσει την εργασία, κάτι που είναι δύσκολο να κάνει η ανθρώπινη μνήμη. ως εκ τούτου, από ορισμένες απόψεις, νομίζω ότι η μέθοδος εκπαίδευσης που βασίζεται στη βελτιστοποίηση κλίσης είναι πράγματι πιο αποτελεσματική από τον ανθρώπινο εγκέφαλο, και ακόμη και στο μέλλον, το μοντέλο μπορεί πραγματικά να ξεπεράσει τους ανθρώπους σε ορισμένα γνωστικά επίπεδα.

έλαντ γκιλ:η χωρητικότητα της μνήμης είναι ένα από τα δυνατά σημεία των υπολογιστών.

andrej karpathy: ναι, νομίζω ότι ο ανθρώπινος εγκέφαλος έχει πραγματικά πολλούς περιορισμούς, για παράδειγμα, η χωρητικότητα της μνήμης εργασίας είναι πολύ περιορισμένη, ενώ η μνήμη εργασίας των transformers είναι πολύ μεγαλύτερη σε σύγκριση και το χάσμα μεταξύ τους διευρύνεται. επιπλέον, τα transformers μαθαίνουν πιο αποτελεσματικά. η λειτουργία του ανθρώπινου εγκεφάλου περιορίζεται από πολλούς κρυφούς παράγοντες, όπως το υπόβαθρο, η ευθύνη, το περιβάλλον κ.λπ., γεγονός που κάνει το σύστημα του ανθρώπινου εγκεφάλου πιο τυχαίο και περιορισμένο. ως εκ τούτου, αισθάνομαι ότι από ορισμένες απόψεις αυτά τα μοντέλα είναι ήδη ισχυρότερα από τον ανθρώπινο εγκέφαλο, αλλά δεν έχουν φτάσει ακόμη στο μέγιστο των δυνατοτήτων τους.

έλαντ γκιλ:όσον αφορά τη σχέση μεταξύ ανθρώπων και τεχνητής νοημοσύνης, ένα επιχείρημα είναι ότι το χρησιμοποιούμε ως εξωτερικό εργαλείο, ενώ άλλοι λένε ότι θα υπάρξει βαθύτερη ενοποίηση ανθρώπων και μοντέλων τεχνητής νοημοσύνης. τι πιστεύετε για αυτό το θέμα;

andrej karpathy: νομίζω ότι έχουμε επιτύχει την ενοποίηση των ανθρώπων και της τεχνητής νοημοσύνης σε κάποιο βαθμό. τα τεχνικά εργαλεία ήταν πάντα παράγωγο των ανθρώπινων ικανοτήτων. απλώς το πρόβλημα με τα σημερινά μοντέλα βρίσκεται στο σημείο συμφόρησης στη διαδικασία εισαγωγής και εξόδου πληροφοριών, επομένως η ενοποίηση των ανθρώπων και της τεχνητής νοημοσύνης απαιτεί συνεχείς προσπάθειες. ωστόσο, όταν τα μοντέλα έχουν τελειοποιηθεί, η χρήση αυτών των μοντέλων είναι πολύ απλή και μπορεί να επιτευχθεί με μερικές απλές κινήσεις. έτσι, αν και υπάρχουν κάποια εμπόδια, η τρέχουσα τεχνολογία έχει κάνει αυτή την ενσωμάτωση σχετικά εύκολη και εφικτή.

έλαντ γκιλ:μερικοί άνθρωποι στον τομέα της ai το πιστεύουνεάν υπάρξει σύγκρουση μεταξύ μας και της τεχνητής νοημοσύνης στο μέλλον, είναι εντάξει

λύθηκε με κάποια μορφή σύντηξης ανθρώπων και τεχνητής νοημοσύνης.

andrej karpathy: ναι, αυτό μοιάζει πολύ με τη φιλοσοφία του neuralink. αν και δεν είμαι σίγουρος πώς ακριβώς θα μοιάζει αυτή η σύντηξη, αυτό που είναι σαφές είναι ότι θέλουμε να μειώσουμε την καθυστέρηση εισόδου και εξόδου μεταξύ ανθρώπων και εργαλείων. μπορείτε να το σκεφτείτε ως προσθήκη ενός νέου φλοιού στον εγκεφαλικό μας φλοιό. αυτός ο νέος φλοιός μπορεί να βασίζεται σε σύννεφα και είναι ουσιαστικά το επόμενο στρώμα του εγκεφάλου.

έλαντ γκιλ: υπάρχω accelerando το βιβλίο έχει μια παρόμοια υπόθεση, όπου τα πάντα παραδίδονται στον εγκέφαλο μέσω ενός φορητού έξυπνου γυαλιού. αν χάσετε αυτά τα γυαλιά, είναι σαν να χάνετε ένα μέρος της προσωπικότητάς σας ή της μνήμης σας.

andrej karpathy: νομίζω ότι αυτό είναι πιθανό να συμβεί. τα σημερινά κινητά τηλέφωνα έχουν γίνει σχεδόν μέρος της ζωής μας, σαν μια εξωτερική συσκευή στον εγκέφαλο. κάθε φορά που αφήνουμε τα τηλέφωνά μας κάτω, νιώθουμε ότι επιστρέφουμε στην αρχική μας κατάσταση.

για ένα άλλο παράδειγμα, εάν έχουμε έναν "universal translator" και βασιζόμαστε σε αυτόν για μεγάλο χρονικό διάστημα, τότε όταν ξαφνικά δεν τον έχουμε, μπορεί να χάσουμε την ικανότητα να επικοινωνούμε απευθείας με άτομα που μιλούν διαφορετικές γλώσσες. όπως φαίνεται σε ένα βίντεο, ένα παιδί κρατά ένα περιοδικό και προσπαθεί να το σύρει με το δάχτυλό του δεν μπορεί να ξεχωρίσει τι είναι φυσικό και τι προκαλείται από την τεχνολογία. με κάνει να σκέφτομαι ότι καθώς η τεχνολογία γίνεται όλο και πιο πανταχού παρούσα, οι άνθρωποι μπορεί να εξαρτώνται από αυτά τα εργαλεία, μόνο και μόνο για να συνειδητοποιήσουν ότι δεν μπορούν να ξεχωρίσουν τι είναι τεχνολογία και τι όχι μέχρι να εξαφανιστούν. ειδικά οι συσκευές όπως οι μεταφραστές που σας βοηθούν πάντα να εκτελείτε εργασίες θα μειώσουν σημαντικά την ευαισθησία των ανθρώπων στα όρια μεταξύ τεχνολογίας και φύσης.

sarah guo: ο «εξωφλοιός» ακούγεται πολύ σημαντικό πράγμα, και είναι σημαντικό για όλους. σήμερα, η έρευνα για το llm καθοδηγείται από λίγα εργαστήρια ai και μόνο αυτά έχουν τους πόρους για να προωθήσουν την ανάπτυξη εκπαίδευσης μοντέλων επόμενης γενιάς. πώς πιστεύετε για αυτήν τη δομή στην έρευνα llm σήμερα; τι αντίκτυπο θα έχει στη δημοτικότητα της τεχνολογίας ai στο μέλλον;

andrej karpathy: το οικοσύστημα του llm όντως μονοπωλείται από πολλές κλειστές πλατφόρμες σήμερα, ενώ το χαμηλότερης κατάταξης meta llama είναι σχετικά ανοιχτό αυτό το φαινόμενο είναι επίσης αντανάκλαση του οικοσυστήματος ανοιχτού κώδικα. όταν σκεφτόμαστε το llm ως το «εξωτερικό στρώμα», εμπλέκονται ζητήματα πληροφοριών και απορρήτου δεδομένων. υπάρχει ένα ρητό στο πεδίο της κρυπτογράφησης που είναι "not your keys, not your tokens ίσως στο μέλλον στο πεδίο llm να τονίσουμε "not your weights, not your brain". εάν η τεχνητή νοημοσύνη είναι ο νέος εγκεφαλικός φλοιός για όλους στο μέλλον, και εάν αυτός ο φλοιός ελέγχεται από μια συγκεκριμένη εταιρεία, οι άνθρωποι θα αισθάνονται ότι «νοικιάζουν» έναν εγκέφαλο αντί να τον έχουν στην πραγματικότητα.

sarah guo: είστε πρόθυμοι να εγκαταλείψετε την ιδιοκτησία και τον έλεγχο του εγκεφάλου σας για να νοικιάσετε έναν πιο ισχυρό;

andrej karpathy: νομίζω ότι αυτό είναι ένα κρίσιμο συμβιβασμό η μελλοντική τάση μπορεί να είναι ότι οι περισσότεροι άνθρωποι θα χρησιμοποιούν το ισχυρό μοντέλο κλειστού κώδικα ως προεπιλεγμένη επιλογή, αλλά σε ορισμένες συγκεκριμένες περιπτώσεις, τα συστήματα ανοιχτού κώδικα θα γίνουν η εναλλακτική. όπως και τώρα, όταν ορισμένοι πάροχοι μοντέλων κλειστού κώδικα αντιμετωπίζουν προβλήματα με τα api τους, οι άνθρωποι στρέφονται στο οικοσύστημα ανοιχτού κώδικα και ως εκ τούτου αισθάνονται ότι έχουν μεγαλύτερο έλεγχο.

αυτή μπορεί επίσης να είναι η κατεύθυνση της μελλοντικής ανάπτυξης της τεχνολογίας του εγκεφάλου: όταν προκύπτουν προβλήματα, μπορούμε να στραφούμε σε συστήματα ανοιχτού κώδικα, ενώ στις περισσότερες περιπτώσεις εξακολουθούμε να βασιζόμαστε σε κλειστά συστήματα. είναι σημαντικό να συνεχίσουμε τα συστήματα ανοιχτού κώδικα να προχωρούν, αλλά σήμερα ίσως δεν γνωρίζουν όλοι αυτό το ζήτημα.

έλαντ γκιλ:τι γνώμη έχετε για τις μινιατούρες; τι επίπεδο απόδοσης μπορούν να επιτύχουν τα σημερινά μικρά μοντέλα;

andrej karpathy: νομίζω ότι το μοντέλο θα μπορούσε να μειωθεί ακόμη περισσότερο. λόγω του προβλήματος με το σύνολο δεδομένων, πιστεύουμε ότι το τρέχον μοντέλο σπαταλά μεγάλη χωρητικότητα για την αποθήκευση ορισμένων άσχετων πληροφοριών το κλειδί για ένα μικρό μοντέλο είναι να εστιάζει στη γνώση του πυρήνα, και αυτός ο πυρήνας μπορεί στην πραγματικότητα να είναι πολύ μικρός. είναι περισσότερο σαν τρόπος σκέψης όταν χρειάζεται να βρούμε πληροφορίες, μπορούμε να χρησιμοποιήσουμε ευέλικτα διάφορα εργαλεία για να τις αποκτήσουμε, αντί να αφήνουμε το μοντέλο να αποθηκεύει πολλές περιττές λεπτομέρειες.

όσον αφορά τις παραμέτρους, νομίζω ότι μπορεί να χρειαστούμε μόνο 100 εκατομμύρια παραμέτρους για να πετύχουμε τον στόχο μας. η αποτελεσματική τεχνολογία συμπίεσης μπορεί να κάνει το μοντέλο πολύ μικρό. η αρχή της συμπίεσης είναι απλή: χρησιμοποιήστε ένα πολύ μεγάλο μοντέλο ή μεγάλο αριθμό υπολογιστικών πόρων για την επίβλεψη ενός μικρότερου μοντέλου.

η ουσία αυτού του θέματος είναι ότι τα σημερινά μεγάλα μοντέλα ασχολούνται με σύνολα δεδομένων του διαδικτύου και μόνο το 0,001% περίπου του περιεχομένου σχετίζεται με τη γνώση και το υπόλοιπο 99,99% είναι στην πραγματικότητα κάποιες άσχετες πληροφορίες, όπως η αντιγραφή δεξιού κειμένου. οι περισσότερες πληροφορίες δεν παίζουν ουσιαστικό ρόλο στη βελτίωση των προτύπων σκέψης.

έλαντ γκιλ:μπορεί αυτή η διαδικασία να εξηγηθεί με τα μαθηματικά ή με κάποιο είδος θεωρίας της πληροφορικής; μπορεί να ποσοτικοποιηθεί η σχέση μεταξύ του μεγέθους του μοντέλου και της γνωστικής δύναμης; για παράδειγμα, στο μέλλον, μπορεί να χρειαστεί μόνο ένα μοντέλο παραμέτρων 1 δισεκατομμυρίου για να επιτευχθεί καλή κατανόηση.

andrej karpathy: μπορεί ακόμη και να κοστίσει λιγότερο από 1 δισεκατομμύριο και το μοντέλο μπορεί να έχει αυτού του είδους τη γνωστική ικανότητα, λαμβάνοντας υπόψη το κόστος του μοντέλου, τον εξοπλισμό της τελικής πλευράς κ.λπ. και αυτό που πρόκειται να συζητήσουμε μπορεί να μην είναι ένα ενιαίο γνωστικό μοντέλο, νομίζω ότι το μοντέλο θα πρέπει να έχει την ικανότητα να επεξεργάζεται παράλληλα, αντί να βασίζεται απλώς στη διαδοχική επεξεργασία. είναι ακριβώς όπως μια εταιρεία, μπορεί να γίνει πολλή δουλειά παράλληλα, αλλά χρειάζεται και μια ιεραρχική δομή για την καλύτερη επεξεργασία των πληροφοριών. ως εκ τούτου, νομίζω ότι μπορεί να υπάρξει ένα μοντέλο «εταιρειών για llms» στο μέλλον: διαφορετικά μοντέλα επικεντρώνονται στα αντίστοιχα πεδία τους, όπως το ένα μοντέλο προγραμματιστή και το άλλο μοντέλο διαχείρισης έργου παράλληλα, και μεταξύ τους μπορούν επίσης να συνεργαστούν για να σχηματίσουν έναν «ομαδικό εγκέφαλο» που αποτελείται από llm.

έλαντ γκιλ:αυτό το σύμπλεγμα llms είναι σαν ένα οικοσύστημα, κάθε τμήμα του οποίου έχει τη δική του μοναδική εμπειρία και θέση.

andrej karpathy: νομίζω ότι το μέλλον θα εξελιχθεί σίγουρα προς αυτή την κατεύθυνση το μοντέλο cloud είναι το πιο έξυπνο και μπορεί να θεωρηθεί ως ο ceo. οι εργασίες κλιμακώνονται αυτόματα και ανατίθενται σε άλλα μέρη της ομάδας.

04.

η εκπαίδευση στην εποχή της ai

sarah guo:ξεκινήσατε να εργάζεστε στο δικό σας εκπαιδευτικό έργο μετά την αποχώρηση από το openai γιατί επιλέξατε την εκπαίδευση;

andrej karpathy: πάντα αγαπούσα τον κλάδο της εκπαίδευσης, μου αρέσει να μαθαίνω και να διδάσκω και είμαι πολύ παθιασμένος με αυτόν τον τομέα.

ένας σημαντικός λόγος που με ώθησε να μπω σε αυτόν τον τομέα είναι ότι αισθάνομαι ότι πολλά ai προσπαθούν να αντικαταστήσουν τους ανθρώπους, με αποτέλεσμα πολλοί άνθρωποι να χάσουν τη δουλειά τους, αλλά με ενδιαφέρουν περισσότερο οι τεχνολογίες που μπορούν να ενισχύσουν τις ανθρώπινες ικανότητες. συνολικά, στέκομαι στο πλευρό της ανθρωπότητας και ελπίζω ότι η τεχνητή νοημοσύνη μπορεί να βοηθήσει την ανθρωπότητα να γίνει πιο ισχυρή παρά να περιθωριοποιηθεί.

επιπλέον, νομίζω ότι είναι πολύ καλή ιδέα να έχουμε έναν "τέλειο δάσκαλο" που μπορεί να επιτύχει εργασίες διδασκαλίας σε όλα τα μαθήματα.

έλαντ γκιλ: από τη δεκαετία του 1980, η βιβλιογραφία αναφέρει ξεκάθαρα ότι η ατομική διδασκαλία μπορεί να βελτιώσει την απόδοση ενός ατόμου κατά 2 τυπικές αποκλίσεις υπάρχουν επίσης πολλές περιπτώσεις γύρω από εξατομικευμένους δασκάλους.

andrej karpathy: εμπνέομαι πολύ από αυτά τα παραδείγματα. τώρα φτιάχνω ένα πλήρες μάθημα με στόχο να το κάνω την πρώτη επιλογή για τους ανθρώπους να μάθουν τεχνητή νοημοσύνη. η πρόκληση τώρα είναι πώς να κλιμακωθεί αυτό το είδος μαθημάτων για να καλύψει 8 δισεκατομμύρια ανθρώπους σε όλο τον κόσμο λαμβάνοντας υπόψη τις διαφορές στη γλώσσα και τις ικανότητες, αυτό είναι δύσκολο να επιτευχθεί με έναν μόνο δάσκαλο.

επομένως, το κλειδί είναι πώς να χρησιμοποιήσετε την τεχνητή νοημοσύνη για να διευρύνετε τον ρόλο των καλών δασκάλων. το βασικό καθήκον των καθηγητών θα πρέπει να είναι ο σχεδιασμός μαθημάτων και το υλικό συγγραφής, ενώ η τεχνητή νοημοσύνη μπορεί να αλληλεπιδράσει με τους μαθητές στο μπροστινό μέρος και να διδάξει περιεχόμενο. η τρέχουσα τεχνητή νοημοσύνη δεν μπορεί να δημιουργήσει ολοκληρωμένα μαθήματα ανεξάρτητα, αλλά αρκεί για να βοηθήσει στην εξήγηση και τη μεταφορά γνώσης. με αυτόν τον τρόπο, οι δάσκαλοι μπορούν να επικεντρωθούν στη σχεδίαση back-end, ενώ η τεχνητή νοημοσύνη χρησιμοποιεί πολλές γλώσσες στο μπροστινό μέρος για να αλληλεπιδράσουν με τους μαθητές και να τους βοηθήσουν να ολοκληρώσουν τη μάθησή τους.

sarah guo:μπορεί η τεχνητή νοημοσύνη να συγκριθεί με έναν βοηθό διδασκαλίας;

andrej karpathy: ο βοηθός διδασκαλίας είναι μία από τις κατευθύνσεις που εξετάζω, το βλέπω ως ένα μπροστινό μέρος, που αλληλεπιδρά άμεσα με τους μαθητές και τους οδηγεί να ολοκληρώσουν το μάθημα, νομίζω ότι αυτή είναι μια εφικτή λύση με την τρέχουσα τεχνολογία και δεν υπάρχει παρόμοιο προϊόν στην αγορά, οπότε πιστεύω ότι υπάρχουν πολλές δυνατότητες σε αυτόν τον τομέα, και καθώς η τεχνολογία προχωρά, μπορούμε να κάνουμε διάφορες προσαρμογές σε αυτό. πιστεύω ότι πολλές εταιρείες σήμερα δεν έχουν αρκετά διαισθητική κατανόηση των δυνατοτήτων των μοντέλων, και ως εκ τούτου, τα προϊόντα που αναπτύσσουν είναι πολύ προηγμένα ή δεν είναι αρκετά ακριβή. πιστεύω λοιπόν ότι αυτός ο τομέας έχει μεγάλες δυνατότητες.

sarah guo: με καλά εργαλεία, σε ποιο βαθμό μπορεί να φτάσει κανείς στα όρια των ανθρώπινων δυνατοτήτων; για παράδειγμα, αν το συγκρίνουμε με τους ολυμπιακούς αγώνες, λόγω των προόδων στην εκπαίδευση της επιστήμης και της τεχνολογίας τα τελευταία 10 χρόνια, οι επιδόσεις των κορυφαίων δρομέων είναι καλύτερες από ό,τι τα τελευταία 10 χρόνια.

andrej karpathy: νιώθω ότι δεν έχουμε αξιοποιήσει στο μέγιστο τις δυνατότητές μας ακόμα σήμερα. μπορούμε να σκεφτούμε αυτό το θέμα από δύο οπτικές γωνίες. η πρώτη είναι η παγκοσμιοποίηση. και οι δύο προοπτικές είναι πολύτιμες.

έλαντ γκιλ: συνήθως, όταν συζητάμε για μαθησιακή καθοδήγηση 1 προς 1, θα αναφέρουμε την εξατομίκευση και την προσαρμογή, δηλαδή την παροχή αντίστοιχων εργασιών μαθησιακής πρόκλησης σύμφωνα με το επίπεδο του κάθε ατόμου πιστεύετε ότι η τεχνητή νοημοσύνη μπορεί να το κάνει αυτό σήμερα;

andrej karpathy: νομίζω ότι ο «χαμηλός καρπός» στον τομέα της εκπαίδευσης της τεχνητής νοημοσύνης είναι οι μεταφραστικές εφαρμογές τα τρέχοντα μοντέλα είναι πολύ καλά σε τέτοιες εργασίες και τα πράγματα που μπορούν να κάνουν είναι ακόμα βασικές εργασίες.

είναι δύσκολο να επιτευχθεί εξατομίκευση που να προσαρμόζεται στο επίπεδο κάθε ατόμου, αλλά δεν είναι αδύνατο νομίζω ότι αυτό πρέπει να είναι το επίκεντρο της ανάπτυξης της τεχνητής νοημοσύνης και προφανώς έχει τη δυνατότητα να το κάνει. αλλά αυτό μπορεί να περιλαμβάνει νέους τομείς ένα απλούστερο μοντέλο μπορεί να εφαρμοστεί μέσω του πρόχειρου έργου, αλλά νομίζω ότι ο πραγματικά χρήσιμος τρόπος είναι να κάνουμε το ίδιο το μοντέλο να έχει τέτοιες δυνατότητες, ώστε να μπορεί να λειτουργεί σαν δάσκαλος.

νομίζω ότι αυτό αγγίζει ορισμένες περιοχές που επί του παρόντος είναι υπανάπτυκτες. αν και οι απλές εκδόσεις μπορεί να μην είναι πολύ μακριά, όπως το να δίνετε υποδείξεις στο μοντέλο για να λάβετε κάποια βοήθεια, μιλάω για λύσεις που πραγματικά λειτουργούν, όχι απλώς φαίνονται καλές σε ένα demo. αυτό για το οποίο μιλάω είναι η ικανότητα να εργάζεται τόσο αποτελεσματικά όσο ένας πραγματικός δάσκαλος, κατανοώντας το πλαίσιο του κάθε ατόμου και παρέχοντας εξατομικευμένη καθοδήγηση, η οποία απαιτεί περαιτέρω ανάπτυξη.

έλαντ γκιλ: μπορούμε να επιτύχουμε αυτή την προσαρμογή εισάγοντας άλλα μοντέλα;

andrej karpathy: νομίζω ότι αυτό είναι επίσης ένα χαρακτηριστικό της ai. νομίζω ότι πολλές λειτουργίες μπορούν πραγματικά να υλοποιηθούν με μία μόνο προτροπή. έτσι, βλέπουμε συχνά πολλά demo, αλλά μπορούμε τελικά να παραδώσουμε ένα πραγματικό προϊόν; επομένως, μπορεί να μην είναι δύσκολο να φτιάξετε μερικά demo, αλλά υπάρχει ακόμα πολύς δρόμος για να εξελιχθεί σε προϊόν που μπορεί να χρησιμοποιηθεί σε μεγάλη κλίμακα.

sarah guo:πριν από μερικές εβδομάδες αναφέρατε ότι η μάθηση και η ψυχαγωγία είναι διαφορετικές η μάθηση θα πρέπει να είναι προκλητική και να απαιτεί ένα συγκεκριμένο σύστημα κινήτρων, όπως η κοινωνική θέση, η επίδραση των ειδώλων κ.λπ. σε ποιο βαθμό πιστεύετε ότι το σύστημα κινήτρων μπορεί να αλλάξει τα κίνητρα των ανθρώπων για μάθηση; είστε περισσότερο επικεντρωμένοι στην παροχή πόρων για να επιτρέψετε στους ανθρώπους να πάνε όσο πιο μακριά μπορούν στο πλαίσιο των δυνατοτήτων τους; ή θέλετε να αλλάξετε τον αριθμό των ανθρώπων που είναι πρόθυμοι να μάθουν και να καθοδηγήσετε περισσότερους ανθρώπους να αρχίσουν να μαθαίνουν;

andrej karpathy:ελπίζω να κάνω τη μάθηση λίγο πιο εύκολη, καθώς ορισμένοι άνθρωποι μπορεί να μην ενδιαφέρονται φυσικά να μάθουν. πολλοί άνθρωποι σπουδάζουν από πρακτικές ανάγκες, όπως να βρουν δουλειά, κάτι που είναι απολύτως λογικό. η εκπαίδευση διαδραματίζει σημαντικό ρόλο στην κοινωνία μας επειδή όχι μόνο παρέχει γνώση αλλά βελτιώνει και την οικονομική κατάσταση ενός ατόμου, γι' αυτό οι άνθρωποι θέλουν να παρακινούνται από την εκπαίδευση.

sarah guo:πώς θα μοιάζει το μέλλον μας σε μια μετα-agi κοινωνία;

andrej karpathy:στη μετα-agi εποχή, νομίζω ότι η εκπαίδευση θα γίνει περισσότερο σαν ψυχαγωγία. η επιτυχής εκπαίδευση έγκειται όχι μόνο στη μεταφορά γνώσης, αλλά και στη σε βάθος κατανόηση και εφαρμογή αυτής της γνώσης.

sarah guo:ποιο ήταν το πρώτο κοινό του eureka;

andrej karpathy:το κύριο κοινό για αυτό το πρώτο μάθημα είναι προπτυχιακοί φοιτητές, ιδιαίτερα εκείνοι που επιδιώκουν πτυχία σε τεχνικούς τομείς. εάν σπουδάζετε ένα προπτυχιακό πρόγραμμα που σχετίζεται με την τεχνολογία, είστε η ιδανική ομάδα-στόχος για αυτό το μάθημα.

andrej karpathy:νομίζω ότι η σημερινή μας αντίληψη για την εκπαίδευση είναι κάπως ξεπερασμένη. ο παλιός τρόπος να πηγαίνεις στο σχολείο, να αποφοιτάς και να εργάζεσαι συνέχεια θα σπάσει κάτω από τις σημερινές αλλαγές η τεχνολογία αλλάζει γρήγορα και οι άνθρωποι πρέπει να συνεχίσουν να μαθαίνουν. έτσι, παρόλο που το μάθημα είναι για προπτυχιακούς φοιτητές, έχει στην πραγματικότητα ένα ευρύ κοινό, για παράδειγμα, πιστεύω ότι μπορούν να συμμετέχουν άτομα οποιασδήποτε ηλικίας. ειδικά για όσους έχουν τεχνικό υπόβαθρο που θέλουν να αποκτήσουν μια βαθύτερη κατανόηση των σχετικών γνώσεων, θα υπάρχει κάτι να κερδίσουν.

σκοπεύω να προσφέρω το μάθημα αργότερα φέτος, στις αρχές του επόμενου έτους μπορεί να είναι η κατάλληλη στιγμή, και πριν από τότε θα εργαστώ σκληρά για να διασφαλίσω ότι η ποιότητα του μαθήματος είναι στα αναμενόμενα πρότυπα.

έλαντ γκιλ:αν είχατε παιδιά, ποιες γνώσεις και δεξιότητες θα θέλατε να μάθουν;

andrej karpathy:η απάντηση που θα έδινα είναι τα μαθηματικά, η φυσική, η επιστήμη των υπολογιστών και άλλα μαθήματα. φυσικά, αυτή η προοπτική επηρεάζεται από το υπόβαθρό μου, αλλά πιστεύω ότι αυτοί οι τομείς είναι πολύ βοηθητικοί όσον αφορά τις δεξιότητες επίλυσης προβλημάτων. ακόμη και καθώς το μέλλον πλησιάζει την εποχή του agi, αυτές οι δεξιότητες θα εξακολουθούν να είναι σημαντικές. κατά τη διάρκεια αυτής της κρίσιμης περιόδου που οι άνθρωποι έχουν πολύ χρόνο και προσοχή, νομίζω ότι πρέπει να επικεντρωθούμε κυρίως σε εργασίες που είναι σχετικά απλές στην εκτέλεση παρά σε εργασίες που απαιτούν πολλή μνήμη. αν και αναγνωρίζω τη σημασία της εκμάθησης άλλων θεμάτων, πιστεύω ότι το 80% του χρόνου πρέπει να επικεντρώνεται σε αυτούς τους βασικούς τομείς, επειδή είναι πιο πρακτικοί και έχουν μακροπρόθεσμη αξία.

στοιχειοθέτηση: fia