νέα

συλλογή machine heart

συγγραφέας: omar khattab

επιμέλεια: egg sauce, zenan

γράφοντας ένα χαρτί; αυτό είναι μόνο ένα μικρό βήμα.

κατά τη διάρκεια του μεταπτυχιακού σχολείου, πολλοί άνθρωποι συχνά μπερδεύονται σχετικά με το πώς να δομήσουν τη δική τους έρευνα. πώς πρέπει να διεξάγουμε έρευνα για να κάνουμε τη διαφορά στον ήδη γεμάτο κόσμο της τεχνητής νοημοσύνης;

πάρα πολλοί άνθρωποι πιστεύουν ότι τα μακροπρόθεσμα έργα, οι σωστές εκδόσεις κώδικα και τα καλά μελετημένα σημεία αναφοράς δεν δίνουν αρκετά κίνητρα - μερικές φορές μπορεί να είναι κάτι που κάνετε γρήγορα και ένοχα και μετά να επιστρέψετε στην «πραγματική» έρευνα .

πρόσφατα, ο omar khattab, ένας διδακτορικός φοιτητής στην ομάδα nlp στο πανεπιστήμιο του στάνφορντ, δημοσίευσε μια ανάρτηση στο ιστολόγιο που συζητούσε τις σκέψεις κορυφαίων μελετητών τεχνητής νοημοσύνης σχετικά με τη διεξαγωγή αποτελεσματικής έρευνας.

ας δούμε τι είπε:

ο αντίκτυπος της έρευνας έχει πολλές μορφές και θα επικεντρωθώ μόνο στη μέτρηση του αντίκτυπου της έρευνας στην τεχνητή νοημοσύνη μέσω εργασιών ανοιχτού κώδικα (π.χ. μοντέλα, συστήματα, πλαίσια ή σημεία αναφοράς). επειδή μέρος του στόχου μου είναι να τελειοποιήσω τις ιδέες μου, να καταγράψω συγκεκριμένες προτάσεις και να συγκεντρώσω σχόλια, θα κάνω τη δήλωση πιο συνοπτική. εάν έχετε άλλες ιδέες, συζητήστε τις στην περιοχή σχολίων.

πρώτον, εδώ είναι οι κατευθυντήριες αρχές:

• επικεντρωθείτε σε έργα, όχι σε χαρτιά.

• μπορείτε να «σκάψετε μια τρύπα» επιλέγοντας ένα κατάλληλο πρόβλημα που έχει περισσότερο χώρο ανάπτυξης.

• σκεφτείτε δύο βήματα μπροστά και επαναλάβετε γρήγορα.

• δημοσιοποιήστε τη δουλειά σας και προωθήστε τις ιδέες σας.

• βρείτε τρόπους να παρακινήσετε τον εαυτό σας: ακολουθούν συμβουλές για την ανάπτυξη της έρευνάς σας ανοιχτού κώδικα.

• συνεχίστε να επενδύετε στο έργο σας με νέα έγγραφα.

• το πέμπτο σημείο, «συμβουλές για την ανάπτυξη έρευνας ανοιχτού κώδικα», αξίζει ένα μεγαλύτερο άρθρο από μόνο του. μπορώ να γράψω για αυτό στην επόμενη ανάρτησή μου.

εστίαση σε έργα

παρά ένα χαρτί

αυτό είναι ένα κρίσιμο κομμάτι σκέψης στο οποίο βασίζονται όλα τα άλλα.

οι αρχάριοι μαθητές θα δώσουν μεγάλη έμφαση στη δημοσίευση των πρώτων τους εργασιών. αυτό έχει νόημα: είναι ο τρόπος με τον οποίο μαθαίνεις να διεξάγεις έρευνα, να εξερευνάς τις αρχικές κατευθύνσεις και να επιδεικνύεις πρώιμη πρόοδο. αλλά αυτό είναι ένα στάδιο που πρέπει τελικά να αφήσετε: μακροπρόθεσμα, τα επιτεύγματα και η ανάπτυξή σας θα εξαρτηθούν λιγότερο από τον τεράστιο αριθμό των εργασιών και περισσότερο από τον αντίκτυπό σας και το συνολικό ερευνητικό πλαίσιο που μεταφέρετε.

δυστυχώς, πάρα πολλοί διδακτορικοί φοιτητές θεωρούν την πιο δυνητικά επιδραστική συμπεριφορά ως "μη κινητοποιητική". αυτό με μπέρδεψε μέχρι που κατάλαβα τι εννοούσαν ότι αυτές οι ενέργειες μπορεί να επιβραδύνουν την ικανότητά σας να δημοσιεύσετε την επόμενη εργασία σας. αλλά η ικανότητά σας να δημοσιεύσετε την επόμενη εργασία σας τόσο γρήγορα είναι λιγότερο σημαντική.

προτείνω να μην θεωρείτε τη δουλειά σας ως μια σειρά μεμονωμένων εγγράφων, αλλά αντίθετα αναρωτηθείτε: ποια είναι τα μεγαλύτερα οράματα που πρόκειται να ηγηθείτε και ποια είναι τα υποπεδία ή τα παραδείγματα σε αυτό; τι διαφορά θέλετε να κάνετε με τη δουλειά σας; έτσι, θα δημοσιεύσετε μεμονωμένες εργασίες για να εξερευνήσετε και να δημιουργήσετε σημεία αναφοράς, ενώ το μεγαλύτερο όραμα θα πρέπει να είναι κάτι που σκόπιμα επαναλαμβάνετε. πρέπει να είναι πολύ μεγαλύτερο από αυτό που φέρει το χαρτί και είναι σίγουρα ένα πρόβλημα που δεν έχει ακόμη λυθεί πλήρως.

ένας τρόπος για να γίνει αυτό είναι να δομήσετε ορισμένα ερευνητικά έγγραφα γύρω από συνεκτικά τεχνουργήματα (όπως μοντέλα, συστήματα, πλαίσια ή σημεία αναφοράς) που διατηρείτε στον τομέα ανοιχτού κώδικα. αυτή η στρατηγική είναι πιο ακριβή από το "εκτελέστε ορισμένα πειράματα και απελευθερώστε ένα φευγαλέο γρήγορο αποθετήριο", αλλά σας αναγκάζει να βρείτε ένα πρόβλημα με πραγματικό αντίκτυπο και σας βοηθά να διασφαλίσετε ότι η νέα έρευνα που κάνετε είναι πραγματικά συνεκτική και χρήσιμη: δεν καταβάλλετε προσπάθεια να εισάγετε ένα μικρό χαρακτηριστικό ή κόλπο που είναι άχρηστο για τα τεχνουργήματα που έχετε αναπτύξει και διατηρεί.

επιλέξτε κατάλληλες ερωτήσεις με μεγαλύτερο περιθώριο βελτίωσης

μπορεί να "σκάψει μια τρύπα"

δεν αξίζει να επενδύετε σε κάθε χαρτί που γράφετε επ' αόριστον. πολλά έγγραφα είναι εφάπαξ διερευνητικά έγγραφα. για να βρείτε οδηγίες που μπορούν να μετατραπούν σε μεγαλύτερα έργα, χρησιμοποιήστε τα ακόλουθα κριτήρια.

πρώτον, το πρόβλημα πρέπει να είναι αιχμής. μπορείτε να το ορίσετε με πολλούς τρόπους, αλλά μεόλα συμπεριλαμβάνονταιμια αποτελεσματική στρατηγική στον τομέα είναι να βρεθεί ένας προβληματικός χώρος που θα είναι «καυτός» σε 2-3 χρόνια αλλά δεν έχει γίνει ακόμα mainstream.

δεύτερον, το πρόβλημα πρέπει να έχει μεγάλες δυνατότητες για διάνοιξη τρυπών, δηλαδή πιθανή επίπτωση σε πολλά προβλήματα κατάντη. βασικά, τα αποτελέσματα αυτών των ερωτήσεων μπορεί να ωφελήσουν ή να ενδιαφέρουν αρκετά άτομα. οι ερευνητές και οι άνθρωποι ενδιαφέρονται για το τι τους βοηθά να επιτύχουν τους στόχους τους, επομένως η ερώτησή σας μπορεί να είναι κάτι σαν να βοηθάτε άλλους να δημιουργήσουν πράγματα ή να επιτύχουν στόχους έρευνας ή παραγωγής. μπορείτε να εφαρμόσετε αυτό το φίλτρο για να μελετήσετε θεωρητικά θεμέλια, υποδομές συστήματος, νέα σημεία αναφοράς, νέα μοντέλα και πολλά άλλα πράγματα.

τρίτον, το πρόβλημα πρέπει να αφεθεί με μεγαλύτερο περιθώριο. αν πείτε στους ανθρώπους ότι το σύστημά τους μπορεί να είναι 1,5 φορές πιο γρήγορο ή 5% πιο αποτελεσματικό, αυτό μάλλον δεν είναι ενδιαφέρον. μου φαίνεται ότι πρέπει να βρείτε προβλήματα όπου, τουλάχιστον μετά από χρόνια σκληρής δουλειάς, έχετε μια μη μηδενική ελπίδα να κάνετε κάτι πιο γρήγορο, ας πούμε 20 φορές πιο γρήγορο ή 30% πιο αποτελεσματικό. φυσικά, δεν χρειάζεται να φτάσετε μέχρι εκεί για να πετύχετε και δεν θα πρέπει να περιμένετε μέχρι να φτάσετε εντελώς εκεί για να δημοσιεύσετε την πρώτη σας εργασία ή να κυκλοφορήσετε το πρώτο σας έργο.

δεν θέλω να είμαι πολύ αφηρημένος, ας χρησιμοποιήσουμε το colbert για να το επεξηγήσουμε. στα τέλη του 2019, η έρευνα σχετικά με την εφαρμογή bert για ανάκτηση ήταν πολύ δημοφιλής, αλλά αυτές οι μέθοδοι είναι πολύ ακριβές. φυσικά αναρωτιέται κανείς, μπορούμε να βελτιώσουμε σημαντικά την αποτελεσματικότητα αυτής της προσέγγισης; τι κάνει αυτό μια καλή ερώτηση;

πρώτον, είναι πολύ προλογισμένος. μπορούμε να προβλέψουμε σωστά ότι μέχρι το 2021 (1,5 χρόνο αργότερα), πολλοί ερευνητές θα αναζητήσουν αποτελεσματικές αρχιτεκτονικές ανάκτησης βασισμένες στο bert. δεύτερον, έχει πολλά περιθώρια εξέλιξης. τα νέα παραδείγματα ml τείνουν να είναι έτσι επειδή οι περισσότερες τέτοιες προσπάθειες αρχικά αγνοούν την αποτελεσματικότητα. στην πραγματικότητα, η αρχική προσέγγιση μπορεί να χρειαστεί 30 δευτερόλεπτα για να απαντήσει σε ένα ερώτημα, αλλά τώρα μπορεί να ολοκληρώσει ανακτήσεις υψηλότερης ποιότητας σε 30 χιλιοστά του δευτερολέπτου, που είναι 1.000 φορές πιο γρήγορο. τρίτον, έχει μεγάλο fanout. η κλιμακούμενη ανάκτηση είναι ένα καλό πρόβλημα «θεμελίωσης»: όλοι πρέπει να χτίσουν κάτι πάνω από τα retriever, αλλά λίγοι θέλουν να τα δημιουργήσουν.

σκεφτείτε δύο βήματα μπροστά

και επαναλάβετε γρήγορα

τώρα που έχετε ένα καλό πρόβλημα, μην βιαστείτε να επιλέξετε το χαμηλό φρούτο που έχετε μπροστά σας ως προσέγγιση! κάποια στιγμή, τουλάχιστον πολλοί άνθρωποι θα εξετάσουν τελικά την «προφανή» προσέγγιση.

αντίθετα, σκεφτείτε τουλάχιστον δύο βήματα μπροστά. προσδιορίστε τη διαδρομή που είναι πιθανό να ακολουθήσουν οι περισσότεροι άνθρωποι όταν αυτό το επίκαιρο ζήτημα γίνει τελικά κυρίαρχο. στη συνέχεια, εντοπίστε τους περιορισμούς της ίδιας της διαδρομής και εργαστείτε για να κατανοήσετε και να αντιμετωπίσετε αυτούς τους περιορισμούς.

πώς φαίνεται αυτό στην πράξη; ας ξαναδούμε την υπόθεση colbert. ο προφανής τρόπος για να δημιουργήσετε ένα αποτελεσματικό retriever χρησιμοποιώντας το bert είναι να κωδικοποιήσετε έγγραφα σε διανύσματα. είναι ενδιαφέρον ότι μέχρι το τέλος του 2019, μόνο περιορισμένη εργασία ir το είχε επιτύχει. για παράδειγμα, το έργο με τις περισσότερες αναφορές σε αυτήν την κατηγορία (dpr) κυκλοφόρησε την πρώτη του προέκδοση μόλις τον απρίλιο του 2020.

δεδομένου αυτού, μπορεί να σκεφτείτε ότι το σωστό πράγμα που πρέπει να κάνετε το 2019 είναι να δημιουργήσετε ένα υπέροχο μοντέλο υπερύθρων μονού διανύσματος μέσω του bert. αντίθετα, η σκέψη μόλις δύο βήματα μπροστά γεννά το ερώτημα: αργά ή γρήγορα όλοι χτίζουν μια προσέγγιση ενός διανύσματος, οπότε πού κολλάει ουσιαστικά αυτή η προσέγγιση ενός διανύσματος; στην πραγματικότητα, αυτό το πρόβλημα οδήγησε σε μεταγενέστερα παραδείγματα αλληλεπίδρασης και ευρέως χρησιμοποιούμενα μοντέλα.

ως άλλο παράδειγμα, μπορούμε να χρησιμοποιήσουμε το dspy. τον φεβρουάριο του 2022, καθώς οι υποδείξεις γίνονταν όλο και πιο ισχυρές, έγινε σαφές ότι οι άνθρωποι ήθελαν να χρησιμοποιούν υποδείξεις για διασφάλιση ποιότητας με βάση την ανάκτηση, αντί να βελτιστοποιήσουν όπως πριν. για να γίνει αυτό, πρέπει φυσικά να καθιερώσουμε μια μέθοδο. προχωρώντας δύο βήματα παραπέρα, ρωτάμε: πού κολλάει μια τέτοια προσέγγιση; τελικά, η προσέγγιση "ανάκτηση και μετά δημιουργία" (ή rag) είναι πιθανώς η απλούστερη προσέγγιση που περιλαμβάνει lm.

για τους ίδιους λόγους που ενδιαφέρονται οι άνθρωποι για αυτό, προφανώς θα ενδιαφέρονται ολοένα και περισσότερο για: (i) να εκφράσουν πιο σύνθετους συνδυασμούς ενοτήτων (ii) να καταλάβουν τι πρέπει να γίνει μέσω αυτόματης προτροπής ή λεπτομέρειας του υποκείμενου lm. επίβλεψη ή βελτιστοποίηση του σύνθετου αγωγού που προκύπτει. αυτό είναι το dspy.

το δεύτερο μισό αυτού του κανόνα είναι "επανάληψη γρήγορα". αυτή ήταν ίσως η πρώτη ερευνητική συμβουλή που μου έδωσε ο σύμβουλός μου matei zaharia (νικητής του βραβείου sloan και ιδρυτής του apache spark) κατά την πρώτη εβδομάδα του διδακτορικού μου: προσδιορίζοντας ένα θέμα όπου μπορείτε να επαναλάβετε γρήγορα και να λάβετε σχόλια (όπως καθυστέρηση ή επαλήθευση score) έκδοση του προβλήματος, η οποία μπορεί να βελτιώσει σημαντικά τις πιθανότητές σας να λύσετε το παζλ. αυτό είναι ιδιαίτερα σημαντικό εάν σκέφτεστε δύο βήματα μπροστά, κάτι που είναι δύσκολο και αρκετά αβέβαιο.

δημοσιοποιήστε τη δουλειά σας

αφήστε τις ιδέες σας να βυθιστούν

σε αυτό το σημείο, έχετε ανακαλύψει ένα καλό πρόβλημα και συνεχίζετε να επαναλαμβάνετε μέχρι να ανακαλύψετε κάτι ωραίο και να γράψετε ένα διορατικό άρθρο. μην προχωρήσετε στο επόμενο χαρτί. αντίθετα, επικεντρωθείτε στο να μεταφέρετε τα αποτελέσματα της δουλειάς σας στον κόσμο και επιδιώξτε να έχετε πραγματικές αλληλεπιδράσεις με τους ανθρώπους, όχι μόνο για μια έκδοση χαρτιού, αλλά για τη μεγάλη εικόνα που ερευνάτε ενεργά. ή καλύτερα, ενημερώστε τους άλλους για ένα χρήσιμο εργαλείο ανοιχτού κώδικα που δημιουργείτε και συντηρείτε και το οποίο καταγράφει τις βασικές σας ιδέες.

ένα συνηθισμένο πρώτο βήμα είναι να δημοσιεύσετε μια προεκτύπωση της εργασίας σας στο arxiv και στη συνέχεια να δημοσιεύσετε μια "ανάρτηση" που ανακοινώνει τη δημοσίευση της εργασίας σας. όταν το κάνετε αυτό, βεβαιωθείτε ότι ξεκινάτε την ανάρτησή σας με έναν συγκεκριμένο, ουσιαστικό και κατανοητό ισχυρισμό. ο στόχος δεν είναι να πείτε στους ανθρώπους ότι δημοσιεύσατε μια εργασία, η οποία δεν έχει εγγενή αξία. ο στόχος είναι να μεταφέρετε τα βασικά σας επιχειρήματα με άμεσο και ελκυστικό τρόπο. (ναι, ξέρω ότι είναι δύσκολο, αλλά είναι απαραίτητο).

ίσως το πιο σημαντικό, η διαδικασία δεν τελειώνει με την πρώτη «εκτόξευση», είναι μόνο η αρχή. δεδομένου ότι τώρα επενδύετε σε έργα, όχι μόνο σε εργασίες, οι ιδέες και η επιστημονική σας επικοινωνία θα συνεχιστούν καθ' όλη τη διάρκεια του έτους, πολύ πέρα ​​από μεμονωμένες έντυπες δημοσιεύσεις.

όταν βοηθώ μεταπτυχιακούς φοιτητές να κάνουν tweet για τη δουλειά τους, δεν είναι ασυνήθιστο οι αρχικές τους δημοσιεύσεις να μην λαμβάνουν την προσοχή που ήλπιζαν. οι μαθητές συχνά βλέπουν αυτό ως επικύρωση του φόβου τους για τη δημοσίευση της έρευνάς τους και το θεωρούν ως ένα άλλο σημάδι ότι πρέπει να προχωρήσουν στην επόμενη εργασία τους. προφανώς, αυτή η ιδέα είναι εσφαλμένη.

υπάρχει μια πληθώρα προσωπικής εμπειρίας, εμπειρίας από δεύτερο χέρι και παρατήρησης που δείχνει ότι είναι πολύ λογικό να επιμείνεις σε αυτό το θέμα (κάτι που, παρεμπιπτόντως, δεν το κάνουν πολλοί άνθρωποι). δηλαδή, με σπάνιες εξαιρέσεις, η έλξη καλής ιδέας απαιτεί να λέτε στους ανθρώπους βασικά πράγματα πολλές φορές σε διαφορετικά περιβάλλοντα και να βελτιώνετε συνεχώς την ιδέα σας και την παράδοση της ιδέας μέχρι να μπορέσει η κοινότητα να αναπτυχθεί με την πάροδο του χρόνου ή μέχρι να το πεδίο φτάνει στο σωστό στάδιο ανάπτυξης όπου αυτές οι ιδέες γίνονται πιο εύκολα κατανοητές.

συγκεντρώστε ενθουσιασμό

συμβουλές για τη δημοσίευση έρευνας ανοιχτού κώδικα

το να ενθουσιάζετε τους ανθρώπους με την έρευνά σας είναι καλό, αλλά η παράδοση των ιδεών σας σε σχετικές μεταγενέστερες εφαρμογές μέσω της δημοσίευσης, της συνεισφοράς και της ανάπτυξης εργαλείων ανοιχτού κώδικα μπορεί συχνά να έχει μεγαλύτερο αντίκτυπο.

δεν είναι εύκολο να το κάνετε αυτό: η απλή μεταφόρτωση των αρχείων κώδικα μαζί με το readme στο github δεν αρκεί. ένα καλό αποθετήριο θα είναι το «σπίτι» του έργου σας, πιο σημαντικό από οποιοδήποτε χαρτί που δημοσιεύετε.

η καλή έρευνα ανοιχτού κώδικα απαιτεί δύο σχεδόν ανεξάρτητες ιδιότητες. πρώτον, πρέπει να είναι καλή έρευνα, πρωτότυπη, έγκαιρη, καλοπροαίρετη και ακριβής. δεύτερον, πρέπει να έχει καθαρή κατάντη χρησιμότητα και χαμηλή τριβή.

αυτό είναι το πιο σημαντικό μέρος: οι άνθρωποι θα αποφεύγουν επανειλημμένα (και άλλοι θα χρησιμοποιούν επανειλημμένα) την εργασία σας στο oss για όλους τους "λάθος" λόγους. για παράδειγμα, η έρευνά σας μπορεί να είναι αντικειμενικά "υψηλής τεχνολογίας", αλλά κατά πάσα πιθανότητα οι άνθρωποι θα δώσουν προτεραιότητα σε εναλλακτικές λύσεις με λιγότερες τριβές. από την άλλη πλευρά, οι μεταπτυχιακοί φοιτητές συχνά χάνουν το νόημα του γιατί οι άνθρωποι χρησιμοποιούν το εργαλείο σας, για παράδειγμα, επειδή δεν εκμεταλλεύονται πλήρως τα πιο δημιουργικά μέρη σας. αυτό δεν είναι κάτι που αξίζει να αντισταθείς, αλλά κάτι που αξίζει να κατανοήσεις και να πρέπει να βελτιωθείς.

με βάση αυτό, θα ήθελα να απαριθμήσω μερικά ορόσημα στα οποία πρέπει να προσέξετε όταν πρόκειται για αποτελέσματα έρευνας ανοιχτής προέλευσης.

ορόσημο 0: διαθέσιμο δημοσιευμένο περιεχόμενο

δεν έχει νόημα η απελευθέρωση κώδικα που κανείς δεν μπορεί να εκτελέσει. στον τομέα της έρευνάς σας, αυτοί οι άνθρωποι θέλουν να αναπαράγουν τα αποτελέσματά σας. ίσως υπερβούν την εργασία σας και αναφέρουν τα αποτελέσματα της έρευνάς σας. αυτοί οι άνθρωποι είναι πιο υπομονετικοί από άλλους τύπους χρηστών. ωστόσο, θα βρείτε τεράστιες διαφορές στον ακαδημαϊκό αντίκτυπο ανάλογα με το πόσο εύκολο είναι να επιδιορθωθεί ο κώδικας.

ορόσημο 1: κάντε το δημοσιευμένο περιεχόμενο χρήσιμο

εκτός από τα άτομα στη θέση σας, θα πρέπει να βεβαιωθείτε ότι η κυκλοφορία σας είναι χρήσιμη σε ένα κοινό που θέλει να χρησιμοποιήσει πραγματικά το έργο για να δημιουργήσει άλλα πράγματα. στην έρευνα τεχνητής νοημοσύνης, αυτό το ορόσημο σπάνια έρχεται φυσικά. θα πρέπει να αφιερώσετε πολύ χρόνο για να σκεφτείτε τα προβλήματα που προσπαθούν να λύσουν οι άνθρωποι (έρευνα, παραγωγή κ.λπ.) και πού μπορούν να βοηθήσουν οι προσπάθειές σας για την τεχνητή νοημοσύνη. εάν μπορείτε να το κάνετε σωστά, θα έχει πολλά οφέλη, από τον σχεδιασμό του έργου μέχρι το εκτεθειμένο api και την τεκμηρίωση/παραδείγματα που παρουσιάζονται.

ορόσημο 2: κάντε τις εκδόσεις κατανοητές

αυτό είναι δύσκολο για τους ερευνητές της τεχνητής νοημοσύνης, αλλά πρέπει να συνειδητοποιήσουμε ότι μια χρήσιμη έκδοση, όπου τα πάντα είναι τεχνικά διαθέσιμα και είναι κάπως εξηγήσιμα, δεν σημαίνει ότι η πλειοψηφία των πιθανών χρηστών σας θα το βρει. η έκδοση είναι κατανοητή και αρκετή για να τα διατηρήσει ασχολούνται με τη μάθηση ή τη δοκιμή.

ο γνωστός μελετητής της τεχνητής νοημοσύνης andrej karpathy έγραψε ένα άρθρο σχετικά με αυτό το θέμα: «χτίζεις κάτι και μετά πρέπει να φτιάξεις ράμπες για να φτάσεις σε αυτό». ο ben clavie έχει επίσης γράψει εκτενώς γι' αυτό και συμμετείχε σε μεγάλο βαθμό στη δουλειά που κάναμε στο colbert και να το κάνουμε πιο προσιτό.

ορόσημο 3: ανακαλύψτε γιατί απέτυχε η προφανής εναλλακτική και κάντε υπομονή

ξεκινήσαμε μιλώντας για τη σκέψη δύο βήματα μπροστά. αυτό είναι κρίσιμο κατά τη γνώμη μου, αλλά σημαίνει επίσης ότι οι περισσότεροι άνθρωποι δεν θα καταλάβουν γιατί χρειάζονται μια λύση σε ένα πρόβλημα που δεν μπορούν ακόμη να παρατηρήσουν ξεκάθαρα. νομίζω ότι μέρος της δουλειάς σου με την πάροδο του χρόνου είναι να χτίζεις μια υπόθεση. συγκεντρώστε αποδεικτικά στοιχεία και εξηγήστε με ευκολονόητο τρόπο γιατί οι προφανείς εναλλακτικές (σκεφτείτε ένα βήμα τη φορά) θα αποτύχουν.

ορόσημο 4: κατανοήστε τον τύπο των χρηστών και αξιοποιήστε το για ανάπτυξη

όταν ξεκίνησα το colbert και το dspy, το αρχικό μου κοινό ήταν ερευνητές και επαγγελματίες μηχανικοί ml. με τον καιρό, έμαθα να το εγκαταλείπω και να καταλαβαίνω ότι μπορείς να προσεγγίσεις ένα μεγαλύτερο κοινό, αλλά αυτό θέλει διαφορετικά πράγματα. πριν κάνετε οτιδήποτε, μην αποκλείετε έμμεσα ή έστω άμεσα διαφορετικές κατηγορίες πιθανών χρηστών. αυτή η κατάσταση είναι πολύ πιο συνηθισμένη από ό,τι πιστεύουν οι άνθρωποι.

δεύτερον, όταν ψάχνουμε για χρήστες, πρέπει να βρούμε μια ισορροπία μεταξύ των δύο τύπων χρηστών. από τη μία πλευρά, οι ειδικοί κατασκευαστές με περιπτώσεις προηγμένης χρήσης μπορεί να απαιτούν από εσάς να επενδύσετε πολλά χρήματα, αλλά τείνουν να προωθήσουν ορισμένες περιπτώσεις χρήσης με ερευνητική έννοια, κάτι που μπορεί να αποδώσει. οι δημόσιοι κατασκευαστές, από την άλλη πλευρά, συνήθως δεν είναι ειδικοί ml, αλλά συχνά δημιουργούν και μοιράζονται τις γνώσεις τους δημόσια, αντιπροσωπεύουν μεγαλύτερο μερίδιο ανάπτυξης μεγάλης κλίμακας και θα σας κάνουν να σκεφτείτε περισσότερο την αρχική σας υπόθεση. χρειάζεσαι και τα δύο.

ορόσημο 5: μετατρέψτε το ενδιαφέρον σε μια αναπτυσσόμενη κοινότητα

η πραγματική επιτυχία της εργασίας oss έγκειται στην παρουσία μιας κοινότητας και στη συνεχή ανάπτυξή της ανεξάρτητα από τις προσπάθειές σας. σε γενικές γραμμές, μια καλή κοινότητα θα πρέπει να είναι οργανική, αλλά πρέπει να εργαστείτε ενεργά για να τη βοηθήσετε να διαμορφωθεί, όπως να καλωσορίσετε συνεισφορές και συζητήσεις και να αναζητήσετε ευκαιρίες για να μετατρέψετε το ενδιαφέρον σε συνεισφορές ή κάποιο είδος φόρουμ (όπως το discord ή το github).

ορόσημο 6: μετατρέψτε το ενδιαφέρον σε ενεργά, συνεργατικά και αρθρωτά κατάντη έργα

οι πιθανότητες είναι ότι το έργο σας oss στα αρχικά του στάδια δεν λύνει όλα τα προβλήματα στο αρχικό σας όραμα. ένα καλά σχεδιασμένο έργο θα έχει συχνά πολλαπλά αρθρωτά μέρη που σας επιτρέπουν να ξεκινήσετε ερευνητικές συνεργασίες (ή άλλες προσπάθειες) και να επιτρέψετε στα νέα μέλη της ομάδας όχι μόνο να προωθήσουν το έργο, αλλά και να κατέχουν σημαντικά μέρη του έργου, καθιστώντας το ταχύτερο ή μεγαλύτερη επιρροή τις ιδέες τους ενώ βελτιώνουν δραματικά το έργο. για παράδειγμα, το dspy έχει επί του παρόντος ξεχωριστές ομάδες που ηγούνται των προσπαθειών ε&α στη βελτιστοποίηση έγκαιρα, την αφαίρεση προγραμματισμού και την ενισχυτική μάθηση. τα στοιχεία του colbert, όπως οι διεπαφές προγραμματισμού εξωτερικών εφαρμογών, η υποκείμενη υποδομή ανάκτησης και η βασική μοντελοποίηση καθοδηγούνται κυρίως από διαφορετικούς ανθρώπους σε διαφορετικά έργα.

ελάτε, συνοψίστε. η υιοθέτηση της έρευνας ανοιχτού κώδικα απαιτεί καλή έρευνα και καλά αποτελέσματα ανοιχτού κώδικα. αυτή η ισορροπία είναι δύσκολο να επιτευχθεί, αλλά μόλις την πετύχετε σωστά, μπορεί να είναι πολύ ικανοποιητική. προσωπικά, μου πήρε πολύ χρόνο για να το κατανοήσω και να το εσωτερικεύσω αυτό. αυτό οφείλεται στα επανειλημμένα σχόλια από τους επιβλέποντες διδακτορικούς μου, chris potts και matei zaharia, καθώς και στην πολύτιμη συμβολή από τη heather miller και τον jeremy howard.

το κριτήριο για την αξιολόγηση της έρευνας είναι η «αύξηση» σε σύγκριση με την προηγούμενη γνώση, αλλά πριν κάποιος μπορέσει να εκμεταλλευτεί ουσιαστικά την «αύξηση», το ίδιο το λογισμικό πρέπει να είναι αποτελεσματικό. για να είναι αποτελεσματικό το λογισμικό, η τεκμηρίωσή του πρέπει επίσης να είναι αποτελεσματική: οι άνθρωποι δεν θα βλέπουν όλους τους μεταγενέστερους τρόπους με τους οποίους υποτίθεται ότι χρησιμοποιούν το λογισμικό, εκτός αν τους το δείξετε. δηλαδή, μέχρι να αναπτυχθούν αυτές οι εργασίες από μια ανεξάρτητη κοινότητα.

έχοντας πει όλα αυτά, η πιο σημαντική ικανότητα σε αυτήν την ενότητα είναι να "δημοσιεύετε", να δημοσιεύετε πραγματικά, να δημοσιεύετε συχνά και να μαθαίνετε από αυτό.

δημοσίευση νέου χαρτιού

συνεχίστε να επενδύετε στα δικά σας έργα

όταν διαβάζετε τον πέμπτο κανόνα, είναι φυσικό να ρωτάτε: πού ξοδεύουν οι μεταπτυχιακοί φοιτητές τόσο πολύ χρόνο σε λογισμικό ανοιχτού κώδικα; πότε μπορεί να γίνει πραγματική έρευνα;

η πρακτική απάντηση είναι ότι ο περισσότερος χρόνος που αφιερώνεται σε ανοιχτό κώδικα θα μπορούσε να χρησιμοποιηθεί για τη διεξαγωγή νέας και συναρπαστικής έρευνας. τα δύο δεν είναι τόσο ξεχωριστά όσο φαίνονται. γιατί το λες αυτό;

πρώτον, το να είσαι στην πρώτη γραμμή αυτού του είδους εργασίας λογισμικού ανοιχτού κώδικα σάς επιτρέπει να εντοπίζετε διαισθητικά νέα προβλήματα πολύ νωρίς. θα καταλάβετε το πρόβλημα πιο ενστικτωδώς από ό,τι αλλιώς. επιπλέον, η κοινότητα που δημιουργείτε συχνά παρέχει άμεση ανατροφοδότηση σχετικά με τα πρωτότυπα των δικών σας μεθόδων και σας δίνει πρόσβαση σε ταλαντούχους συνεργάτες που κατανοούν τη σημασία του προβλήματος. θα αποκτήσετε επίσης πρόσβαση σε χρήσιμα "κανάλια διανομής" για να διασφαλίσετε ότι κάθε νέα εφημερίδα που δημοσιεύετε σε αυτόν τον τομέα προσεγγίζει το κοινό σας και ενισχύει την υπάρχουσα πλατφόρμα σας.

για παράδειγμα, το "colbert" δεν είναι απλώς ένα χαρτί στις αρχές του 2020. πλέον έχει πιθανώς δέκα περίπου επακόλουθες σχετικές εργασίες, επενδύοντας σε βελτιωμένη εκπαίδευση, χαμηλότερο αποτύπωμα μνήμης, ταχύτερη υποδομή ανάκτησης, καλύτερη προσαρμοστικότητα τομέα και καλύτερη αντιστοίχιση με εργασίες κατάντη nlp. ομοίως, το dspy δεν είναι ένα χαρτί, αλλά μια συλλογή εγγράφων σχετικά με την αφαίρεση προγραμματισμού, τη βελτιστοποίηση υποδείξεων και τα μεταγενέστερα προγράμματα. πολλές από αυτές τις εργασίες γράφτηκαν από διάφορους εξαιρετικούς συγγραφείς και η δουλειά τους είχε τεράστιο αντίκτυπο, εν μέρει δημιουργώντας ένα μεγάλο κοινό μέσω καναλιών λογισμικού ανοιχτού κώδικα.

έτσι, ένα καλό εργαλείο ανοιχτού κώδικα μπορεί να δημιουργήσει αρθρωτά έργα που μπορούν να εξερευνηθούν, να ανήκουν και να αναπτυχθούν από νέους ερευνητές και συνεργάτες.

αναφορά αρχικού κειμένου: https://github.com/okhat/blog/blob/main/2024.09.impact.md