νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: Τμήμα Σύνταξης

[Εισαγωγή στη Νέα Σοφία]Το ACL, το ετήσιο κορυφαίο συνέδριο NLP, ανακοίνωσε την τελική νικήτρια εργασία. Φέτος, συνολικά 7 εργασίες κέρδισαν την καλύτερη εργασία και τα βραβεία δοκιμής χρόνου απονεμήθηκαν στα Stanford GloVe και Cornell University Similarity Measure. Επιπλέον, υπάρχουν το βραβείο καλύτερου θέματος, το βραβείο καλύτερου κοινωνικού αντίκτυπου, το βραβείο καλύτερου πόρου, το βραβείο έδρας περιοχής και το βραβείο εξαιρετικού χαρτιού.

Τα βραβεία ACL 2024 επιτέλους κυκλοφόρησαν!

Ανακοινώθηκαν συνολικά 7 καλύτερες εργασίες, 35 εξαιρετικές εργασίες, καθώς και το Time Test Award, το SAC Award, το Best Theme Paper, το Best Resource Paper Award κ.λπ.

Αξίζει να αναφέρουμε ότι ανάμεσα στις 7 καλύτερες εργασίες, το Deciphering Oracle Bone Language with Diffusion Models ολοκληρώθηκε από μια εξ ολοκλήρου κινεζική ομάδα.

Φέτος είναι το 26ο ετήσιο συνέδριο του Διεθνούς Συνεδρίου Υπολογιστικής Γλωσσολογίας (ACL), το οποίο άνοιξε στην Μπανγκόκ της Ταϊλάνδης, από τις 11 έως τις 16 Αυγούστου.

Ο συνολικός αριθμός των εργασιών που υποβλήθηκαν για το ACL 2024 είναι σχεδόν ίδιος με αυτόν του 2023, περίπου 5.000 εργασίες, από τις οποίες έγιναν δεκτές 940 εργασίες.

Αυτό το ACL είναι το μεγαλύτερο στην ιστορία, με συνολικά 72 SAC, 716 AC και 4208 αναθεωρητές.

975 εργασίες εύρεσης, 6 JCL, 31 TACL, 3 βασικές ομιλίες και 1 πάνελ.

Ολόκληρο το συνέδριο περιλάμβανε επίσης 18 εργαστήρια, 6 σεμινάρια, 38 επιδείξεις και 60 εργασίες SRW.

Τα συγκεκριμένα στοιχεία υποβολής των συγγραφέων της εργασίας είναι τα εξής:

Οι περισσότερες υποβληθείσες εργασίες 1/2: 10.333 μελετητές υπέβαλαν 1 και 2.130 υπέβαλαν 2 εργασίες

Ένας μικρός αριθμός ατόμων υπέβαλε πολλές εργασίες: 3 συγγραφείς υπέβαλαν 18 εργασίες, 6 άτομα υπέβαλαν 19 εργασίες και 18 άτομα υπέβαλαν περισσότερες από 20 εργασίες.

Ας ρίξουμε μια ματιά, ποιες ομάδες κέρδισαν τα βραβεία φέτος;

Τα 7 καλύτερα χαρτιά

Paper 1: Deciphering Oracle Bone Language with Diffusion Models

Ηθοποιός: Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, Yongge Liu, Lianwen Jin, Xiang Bai, Yuliang Liu

Ιδρύματα: Huazhong University of Science and Technology, University of Adelaide, Anyang Normal University, South China University of Technology

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2406.00684

Όπως υποδηλώνει ο τίτλος, η κινεζική ομάδα χρησιμοποίησε την τεχνητή νοημοσύνη για να κάνει ένα πολύ ενδιαφέρον και πολύτιμο πράγμα - την αποκρυπτογράφηση της Oracle (OBS) με τη βοήθεια ενός μοντέλου διάχυσης.

Οι επιγραφές με οστά του μαντείου προήλθαν από τη δυναστεία των Σανγκ της Κίνας πριν από περίπου 3.000 χρόνια και αποτελούν ακρογωνιαίο λίθο στην ιστορία της γλώσσας.

Παρόλο που έχουν ανακαλυφθεί χιλιάδες επιγραφές, πολλές από τις επιγραφές των οστών του μαντείου παραμένουν ανεκρυπτογραφημένες, ρίχνοντας ένα πέπλο μυστηρίου πάνω από αυτήν την αρχαία γλώσσα.

Στην εργασία, ο συγγραφέας εισάγει μια νέα μέθοδο δημιουργίας τεχνητής νοημοσύνης χρησιμοποιώντας εικόνες, ειδικά την ανάπτυξη του «Oracle Bone Script Decipher» (OBSD).

Χρησιμοποιώντας μια στρατηγική που βασίζεται στη διάχυση υπό όρους, το OBSD δημιούργησε σημαντικές ενδείξεις αποκρυπτογράφησης και άνοιξε ένα νέο μονοπάτι για ανάλυση αρχαίων γλωσσών με τη βοήθεια AI.

Για να επαληθεύσουν την αποτελεσματικότητά του, οι ερευνητές διεξήγαγαν μεγάλο αριθμό πειραμάτων στο σύνολο δεδομένων Oracle και τα ποσοτικά αποτελέσματα απέδειξαν την αποτελεσματικότητα του OBSD.

论文2：Ικανότητα φυσικής γλώσσας: Εξερεύνηση της κατανομής του προβλήματος και αξιολόγηση μοντέλων γλώσσας που βασίζονται σε μετασχηματιστές

(Η προτύπωση δεν έχει υποβληθεί ακόμα)

Εργασία 3: Αιτιώδης Εκτίμηση Προφίλ Απομνημόνευσης

Ηθοποιοί: Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel

Ιδρυμα: University of Cambridge, ETH Zurich

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2406.04327

Η κατανόηση της μνήμης του LLM έχει σημαντικές επιπτώσεις για την πρακτική και την κοινωνία, όπως η μελέτη της δυναμικής εκπαίδευσης μοντέλων ή η πρόληψη της παραβίασης πνευματικών δικαιωμάτων.

Προηγούμενη έρευνα ορίζει τη μνήμη ως την αιτιολογική απόκριση στην ικανότητα ενός μοντέλου να προβλέψει αυτή την περίπτωση μέσω της εκπαίδευσης σε αυτήν την περίπτωση.

Αυτός ο ορισμός βασίζεται σε ένα αντίθετο: να είναι σε θέση να παρατηρήσει τι θα είχε συμβεί αν το μοντέλο δεν είχε δει το παράδειγμα.

Ωστόσο, οι υπάρχουσες μέθοδοι συνήθως στοχεύουν στην αρχιτεκτονική του μοντέλου αντί να υπολογίζουν τη μνήμη για συγκεκριμένες περιπτώσεις μοντέλων, καθιστώντας δύσκολη την παροχή υπολογιστικά αποτελεσματικών και ακριβών αντιπαραστατικών εκτιμήσεων.

Αυτή η μελέτη καλύπτει ένα σημαντικό κενό καθώς οι συγγραφείς προτείνουν μια βασισμένη σε αρχές και αποτελεσματική νέα μέθοδο για την εκτίμηση της απομνημόνευσης βάσει σχεδίων διαφοράς στις διαφορές στην οικονομετρία.

Χρησιμοποιώντας αυτή τη μέθοδο, μόνο με την παρατήρηση της συμπεριφοράς ενός μικρού αριθμού περιπτώσεων κατά τη διάρκεια ολόκληρης της εκπαιδευτικής διαδικασίας, μπορεί να περιγραφεί το προφίλ μνήμης του μοντέλου, δηλαδή η τάση μνήμης του μοντέλου σε όλη τη διαδικασία εκπαίδευσης.

Σε πειράματα με τη σουίτα μοντέλων Pythia, οι ερευνητές βρήκαν:

(1) Τα μεγάλα μοντέλα έχουν ισχυρότερες και πιο ανθεκτικές μνήμες.

(2) Καθορίζεται από τη σειρά δεδομένων και το ποσοστό εκμάθησης.

(3) Υπάρχουν σταθερές τάσεις σε μοντέλα διαφορετικών μεγεθών, επομένως η μνήμη των μεγάλων μοντέλων είναι τόσο προβλέψιμη όσο η μνήμη των μικρών μοντέλων.

Paper 4: Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model

Ηθοποιός: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Shalas Blungom Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker

Ιδρύματα: Cohere For AI, Brown University, Cohere, Cohere For AI Community, Carnegie Mellon University, MIT

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2402.07827

Τον Φεβρουάριο του τρέχοντος έτους, η startup Cohere κυκλοφόρησε ένα νέο μοντέλο παραγωγής γλωσσών ανοιχτού κώδικα μεγάλης κλίμακας που ονομάζεται Aya, το οποίο καλύπτει περισσότερες από 101 γλώσσες.

Αξίζει να αναφέρουμε ότι η κάλυψη του μοντέλου γλώσσας μοντέλου Aya είναι υπερδιπλάσια από αυτή των υπαρχόντων μοντέλων ανοιχτού κώδικα, ξεπερνώντας τα mT0 και BLOOMZ.

Η βαθμολογία ανθρώπινης αξιολόγησης φτάνει το 75%, και η βαθμολογία σε διάφορες προσομοιωμένες δοκιμές ποσοστού νίκης είναι 80-90%.

Το έργο ξεκίνησε, συγκεντρώνοντας περισσότερους από 3.000 ανεξάρτητους ερευνητές από 119 χώρες.

Επιπλέον, οι ερευνητές αποκάλυψαν επίσης το μεγαλύτερο σύνολο δεδομένων λεπτομερούς ρύθμισης πολυγλωσσικής καθοδήγησης μέχρι σήμερα, που περιέχει 513 εκατομμύρια κομμάτια δεδομένων, που καλύπτουν 114 γλώσσες.

Paper 5: Mission: Impossible Language Models

Ηθοποιοί: Τζούλι Καλλίνι, Ιζαμπέλ Παπαδημητρίου, Ρίτσαρντ Φούτρελ, Κάιλ Μάχοουαλντ, Κρίστοφερ Ποτς

Ιδρυμα: Πανεπιστήμιο Στάνφορντ, Πανεπιστήμιο της Καλιφόρνια, Irvine, Πανεπιστήμιο του Τέξας στο Ώστιν

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2401.06416

Ο Chomsky και άλλοι έχουν δηλώσει ωμά ότι το LLM είναι εξίσου ικανό να μάθει γλώσσες που είναι δυνατές και αδύνατο να μάθουν οι άνθρωποι.

Ωστόσο, υπάρχουν ελάχιστα δημοσιευμένα πειραματικά στοιχεία που να υποστηρίζουν αυτόν τον ισχυρισμό.

Για να γίνει αυτό, οι ερευνητές ανέπτυξαν ένα σύνολο συνθετικών «αδύνατων γλωσσών» ποικίλης πολυπλοκότητας, καθεμία σχεδιασμένη με συστηματική αλλαγή στα αγγλικά δεδομένα και χρησιμοποιώντας αφύσικη σειρά λέξεων και γραμματικούς κανόνες.

Αυτές οι γλώσσες βρίσκονται σε μια συνέχεια αδύνατων γλωσσών: στο ένα άκρο υπάρχουν εντελώς αδύνατες γλώσσες, όπως τυχαία αναδιαταγμένα αγγλικά, και στο άλλο άκρο είναι γλώσσες που θεωρούνται γλωσσικά αδύνατες, όπως αυτές που βασίζονται σε κανόνες μέτρησης θέσης λέξεων .

Μετά από μια σειρά αξιολογήσεων, το GPT-2 είναι πολύ δύσκολο να μάθει κανείς αδύνατες γλώσσες, γεγονός που αμφισβητεί τη βασική ιδέα.

Το πιο σημαντικό, οι ερευνητές ελπίζουν ότι αυτή η προσέγγιση θα οδηγήσει σε περισσότερη έρευνα σχετικά με την ικανότητα του LLM να μαθαίνει διαφορετικούς τύπους γλωσσών, έτσι ώστε να κατανοήσουν καλύτερα τις πιθανές εφαρμογές του LLM στη γνωστική και γλωσσική τυπολογική έρευνα.

Paper 6: Semisupervised Neural Proto-Language Reconstruction

Συγγραφέας: Liang Lu, Peirong Xie, David R. Mortensen

Ιδρυμα: Πανεπιστήμιο Carnegie Mellon, Πανεπιστήμιο Νότιας Καλιφόρνια

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2406.05930

Οι υπάρχουσες εργασίες σύγκρισης και ανασυγκρότησης της μητρικής γλώσσας συνήθως απαιτούν πλήρη επίβλεψη.

Ωστόσο, τα μοντέλα ιστορικής ανακατασκευής έχουν πρακτική αξία μόνο όταν εκπαιδεύονται με περιορισμένα σχολιασμένα δεδομένα.

Από αυτή την άποψη, οι ερευνητές πρότειναν μια ημι-εποπτευόμενη εργασία ανασυγκρότησης της ιστορίας.

Σε αυτήν την εργασία, το μοντέλο χρειάζεται μόνο να εκπαιδευτεί σε μια μικρή ποσότητα επισημασμένων δεδομένων (ένα ομόλογο σύνολο με πρωτότυπα) και μια μεγάλη ποσότητα δεδομένων χωρίς ετικέτα (ένα ομόλογο σύνολο χωρίς πρωτότυπα).

Ο συγγραφέας ανέπτυξε μια νευρωνική αρχιτεκτονική για συγκριτική ανασυγκρότηση - DPD-BiReconstructor, η οποία περιέχει ένα σημαντικό σημείο στις συγκριτικές μεθόδους των γλωσσολόγων: οι ανακατασκευασμένες λέξεις δεν μπορούν μόνο να ανακατασκευαστούν από τις δευτερεύουσες λέξεις τους, αλλά μπορούν επίσης να μετασχηματιστούν ντετερμινιστικά Επιστροφή στις υπολέξεις τους .

Δείχνουμε ότι αυτή η αρχιτεκτονική είναι σε θέση να αξιοποιήσει μη επισημασμένα σύνολα συγγενών λέξεων και να ξεπεράσει τις υπάρχουσες ημι-εποπτευόμενες βασικές γραμμές μάθησης σε αυτή τη νέα εργασία.

Κείμενο 7: Γιατί οι ευαίσθητες λειτουργίες είναι δύσκολες για τους μετασχηματιστές;

Συγγραφέας: Michael Hahn, Mark Rofin

Ίδρυμα: Πανεπιστήμιο του Σάαρλαντ

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2402.09963

Η εμπειρική έρευνα ανακάλυψε μια σειρά από προκαταλήψεις και περιορισμούς εκμάθησης του μοντέλου Transformer, όπως η δυσκολία στην εκμάθηση υπολογισμού απλών επίσημων γλωσσών (όπως η PARITY) και η τάση του να λειτουργεί με συναρτήσεις χαμηλής τάξης.

Ωστόσο, η θεωρητική κατανόηση παραμένει περιορισμένη και οι υπάρχουσες θεωρίες εκφραστικής ικανότητας είτε υπερπροβλέπουν είτε υποτιμούν την πραγματική ικανότητα μάθησης.

Οι ερευνητές απέδειξαν ότι στην αρχιτεκτονική του μετασχηματιστή, το τοπίο απώλειας περιορίζεται από την ευαισθησία του χώρου εισόδου:

Τα μοντέλα μετασχηματιστών των οποίων οι έξοδοι είναι ευαίσθητες σε πολλαπλά μέρη της συμβολοσειράς εισόδου καταλαμβάνουν απομονωμένα σημεία στο χώρο των παραμέτρων, με αποτέλεσμα την προκατάληψη χαμηλής ευαισθησίας στη γενίκευση.

Η έρευνα καταδεικνύει τόσο θεωρητικά όσο και εμπειρικά ότι η τελευταία θεωρία ενοποιεί εμπειρικές παρατηρήσεις σχετικά με τις ικανότητες μάθησης και τις προκαταλήψεις του Μετασχηματιστή, όπως η προτίμησή τους για ευαισθησία εδάφους και συναρτήσεις χαμηλής τάξης και δυσκολία με προβλήματα ισοτιμίας και μήκους.

Αυτό υποδηλώνει ότι η κατανόηση της επαγωγικής προκατάληψης του μετασχηματιστή απαιτεί τη μελέτη όχι μόνο της κατ' αρχήν εκφραστικότητάς του αλλά και του τοπίου απώλειας.

2 Βραβεία Time Test

Paper 1: GloVe: Global Vectors for Word Representation (2014)

Συγγραφέας: Jeffrey Pennington, Richard Socher, Christopher Manning

Ίδρυμα: Πανεπιστήμιο του Στάνφορντ

Διεύθυνση χαρτιού: https://nlp.stanford.edu/pubs/glove.pdf

Η ενσωμάτωση λέξεων ήταν ο ακρογωνιαίος λίθος των μεθόδων βαθιάς μάθησης για το NLP μεταξύ 2013 και 2018 και συνεχίζει να έχει σημαντικό αντίκτυπο. Όχι μόνο βελτιώνουν την απόδοση των εργασιών NLP, αλλά έχουν επίσης σημαντικό αντίκτυπο στην υπολογιστική σημασιολογία, όπως η ομοιότητα λέξεων και η αναλογία.

Πιθανώς οι δύο μέθοδοι ενσωμάτωσης λέξεων με τη μεγαλύτερη επιρροή είναι το skip-gram/CBOW και το GloVe. Σε σύγκριση με το skip-gram, το GloVe προτάθηκε αργότερα στην εννοιολογική του απλότητα - βελτιστοποίηση της ομοιότητάς τους στο διανυσματικό χώρο με βάση τα χαρακτηριστικά κατανομής των λέξεων, παρά από την προοπτική της απλοποίησης της μοντελοποίησης της γλώσσας ένα σύνολο παραμέτρων για έμμεση βελτιστοποίηση.

Paper 2: Measures of Distibutional Similarity (1999)

Συγγραφέας: Lillian Lee

Ίδρυμα: Πανεπιστήμιο Cornell

Διεύθυνση χαρτιού: https://aclanthology.org/P99-1004.pdf

Η μελέτη των μέτρων ομοιότητας κατανομής στοχεύει στη βελτίωση της εκτίμησης πιθανότητας αόρατων γεγονότων συνεμφάνισης, κάτι που ισοδυναμεί με έναν άλλο τρόπο χαρακτηρισμού της ομοιότητας μεταξύ των λέξεων.

Η συνεισφορά της εργασίας είναι τριπλή: μια εκτενής εμπειρική σύγκριση διαφόρων μετρήσεων, μια ταξινόμηση με βάση τις πληροφορίες που περιέχονται στη συνάρτηση ομοιότητας και η εισαγωγή μιας νέας συνάρτησης που αποδίδει καλά στην αξιολόγηση πιθανών κατανομών παραγόντων.

1 καλύτερη θεματική εργασία

Διατριβή: OLMo: Accelerating the Science of Language Models

Πρωταγωνιστούν:Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authurmangh, Khhannya, Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Emma Shah, Will Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi

Ιδρύματα: Allen Institute for Artificial Intelligence, University of Washington, Yale University, New York University, Carnegie Mellon University

Διεύθυνση χαρτιού: https://arxiv.org/abs/2402.00838

Αυτή η εργασία είναι μια σημαντική πρόοδος στη βελτίωση της διαφάνειας και της αναπαραγωγιμότητας της εκπαίδευσης μεγάλων γλωσσικών μοντέλων, κάτι που η κοινότητα είναι πρόθυμη να σημειώσει πρόοδο (ή τουλάχιστον να επιτρέψει σε άλλους συνεισφέροντες εκτός από τους γίγαντες του κλάδου να συμβάλουν στην πρόοδο).

3 Βραβεία Καλύτερης Κοινωνικής Επιρροής

论文1: Πώς μπορεί ο Johnny να πείσει τους LLMs να τους κάνουν Jailbreak: Επανεξετάζοντας την πειθώ για να αμφισβητήσει την ασφάλεια της τεχνητής νοημοσύνης με εξανθρωπισμό των LLMs

Ερμηνεία: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi

Ιδρύματα: Virginia Tech, Renmin University of China, University of California, Davis, Stanford University

Διεύθυνση χαρτιού: https://arxiv.org/abs/2401.06373

Αυτό το άρθρο διερευνά το θέμα της ασφάλειας της τεχνητής νοημοσύνης της παράκαμψης περιορισμών. Εξετάζει μια μέθοδο που αναπτύχθηκε στον τομέα της έρευνας των κοινωνικών επιστημών. Η έρευνα είναι συναρπαστική και έχει τη δυνατότητα να έχει σημαντικό αντίκτυπο στην κοινότητα.

论文2：DIALECTBENCH: Ένα σημείο αναφοράς NLP για διαλέκτους, ποικιλίες και στενά σχετιζόμενες γλώσσες

Ηθοποιοί: Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, David Chiang, Yulia Tsvetkov, Αντώνιος Αναστασόπουλος

Ιδρύματα: Πανεπιστήμιο George Mason, University of Washington, University of Notre Dame, RC Athena

Διεύθυνση χαρτιού: https://arxiv.org/abs/2403.11009

Η παραλλαγή της διαλέκτου είναι ένα φαινόμενο που δεν έχει ερευνηθεί καθόλου στην επεξεργασία της φυσικής γλώσσας και στην τεχνητή νοημοσύνη. Ωστόσο, η έρευνά του έχει μεγάλη αξία, όχι μόνο από γλωσσική και κοινωνική άποψη, αλλά έχει επίσης σημαντικές επιπτώσεις για τις εφαρμογές. Αυτή η εργασία προτείνει ένα καινοτόμο σημείο αναφοράς για τη μελέτη αυτού του προβλήματος στην εποχή των μεγάλων γλωσσικών μοντέλων.

Κείμενο 3: Καταναλώνοντας μπύρα μετά την προσευχή;

Συγγραφέας: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu

Φορέας: Georgia Institute of Technology

Διεύθυνση χαρτιού: https://arxiv.org/abs/2305.14456

Αυτή η εργασία αποκαλύπτει ένα σημαντικό ζήτημα στην εποχή των μεγάλων γλωσσικών μοντέλων: την πολιτισμική προκατάληψη. Αν και το πλαίσιο της μελέτης είναι η αραβική κουλτούρα και γλώσσα, τα αποτελέσματα δείχνουν ότι πρέπει να λάβουμε υπόψη πολιτιστικές αποχρώσεις όταν σχεδιάζουμε μεγάλα γλωσσικά μοντέλα. Ως εκ τούτου, παρόμοιες μελέτες θα μπορούσαν να διεξαχθούν σε άλλους πολιτισμούς για να γενικευτεί και να αξιολογηθεί εάν και άλλοι πολιτισμοί επηρεάζονται από αυτό το πρόβλημα.

3 Best Resource Papers

Paper 1: Latxa: An Open Language Model and Evaluation Suite for Basque

Ηθοποιοί: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa

Ίδρυμα: Πανεπιστήμιο της Χώρας των Βάσκων

Διεύθυνση χαρτιού: https://arxiv.org/abs/2403.20266

Αυτή η εργασία περιγράφει λεπτομερώς όλες τις λεπτομέρειες των συνόλων δεδομένων συλλογής και αξιολόγησης corpus. Αν και μελέτησαν τη βασκική γλώσσα, αυτή η προσέγγιση μπορεί να επεκταθεί για τη δημιουργία μεγάλων γλωσσικών μοντέλων για γλώσσες χαμηλών πόρων.

论文2：Dolma: ένα ανοιχτό σώμα τριών τρισεκατομμυρίων σημείων για έρευνα προεκπαίδευσης γλωσσικών μοντέλων

Ηθοποιοί: Λούκα Σολντάινι, Ρόντνεϊ Κίνεϊ, Ακσίτα Μπάγια, Ντάστιν Σβένκ, Ντέιβιντ Άτκινσον, Ράσελ Άουθουρ, Μπεν Μπόγκιν, Χιάθι Τσαντού, Τζένιφερ Ντούμας, Γιανάι Ελαζάρ, Βαλεντίν Χόφμαν, Ανανία Χαρς Τζα, Σαχίν Κουμάρι, Λι Λούμπερουτ, , Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Luke A. Zettlemo. Hannaneh Hajishirzi, Iz Beltagy, Dirk Groeneveld, Jesse Dodge, Kyle Lo

Ιδρύματα: Allen Institute for Artificial Intelligence, UC Berkeley, Carnegie Mellon University, Spiffy AI, MIT, University of Washington

Διεύθυνση χαρτιού: https://arxiv.org/abs/2402.00159

Αυτό το έγγραφο απεικονίζει τη σημασία της επιμέλειας δεδομένων κατά την προετοιμασία συνόλων δεδομένων για μεγάλα γλωσσικά μοντέλα. Παρέχει πολύτιμες πληροφορίες που μπορούν να ωφελήσουν ένα ευρύ κοινό εντός της κοινότητας.

论文3：AppWorld: Ένας ελεγχόμενος κόσμος εφαρμογών και ανθρώπων για συγκριτική αξιολόγηση διαδραστικών πρακτόρων κωδικοποίησης

Ηθοποιοί: Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, Niranjan Balasubramanian

Ιδρύματα: State University of New York at Stony Brook, Allen Institute for Artificial Intelligence, Saarland University

Διεύθυνση χαρτιού: https://arxiv.org/abs/2407.18901

Αυτή είναι μια πολύ εντυπωσιακή και σημαντική προσπάθεια δημιουργίας ενός προσομοιωτή και περιβάλλοντος αξιολόγησης για την αλληλεπίδραση ανθρώπου-υπολογιστή. Αυτό θα ενθαρρύνει την παραγωγή προκλητικών δυναμικών σημείων αναφοράς για την κοινότητα.

Βραβείο Προέδρου 21 Articles Field

35 εξαιρετικές εργασίες

(Αυτή η εικόνα είναι ελλιπής)

Παραπομπές:

https://x.com/aclmeeting/status/1823664612677705762