νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Machine Heart

Τμήμα Σύνταξης Machine Heart

Οι συντελεστές κέρδισαν πολλά από αυτό το συνέδριο ACL.

Το εξαήμερο ACL 2024 διεξάγεται στην Μπανγκόκ της Ταϊλάνδης.

Το ACL είναι το κορυφαίο διεθνές συνέδριο στον τομέα της υπολογιστικής γλωσσολογίας και της επεξεργασίας φυσικής γλώσσας που διοργανώνεται από τη Διεθνή Ένωση Υπολογιστικής Γλωσσολογίας και πραγματοποιείται κάθε χρόνο. Το ACL κατείχε πάντα την πρώτη θέση στην ακαδημαϊκή επιρροή στον τομέα του NLP και είναι επίσης ένα συνέδριο που προτείνεται για το CCF-A.

Το φετινό συνέδριο ACL είναι το 62ο και έχει λάβει περισσότερα από 400 έργα αιχμής στον τομέα του NLP. Χθες το απόγευμα, το συνέδριο ανακοίνωσε την καλύτερη εργασία και άλλα βραβεία. Αυτή τη φορά, απονεμήθηκαν 7 Βραβεία Καλύτερης Χαρτιού (δύο αδημοσίευτα), 1 Βραβείο Καλύτερης Θεματικής Χαρτιού και 35 Βραβεία Εξαίρετων Χαρτιού.

Το συνέδριο απένειμε επίσης 3 βραβεία πόρων, 3 βραβεία κοινωνικού αντίκτυπου και 2 βραβεία Time Test.

Επιπλέον, το Βραβείο Lifetime Achievement σε αυτό το συνέδριο απονεμήθηκε στον Ralph Grishman, καθηγητή στο Τμήμα Επιστήμης Υπολογιστών στο Πανεπιστήμιο της Νέας Υόρκης.

Ακολουθούν συγκεκριμένες πληροφορίες για το βραβείο.

καλύτερο χαρτί

Paper 1: Mission: Impossible Language Models

• Ηθοποιοί: Τζούλι Καλλίνι, Ιζαμπέλ Παπαδημητρίου, Ρίτσαρντ Φούτρελ, Κάιλ Μάχοουαλντ, Κρίστοφερ Ποτς
• Ιδρυμα: Πανεπιστήμιο Στάνφορντ, Πανεπιστήμιο της Καλιφόρνια, Irvine, Πανεπιστήμιο του Τέξας στο Ώστιν
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2401.06416

Εισαγωγή στην εργασία: Ο Chomsky και άλλοι πιστεύουν ότι η μαθησιακή ικανότητα των μεγάλων γλωσσικών μοντέλων (LLM) είναι η ίδια για γλώσσες που μπορεί ή όχι να μάθουν οι άνθρωποι. Ωστόσο, υπάρχουν ελάχιστα δημοσιευμένα πειραματικά στοιχεία που να υποστηρίζουν αυτόν τον ισχυρισμό.

Η μελέτη ανέπτυξε ένα σύνολο συνθετικών γλωσσών ποικίλης πολυπλοκότητας, καθεμία σχεδιασμένη με συστηματική τροποποίηση αγγλικών δεδομένων χρησιμοποιώντας αφύσικη σειρά λέξεων και γραμματικούς κανόνες, με στόχο τη σύνθεση γλωσσών που θα ήταν αδύνατο να μάθουν οι άνθρωποι.

Η μελέτη διεξήγαγε εκτεταμένα πειράματα αξιολόγησης για να αξιολογήσει την ικανότητα του μικρού μοντέλου GPT-2 να μάθει αυτές τις «αδύνατες γλώσσες» και διεξήγαγε αυτές τις αξιολογήσεις σε διαφορετικά στάδια κατά τη διάρκεια της εκπαίδευσης για να συγκρίνει τη διαδικασία εκμάθησης για κάθε γλώσσα. Το βασικό εύρημα της μελέτης είναι ότι το GPT-2 είναι δύσκολο να μάθει κανείς «αδύνατες γλώσσες» σε σύγκριση με τα αγγλικά, αμφισβητώντας τους ισχυρισμούς του Τσόμσκι και άλλων.

Το πιο σημαντικό, η μελέτη ελπίζει ότι η προσέγγισή της θα ανοίξει μια γόνιμη γραμμή έρευνας, επιτρέποντας τη δοκιμή διαφορετικών αρχιτεκτονικών LLM σε μια ποικιλία "αδύνατων γλωσσών" για να κατανοηθεί πώς το LLM μπορεί να χρησιμοποιηθεί ως γνωστικό και τυπολογικό εργαλείο έρευνας.

Κείμενο 2: Γιατί οι ευαίσθητες λειτουργίες είναι δύσκολες για τους μετασχηματιστές;

• Συγγραφέας: Michael Hahn, Mark Rofin
• Ίδρυμα: Πανεπιστήμιο του Σάαρλαντ
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2402.09963

Περίληψη: Πειραματικές μελέτες έχουν εντοπίσει μια σειρά από προκαταλήψεις και περιορισμούς εκμάθησης μετασχηματιστών, όπως η επίμονη δυσκολία στην εκμάθηση υπολογισμού απλών επίσημων γλωσσών όπως η PARITY, και μια προκατάληψη προς συναρτήσεις χαμηλού βαθμού. Ωστόσο, η θεωρητική κατανόηση παραμένει περιορισμένη και οι υπάρχουσες θεωρίες αναπαράστασης είτε υπερεκτιμούν είτε υποτιμούν τις ρεαλιστικές ικανότητες μάθησης.

Αυτή η μελέτη καταδεικνύει ότι στην αρχιτεκτονική του μετασχηματιστή, το τοπίο απώλειας περιορίζεται από την ευαισθησία του χώρου εισόδου: οι μετασχηματιστές των οποίων οι έξοδοι είναι ευαίσθητες σε πολλά μέρη της συμβολοσειράς εισόδου βρίσκονται σε απομονωμένα σημεία του χώρου παραμέτρων, με αποτέλεσμα χαμηλή πόλωση ευαισθησίας. γενίκευση .

Αυτή η μελέτη δείχνει θεωρητικά και πειραματικά ότι η θεωρία ενοποιεί εκτενείς πειραματικές παρατηρήσεις σχετικά με τις ικανότητες μάθησης και τις προκαταλήψεις του μετασχηματιστή, όπως η προκατάληψη γενίκευσής τους σε χαμηλή ευαισθησία και βαθμός και η δυσκολία γενίκευσης μήκους ισοτιμίας. Αυτό υποδηλώνει ότι η κατανόηση των επαγωγικών προκαταλήψεων ενός μετασχηματιστή απαιτεί τη μελέτη όχι μόνο της εκφραστικότητάς του στην αρχή αλλά και του τοπίου της λειτουργίας απώλειας.

Paper 3: Deciphering Oracle Bone Language with Diffusion Models

• Συγγραφείς: Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, κ.λπ.
• Ιδρύματα: Huazhong University of Science and Technology, University of Adelaide, Anyang Normal University, South China University of Technology
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2406.00684

Εισαγωγή στην εργασία: Το Oracle Bone Script (OBS) προέρχεται από τη δυναστεία Σανγκ της Κίνας πριν από περίπου 3.000 χρόνια. Παρόλο που έχουν ανακαλυφθεί χιλιάδες επιγραφές, ένας μεγάλος αριθμός οστών του μαντείου παραμένει άγνωστος, καλύπτοντας αυτή την αρχαία γλώσσα με ένα σάβανο μυστηρίου. Η εμφάνιση της σύγχρονης τεχνολογίας AI έχει ανοίξει νέα πεδία για την αποκρυπτογράφηση της Oracle, θέτοντας προκλήσεις στις παραδοσιακές μεθόδους NLP που βασίζονται σε μεγάλο βαθμό σε μεγάλα σώματα κειμένου.

Αυτή η εργασία εισάγει μια νέα μέθοδο που χρησιμοποιεί τεχνολογία δημιουργίας εικόνας για την ανάπτυξη ενός μοντέλου διάχυσης βελτιστοποιημένο για την αποκρυπτογράφηση Oracle, το Oracle Bone Script Decipher (OBSD). Χρησιμοποιώντας τη στρατηγική διάχυσης υπό όρους, το OBSD δημιούργησε σημαντικές ενδείξεις για την αποκρυπτογράφηση της Oracle και άνοιξε μια νέα κατεύθυνση για ανάλυση αρχαίων γλωσσών με τη βοήθεια AI. Για να επαληθεύσουν την αποτελεσματικότητα, οι ερευνητές διεξήγαγαν εκτεταμένα πειράματα στο σύνολο δεδομένων Oracle και τα ποσοτικά αποτελέσματα απέδειξαν την αποτελεσματικότητα του OBSD.

Εργασία 4: Αιτιώδης εκτίμηση των προφίλ απομνημόνευσης

• Ηθοποιοί: Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel
• Ιδρυμα: University of Cambridge, ETH Zurich
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2406.04327

Εισαγωγή στην εργασία: Η κατανόηση της μνήμης στα γλωσσικά μοντέλα έχει πρακτικές και κοινωνικές επιπτώσεις, όπως η μελέτη της δυναμικής εκπαίδευσης των μοντέλων ή η πρόληψη της παραβίασης πνευματικών δικαιωμάτων. Προηγούμενη έρευνα ορίζει τη μνήμη ως την αιτιώδη σχέση μεταξύ της «εκπαίδευσης με χρήση ενός στιγμιότυπου» και της «ικανότητας του μοντέλου να προβλέψει αυτό το παράδειγμα». Αυτός ο ορισμός βασίζεται σε ένα αντίθετο: την ικανότητα να παρατηρήσει κανείς τι θα είχε συμβεί αν το μοντέλο δεν είχε δει το παράδειγμα. Οι υπάρχουσες μέθοδοι αγωνίζονται να παρέχουν υπολογιστικά αποτελεσματικές και ακριβείς εκτιμήσεις τέτοιων αντιπαραστατικών. Επιπλέον, αυτές οι μέθοδοι συνήθως εκτιμούν τη μνήμη της αρχιτεκτονικής του μοντέλου παρά τη μνήμη συγκεκριμένων παρουσιών του μοντέλου.

Αυτό το έγγραφο καλύπτει ένα σημαντικό κενό προτείνοντας μια νέα, βασισμένη σε αρχές και αποτελεσματική προσέγγιση για την εκτίμηση της μνήμης που βασίζεται σε έναν οικονομετρικό σχεδιασμό διαφοράς στη διαφορά. Με αυτή τη μέθοδο, οι ερευνητές παρατηρούν τη συμπεριφορά του μοντέλου μόνο σε έναν μικρό αριθμό περιπτώσεων κατά τη διάρκεια ολόκληρης της εκπαιδευτικής διαδικασίας για να περιγράψουν το προφίλ μνήμης του μοντέλου, δηλαδή την τάση μνήμης του κατά τη διάρκεια της εκπαιδευτικής διαδικασίας. Σε πειράματα που χρησιμοποιούν τη σουίτα μοντέλων Pythia, βρήκαν ότι η μνήμη (i) είναι ισχυρότερη και πιο επίμονη σε μεγαλύτερα μοντέλα, (ii) καθορίζεται από τη σειρά δεδομένων και τον ρυθμό εκμάθησης και (iii) είναι σταθερή σε διαφορετικά μεγέθη μοντέλων Οι μνήμες στο μεγαλύτερο μοντέλο μπορούν να προβλεφθούν από το μικρότερο μοντέλο.

Paper 5: Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model

• Συγγραφέας: Ahmet Üstün, Viraat Aryabumi, Zheng Xin Yong, Wei-Yin Ko, κ.λπ.
• Ιδρύματα: Cohere, Brown University, κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.07827

Εισαγωγή στην εργασία: Πρόσφατες ανακαλύψεις στα μεγάλα γλωσσικά μοντέλα (LLMs) έχουν επικεντρωθεί σε έναν μικρό αριθμό γλωσσών με πλούσια δεδομένα. Πώς μπορούν οι δρόμοι για ανακαλύψεις να επεκταθούν πέρα ​​από άλλες γλώσσες; Η έρευνα εισάγει το Aya, ένα μεγάλης κλίμακας πολύγλωσσο παραγωγικό γλωσσικό μοντέλο που ακολουθεί οδηγίες για 101 γλώσσες, περισσότερο από το 50% των οποίων θεωρούνται χαμηλών πόρων. Η Aya ξεπερνά τα mT0 και BLOOMZ στις περισσότερες εργασίες, ενώ καλύπτει διπλάσιες γλώσσες.

Επιπλέον, η έρευνα εισάγει μια εκτενή σειρά νέων αξιολογήσεων, επεκτείνοντας την τελευταία λέξη της τεχνολογίας στην πολύγλωσση αξιολόγηση σε 99 γλώσσες. Τέλος, η μελέτη παρέχει μια λεπτομερή διερεύνηση της βέλτιστης σύνθεσης του μείγματος, του κλαδέματος δεδομένων και της τοξικότητας, της μεροληψίας και της ασφάλειας του μοντέλου.

Paper 6: Semisupervised Neural Proto-Language Reconstruction

• Συγγραφέας: Liang Lu, Peirong Xie, David R. Mortensen
• Ιδρυμα: CMU, Πανεπιστήμιο της Νότιας Καλιφόρνια
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2406.05930

Λόγος για το βραβείο: Αυτή η πρωτοποριακή έρευνα στοχεύει να ημι-αυτοματοποιήσει το έργο της ανακατασκευής πρωτότυπης γλώσσας στην ιστορική γλωσσολογία, προτείνοντας μια νέα ημι-εποπτευόμενη αρχιτεκτονική. Αυτή η μέθοδος υπερέχει των προηγούμενων εποπτευόμενων μεθόδων εισάγοντας μια διαδικασία προβληματισμού "πρωτότυπο-μητρική γλώσσα" στην ανακατασκευή "μητρική γλώσσα-πρωτότυπο". Αυτή η εργασία είναι ένα καλό παράδειγμα του πώς τα σύγχρονα υπολογιστικά μοντέλα, όπως οι νευρωνικοί κωδικοποιητές και οι αποκωδικοποιητές, μπορούν να συμβάλουν στη γλωσσολογία.

Κείμενο 7: Ικανότητα φυσικής γλώσσας: Εξερεύνηση της κατανομής προβλήματος και αξιολόγηση μοντέλων γλώσσας που βασίζονται σε μετασχηματιστές (αδημοσίευτο)

• Ηθοποιοί: Tharindu Madusanka, Ian Pratt-Hartmann, Riza Batista-Navarro

Λόγος για το βραβείο: Αυτό το έγγραφο περιγράφει ξεκάθαρα ένα συνθετικό σύνολο δεδομένων αξιολόγησης για λογικά συμπεράσματα. Αυτό είναι ένα καλό συμπλήρωμα σε μεγάλα σύνολα δεδομένων συμπερασμάτων όπου δεν είναι σαφές ποιες ικανότητες μετρώνται. Θεωρητικά, υπάρχουν πράγματι λόγοι να αναμένουμε ότι ορισμένα υποσύνολα είναι πιο δύσκολα από άλλα, και αυτές οι προσδοκίες επικυρώνονται στο έγγραφο. Σε κάθε κατηγορία, οι συγγραφείς δίνουν ιδιαίτερη προσοχή στη δειγματοληψία αυτών των πραγματικά απαιτητικών περιπτώσεων.

Βραβείο Time Tested

Το ACL Time Test Award επιβραβεύει τις τιμητικές εργασίες που είχαν μακροπρόθεσμο αντίκτυπο στους τομείς της επεξεργασίας φυσικής γλώσσας και της υπολογιστικής γλωσσολογίας απονέμονται δύο εργασίες κάθε χρόνο.

Paper 1: GloVe: Global Vectors for Word Representation

• Ηθοποιός: Τζέφρι Πένινγκτον, Ρίτσαρντ Σόκερ, Κρίστοφερ Ντ. Μάνινγκ
• Ίδρυμα: Πανεπιστήμιο του Στάνφορντ
• Σύνδεσμος χαρτιού: https://aclanthology.org/D14-1162.pdf

Εισαγωγή: Οι μέθοδοι για την εκμάθηση αναπαραστάσεων διανυσματικού χώρου λέξεων ήταν επιτυχείς στη σύλληψη λεπτομερών σημασιολογικών και συντακτικών κανόνων χρησιμοποιώντας διανυσματική αριθμητική, αλλά οι συντακτικοί κανόνες παραμένουν αδιαφανείς. Αυτή η μελέτη αναλύει και διευκρινίζει ποιες ιδιότητες πρέπει να έχει το μοντέλο προκειμένου να εμφανίζονται συντακτικοί κανόνες στα διανύσματα λέξεων.

Αυτή η μελέτη προτείνει ένα νέο παγκόσμιο μοντέλο λογαριθμικής γραμμικής παλινδρόμησης - GloVe, σχεδιασμένο να μαθαίνει διανυσματικές αναπαραστάσεις λέξεων. Αυτό το μοντέλο συνδυάζει τα πλεονεκτήματα της παραγοντοποίησης καθολικού πίνακα και των μεθόδων παραθύρου τοπικού περιβάλλοντος.

Το GloVe πέτυχε την καλύτερη απόδοση 75% στην εργασία αναλογίας λέξεων και ξεπέρασε τα σχετικά μοντέλα στην εργασία ομοιότητας λέξεων και στην αναγνώριση οντοτήτων με όνομα.

Λόγος για το βραβείο: Οι ενσωματώσεις λέξεων ήταν ο ακρογωνιαίος λίθος των μεθόδων βαθιάς εκμάθησης για την επεξεργασία φυσικής γλώσσας (NLP) από το 2013 έως το 2018 και συνεχίζουν να ασκούν σημαντική επιρροή. Όχι μόνο ενισχύουν την απόδοση των εργασιών NLP, αλλά έχουν επίσης σημαντικό αντίκτυπο στην υπολογιστική σημασιολογία, όπως η ομοιότητα λέξεων και η αναλογία. Οι δύο μέθοδοι ενσωμάτωσης λέξεων με τη μεγαλύτερη επιρροή είναι πιθανώς το skip-gram/CBOW και το GloVe. Σε σύγκριση με το skip-gram, το GloVe προτάθηκε αργότερα. Το σχετικό του πλεονέκτημα έγκειται στην εννοιολογική του απλότητα, τη βελτιστοποίηση της ομοιότητας του διανυσματικού χώρου απευθείας με βάση τα χαρακτηριστικά κατανομής μεταξύ των λέξεων, και όχι έμμεσα ως ένα σύνολο παραμέτρων από μια απλουστευμένη προοπτική μοντελοποίησης γλώσσας.

Εισήγηση 2: Μέτρα ομοιότητας κατανομής

• Συγγραφέας: Lillian Lee
• Ίδρυμα: Πανεπιστήμιο Cornell
• Σύνδεσμος χαρτιού: https://aclanthology.org/P99-1004.pdf

Εισαγωγή εργασίας: Ο συγγραφέας μελετά μέτρα ομοιότητας κατανομής με στόχο να βελτιώσει τις εκτιμήσεις πιθανοτήτων αόρατων συμβάντων συνεμφάνισης. Η συμβολή τους είναι τριπλή: μια εμπειρική σύγκριση ενός ευρέος φάσματος μετρήσεων με βάση τις πληροφορίες που περιέχουν και την εισαγωγή μιας νέας συνάρτησης που είναι ανώτερη στην αξιολόγηση των υποκείμενων κατανομών.

Βραβείο Lifetime Achievement

Το βραβείο Lifetime Achievement ACL απονεμήθηκε στον Ralph Grishman. Ο Ralph Grishman είναι καθηγητής στο Τμήμα Επιστήμης Υπολογιστών στο Πανεπιστήμιο της Νέας Υόρκης, με επίκεντρο την έρευνα στον τομέα της επεξεργασίας φυσικής γλώσσας (NLP). Είναι ο ιδρυτής του Proteus Project, το οποίο έχει συμβάλει σημαντικά στην εξαγωγή πληροφοριών (IE) και έχει προωθήσει την ανάπτυξη του πεδίου.

Ανέπτυξε επίσης το Java Extraction Toolkit (JET), ένα ευρέως χρησιμοποιούμενο εργαλείο εξαγωγής πληροφοριών που παρέχει στοιχεία ανάλυσης πολλαπλών γλωσσών, όπως τμηματοποίηση προτάσεων, σχολιασμό ονομαστικών οντοτήτων, σχολιασμό και κανονικοποίηση χρονικής έκφρασης, επισήμανση μέρους του λόγου, ανάλυση μερών και συν- ανάλυση Αναφέρεται στην ανάλυση. Αυτά τα στοιχεία μπορούν να συνδυαστούν σε αγωγούς σύμφωνα με διαφορετικές εφαρμογές, οι οποίες μπορούν να χρησιμοποιηθούν για διαδραστική ανάλυση μεμονωμένων προτάσεων ή ανάλυση παρτίδων ολόκληρων εγγράφων. Επιπλέον, το JET παρέχει απλά εργαλεία για σχολιασμό και εμφάνιση εγγράφων και περιλαμβάνει μια πλήρη διαδικασία εξαγωγής οντοτήτων, σχέσεων και συμβάντων σύμφωνα με την προδιαγραφή ACE (Αυτόματη εξαγωγή περιεχομένου).

Το έργο του καθηγητή Grishman καλύπτει πολλαπλά βασικά ζητήματα του NLP και είχε βαθύ αντίκτυπο στη σύγχρονη τεχνολογία επεξεργασίας γλώσσας.

35 εξαιρετικές εργασίες

• Paper 1: Quantized Side Tuning: Fast and Memory-efficient Tuning of Quantized Large Language Models
• 作者: Zhengxin Zhang, Dan Zhao, Xupeng Miao, Gabriele Oliaro, Zhihao Zhang, Qing Li, Yong Jiang, Zhihao Jia
• Ιδρύματα: CMU, Πανεπιστήμιο Tsinghua, Εργαστήριο Pengcheng, κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2401.07159
• Κείμενο 2: L-Eval: Θεσμοθέτηση Τυποποιημένης Αξιολόγησης για Μοντέλα Γλωσσών Μεγάλου Πλαισίου
• Ερμηνεία: Chenxin An, Shansan Gong, Ming Zhong, Xingjian Zhao, Mukai Li, Jun Zhang, Lingpeng Kong, Xipeng Qiu
• Ιδρύματα: Πανεπιστήμιο Fudan, University of Hong Kong, University of Illinois at Urbana-Champaign, Shanghai AI Lab
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2307.11088
• Κείμενο 3: Ενεργός μάθηση καθοδηγούμενη από αιτιώδη συνάφεια για απροκατάληπτα μοντέλα μεγάλων γλωσσών
• Σύνδεσμος χαρτιού: https://openreview.net/forum?id=idp_1Q6F-lC
• Ανακοίνωση 4: CausalGym: Συγκριτική αξιολόγηση μεθόδων αιτιώδους ερμηνείας σε γλωσσικές εργασίες
• Συγγραφέας: Aryaman Arora, Dan Jurafsky, Christopher Potts
• Ίδρυμα: Πανεπιστήμιο του Στάνφορντ
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2402.12560
• Εισήγηση 5: Μην έχετε ψευδαισθήσεις, απέχετε: Εντοπισμός κενών γνώσης LLM μέσω συνεργασίας πολλαπλών LLM
• Ηθοποιός: Σανγκμπίν Φενγκ, Γουέτζια Σι, Γικέ Γουάνγκ, Γουενξουάν Ντινγκ, Βιντίσα Μπαλαχαντράν, Γιούλια Τσβέτκοφ
• Ιδρύματα: University of Washington, University of California, Berkeley, Hong Kong University of Science and Technology, CMU
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2402.00367
• 论文 6：Μετάφραση λόγου με μοντέλα βάσης ομιλίας και μεγάλα γλωσσικά μοντέλα: Τι υπάρχει και τι λείπει;
• Συγγραφέας: Marco Gaido, Sara Papi, Matteo Negri, Luisa Bentivogli
• Ιδρυμα: Ίδρυμα Bruno Kessler, Ιταλία
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2402.12025
• Κείμενο 7: Πρέπει το NLP να είναι Εξαγωγικό;
• Συγγραφέας: Steven Bird
• Ιδρυμα: Charles Darwin University
• Σύνδεσμος χαρτιού: https://drive.google.com/file/d/1hvF7_WQrou6CWZydhymYFTYHnd3ZIljV/view
• Paper 8: IRCoder: Intermediate Representations Make Models Language Robust Multilingual Code Generators
• Συγγραφέας: Indraneil Paul, Goran Glavaš, Iryna Gurevych
• Ίδρυμα: Τεχνικό Πανεπιστήμιο του Ντάρμσταντ κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2403.03894
• Paper 9: MultiLegalPile: A 689GB Multilingual Legal Corpus
• Συγγραφέας: Matthias Stürmer, Veton Matoshi, κ.λπ.
• Ιδρυμα: Πανεπιστήμιο της Βέρνης, Πανεπιστήμιο Στάνφορντ κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2306.02069
• 论文 10：PsySafe: Ένα ολοκληρωμένο πλαίσιο για ψυχολογική επίθεση, άμυνα και αξιολόγηση της ασφάλειας του συστήματος πολλαπλών παραγόντων
• Ερμηνεία: Zaibin Zhang, Yongting Zhang, Lijun Li, Hongzhi Gao, Lijun Wang, Huchuan Lu, Feng Zhao, Yu Qiao, Jing Shao
• Ιδρύματα: Εργαστήριο Τεχνητής Νοημοσύνης της Σαγκάης, Τεχνολογικό Πανεπιστήμιο Dalian, Πανεπιστήμιο Επιστήμης και Τεχνολογίας της Κίνας
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2401.11880
• 论文 11:Μπορούν τα μεγάλα γλωσσικά μοντέλα να είναι καλός συναισθηματικός υποστηρικτής; Μετριασμός της μεροληψίας προτιμήσεων στη συνομιλία συναισθηματικής υποστήριξης
• Συγγραφέας: Dongjin Kang, Sunghwan Kim, κ.λπ.
• Ίδρυμα: Πανεπιστήμιο Yonsei, κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.13211
• 12:Πολιτική πυξίδα ή περιστρεφόμενο βέλος; Προς πιο ουσιαστικές αξιολογήσεις για αξίες και απόψεις σε μεγάλα γλωσσικά μοντέλα
• Συγγραφέας: Paul Röttger, Valentin Hofmann, κ.λπ.
• Ιδρύματα: Πανεπιστήμιο Bocconi, Ινστιτούτο Allen για Τεχνητή Νοημοσύνη κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.16786
• Paper 13: Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models
• Συγγραφέας: Mosh Levy, Alon Jacoby, Yoav Goldberg
• Ιδρυμα: Πανεπιστήμιο Bar-Ilan, Allen Institute for Artificial Intelligence
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.14848
• Ανακοίνωση 14: Do Llamas Work in English On the Latent Language of Multilingual Transformers;
• Συγγραφέας: Chris Wendler, Veniamin Veselovsky, κ.λπ.
• Ίδρυμα: Ecole Polytechnique Fédérale de Lausanne
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.10588
• Paper 15: Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models
• Συγγραφέας: Zachary Horvitz, Jingru Chen, κ.λπ.
• Ίδρυμα: Πανεπιστήμιο Columbia, Ecole Polytechnique Fédérale de Lausanne
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2403.00794
• Paper 16: Estimating the Level of Dialectness Predicts Inter-Annotator Agreement in Multi-dialectary Arabic Datasets
• Συγγραφέας: Amr Keleg, Walid Magdy, Sharon Goldwater
• Ίδρυμα: Πανεπιστήμιο του Εδιμβούργου
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2405.11282
• Paper 17: G-DlG: Towards Gradient-based Dlverse and High-quality Instruction Selection Data for Machine Translation
• 作者：Xingyuan Pan, Luyang Huang, Liyan Kang, Zhicheng Liu, Yu Lu, Shanbo Cheng
• Διοργάνωση: ByteDance Research
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2405.12915
• Paper 18: Media Framing: A typology and Survey of Computational Approaches Across Disciples
• Συγγραφέας: Yulia Otmakhova, Shima Khanehzar, Lea Frermann
• Σύνδεσμος χαρτιού: https://openreview.net/pdf?id=9AV_zM56pwj
• Paper 19: SPZ: A Semantic Perturbation-based Augmentation Method with Zonal-Mixing for Alzheimer's Disease Detection
• Συγγραφέας: FangFang Li, Cheng Huang, PuZhen Su, Jie Yin
• Paper 20: Greed is all you need: An Evaluation of Tokenizer Inference Methods
• Ιδρύματα: Ben-Gurion University of the Negev, MIT
• Συγγραφέας: Omri Uzan, Craig W.Schmidt, Chris Tanner, Yuval Pinter
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2403.01289
• 论文 21：Πολυπλοκότητα γλώσσας και Ακρίβεια αναγνώρισης ομιλίας: Η ορθογραφική πολυπλοκότητα πονάει, η φωνολογική πολυπλοκότητα όχι
• Ιδρυμα: University of Notre Dame (ΗΠΑ)
• Συγγραφέας: Chihiro Taquchi, David Chiang
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2406.09202
• Paper 22: Steering Llama 2 via Contrastive Activation Addition
• Ιδρύματα: Anthropic, Πανεπιστήμιο του Χάρβαρντ, Πανεπιστήμιο του Γκέτινγκεν (Γερμανία), Κέντρο για Ανθρώπινη Συμβατότητα AI
• Ηθοποιοί: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan J Hubinger, Alexander Matt Turner
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2312.06681
• Paper 23: EconAgent: Large Language Model-Empowered Agents for Simulating Macroeconomic Activities
• Ιδρυμα: Πανεπιστήμιο Tsinghua-Διεθνές Μεταπτυχιακό Σχολείο Shenzhen, Πανεπιστήμιο Tsinghua
• Συγγραφέας: Nian Li, Chen Gao, Mingyu Li, Yong Li, Qingmin Liao
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2310.10436
• 论文 24：M4LE: Σημείο αναφοράς αξιολόγησης μεγάλου πλαισίου πολλών τομέων και πολλαπλών εργασιών πολλαπλών ικανοτήτων για μεγάλα γλωσσικά μοντέλα
• Ιδρύματα: Κινεζικό Πανεπιστήμιο του Χονγκ Κονγκ, Huawei Noah's Ark Laboratory, Πανεπιστήμιο Επιστήμης και Τεχνολογίας του Χονγκ Κονγκ
• Ερμηνεία: Wai-Chung Kwan, Xingshan Zeng, Yufei Wang, Yusen Sun, Liangyou Li, Lifeng Shang, Qun Liu, Kam-Fai Wong
• Σύνδεσμος χαρτιού: https://arxiv.org/abs/2310.19240
• Paper 25: CHECKWY: Causal Fact Verification via Argument Structure
• Τίτλος: Jiasheng Si, Yibo Zhao, Yingjie Zhu, Haiyang Zhu, Wenpeng Lu, Deyu Zhou
• Paper 26: On Efficient and Statistical Quality Astimation for Data Annotation
• Ηθοποιοί: Jan-Christoph Klie, Juan Haladjian, Marc Kirchner, Rahul Nair
• Ιδρύματα: UKP Lab, TU Darmstadt, Apple
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2405.11919
• Κείμενο 27: Προσομοίωση αποσύνδεσης: Η ευθυγράμμιση ασφαλείας για μοντέλα μεγάλων γλωσσών μπορεί να αποτύχει!
• 作者：Zhanhui Zhou, Jie Liu, Zhichen Dong, Jiaheng Liu, Chao Yang, Wanli Ouyang, Yu Qiao
• Οργάνωση: Εργαστήριο Τεχνητής Νοημοσύνης της Σαγκάης
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.12343
• Paper 28: IndicLLMSuite: A Blueprint for Creating Pre-training and Fine-Tuning Datasets for Indian Languages
• Συγγραφέας: Mohammed Safi Ur Rahman Khan, Priyam Mehta, Ananth Sankar, κ.λπ.
• Ιδρύματα: Nilekani Center στο AI4Bharat, Indian Institute of Technology (Madras), Microsoft, κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2403.06350
• Paper 29: MultiPICo: Multilingual Perspectivist lrony Corpus
• Συγγραφέας: Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer, κ.λπ.
• Ιδρύματα: Πανεπιστήμιο του Τορίνο, aequa-tech, Κέντρο Ανάπτυξης Amazon (Ιταλία) κ.λπ.
• 论文链接：https://assets.amazon.science/08/83/9b686f424c89b08e8fa0a6e1d020/multipico-multilingual-perspectivist-irony-corpus.pdf
• Paper 30: MMToM-QA: Multimodal Theory of Mind Question Answering
• Συγγραφέας: Chuanyang Jin, Yutong Wu, Jing Cao, Jiannan Xiang, κ.λπ.
• Ιδρύματα: Πανεπιστήμιο της Νέας Υόρκης, Πανεπιστήμιο Χάρβαρντ, MIT, Πανεπιστήμιο Καλιφόρνια, Σαν Ντιέγκο, Πανεπιστήμιο της Βιρτζίνια, Πανεπιστήμιο Τζονς Χόπκινς
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2401.08743
• Βιβλίο 31: Ο ΧΑΡΤΗΣ δεν έχει πεθάνει ακόμα: Αποκάλυψη τρόπων μοντέλων αληθινής γλώσσας εξαλείφοντας τον εκφυλισμό
• Συγγραφέας: Davis Yoshida, Kartik Goyal, Kevin Gimpel
• Φορέας: Toyota Institute of Technology Chicago, Georgia Institute of Technology
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2311.08817
• Paper 32: NounAtlas: Filling the Gap in Nominal Semantic Role Labeling
• Συγγραφέας: Roberto Navigli, Marco Lo Pinto, Pasquale Silvestri, κ.λπ.
• Κείμενο 33: Η Γη είναι επίπεδη επειδή.. διερευνώντας την πίστη των LLMs προς την παραπληροφόρηση μέσω της πειστικής συνομιλίας
• Συγγραφέας: Rongwu Xu, Brian S. Lin, Shujian Yang, Tiangi Zhang, κ.λπ.
• Ιδρύματα: Πανεπιστήμιο Tsinghua, Πανεπιστήμιο Shanghai Jiao Tong, Πανεπιστήμιο Stanford, Τεχνολογικό Πανεπιστήμιο Nanyang
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2312.09085
• Paper 34: Let's Go Real Talk: Speken Dialogue Model for Face to Face Conversation
• Συγγραφέας: Se Jin Park, Chae Won Kim, Hyeongseop Rha, Minsu Kim, κ.λπ.
• Ιδρυμα: Κορεατικό Προηγμένο Ινστιτούτο Επιστήμης και Τεχνολογίας (KAIST)
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2406.07867
• Paper 35: Word Embeddings are Steers for Language Models
• Ερμηνευτές: Τσι Χαν, Τζιαλιάνγκ Σου, Μάνλινγκ Λι, Γι Φουνγκ, Τσενκάι Σουν, Ναν Τζιανγκ, Τάρεκ Φ. Αμπντελζάχερ, Χενγκ Τζι
• Ιδρυμα: University of Illinois at Urbana-Champaign
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2305.12798

Βραβείο καλύτερης θεματικής εργασίας

Διατριβή: OLMo: Accelerating the Science of Language Models

• Συγγραφέας: Dirk Groeneveld, Iz Beltagy, κ.λπ.
• Ιδρύματα: Allen Institute for Artificial Intelligence, University of Washington, κ.λπ.
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2402.00838

Αναφορά: Αυτή η εργασία είναι ένα σημαντικό βήμα προς τη διαφάνεια και την αναπαραγωγιμότητα στην εκπαίδευση μεγάλων γλωσσικών μοντέλων, ένα βήμα προς τα εμπρός στις προσπάθειες της κοινότητας να σημειώσει πρόοδο (ή τουλάχιστον να δώσει τη δυνατότητα σε άλλους ερευνητές που δεν είναι γίγαντες του κλάδου να συνεισφέρουν επειγόντως).

Βραβείο Resource Paper

3 εργασίες κέρδισαν το Βραβείο Resource Paper.

Paper 1: Latxa: An Open Language Model and Evaluation Suite for Basque

Ίδρυμα: Πανεπιστήμιο της Χώρας των Βάσκων, Ισπανία

• Ηθοποιοί: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa
• Σύνδεσμος: https://arxiv.org/pdf/2403.20266

Λόγοι για το βραβείο: Αυτή η εργασία περιγράφει λεπτομερώς τις λεπτομέρειες της συλλογής corpus και της αξιολόγησης συνόλων δεδομένων. Αν και σχετίζεται με την έρευνα της βασκικής γλώσσας, αυτή η μεθοδολογία μπορεί να επεκταθεί στην κατασκευή μεγάλων μοντέλων για άλλες γλώσσες χαμηλών πόρων.

Ανακοίνωση 2: Ντόλμα: Ανοιχτό σώμα τριών τρισεκατομμυρίων σημείων για έρευνα προεκπαίδευσης γλωσσικών μοντέλων

• Ιδρύματα: Allen Institute for Artificial Intelligence, University of California, Berkeley, κ.λπ.
• Συγγραφέας: Luca Soldaini, Rodney Kinney, κ.λπ.
• Σύνδεσμος: https://arxiv.org/abs/2402.00159

Λόγος απονομής: Αυτό το έγγραφο καταδεικνύει τη σημασία της διαχείρισης δεδομένων κατά την προετοιμασία συνόλων δεδομένων για την εκπαίδευση μεγάλων γλωσσικών μοντέλων. Αυτό παρέχει πολύτιμες γνώσεις σε ένα ευρύ φάσμα ατόμων εντός της κοινότητας.

Paper 3: AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents

• Ιδρύματα: State University of New York at Stony Brook, Allen Institute for Artificial Intelligence κ.λπ.
• Συγγραφέας: Harsh Trivedi, Tushar Khot, κ.λπ.
• Σύνδεσμος: https://arxiv.org/abs/2407.18901

Λόγοι για το βραβείο: Αυτή η έρευνα είναι μια πολύ σημαντική και εκπληκτική εργασία για τη δημιουργία προσομοίωσης και αξιολόγησης διαδραστικού περιβάλλοντος. Θα ενθαρρύνει όλους να παράγουν πιο σκληρά δυναμικά σημεία αναφοράς για την κοινότητα.

Βραβείο Social Impact

3 εργασίες κέρδισαν το Social Impact Award.

论文 1: Πώς μπορεί ο Johnny να πείσει τους LLMs να τους κάνουν Jailbreak: Επανεξετάζοντας την πειθώ για να αμφισβητήσετε την ασφάλεια της τεχνητής νοημοσύνης με εξανθρωπισμό των LLMs

• Συγγραφείς: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, κ.λπ.
• Ιδρύματα: Virginia Tech, Renmin University of China, University of California, Davis, Stanford University
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2401.06373

Λόγος για το βραβείο: Αυτό το άρθρο διερευνά το θέμα της ασφάλειας AI - jailbreaking, μελετώντας μια μέθοδο που αναπτύχθηκε στον τομέα της έρευνας των κοινωνικών επιστημών. Η έρευνα είναι πολύ ενδιαφέρουσα και έχει τη δυνατότητα να έχει σημαντικό αντίκτυπο στην κοινότητα.

Paper 2: DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages

• Συγγραφέας: Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, κ.λπ.
• Ιδρύματα: Πανεπιστήμιο George Mason, University of Washington, University of Notre Dame, RC Athena
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2403.11009

Λόγος του βραβείου: Η παραλλαγή διαλέκτου είναι ένα φαινόμενο που δεν έχει μελετηθεί καθόλου στους τομείς του NLP και της τεχνητής νοημοσύνης. Ωστόσο, από τη σκοπιά της γλώσσας και της κοινωνίας, η έρευνά της είναι εξαιρετικά μεγάλης αξίας και έχει σημαντικές επιπτώσεις για τις εφαρμογές. Αυτό το έγγραφο προτείνει ένα πολύ νέο σημείο αναφοράς για τη μελέτη αυτού του προβλήματος στην εποχή του LLM.

Βιβλίο 3: Καταναλώνοντας μπύρα μετά την προσευχή;

• Συγγραφέας: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu
• Φορέας: Georgia Institute of Technology
• Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2305.14456

Λόγοι για το βραβείο: Αυτό το άρθρο καταδεικνύει ένα σημαντικό ζήτημα στην εποχή του LLM: πολιτισμική προκατάληψη. Αυτή η εργασία μελετά τον αραβικό πολιτισμό και το γλωσσικό περιβάλλον και τα αποτελέσματα δείχνουν ότι πρέπει να λάβουμε υπόψη τις πολιτισμικές διαφορές κατά το σχεδιασμό LLM. Επομένως, η ίδια μελέτη μπορεί να αναπαραχθεί και σε άλλους πολιτισμούς για να γενικευτεί και να αξιολογηθεί εάν και άλλοι πολιτισμοί επηρεάζονται από αυτό το πρόβλημα.