Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Μηχανικής Καρδιάς

Επιμέλεια: Xiao Zhou, Chen Chen

Τα αποτελέσματα του Πανεπιστημίου Tsinghua είναι εξαιρετικά.

Το 47ο Συνέδριο της Ένωσης Υπολογιστικών Μηχανημάτων για την Ανάκτηση Πληροφοριών (ACM SIGIR) θα πραγματοποιηθεί στην Ουάσιγκτον, DC, ΗΠΑ από τις 14 έως τις 18 Ιουλίου 2024. Αυτό το συνέδριο είναι το κορυφαίο ακαδημαϊκό συνέδριο στον τομέα της ανάκτησης πληροφοριών.

Μόλις τώρα, το συνέδριο ανακοίνωσε το Βραβείο Καλύτερης Χαρτιού, το Βραβείο Καλύτερης Επιλαχούσας Χαρτιού, το Βραβείο Καλύτερης Τιμητικής Μνήμης και το Βραβείο Time Test.

Μεταξύ αυτών, το Πανεπιστήμιο Tsinghua, η Σχολή Τεχνητής Νοημοσύνης Hillhouse στο Πανεπιστήμιο Renmin της Κίνας και η ομάδα Xiaohongshu κέρδισαν την καλύτερη εργασία από το Πανεπιστήμιο της Γλασκώβης και το Πανεπιστήμιο της Πίζας Το έγγραφο απονεμήθηκε στο Πανεπιστήμιο Shandong (Qingdao) , στο Πανεπιστήμιο του Leiden και στο Πανεπιστήμιο του Άμστερνταμ το βραβείο Time Test απονεμήθηκε σε ερευνητές από το Πανεπιστήμιο Tsinghua και το Πανεπιστήμιο της Καλιφόρνια, Santa Cruz.

Στη συνέχεια, ας δούμε το συγκεκριμένο περιεχόμενο του χαρτιού που κέρδισε.

καλύτερο χαρτί

Διατριβή: Νόμοι κλιμάκωσης για πυκνή ανάκτηση

Συγγραφείς της εργασίας: Fang Yan, Jingtao Zhan, Ai Qingyao, Mao Jiaxin, Weihang Su, Jia Chen, Liu Yiqun

Ιδρύματα: Πανεπιστήμιο Tsinghua, Σχολή Τεχνητής Νοημοσύνης Hillhouse στο Πανεπιστήμιο Renmin της Κίνας, Xiaohongshu

Σύνδεσμος χαρτιού: https://dl.acm.org/doi/abs/10.1145/3626772.3657743

Εισαγωγή στην εργασία : Οι ερευνητές παρατήρησαν νόμους κλιμάκωσης σε ένα ευρύ φάσμα εργασιών, ειδικά στη δημιουργία γλώσσας. Η έρευνα δείχνει ότι η απόδοση μεγάλων γλωσσικών μοντέλων ακολουθεί προβλέψιμα μοτίβα σε μεγέθη μοντέλων και δεδομένων, γεγονός που βοηθά στον σχεδιασμό στρατηγικών εκπαίδευσης αποτελεσματικά και αποδοτικά, ειδικά καθώς η εκπαίδευση μεγάλης κλίμακας γίνεται ολοένα και πιο εντατική σε πόρους. Ωστόσο, σε πυκνή ανάκτηση, ο νόμος της επέκτασης δεν έχει διερευνηθεί πλήρως.

Αυτή η μελέτη διερευνά πώς η κλιμάκωση επηρεάζει την απόδοση των μοντέλων πυκνής ανάκτησης. Συγκεκριμένα, η ερευνητική ομάδα εφάρμοσε μοντέλα πυκνής ανάκτησης με διαφορετικούς αριθμούς παραμέτρων και τα εκπαίδευσε χρησιμοποιώντας διαφορετικές ποσότητες σχολιασμένων δεδομένων. Αυτή η μελέτη χρησιμοποιεί την αντιθετική εντροπία ως μετρική αξιολόγησης Σε σύγκριση με τις διακριτές μετρήσεις κατάταξης, η αντιθετική εντροπία είναι συνεχής και επομένως μπορεί να αντικατοπτρίζει με ακρίβεια την απόδοση του μοντέλου.

Τα πειραματικά αποτελέσματα δείχνουν ότι η απόδοση των μοντέλων πυκνής ανάκτησης ακολουθεί μια ακριβή κλιμάκωση του νόμου ισχύος με το μέγεθος του μοντέλου καθώς και τον αριθμό των σχολιασμών.

Επιπλέον, η μελέτη δείχνει επίσης ότι ο νόμος κλιμάκωσης βοηθά στη βελτιστοποίηση της εκπαιδευτικής διαδικασίας, όπως η επίλυση προβλημάτων κατανομής πόρων υπό περιορισμούς προϋπολογισμού.

Αυτή η μελέτη συμβάλλει σημαντικά στην κατανόηση των επιπτώσεων κλιμάκωσης των μοντέλων πυκνής ανάκτησης και παρέχει ουσιαστική καθοδήγηση για μελλοντική έρευνα.

Επιλαχούσα για την καλύτερη εργασία

Η επιλαχούσα για την καλύτερη εργασία στο φετινό ACM SIGIR απονεμήθηκε στην εργασία "A Reproducibility Study of PLAID". Οι συγγραφείς της εργασίας περιλαμβάνουν τον Sean MacAvaney από το Πανεπιστήμιο της Γλασκώβης και τον Nicola Tonellotto από το Πανεπιστήμιο της Πίζας.

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2404.14989

Περίληψη χαρτιού : Ο αλγόριθμος PLAID του ColBERTv2 χρησιμοποιεί αναπαραστάσεις ομαδοποιημένων όρων για την ανάκτηση και προοδευτικό κλάδεμα εγγράφων για τη λήψη της τελικής βαθμολογίας εγγράφων. Αυτό το άρθρο αναπαράγει και συμπληρώνει τα κενά που λείπουν στο αρχικό κείμενο. Μελετώντας τις παραμέτρους που εισήγαγε το PLAID, οι ερευνητές διαπίστωσαν ότι το όριο Pareto του σχηματίζεται από την ισορροπία μεταξύ τριών παραμέτρων. Η απόκλιση από τις προτεινόμενες ρυθμίσεις μπορεί να αυξήσει σημαντικά τον λανθάνοντα χρόνο χωρίς απαραίτητα να βελτιώσει την αποτελεσματικότητά του.

Με βάση αυτό το εύρημα, αυτή η εργασία συγκρίνει το PLAID με μια σημαντική βασική γραμμή που λείπει από την εργασία: την αναδιάταξη του λεξιλογικού συστήματος. Διαπιστώθηκε ότι η εφαρμογή του ColBERTv2 ως αναδιάταξης πάνω από την αρχική ομάδα αποτελεσμάτων BM25 παρέχει καλύτερη αντιστάθμιση απόδοσης-αποτελεσματικότητας σε ρυθμίσεις χαμηλής καθυστέρησης. Αυτή η εργασία υπογραμμίζει τη σημασία της προσεκτικής επιλογής των σχετικών γραμμών βάσης κατά την αξιολόγηση της απόδοσης του κινητήρα ανάκτησης.

Βραβείο Best Paper Honorable Mention

Το βραβείο τιμητικής αναφοράς για την καλύτερη εργασία σε αυτό το συνέδριο κέρδισαν ερευνητές από το Πανεπιστήμιο Shandong (Qingdao), το Πανεπιστήμιο του Leiden και το Πανεπιστήμιο του Άμστερνταμ. Το χαρτί που κέρδισε είναι το "Generative Retrieval as Multi-Vector Dense Retrieval".

Συγγραφείς της εργασίας: Wu Shiguang, Wei Wenda, Zhang Mengqi, Chen Zhumin, Ma Jun, Ren Zhaochun, Maarten de Rijke, Ren Pengjie

Διεύθυνση χαρτιού: https://arxiv.org/pdf/2404.00684

Περίληψη χαρτιού : Αυτό το έγγραφο μετρά τη συνάφεια των ερωτημάτων εγγράφων αποδεικνύοντας ότι η γενετική ανάκτηση και η πυκνή ανάκτηση πολλαπλών διανυσμάτων μοιράζονται το ίδιο πλαίσιο. Συγκεκριμένα, μελέτησαν το επίπεδο προσοχής και την κεφαλή πρόβλεψης της γενετικής ανάκτησης, αποκαλύπτοντας ότι η γενετική ανάκτηση μπορεί να γίνει κατανοητή ως μια ειδική περίπτωση πυκνής ανάκτησης πολλαπλών διανυσμάτων. Και οι δύο μέθοδοι υπολογίζουν τη συσχέτιση υπολογίζοντας το άθροισμα των γινομένων του διανύσματος ερωτήματος και του διανύσματος εγγράφου με τον πίνακα ευθυγράμμισης.

Οι ερευνητές στη συνέχεια διερεύνησαν πώς αυτό το πλαίσιο μπορεί να εφαρμοστεί στη γενετική ανάκτηση, χρησιμοποιώντας διαφορετικές στρατηγικές για τον υπολογισμό των διανυσμάτων διακριτικών εγγράφων και των πινάκων ευθυγράμμισης. Διεξάγονται πειράματα για την επαλήθευση των συμπερασμάτων, δείχνοντας ότι και τα δύο παραδείγματα παρουσιάζουν κοινά σημεία στην αντιστοίχιση όρων στους πίνακες ευθυγράμμισης τους.

Βραβείο Time Tested

Το φετινό βραβείο δοκιμής χρόνου ACM SIGIR απονεμήθηκε στην έρευνα σχετικά με τις εξηγήσιμες συστάσεις που δημοσιεύθηκαν στο SIGIR 2014 πριν από 10 χρόνια.

Συγγραφείς της εργασίας: Zhang Yongfeng, Lai Guokun, Zhang Min, Yi Zhang, Liu Yiqun, Ma Shaoping

Ιδρυμα: Πανεπιστήμιο Tsinghua, Πανεπιστήμιο της Καλιφόρνια, Santa Cruz

Σύνδεσμος χαρτιού: https://www.cs.cmu.edu/~glai1/papers/yongfeng-guokun-sigir14.pdf

Αυτή η έρευνα όρισε το πρόβλημα της «ερμηνεύσιμης σύστασης» για πρώτη φορά και πρότεινε αντίστοιχες μεθόδους ανάλυσης συναισθήματος για την επίλυση αυτής της τεχνικής πρόκλησης και έχει πρωταγωνιστικό ρόλο σε συναφείς τομείς.

Περίληψη χαρτιού : Οι αλγόριθμοι συστάσεων που βασίζονται στο συνεργατικό φιλτράρισμα (CF), όπως τα μοντέλα λανθάνοντος παράγοντα (LFM), έχουν καλή απόδοση όσον αφορά την ακρίβεια πρόβλεψης. Ωστόσο, τα υποκείμενα χαρακτηριστικά καθιστούν δύσκολη την εξήγηση των αποτελεσμάτων των συστάσεων στους χρήστες.

Ευτυχώς, καθώς οι online κριτικές χρηστών συνεχίζουν να αυξάνονται, οι διαθέσιμες πληροφορίες για τα συστήματα συστάσεων εκπαίδευσης δεν περιορίζονται πλέον σε αριθμητικές αξιολογήσεις αστεριών ή χαρακτηριστικά χρήστη/αντικειμένων. Εξάγοντας τις σαφείς απόψεις των χρηστών για διάφορες πτυχές ενός προϊόντος από κριτικές, είναι δυνατό να αποκτήσετε μια πιο λεπτομερή κατανόηση του τι ενδιαφέρει τους χρήστες, γεγονός που αποκαλύπτει περαιτέρω τη δυνατότητα να κάνετε εξηγήσιμες συστάσεις.

Αυτό το έγγραφο προτείνει το EFM (Explicit Factor Model) για τη δημιουργία ερμηνεύσιμων συστάσεων διατηρώντας παράλληλα υψηλή ακρίβεια πρόβλεψης.

Οι ερευνητές αρχικά εξάγουν σαφείς δυνατότητες προϊόντος και απόψεις χρηστών πραγματοποιώντας ανάλυση συναισθήματος σε επίπεδο φράσης στις κριτικές χρηστών και στη συνέχεια δημιουργούν συστάσεις και μη συστάσεις με βάση συγκεκριμένα χαρακτηριστικά προϊόντος που ενδιαφέρουν τους χρήστες και μάθησαν λανθάνοντα χαρακτηριστικά. Επιπλέον, δημιουργούνται από το μοντέλο διαισθητικές επεξηγήσεις σε επίπεδο χαρακτηριστικών για το γιατί ένα στοιχείο συνιστάται ή δεν συνιστάται.

Πειραματικά αποτελέσματα εκτός σύνδεσης σε πολλαπλά σύνολα δεδομένων πραγματικού κόσμου δείχνουν ότι το πλαίσιο που προτείνεται σε αυτήν τη μελέτη ξεπερνά τους ανταγωνιστικούς αλγόριθμους βάσης τόσο για την πρόβλεψη αξιολόγησης όσο και για τις εργασίες σύστασης top-K. Τα διαδικτυακά πειράματα δείχνουν ότι οι λεπτομερείς εξηγήσεις κάνουν τις συστάσεις και τις μη συστάσεις να επηρεάζουν περισσότερο την αγοραστική συμπεριφορά των χρηστών.

Βραβείο Young Scholar

Το βραβείο ACM SIGIR Young Scholar έχει ως στόχο να αναγνωρίσει ερευνητές που έχουν διαδραματίσει σημαντικό ρόλο στην έρευνα ανάκτησης πληροφοριών, στην οικοδόμηση ακαδημαϊκών κοινοτήτων και στην προώθηση της ακαδημαϊκής ισότητας. Ο Ai Qingyao, επίκουρος καθηγητής από το Τμήμα Επιστήμης Υπολογιστών του Πανεπιστημίου Tsinghua, και ο Wang Xiang, καθηγητής και διδακτορικός επόπτης από το School of Cyberspace Security and Big Data School του University of Science and Technology of China, κέρδισαν το SIGIR 2024 Young Βραβείο μελετητή.

Ai Qingyao

Ο Ai Qingyao είναι επίκουρος καθηγητής στο Τμήμα Επιστήμης Υπολογιστών στο Πανεπιστήμιο Tsinghua, οι κύριοι ερευνητικοί του τομείς επικεντρώνονται στην ανάκτηση πληροφοριών, τη μηχανική εκμάθηση και την επεξεργασία φυσικής γλώσσας. Η βασική ερευνητική κατεύθυνση είναι η έρευνα και ο σχεδιασμός έξυπνων συστημάτων ανάκτησης πληροφοριών, συμπεριλαμβανομένης της εκμάθησης αναπαράστασης πληροφοριών, της θεωρίας βελτιστοποίησης κατάταξης και της εφαρμογής μεγάλων γλωσσικών μοντέλων στην αναζήτηση και συστάσεις στο Διαδίκτυο και στην έξυπνη δικαιοσύνη.

Wang Xiang

Ο Wang Xiang είναι καθηγητής και διδακτορικός επόπτης στη Σχολή Ασφάλειας στον Κυβερνοχώρο και στη Σχολή Μεγάλων Δεδομένων στο Πανεπιστήμιο Επιστήμης και Τεχνολογίας της Κίνας. Τα ερευνητικά ενδιαφέροντα του καθηγητή Wang Xiang περιλαμβάνουν την ανάκτηση πληροφοριών, την εξόρυξη δεδομένων και την αξιόπιστη και εξηγήσιμη τεχνητή νοημοσύνη, ειδικά συστήματα συστάσεων, εκμάθηση γραφημάτων και ανάλυση μέσων κοινωνικής δικτύωσης.