Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Herausgeber: Xiao Zhou, Chen Chen

Die Ergebnisse der Tsinghua-Universität sind hervorragend.

Die 47. Association for Computing Machinery Conference on Information Retrieval (ACM SIGIR) findet vom 14. bis 18. Juli 2024 in Washington, DC, USA statt. Diese Konferenz ist die wichtigste akademische Konferenz im Bereich Information Retrieval.

Gerade hat die Konferenz den Best Paper Award, den Best Paper Runner-up, den Best Paper Honourable Mention Award und den Time Test Award bekannt gegeben.

Unter ihnen gewannen die Tsinghua University, die Hillhouse School of Artificial Intelligence an der Renmin University of China und das Xiaohongshu-Team den zweiten Platz; Forscher der University of Glasgow und der University of Pisa erhielten den zweiten Platz Die Arbeit wurde an die Shandong-Universität (Qingdao), die Universität Leiden und die Universität Amsterdam verliehen; der Time Test Award ging an Forscher der Tsinghua-Universität und der University of California, Santa Cruz.

Schauen wir uns als Nächstes den konkreten Inhalt des Siegerpapiers an.

bestes Papier

These: Skalierungsgesetze für den dichten Abruf

Autoren des Papiers: Fang Yan, Jingtao Zhan, Ai Qingyao, Mao Jiaxin, Weihang Su, Jia Chen, Liu Yiqun

Institutionen: Tsinghua University, Hillhouse School of Artificial Intelligence an der Renmin University of China, Xiaohongshu

Link zum Papier: https://dl.acm.org/doi/abs/10.1145/3626772.3657743

Einführung in die Arbeit : Forscher haben Skalierungsgesetze bei einer Vielzahl von Aufgaben beobachtet, insbesondere bei der Sprachgenerierung. Untersuchungen zeigen, dass die Leistung großer Sprachmodelle über alle Modell- und Datensatzgrößen hinweg vorhersehbaren Mustern folgt, was bei der effektiven und effizienten Gestaltung von Trainingsstrategien hilft, insbesondere da groß angelegte Schulungen immer ressourcenintensiver werden. Beim Dense Retrieval ist das Expansionsgesetz jedoch noch nicht vollständig erforscht.

Diese Studie untersucht, wie sich die Skalierung auf die Leistung von Dense-Retrieval-Modellen auswirkt. Konkret implementierte das Forschungsteam dichte Retrieval-Modelle mit unterschiedlicher Anzahl von Parametern und trainierte sie mit unterschiedlichen Mengen annotierter Daten. Diese Studie verwendet die kontrastive Entropie als Bewertungsmetrik. Im Vergleich zu diskreten Ranking-Metriken ist die kontrastive Entropie kontinuierlich und kann daher die Leistung des Modells genau widerspiegeln.

Experimentelle Ergebnisse zeigen, dass die Leistung dichter Retrieval-Modelle einer exakten Potenzgesetz-Skalierung mit der Modellgröße sowie der Anzahl der Anmerkungen folgt.

Darüber hinaus zeigt die Studie auch, dass das Skalierungsgesetz dazu beiträgt, den Trainingsprozess zu optimieren, beispielsweise bei der Lösung von Ressourcenzuweisungsproblemen unter Budgetbeschränkungen.

Diese Studie trägt wesentlich zum Verständnis der Skalierungseffekte von Dense-Retrieval-Modellen bei und bietet sinnvolle Leitlinien für zukünftige Forschungen.

Zweiter Platz für das beste Papier

Der Zweitplatzierte für die beste Arbeit beim diesjährigen ACM SIGIR ging an die Arbeit „A Reproducibility Study of PLAID“. Zu den Autoren des Papiers gehören Sean MacAvaney von der University of Glasgow und Nicola Tonellotto von der University of Pisa.

Papieradresse: https://arxiv.org/pdf/2404.14989

Papierzusammenfassung : Der PLAID-Algorithmus von ColBERTv2 verwendet geclusterte Begriffsdarstellungen, um Dokumente abzurufen und schrittweise zu bereinigen, um die endgültige Dokumentbewertung zu erhalten. Dieser Artikel gibt die fehlenden Lücken im Originaltext wieder und füllt ihn. Durch die Untersuchung der von PLAID eingeführten Parameter stellten die Forscher fest, dass die Pareto-Grenze durch das Gleichgewicht zwischen drei Parametern gebildet wird. Eine Abweichung von den empfohlenen Einstellungen kann die Latenz erheblich erhöhen, ohne dass sich dadurch zwangsläufig die Wirksamkeit verbessert.

Basierend auf dieser Erkenntnis vergleicht dieser Artikel PLAID mit einer wichtigen Grundlinie, die im Artikel fehlt: der Neuordnung des lexikalischen Systems. Es wurde festgestellt, dass die Anwendung von ColBERTv2 als Reorderer zusätzlich zum anfänglichen BM25-Ergebnispool einen besseren Kompromiss zwischen Effizienz und Effektivität in Einstellungen mit geringer Latenz bietet. Diese Arbeit unterstreicht die Bedeutung einer sorgfältigen Auswahl relevanter Basislinien bei der Bewertung der Effizienz von Retrieval-Engines.

Best Paper Honourable Mention Award

Den Preis für die lobende Erwähnung für den besten Beitrag dieser Konferenz erhielten Forscher der Shandong-Universität (Qingdao), der Universität Leiden und der Universität Amsterdam. Der Gewinnerbeitrag ist „Generative Retrieval as Multi-Vector Dense Retrieval“.

Autoren des Papiers: Wu Shiguang, Wei Wenda, Zhang Mengqi, Chen Zhumin, Ma Jun, Ren Zhaochun, Maarten de Rijke, Ren Pengjie

Papieradresse: https://arxiv.org/pdf/2404.00684

Papierzusammenfassung : Dieses Papier misst die Relevanz von Dokumentabfragen, indem es zeigt, dass generatives Retrieval und Multi-Vektor-Dense-Retrieval dasselbe Framework verwenden. Insbesondere untersuchten sie die Aufmerksamkeitsschicht und den Vorhersagekopf des generativen Abrufs und zeigten, dass generativer Abruf als Sonderfall des dichten Multi-Vektor-Abrufs verstanden werden kann. Beide Methoden berechnen die Korrelation, indem sie die Summe der Produkte des Abfragevektors und des Dokumentvektors mit der Ausrichtungsmatrix berechnen.

Anschließend untersuchten die Forscher, wie dieses Framework beim generativen Retrieval angewendet werden kann, indem sie verschiedene Strategien zur Berechnung von Dokument-Token-Vektoren und Ausrichtungsmatrizen verwendeten. Zur Überprüfung der Schlussfolgerungen werden Experimente durchgeführt, die zeigen, dass beide Paradigmen Gemeinsamkeiten bei der Termübereinstimmung in ihren Ausrichtungsmatrizen aufweisen.

Bewährte Auszeichnung

Der diesjährige ACM SIGIR Time Test Award wurde an die vor 10 Jahren auf der SIGIR 2014 veröffentlichte Forschung zu erklärbaren Empfehlungen verliehen. Der Artikel trug den Titel „Explicit Factor Models for Explainable Recommendation based on Phrase-level Sentiment Analysis“.

Autoren des Papiers: Zhang Yongfeng, Lai Guokun, Zhang Min, Yi Zhang, Liu Yiqun, Ma Shaoping

Institution: Tsinghua University, University of California, Santa Cruz

Link zum Papier: https://www.cs.cmu.edu/~glai1/papers/yongfeng-guokun-sigir14.pdf

Diese Forschung definierte erstmals das Problem der „interpretierbaren Empfehlung“, schlug entsprechende Methoden zur Stimmungsanalyse vor, um diese technische Herausforderung zu lösen, und spielte in verwandten Bereichen eine führende Rolle.

Papierzusammenfassung : Auf kollaborativer Filterung (CF) basierende Empfehlungsalgorithmen wie Latent-Faktor-Modelle (LFM) schneiden hinsichtlich der Vorhersagegenauigkeit gut ab. Aufgrund der zugrunde liegenden Merkmale ist es jedoch schwierig, den Nutzern die Empfehlungsergebnisse zu erklären.

Glücklicherweise sind die für Schulungsempfehlungssysteme verfügbaren Informationen angesichts der zunehmenden Online-Benutzerbewertungen nicht mehr auf numerische Sternebewertungen oder Benutzer-/Artikelmerkmale beschränkt. Durch das Extrahieren der expliziten Meinungen der Benutzer zu verschiedenen Aspekten eines Produkts aus Bewertungen ist es möglich, ein detaillierteres Verständnis dafür zu gewinnen, was den Benutzern wichtig ist, was die Möglichkeit eröffnet, erklärbare Empfehlungen abzugeben.

In diesem Artikel wird EFM (Explicit Factor Model) vorgeschlagen, um interpretierbare Empfehlungen zu generieren und gleichzeitig eine hohe Vorhersagegenauigkeit beizubehalten.

Die Forscher extrahieren zunächst explizite Produktmerkmale und Benutzermeinungen, indem sie eine Stimmungsanalyse auf Phrasenebene an Benutzerbewertungen durchführen, und generieren dann Empfehlungen und Nichtempfehlungen basierend auf spezifischen Produktmerkmalen, die für Benutzer von Interesse sind, und erlernten latenten Merkmalen. Darüber hinaus werden aus dem Modell intuitive Erklärungen auf Funktionsebene generiert, warum ein Artikel empfohlen oder nicht empfohlen wird.

Offline-experimentelle Ergebnisse an mehreren realen Datensätzen zeigen, dass das in dieser Studie vorgeschlagene Framework konkurrierende Basisalgorithmen sowohl bei Bewertungsvorhersage- als auch bei Top-K-Empfehlungsaufgaben übertrifft. Online-Experimente zeigen, dass Empfehlungen und Nicht-Empfehlungen durch ausführliche Erläuterungen einen größeren Einfluss auf das Kaufverhalten der Nutzer haben.

Preis für junge Wissenschaftler

Der ACM SIGIR Young Scholar Award zielt darauf ab, Forscher zu würdigen, die eine wichtige Rolle in der Informationsbeschaffungsforschung, dem Aufbau von Wissenschaftlergemeinschaften und der Förderung der akademischen Gerechtigkeit gespielt haben. Er muss an junge Forscher verliehen werden, die ihren Doktortitel innerhalb von sieben Jahren erhalten haben. Ai Qingyao, Assistenzprofessor am Institut für Informatik der Tsinghua-Universität, und Wang Xiang, Professor und Doktorvater an der School of Cyberspace Security und der Big Data School der University of Science and Technology of China, gewannen den SIGIR 2024 Young Gelehrtenpreis.

Ai Qingyao

Ai Qingyao ist Assistenzprofessor am Institut für Informatik der Tsinghua-Universität. Seine Hauptforschungsgebiete konzentrieren sich auf Informationsabruf, maschinelles Lernen und Verarbeitung natürlicher Sprache. Die wichtigste Forschungsrichtung ist die Erforschung und Gestaltung intelligenter Informationsabrufsysteme, einschließlich des Lernens der Informationsdarstellung, der Ranking-Optimierungstheorie und der Anwendung großer Sprachmodelle bei der Internetsuche und -empfehlung sowie der intelligenten Gerechtigkeit.

Wang Xiang

Wang Xiang ist Professor und Doktorvater an der School of Cyberspace Security und der School of Big Data der University of Science and Technology of China. Zu den Forschungsinteressen von Professor Wang Xiang gehören Information Retrieval, Data Mining sowie vertrauenswürdige und erklärbare künstliche Intelligenz, insbesondere Empfehlungssysteme, Graph Learning und Social-Media-Analyse.