2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Maschinenherzbericht
Redaktion von Machine Heart
Die Mitwirkenden haben von dieser ACL-Konferenz viel profitiert.
Das sechstägige ACL 2024 findet in Bangkok, Thailand, statt.
ACL ist die führende internationale Konferenz im Bereich Computerlinguistik und Verarbeitung natürlicher Sprache. Sie wird von der International Association for Computational Linguistics organisiert und findet jährlich statt. ACL steht seit jeher an erster Stelle, was den akademischen Einfluss im Bereich NLP angeht, und ist außerdem eine von der CCF-A empfohlene Konferenz.
Die diesjährige ACL-Konferenz ist die 62. und hat mehr als 400 innovative Arbeiten im Bereich NLP eingereicht. Gestern Nachmittag gab die Konferenz den besten Vortrag und weitere Auszeichnungen bekannt. Diesmal wurden 7 Best Paper Awards (zwei davon unveröffentlicht), 1 Best Theme Paper Award und 35 Outstanding Paper Awards vergeben.
Die Konferenz verlieh außerdem drei Resource Awards, drei Social Impact Awards und zwei Time Test Awards.
Darüber hinaus wurde der Lifetime Achievement Award dieser Konferenz an Ralph Grishman, Professor am Fachbereich Informatik der New York University, verliehen.
Im Folgenden finden Sie spezifische Informationen zur Auszeichnung.
bestes Papier
Papier 1: Mission: Unmögliche Sprachmodelle
Einführung in den Artikel: Chomsky und andere glauben, dass die Lernfähigkeit großer Sprachmodelle (LLM) für Sprachen gleich ist, die möglicherweise von Menschen gelernt werden oder nicht. Es gibt jedoch nur wenige veröffentlichte experimentelle Beweise, die diese Behauptung stützen.
Die Studie entwickelte eine Reihe synthetischer Sprachen unterschiedlicher Komplexität, die jeweils durch systematische Veränderung englischer Daten unter Verwendung unnatürlicher Wortreihenfolgen und grammatikalischer Regeln entwickelt wurden, mit dem Ziel, Sprachen zu synthetisieren, die für Menschen unmöglich zu erlernen wären.
Die Studie führte umfangreiche Bewertungsexperimente durch, um die Fähigkeit des kleinen GPT-2-Modells zum Erlernen dieser „unmöglichen Sprachen“ zu bewerten, und führte diese Bewertungen in verschiedenen Phasen des Trainings durch, um den Lernprozess für jede Sprache zu vergleichen. Das Kernergebnis der Studie ist, dass es im Vergleich zu Englisch schwierig ist, mit GPT-2 „unmögliche Sprachen“ zu lernen, was die Behauptungen von Chomsky und anderen in Frage stellt.
Noch wichtiger ist, dass die Studie hofft, dass ihr Ansatz eine fruchtbare Forschungslinie eröffnen wird, die es ermöglicht, verschiedene LLM-Architekturen in einer Vielzahl von „unmöglichen Sprachen“ zu testen, um zu verstehen, wie LLM als kognitives und typologisches Untersuchungsinstrument verwendet werden kann.
Aufsatz 2: Warum sind sensible Funktionen für Transformatoren schwierig?
Zusammenfassung: Experimentelle Studien haben eine Reihe von Lernfähigkeitsverzerrungen und Einschränkungen von Transformatoren identifiziert, wie z. B. die anhaltende Schwierigkeit beim Erlernen der Berechnung einfacher formaler Sprachen wie PARITY und eine Tendenz zu Funktionen niedrigen Grades. Das theoretische Verständnis bleibt jedoch begrenzt, und bestehende Darstellungstheorien überschätzen oder unterschätzen realistische Lernfähigkeiten.
Diese Studie zeigt, dass bei der Transformatorarchitektur die Verlustlandschaft durch die Empfindlichkeit des Eingaberaums begrenzt ist: Transformatoren, deren Ausgänge auf viele Teile der Eingabekette empfindlich reagieren, befinden sich an isolierten Punkten im Parameterraum, was zu einer Vorspannung mit geringer Empfindlichkeit führt Verallgemeinerung.
Diese Studie zeigt theoretisch und experimentell, dass die Theorie umfangreiche experimentelle Beobachtungen über Lernfähigkeiten und -verzerrungen von Transformatoren vereint, wie z. B. ihre Generalisierungsverzerrung auf niedrige Empfindlichkeit und geringen Grad sowie die Schwierigkeit der Paritätslängen-Generalisierung. Dies legt nahe, dass das Verständnis der induktiven Vorspannungen eines Transformators nicht nur die Untersuchung seiner prinzipiellen Ausdruckskraft, sondern auch der Landschaft seiner Verlustfunktionen erfordert.
Papier 3: Entschlüsselung der Oracle-Knochensprache mit Diffusionsmodellen
Einführung in den Artikel: Oracle Bone Script (OBS) entstand vor etwa 3.000 Jahren in der Shang-Dynastie in China. Es ist der Grundstein der Sprachgeschichte und älter als viele etablierte Schriftsysteme. Obwohl Tausende von Inschriften entdeckt wurden, ist eine große Anzahl von Orakelknochen immer noch unentschlüsselt, was diese alte Sprache mit einem Schleier voller Geheimnisse umhüllt. Das Aufkommen moderner KI-Technologie hat der Oracle-Entschlüsselung neue Felder eröffnet und traditionelle NLP-Methoden, die stark auf großen Textkorpora basieren, vor Herausforderungen gestellt.
In diesem Artikel wird eine neue Methode vorgestellt, die Bilderzeugungstechnologie nutzt, um ein für die Oracle-Entschlüsselung optimiertes Diffusionsmodell zu entwickeln: Oracle Bone Script Decipher (OBSD). Mithilfe der bedingten Diffusionsstrategie generierte OBSD wichtige Hinweise für die Oracle-Entschlüsselung und eröffnete eine neue Richtung für die KI-gestützte Analyse antiker Sprachen. Um die Wirksamkeit zu überprüfen, führten die Forscher umfangreiche Experimente mit dem Oracle-Datensatz durch und die quantitativen Ergebnisse bewiesen die Wirksamkeit von OBSD.
Aufsatz 4: Kausale Schätzung von Erinnerungsprofilen
Einführung in die Arbeit: Das Verständnis des Gedächtnisses in Sprachmodellen hat praktische und soziale Implikationen, beispielsweise die Untersuchung der Trainingsdynamik von Modellen oder die Verhinderung von Urheberrechtsverletzungen. Frühere Forschungen definieren Gedächtnis als den kausalen Zusammenhang zwischen „Training anhand einer Instanz“ und „der Fähigkeit des Modells, diese Instanz vorherzusagen“. Diese Definition beruht auf einem kontrafaktischen Prinzip: der Fähigkeit zu beobachten, was passiert wäre, wenn das Modell die Instanz nicht gesehen hätte. Bestehende Methoden haben Schwierigkeiten, rechnerisch effiziente und genaue Schätzungen solcher Kontrafaktuale zu liefern. Darüber hinaus schätzen diese Methoden typischerweise den Speicher der Modellarchitektur und nicht den Speicher bestimmter Modellinstanzen.
Dieses Papier füllt eine wichtige Lücke, indem es einen neuen, prinzipiellen und effizienten Ansatz zur Schätzung des Gedächtnisses auf der Grundlage eines ökonometrischen Differenz-in-Differenz-Designs vorschlägt. Mit dieser Methode beobachten Forscher das Verhalten des Modells nur bei einer kleinen Anzahl von Instanzen während des gesamten Trainingsprozesses, um das Gedächtnisprofil des Modells, also seinen Gedächtnistrend während des Trainingsprozesses, zu beschreiben. In Experimenten mit der Pythia-Modellsuite stellten sie fest, dass das Gedächtnis (i) in größeren Modellen stärker und beständiger ist, (ii) durch die Datenreihenfolge und die Lernrate bestimmt wird und (iii) über verschiedene Modellgrößen hinweg stabil ist Erinnerungen im größeren Modell können aus dem kleineren Modell vorhergesagt werden.
Papier 5: Aya-Modell: Ein fein abgestimmtes mehrsprachiges Open-Access-Sprachmodell mit Anweisungen
Einleitung zum Papier: Die jüngsten Durchbrüche bei großen Sprachmodellen (LLMs) konzentrierten sich auf eine kleine Anzahl datenreicher Sprachen. Wie können die Möglichkeiten für Durchbrüche über andere Sprachen hinaus erweitert werden? Die Forschung stellt Aya vor, ein groß angelegtes mehrsprachiges generatives Sprachmodell, das Anweisungen für 101 Sprachen folgt, von denen mehr als 50 % als ressourcenarm gelten. Aya übertrifft mT0 und BLOOMZ bei den meisten Aufgaben und deckt gleichzeitig doppelt so viele Sprachen ab.
Darüber hinaus führt die Studie eine umfangreiche Reihe neuer Beurteilungen ein, die den Stand der Technik der mehrsprachigen Beurteilung auf 99 Sprachen erweitern. Abschließend liefert die Studie eine detaillierte Untersuchung der optimalen, fein abgestimmten Mischungszusammensetzung, Datenbereinigung sowie Modelltoxizität, Bias und Sicherheit.
Artikel 6: Halbüberwachte neuronale Protosprachenrekonstruktion
Grund für die Auszeichnung: Diese bahnbrechende Forschung zielt darauf ab, die Aufgabe der prototypischen Sprachrekonstruktion in der historischen Linguistik halbautomatisch zu gestalten und eine neue halbüberwachte Architektur vorzuschlagen. Diese Methode übertrifft frühere überwachte Methoden, indem sie einen „Prototyp-Muttersprache“-Reflexionsprozess in die „Muttersprache-Prototyp“-Rekonstruktion einführt. Dieser Artikel ist ein gutes Beispiel dafür, wie moderne Rechenmodelle wie neuronale Encoder und Decoder zur Linguistik beitragen können.
Artikel 7: Erfüllbarkeit natürlicher Sprache: Untersuchung der Problemverteilung und Bewertung transformatorbasierter Sprachmodelle (unveröffentlicht)
Grund für die Auszeichnung: Dieses Papier beschreibt klar einen synthetischen Bewertungsdatensatz für logische Schlussfolgerungen. Dies ist eine gute Ergänzung zu großen Inferenzdatensätzen, bei denen nicht klar ist, welche Fähigkeiten gemessen werden. Theoretisch gibt es tatsächlich Gründe zu der Annahme, dass einige Teilmengen schwieriger sind als andere, und diese Erwartungen werden in der Arbeit bestätigt. Innerhalb jeder Kategorie legen die Autoren besonderen Wert auf die Auswahl der wirklich herausfordernden Fälle.
Bewährte Auszeichnung
Der ACL Time Test Award zeichnet Ehrenarbeiten aus, die einen nachhaltigen Einfluss auf die Bereiche der Verarbeitung natürlicher Sprache und der Computerlinguistik hatten. Er ist in zwei Auszeichnungen unterteilt: vor 10 Jahren (2014) und vor 25 Jahren (1999). Jedes Jahr werden zwei Arbeiten vergeben.
Papier 1: GloVe: Globale Vektoren für die Wortdarstellung
Einleitung: Methoden zum Erlernen von Vektorraumdarstellungen von Wörtern haben sich bei der Erfassung feinkörniger semantischer und syntaktischer Regeln mithilfe der Vektorarithmetik als erfolgreich erwiesen, syntaktische Regeln bleiben jedoch undurchsichtig. Diese Studie analysiert und klärt, welche Eigenschaften das Modell haben muss, damit syntaktische Regeln in Wortvektoren erscheinen.
Diese Studie schlägt ein neues globales logarithmisches lineares Regressionsmodell vor – GloVe, das zum Erlernen von Vektordarstellungen von Wörtern entwickelt wurde. Dieses Modell kombiniert die Vorteile der globalen Matrixfaktorisierung und der lokalen Kontextfenstermethoden.
GloVe erreichte die beste Leistung von 75 % bei der Wortanalogieaufgabe und übertraf verwandte Modelle bei der Wortähnlichkeitsaufgabe und der Erkennung benannter Entitäten.
Begründung für die Auszeichnung: Worteinbettungen waren von 2013 bis 2018 der Grundstein für Deep-Learning-Methoden zur Verarbeitung natürlicher Sprache (NLP) und üben weiterhin erheblichen Einfluss aus. Sie verbessern nicht nur die Leistung von NLP-Aufgaben, sondern haben auch erhebliche Auswirkungen auf die rechnerische Semantik, wie etwa Wortähnlichkeit und Analogie. Die beiden einflussreichsten Methoden zur Worteinbettung sind wahrscheinlich Skip-Gram/CBOW und GloVe. Im Vergleich zu Skip-Gramm wurde GloVe später vorgeschlagen. Sein relativer Vorteil liegt in seiner konzeptionellen Einfachheit, da die Vektorraumähnlichkeit direkt auf der Grundlage der Verteilungseigenschaften zwischen Wörtern optimiert wird und nicht indirekt als Satz von Parametern aus der Perspektive einer vereinfachten Sprachmodellierung.
Papier 2: Maße der Verteilungsähnlichkeit
Einleitung zum Papier: Der Autor untersucht Verteilungsähnlichkeitsmaße mit dem Ziel, die Wahrscheinlichkeitsschätzungen für unsichtbare gleichzeitig auftretende Ereignisse zu verbessern. Ihr Beitrag ist dreifach: ein empirischer Vergleich einer breiten Palette von Maßen; eine Klassifizierung von Ähnlichkeitsfunktionen auf der Grundlage der darin enthaltenen Informationen und die Einführung einer neuen Funktion, die bei der Bewertung der zugrunde liegenden Agentenverteilungen überlegen ist;
Auszeichnung für sein Lebenswerk
Der Lifetime Achievement Award von ACL wurde an Ralph Grishman verliehen. Ralph Grishman ist Professor am Fachbereich Informatik der New York University und konzentriert sich auf die Forschung im Bereich der Verarbeitung natürlicher Sprache (NLP). Er ist der Gründer des Proteus-Projekts, das bedeutende Beiträge zur Informationsextraktion (IE) geleistet und die Entwicklung des Fachgebiets vorangetrieben hat.
Er entwickelte außerdem das Java Extraction Toolkit (JET), ein weit verbreitetes Informationsextraktionstool, das mehrere Sprachanalysekomponenten wie Satzsegmentierung, Annotation benannter Entitäten, Annotation und Normalisierung zeitlicher Ausdrücke, Wortart-Tagging, Teilparsing und Co- bietet. Analyse. Bezieht sich auf Analyse. Diese Komponenten können je nach Anwendungsfall zu Pipelines zusammengefasst werden, die zur interaktiven Analyse einzelner Sätze oder zur Batch-Analyse ganzer Dokumente genutzt werden können. Darüber hinaus bietet JET einfache Tools für die Annotation und Anzeige von Dokumenten und umfasst einen vollständigen Prozess zum Extrahieren von Entitäten, Beziehungen und Ereignissen gemäß der ACE-Spezifikation (Automatic Content Extraction).
Die Arbeit von Professor Grishman deckt mehrere Kernthemen des NLP ab und hatte tiefgreifende Auswirkungen auf die moderne Sprachverarbeitungstechnologie.
35 herausragende Arbeiten
Auszeichnung für das beste Themenpapier
Abschlussarbeit: OLMo: Beschleunigung der Wissenschaft von Sprachmodellen
Zitat: Diese Arbeit ist ein wichtiger Schritt in Richtung Transparenz und Reproduzierbarkeit beim Training großer Sprachmodelle, ein Fortschritt in den Bemühungen der Community, Fortschritte zu machen (oder zumindest anderen Forschern, die keine Branchenriesen sind, die Möglichkeit zu geben, einen Beitrag zu leisten).
Resource Paper Award
Drei Arbeiten wurden mit dem Resource Paper Award ausgezeichnet.
Artikel 1: Latxa: Ein offenes Sprachmodell und eine Evaluierungssuite für Baskisch
Institution: Universität des Baskenlandes, Spanien
Begründung für die Auszeichnung: In diesem Beitrag werden die Einzelheiten der Korpuserhebung und Datensatzauswertung ausführlich beschrieben. Obwohl diese Methodik für die baskische Sprachforschung relevant ist, kann sie auf die Konstruktion großer Modelle für andere ressourcenarme Sprachen ausgeweitet werden.
Papier 2: Dolma: ein offener Korpus von drei Billionen Token für die Sprachmodell-Pretraining-Forschung
Grund für die Auszeichnung: Dieses Papier zeigt die Bedeutung des Datenmanagements bei der Vorbereitung von Datensätzen für das Training großer Sprachmodelle. Dies liefert sehr wertvolle Erkenntnisse für ein breites Spektrum von Menschen innerhalb der Community.
Papier 3: AppWorld: Eine kontrollierbare Welt von Apps und Menschen zum Benchmarking interaktiver Codierungsagenten
Gründe für die Auszeichnung: Diese Forschung ist eine sehr wichtige und erstaunliche Arbeit beim Aufbau interaktiver Umgebungssimulation und -bewertung. Es wird alle dazu ermutigen, anspruchsvollere dynamische Benchmarks für die Community zu erstellen.
Social Impact Award
Drei Beiträge wurden mit dem Social Impact Award ausgezeichnet.
Teil 1: Wie Johnny LLMs zum Jailbreak überreden kann: Überzeugen neu denken, um die Sicherheit von KI durch Humanisierung von LLMs in Frage zu stellen
Grund für die Auszeichnung: In diesem Artikel wird das Thema KI-Sicherheit – Jailbreaking – untersucht, wobei eine Methode untersucht wird, die im Bereich der sozialwissenschaftlichen Forschung entwickelt wurde. Die Forschung ist sehr interessant und hat das Potenzial, erhebliche Auswirkungen auf die Gemeinschaft zu haben.
Artikel 2: DIALECTBENCH: Ein NLP-Benchmark für Dialekte, Varietäten und eng verwandte Sprachen
Grund für die Auszeichnung: Dialektvariation ist ein wenig erforschtes Phänomen in den Bereichen NLP und künstliche Intelligenz. Aus sprachlicher und gesellschaftlicher Sicht ist seine Forschung jedoch von äußerst hohem Wert und hat wichtige Implikationen für die Anwendung. Dieses Papier schlägt einen sehr neuartigen Maßstab zur Untersuchung dieses Problems in der LLM-Ära vor.
Aufsatz 3: Nach dem Gebet Bier trinken? Kulturelle Voreingenommenheit in großen Sprachmodellen messen
Gründe für die Auszeichnung: Dieser Artikel verdeutlicht ein wichtiges Thema in der LLM-Ära: kulturelle Voreingenommenheit. Dieser Artikel untersucht die arabische Kultur und Sprachumgebung und die Ergebnisse zeigen, dass wir bei der Gestaltung von LLMs kulturelle Unterschiede berücksichtigen müssen. Daher kann dieselbe Studie in anderen Kulturen wiederholt werden, um zu verallgemeinern und zu beurteilen, ob auch andere Kulturen von diesem Problem betroffen sind.
Sammeln und organisieren Sie die neuesten Nachrichteninformationen und stellen Sie sie für alle kostenlos zur Verfügung.
