ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

新しい知恵のレポート

編集者：編集部

【新しい知恵の紹介】NLP の年次トップカンファレンスである ACL は、最終的な優勝論文を発表しました。今年は合計 7 件の論文が最優秀論文を受賞し、タイムテスト賞は Stanford GloVe と Cornell University Samerity Measure に授与されました。このほか、ベストトピック賞、ベストソーシャルインパクト賞、ベストリソース賞、エリアチェア賞、優秀論文賞もあります。

ACL 2024のアワードがついに発表されました！

合計7件の優秀論文、35件の優秀論文のほか、Time Test Award、SAC Award、Best Theme Paper、Best Resource Paper Awardなどが発表されました。

注目に値するのは、最優秀論文 7 件のうち、「拡散モデルを使用したOracle Bone Language の解読」が全員中国人チームによって完成されたことです。

今年で26回目となる国際計算言語学会議（ACL）年次大会が、8月11日から16日までタイのバンコクで開幕した。

ACL 2024に投稿された論文総数は2023年とほぼ同じ約5,000論文で、そのうち940論文が採択された。

この ACL は史上最大で、合計 72 の SAC、716 の AC、および 4,208 人の審査員が参加しています。

論文975件、JCL6件、TACL31件、基調講演3件、パネルディスカッション1件。

カンファレンス全体には、18 件のワークショップ、6 件のチュートリアル、38 件のデモ、および 60 件の SRW 論文も含まれていました。

論文著者の具体的な投稿詳細は次のとおりです。

最も多く提出された1/2論文: 10,333人の学者が1を提出し、2,130人が2を提出した

少数の人が複数の論文を投稿しました。3 人の著者が 18 件の論文を投稿し、6 人が 19 件の論文を投稿し、18 人が 20 件以上の論文を投稿しました。

今年はどのチームが賞を受賞したのでしょうか?

7 つの優れた論文

論文 1: 拡散モデルを使用したOracle Bone Languageの解読

著者：Haisu Guan、Huanxin Yang、Xinyu Wang、Shengwei Han、Yongge Liu、Lianwen Jin、Xiang Bai、Yuliang Liu

機関: 華中科学技術大学、アデレード大学、安陽師範大学、華南理工大学

論文アドレス: https://arxiv.org/pdf/2406.00684

タイトルが示すように、中国のチームは AI を使用して、拡散モデルの助けを借りて Oracle (OBS) を解読するという、非常に興味深く価値のあることを行いました。

甲骨文字は約 3,000 年前の中国の殷の時代に起源を持ち、言語の歴史の基礎となっています。

何千もの碑文が発見されていますが、甲骨碑文の多くは未解読のままであり、この古代言語には謎のベールがかかっています。

論文の中で著者は、画像を使った新しいAI生成手法、特に「Oracle Bone Script Decipher」（OBSD）の開発について紹介している。

条件付き拡散に基づく戦略を使用して、OBSD は重要な解読の手がかりを生成し、AI を利用した古代言語の分析に新たな道を切り開きました。

その有効性を検証するために、研究者らは Oracle データセットに対して多数の実験を実施し、その定量的な結果によって OBSD の有効性が証明されました。

論文2：自然言語の満足度：問題分布の調査とTransformerベースの言語モデルの評価

(プレプリントはまだ提出されていません)

論文 3: 記憶プロファイルの因果関係の推定

著者：ピエトロ・レッシ、クララ・マイスター、トーマス・ホフマン、アンドレアス・ヴラチョス、ティアゴ・ピメンテル

機関: ケンブリッジ大学、チューリッヒ工科大学

論文アドレス: https://arxiv.org/pdf/2406.04327

LLM の記憶を理解することは、モデル トレーニングのダイナミクスの研究や著作権侵害の防止など、実践や社会にとって重要な意味を持ちます。

以前の研究では、記憶は、そのインスタンスに対するトレーニングを通じてそのインスタンスを予測するモデルの能力に対する因果的反応として定義されています。

この定義は、モデルがインスタンスを認識しなかった場合に何が起こったかを観察できるという反事実に基づいています。

ただし、既存の方法は通常、特定のモデル インスタンスのメモリを推定するのではなく、モデル アーキテクチャを対象としているため、計算効率が高く正確な反事実的な推定を提供することが困難です。

著者らは計量経済学における差異の差分設計に基づいてメモ化を推定するための原理的かつ効率的な新しい方法を提案しているため、この研究は重要なギャップを埋めるものである。

この方法を使用すると、トレーニング プロセス全体で少数のインスタンスの動作を観察するだけで、モデルのメモリ プロファイル、つまりトレーニング プロセス全体にわたるモデルのメモリ傾向を記述することができます。

Pythia モデル スイートを使った実験で、研究者らは次のことを発見しました。

(1) 大きなモデルはより強力で耐久性のあるメモリを備えています。

(2) データの順序と学習率によって決定されます。

(3) さまざまなサイズのモデルには安定した傾向があるため、大きなモデルのメモリは小さなモデルのメモリと同様に予測可能です。

論文 4: アヤ モデル: 命令の微調整されたオープンアクセス多言語モデル

著者：アーメット・ウストゥン、ヴィラート・アリヤブミ、ジェン・シン・ヨン、ウェイ・イン・コー、ダニエル・ドゥスーザ、グベミレケ・オニルデ、ニール・バンダリ、シヴァリカ・シン、ホイ＝リー・オイ、アムル・ケイド、フレディ・ヴァーガス、フィル・ブランサム、シェイン・ロングプレ、ニクラスムエニホフ、マルツィエ・ファダイ、ジュリア・クロイツァー、サラ・フッカー

機関: Cohere For AI、ブラウン大学、Cohere、Cohere For AI Community、カーネギー メロン大学、MIT

論文アドレス: https://arxiv.org/pdf/2402.07827

今年 2 月、スタートアップ Cohere は、101 以上の言語をカバーする、Aya と呼ばれる新しいオープンソースの大規模言語生成モデルをリリースしました。

特筆すべきは、Aya モデル言語のモデル カバレッジが既存のオープンソース モデルの 2 倍以上で、mT0 や BLOOMZ を上回っていることです。

人間の評価スコアは75%に達し、各種模擬勝率テストのスコアは80〜90%に達します。

このプロジェクトは、119 か国から 3,000 人を超える独立した研究者を結集して立ち上げられました。

さらに、研究者らは、114 言語をカバーする 5 億 1,300 万件のデータを含む、これまでで最大の多言語ガイダンス微調整データ セットも公開しました。

論文 5: ミッション: インポッシブルの言語モデル

著者：Julie Kallini、Isabel Papadimitriou、Richard Futrell、Kyle Mahowald、Christopher Potts

機関: スタンフォード大学、カリフォルニア大学アーバイン校、テキサス大学オースティン校

論文アドレス: https://arxiv.org/pdf/2401.06416

チョムスキーらは、LLMには人間が学習可能な言語と不可能な言語を学習する能力があると率直に述べている。

しかし、この主張を裏付ける実験的証拠はほとんど発表されていません。

これを行うために、研究者らはさまざまな複雑さの一連の合成「不可能言語」を開発した。それぞれの言語は、英語のデータを系統的に変更し、不自然な語順と文法規則を使用して設計された。

これらの言語は、不可能な言語の連続体の上にあります。一方の端には、ランダムに並べ替えられた英語などの完全に不可能な言語があり、もう一方の端には、単語位置カウント規則に基づいた言語など、言語的に不可能と考えられる言語があります。 。

一連の評価の結果、GPT-2 は不可能な言語を学習することが非常に難しくなり、核となるアイデアに疑問を投げかけられました。

さらに重要なことに、研究者らは、このアプローチがさまざまなタイプの言語を学習するLLMの能力に関するさらなる研究につながり、認知および言語類型研究におけるLLMの潜在的な応用をよりよく理解できることを期待しています。

論文 6: 半教師ありニューラル原言語の再構成

著者: Liang Lu、Peiron Xie、David R. Mortensen

機関: カーネギーメロン大学、南カリフォルニア大学

論文アドレス: https://arxiv.org/pdf/2406.05930

既存の母国語の比較と再構築の作業には、通常、完全な監督が必要です。

ただし、歴史的再構築モデルは、限られた注釈付きデータでトレーニングされた場合にのみ実用的な価値を持ちます。

この点に関して、研究者らは半教師ありの歴史再構成タスクを提案した。

このタスクでは、少量のラベル付きデータ (プロトタイプのある相同セット) と大量のラベルなしデータ (プロトタイプのない相同セット) でモデルをトレーニングするだけで済みます。

著者は、比較再構築のためのニューラル アーキテクチャである DPD-BiReconstructor を開発しました。これには、言語学者の比較手法における重要な点が含まれています。つまり、再構築された単語は、サブワードから再構築できるだけでなく、サブワードに戻って決定論的に変換することもできます。 。

このアーキテクチャは、ラベルのない同族語のセットを活用し、この新しいタスクにおいて既存の半教師あり学習ベースラインを上回るパフォーマンスを発揮できることを示します。

論文 7: なぜ変圧器にとって敏感な機能は難しいのでしょうか?

著者: マイケル・ハーン、マーク・ロフィン

機関: ザールランド大学

論文アドレス: https://arxiv.org/pdf/2402.09963

実証研究により、単純な形式言語 (PARITY など) の計算を学習することの難しさや低次関数を扱う傾向など、Transformer モデルの一連の学習可能性のバイアスと制限が発見されました。

しかし、理論的な理解は依然として限られており、表現能力に関する既存の理論は実際の学習能力を過大予測または過小評価しています。

研究者らは、Transformer アーキテクチャの下では、損失状況が入力空間の感度によって制限されることを実証しました。

出力が入力文字列の複数の部分に敏感なトランス モデルは、パラメーター空間内の孤立した点を占有するため、一般化で感度が低くなります。

この研究は、最新の理論が、地面感度や低次関数の好み、パリティや長さの問題の難しさなど、トランスフォーマーの学習能力とバイアスに関する経験的観察を統合していることを理論的にも経験的にも示しています。

これは、トランスの誘導性バイアスを理解するには、その原理的な表現力だけでなく、その損失状況も研究する必要があることを示唆しています。

2 タイムテスト賞

論文 1: GloVe: 単語表現のためのグローバル ベクトル (2014)

著者: ジェフリー・ペニントン、リチャード・ソーチャー、クリストファー・マニング

機関: スタンフォード大学

論文アドレス: https://nlp.stanford.edu/pubs/glove.pdf

単語埋め込みは、2013 年から 2018 年にかけて NLP のディープ ラーニング手法の基礎であり、引き続き大きな影響を与え続けています。これらは NLP タスクのパフォーマンスを向上させるだけでなく、単語の類似性や類似性などの計算セマンティクスにも大きな影響を与えます。

おそらく、最も影響力のある 2 つの単語埋め込みメソッドは、skip-gram/CBOW と GloVe です。 Skip-gram と比較して、GloVe の相対的な利点は、概念的な単純さにあり、言語モデリングを単純化するという観点からではなく、単語の分布特性に直接基づいてベクトル空間での類似性を最適化します。間接的な最適化のためのパラメータのセット。

論文 2: 分布の類似性の尺度 (1999)

著者: リリアン・リー

機関: コーネル大学

論文アドレス: https://aclanthology.org/P99-1004.pdf

分布類似性尺度の研究は、目に見えない共起イベントの確率推定を改善することを目的としています。これは、単語間の類似性を特徴付ける別の方法と同等です。

この論文の貢献は 3 つあります。さまざまな尺度の広範な経験的比較、類似性関数に含まれる情報に基づく分類、および潜在的なエージェントの分布の評価に優れた機能を導入したことです。

最優秀トピック論文 1 件

論文: OLMo: 言語モデルの科学の加速

著者：ダーク・グルーネヴェルド、イズ・ベルタギー、ピート・ウォルシュ、アクシタ・バギア、ロドニー・キニー、オイビンド・タフィヨルド、アナンヤ・ハーシュ・ジャー、ハミッシュ・アイヴィソン、イアン・マグナッソン、ワン・イーゾン、シェーン・アローラ、デヴィッド・アトキンソン、ラッセル・オーサー、キャティ・ラガヴィ・チャンドゥ、アーマン・コーハン、ジェニファーデュマ、ヤナイ・エラザール、ユーリング・グー、ジャック・ヘッセル、トゥシャール・コート、ウィリアム・メリル、ジェイコブ・モリソン、ニクラス・ムエニゴフ、アーカンクシャ・ナイク、クリスタル・ナム、マシュー・E・ピーターズ、ヴァレンティーナ・ピャトキン、アビラシャ・ラヴィチャンダー、ダスティン・シュウェンク、サウラブ・シャー、ウィル・スミス、エマストゥルーベル、ニシャント・スブラマニ、ミッチェル・ワーツマン、プラディープ・ダシギ、ネイサン・ランバート、カイル・リチャードソン、ルークゼトルモイヤー、ジェシー ドッジ、カイル ロー、ルカ ソルダイニ、ノア A. スミス、ハンナネ ハジシルジ

機関: アレン人工知能研究所、ワシントン大学、イェール大学、ニューヨーク大学、カーネギーメロン大学

論文アドレス: https://arxiv.org/abs/2402.00838

この取り組みは、大規模な言語モデルのトレーニングの透明性と再現性の向上における大きな進歩であり、コミュニティが進歩を遂げることに熱心に取り組んでいること (または、少なくとも業界大手以外の貢献者が進歩に貢献できるようにすること) が求められています。

ベスト 3 ソーシャル インパクト賞

論文1：ジョニーが法学修士課程の学生を脱獄させる方法：法学修士課程の学生を人間化することでAIの安全性に異議を唱える説得を再考する

著者：Yi Zeng、Hongpeng Lin、Jingwen Zhang、Diyi Yang、Ruoxi Jia、Weiyan Shi

機関: バージニア工科大学、中国人民大学、カリフォルニア大学デービス校、スタンフォード大学

論文アドレス: https://arxiv.org/abs/2401.06373

このペーパーでは、制限のバイパスという人工知能のセキュリティに関するトピックを検討します。社会科学研究の分野で開発された手法を検証します。この研究は興味深いものであり、コミュニティに重大な影響を与える可能性があります。

論文2：DIALECTBENCH: 方言、変種、および関連言語の NLP ベンチマーク

著者：ファヒム・ファイサル、オレヴァオゲネ・アヒア、アーロヒ・スリヴァスタヴァ、カビール・アフージャ、デビッド・チャン、ユリア・ツヴェトコフ、アントニオス・アナスタソプロス

機関: ジョージ メイソン大学、ワシントン大学、ノートルダム大学、RC アテナ

論文アドレス: https://arxiv.org/abs/2403.11009

方言の変動は、自然言語処理と人工知能における研究が十分に進んでいない現象です。しかし、その研究は言語的および社会的観点からだけでなく、応用にも重要な意味を持っており、非常に価値があります。この論文では、大規模な言語モデルの時代におけるこの問題を研究するための革新的なベンチマークを提案します。

論文 3: 大規模言語モデルで文化的バイアスを測定する?

著者: Tarek Naous、Michael J. Ryan、Alan Ritter、Wei Xu

機関: ジョージア工科大学

論文アドレス: https://arxiv.org/abs/2305.14456

この論文は、大規模言語モデルの時代における重要な問題、つまり文化的偏見を明らかにします。研究の背景はアラビアの文化と言語ですが、結果は、大規模な言語モデルを設計する際には文化的なニュアンスを考慮する必要があることを示しています。したがって、他の文化でも同様の研究を実施して、他の文化もこの問題の影響を受けるかどうかを一般化して評価することができます。

ベスト 3 のリソース ペーパー

論文 1: Latxa: バスク語のオープン言語モデルと評価スイート

著者：ジュレン・エチャニス、オスカー・サインツ、ナイアラ・ペレス、イッツィアル・アルダベ、ジャーマン・リガウ、エネコ・アギレ、アイトール・オルマザバル、ミケル・アルテクス、アイトール・ソロア

機関: バスク大学

論文アドレス: https://arxiv.org/abs/2403.20266

この文書では、コーパス収集と評価データセットの詳細をすべて詳細に説明します。彼らはバスク語を研究しましたが、このアプローチを拡張して、リソースの少ない言語の大規模な言語モデルを構築することができます。

論文2：Dolma: 言語モデルの事前学習研究のための3兆トークンのオープンコーパス

著者：ルカ・ソルダイニ、ロドニー・キニー、アクシタ・バギア、ダスティン・シュウェンク、デヴィッド・アトキンソン、ラッセル・オーサー、ベン・ボーギン、キャティ・チャンドゥ、ジェニファー・デュマス、ヤナイ・エラザール、バレンティン・ホフマン、アナンヤ・ハーシュ・ジャ、サチン・クマール、リー・ルーシー、シンシー・リュー、ネイサン・ランバート、イアン・マグナッソン、ジェイコブ・モリソン、ニクラス・ムエニゴフ、アーカンクシャ・ナイク、クリスタル・ナム、マシュー・E・ピーターズ、アビラシャ・ラヴィチャンダー、カイル・リチャードソン、ゼジャン・シェン、エマ・ストゥルーベル、ニシャント・スブラマニ、オイヴィンド・タフィヨルド、ピート・ウォルシュ、ルーク・ゼトルモイヤー、ノア・A・スミス、ハンナネ・ハジシルジ、イズ・ベルタギー、ダーク・グルーネフェルト、ジェシー・ドッジ、カイル・ロー

機関: アレン人工知能研究所、カリフォルニア大学バークレー校、カーネギーメロン大学、Spiffy AI、MIT、ワシントン大学

論文アドレス: https://arxiv.org/abs/2402.00159

このペーパーでは、大規模な言語モデル用のデータセットを準備する際のデータ キュレーションの重要性について説明します。コミュニティ内の幅広い視聴者に有益な貴重な洞察を提供します。

論文3：AppWorld: インタラクティブコーディングエージェントのベンチマークのためのアプリと人々の制御可能な世界

著者：Harsh Trivedi、Tushar Khot、Mareike Hartmann、Ruskin Manku、Vinty Dong、Edward Li、Shashank Gupta、Ashish Sabharwal、Niranjan Balasubramanian

機関: ニューヨーク州立大学ストーニーブルック校、アレン人工知能研究所、ザールランド大学

論文アドレス: https://arxiv.org/abs/2407.18901

これは、人間とコンピュータの相互作用のためのシミュレータと評価環境を構築するための非常に印象的で重要な試みです。これにより、コミュニティ向けに挑戦的な動的ベンチマークの作成が促進されます。

21条分野委員長賞

35 件の優れた論文

(この写真は未完成です)

参考文献:

https://x.com/aclmeeting/status/1823664612677705762