ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

マシーンハート編集部

貢献者はこの ACL カンファレンスから多くのことを学びました。

6日間のACL 2024がタイのバンコクで開催されます。

ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。

今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回は、優秀論文賞7件（未発表2件）、最優秀テーマ論文賞1件、優秀論文賞35件が受賞しました。

このカンファレンスでは、リソース賞 3 件、ソーシャル インパクト賞 3 件、タイム テスト賞 2 件も受賞しました。

さらに、このカンファレンスにおける生涯功績賞は、ニューヨーク大学コンピューターサイエンス学部教授のラルフ・グリッシュマン氏に授与されました。

以下は具体的な特典情報です。

最高の紙

論文 1: ミッション: インポッシブルの言語モデル

• 著者：Julie Kallini、Isabel Papadimitriou、Richard Futrell、Kyle Mahowald、Christopher Potts
• 機関: スタンフォード大学、カリフォルニア大学アーバイン校、テキサス大学オースティン校
• 論文リンク: https://arxiv.org/abs/2401.06416

論文の紹介: チョムスキーらは、大規模言語モデル (LLM) の学習能力は、人間が学習できるかどうかに関係なく同じであると考えています。しかし、この主張を裏付ける実験的証拠はほとんど発表されていません。

この研究では、人間が学習することが不可能な言語を合成することを目的として、不自然な語順と文法規則を使用して英語データを体系的に変更することによってそれぞれ設計された、さまざまな複雑さの一連の合成言語を開発しました。

この研究では、これらの「不可能な言語」を学習する GPT-2 小型モデルの能力を評価するために広範な評価実験を実施し、トレーニング全体のさまざまな段階でこれらの評価を実施して、各言語の学習プロセスを比較しました。この研究の中心的な発見は、GPT-2は英語に比べて「不可能な言語」を学習するのが難しいということであり、チョムスキーらの主張に異議を唱えている。

さらに重要なことに、この研究は、そのアプローチが実りある研究の糸口を切り開き、LLM が認知的および類型学的調査ツールとしてどのように使用できるかを理解するために、さまざまな「不可能な言語」でさまざまな LLM アーキテクチャをテストできるようになることを期待しています。

論文 2: なぜ変圧器にとって敏感な機能は難しいのでしょうか?

• 著者: マイケル・ハーン、マーク・ロフィン
• 機関: ザールランド大学
• 論文リンク: https://arxiv.org/abs/2402.09963

要約: 実験研究により、PARITY などの単純な形式言語の計算を学習する際の永続的な困難や、低次関数に対するバイアスなど、トランスフォーマーの学習可能性に関するさまざまなバイアスと制限が特定されました。しかし、理論的な理解は依然として限られており、既存の表現理論は現実的な学習能力を過大評価または過小評価しています。

この研究は、変圧器アーキテクチャの下では、損失状況が入力空間の感度によって制限されることを実証しています。出力が入力文字列の多くの部分に敏感な変圧器は、パラメータ空間内の孤立した点に配置されており、その結果、入力空間の感度が低くなります。一般化。

この研究は、この理論が、低感度や次数に対する一般化バイアス、パリティ長一般化の難しさなど、変圧器の学習能力とバイアスに関する広範な実験観察を統合していることを理論的および実験的に示しています。これは、変圧器の誘導バイアスを理解するには、その原理的な表現力だけでなく、損失関数の状況も研究する必要があることを示唆しています。

論文 3: 拡散モデルを使用したOracle Bone Languageの解読

• 著者：ハイス・グアン、フアンシン・ヤン、シンユー・ワン、シェンウェイ・ハンなど。
• 機関: 華中科学技術大学、アデレード大学、安陽師範大学、華南理工大学
• 論文リンク: https://arxiv.org/pdf/2406.00684

論文の紹介: Oracle Bone Script (OBS) は、約 3,000 年前の中国の殷王朝で誕生しました。これは言語史の基礎であり、多くの確立された文字体系よりも古いものです。何千もの碑文が発見されていますが、多くの甲骨は未解読のままであり、この古代言語は謎に包まれています。最新の AI テクノロジーの出現により、Oracle 解読の新しい分野が開かれ、大規模なテキスト コーパスに大きく依存する従来の NLP 手法に課題が生じています。

本稿では、Oracle の解読に最適化された拡散モデル、Oracle Bone Script Decipher (OBSD) を開発するための画像生成技術を使用した新しい手法を紹介します。条件付き拡散戦略を利用して、OBSD は Oracle 解読のための重要な手がかりを生成し、AI を利用した古代言語分析の新しい方向性を切り開きました。有効性を検証するために、研究者らは Oracle データセットに対して広範な実験を実施し、その定量的な結果によって OBSD の有効性が証明されました。

論文 4: 記憶プロファイルの因果関係の推定

• 著者：ピエトロ・レッシ、クララ・マイスター、トーマス・ホフマン、アンドレアス・ヴラチョス、ティアゴ・ピメンテル
• 機関: ケンブリッジ大学、チューリッヒ工科大学
• 論文リンク: https://arxiv.org/pdf/2406.04327

論文の紹介: 言語モデルの記憶を理解することには、モデルのトレーニング ダイナミクスの研究や著作権侵害の防止など、実用的かつ社会的な意味があります。これまでの研究では、記憶を「インスタンスを使用したトレーニング」と「そのインスタンスを予測するモデルの能力」の間の因果関係として定義されています。この定義は、反事実、つまりモデルがインスタンスを認識しなかった場合に何が起こったかを観察する能力に依存しています。既存の方法では、そのような反事実を計算効率よく正確に推定するのが困難です。さらに、これらの方法は通常、特定のモデル インスタンスのメモリではなく、モデル アーキテクチャのメモリを推定します。

この論文は、計量経済学的な差分設計に基づいて記憶を推定するための、新しく原則に基づいた効率的なアプローチを提案することで、重要なギャップを埋めています。この方法を使用すると、研究者はトレーニング プロセス全体を通じて少数のインスタンスでモデルの動作を観察するだけで、モデルのメモリ プロファイル、つまりトレーニング プロセス中のメモリの傾向を説明できます。 Pythia モデル スイートを使用した実験では、(i) メモリは大規模なモデルほど強力で永続的であること、(ii) メモリはデータの順序と学習率によって決定されること、(iii) さまざまなモデル サイズの傾向にわたって安定していることがわかりました。より大きなモデルのメモリは、より小さなモデルから予測できます。

論文 5: アヤ モデル: 命令の微調整されたオープンアクセス多言語モデル

• 著者: Ahmet Üstün、Viraat Aryabumi、Zheng Xin Yong、Wei-ying Ko など。
• 機関: Cohere、ブラウン大学など
• 論文リンク: https://arxiv.org/pdf/2402.07827

論文の紹介: 大規模言語モデル (LLM) における最近の進歩は、少数のデータ豊富な言語に焦点を当てています。他の言語を超えてブレークスルーへの道をどのように広げることができるでしょうか?この研究では、Aya という大規模な多言語生成言語モデルが導入されており、その 50% 以上が低リソースと考えられている 101 言語の指示に従います。 aya は、ほとんどのタスクで mT0 や BLOOMZ を上回り、2 倍の言語をカバーします。

さらに、この研究では広範な新しい評価スイートが導入され、最先端の多言語評価が 99 言語に拡張されています。最後に、この研究では、最適な微調整された混合物組成、データの枝刈り、モデルの毒性、バイアス、安全性についての詳細な調査が提供されます。

論文 6: 半教師ありニューラル原言語の再構成

• 著者: Liang Lu、Peiron Xie、David R. Mortensen
• 機関: CMU、南カリフォルニア大学
• 論文リンク: https://arxiv.org/pdf/2406.05930

受賞理由: この画期的な研究は、歴史言語学におけるプロトタイプ言語の再構築タスクを半自動化することを目的としており、新しい半教師ありアーキテクチャを提案しています。この方法は、「ネイティブ言語 - プロトタイプ」の再構築に「プロトタイプ - ネイティブ言語」の反映プロセスを導入することにより、以前の教師ありメソッドよりも優れた性能を発揮します。この論文は、ニューラル エンコーダやデコーダなどの最新の計算モデルが言語学にどのように貢献できるかを示す良い例です。

論文 7: 自然言語の満足度: 問題分布の探索とトランスフォーマーベースの言語モデルの評価 (未公開)

• 著者：タリンドゥ・マドゥサンカ、イアン・プラット＝ハートマン、リザ・バティスタ＝ナバロ

受賞理由：論理推論のための総合評価データセットについて明確に記載されています。これは、どの能力が測定されているかが明確でない大規模な推論データセットを適切に補完します。理論的には、一部のサブセットが他のサブセットよりも難しいと予想される理由が実際にあり、これらの予想は論文で検証されています。各カテゴリ内で、著者は真に困難なケースをサンプリングすることに特別な注意を払っています。

実績ある賞

ACL Time Test Award は、自然言語処理と計算言語学の分野に長期的な影響を与えた名誉論文を表彰するもので、10 年前 (2014 年) と 25 年前 (1999 年) の 2 つの賞に分かれています。毎年 2 つの論文が受賞します。

論文 1: GloVe: 単語表現のためのグローバル ベクトル

• 著者：ジェフリー・ペニントン、リチャード・ソーチャー、クリストファー・D・マニング
• 機関: スタンフォード大学
• 論文リンク: https://aclanthology.org/D14-1162.pdf

はじめに: 単語のベクトル空間表現を学習する方法は、ベクトル演算を使用して粒度の細かい意味論的ルールと構文ルールを捕捉することに成功していますが、構文ルールは不透明なままです。この研究では、構文規則が単語ベクトルに現れるためにモデルがどのような特性を持つ必要があるかを分析し、明らかにします。

この研究では、単語のベクトル表現を学習するために設計された新しいグローバル対数線形回帰モデル GloVe を提案します。このモデルは、グローバル行列因数分解とローカル コンテキスト ウィンドウ法の利点を組み合わせています。

GloVe は、単語類似タスクで 75% という最高のパフォーマンスを達成し、単語類似タスクと固有表現認識では関連モデルを上回りました。

受賞理由: 単語埋め込みは、2013 年から 2018 年まで自然言語処理 (NLP) の深層学習手法の基礎であり、引き続き大きな影響力を及ぼし続けています。これらは NLP タスクのパフォーマンスを向上させるだけでなく、単語の類似性や類似性などの計算セマンティクスにも大きな影響を与えます。最も影響力のある 2 つの単語埋め込みメソッドは、おそらく Skip-gram/CBOW と GloVe です。 GloVeはskip-gramに比べて後から提案されました。その相対的な利点は概念的な単純さにあり、単純化された言語モデリングの観点からパラメータのセットとして間接的にではなく、単語間の分布特性に直接基づいてベクトル空間の類似性を最適化します。

論文 2: 分布の類似性の尺度

• 著者: リリアン・リー
• 機関: コーネル大学
• 論文リンク: https://aclanthology.org/P99-1004.pdf

論文の紹介: 著者は、目に見えない同時発生イベントの確率推定を改善することを目的として、分布類似性尺度を研究しています。その貢献は 3 つあります: 広範囲の測定値の経験的比較、それに含まれる情報に基づく類似性関数の分類、および基礎となるエージェントの分布の評価に優れた新しい関数の導入です。

生涯功績賞

ACLの生涯功労賞はラルフ・グリッシュマンに授与された。ラルフ グリッシュマンは、ニューヨーク大学コンピューター サイエンス学部の教授であり、自然言語処理 (NLP) の分野の研究に重点を置いています。彼は、情報抽出 (IE) に多大な貢献をし、この分野の発展を促進したプロテウス プロジェクトの創設者です。

また、Java Extraction Toolkit (JET) も開発しました。これは、文の分割、固有表現の注釈、時間的表現の注釈と正規化、品詞タグ付け、部分解析、および共同言語などの複数の言語分析コンポーネントを提供する、広く使用されている情報抽出ツールです。分析を指します。これらのコンポーネントは、さまざまなアプリケーションに応じてパイプラインに組み合わせることができ、単一の文の対話型分析やドキュメント全体のバッチ分析に使用できます。さらに、JET はドキュメントの注釈と表示のためのシンプルなツールを提供し、ACE (自動コンテンツ抽出) 仕様に従ってエンティティ、関係、およびイベントを抽出するための完全なプロセスを含みます。

グリッシュマン教授の研究は、NLP における複数の中核問題をカバーしており、現代の言語処理テクノロジーに大きな影響を与えています。

35 件の優れた論文

• 論文 1: 量子化サイドチューニング: 量子化された大規模言語モデルの高速かつメモリ効率の高いチューニング
• 著者：Zhengxin Zhang、Dan Zhao、Xupeng Miao、Gabriele Oliaro、Zhihao Zhang、Qing Li、Yong Jiang、Zhihao Jia
• 機関: CMU、清華大学、彭城研究所など
• 論文リンク: https://arxiv.org/pdf/2401.07159
• 論文 2: L-Eval: 長いコンテキスト言語モデルの標準化された評価の確立
• 著者：Chenxin An、Shansan Gong、Ming Zhong、Xingjian Zhao、Mukai Li、Jun Zhang、Lingpeng Kong、Xipeng Qiu
• 機関: 復旦大学、香港大学、イリノイ大学アーバナシャンペーン校、上海AIラボ
• 論文リンク: https://arxiv.org/abs/2307.11088
• 論文 3: 大規模言語モデルのバイアスを軽減するための因果律に基づくアクティブ ラーニング
• 論文リンク: https://openreview.net/forum?id=idp_1Q6F-lC
• 論文 4: CausalGym: 言語タスクにおける因果的解釈可能性手法のベンチマーク
• 著者: アリヤマン アローラ、ダン ジュラフスキー、クリストファー ポッツ
• 機関: スタンフォード大学
• 論文リンク: https://arxiv.org/abs/2402.12560
• 論文 5: 幻覚を起こさず、禁欲する: 複数の LLM コラボレーションによる LLM 知識のギャップの特定
• 著者：Shangbin Feng、Weijia Shi、Yike Wang、Wenxuan Ding、Vidhisha Balachandran、Yulia Tsvetkov
• 機関: ワシントン大学、カリフォルニア大学バークレー校、香港科技大学、CMU
• 論文リンク: https://arxiv.org/abs/2402.00367
• 論文 6：音声基礎モデルと大規模言語モデルを使用した音声翻訳：何ができて、何が欠けているか？
• 著者: マルコ・ガイド、サラ・パピ、マッテオ・ネグリ、ルイーザ・ベンティヴォッリ
• 機関: ブルーノ・ケスラー財団、イタリア
• 論文リンク: https://arxiv.org/abs/2402.12025
• 論文 7: NLP は抽出的でなければなりませんか?
• 著者: スティーブン・バード
• 機関: チャールズ・ダーウィン大学
• 紙のリンク: https://drive.google.com/file/d/1hvF7_WQrou6CWZydhymYFTYHnd3ZIljV/view
• 論文 8: IRCoder: 中間表現により言語モデルが堅牢な多言語コード ジェネレーターになる
• 著者: インドラニール・ポール、ゴラン・グラヴァシュ、イリーナ・グレヴィチ
• 機関：ダルムシュタット工科大学など
• 論文リンク: https://arxiv.org/abs/2403.03894
• 論文9: MultiLegalPile: 689GBの多言語法的コーパス
• 著者：マティアス・シュテュルマー、ヴェトン・マトシ 他
• 実施機関：ベルン大学、スタンフォード大学など
• 論文リンク: https://arxiv.org/pdf/2306.02069
• 論文 10：PsySafe: 心理学に基づく攻撃、防御、マルチエージェントシステムの安全性評価のための包括的なフレームワーク
• 著者：Zaibin Zhang、Yongting Zhang、Lijun Li、Hongzhi Gao、Lijun Wang、Huchuan Lu、Feng Zhao、Yu Qiao、Jing Shao
• 機関: 上海人工知能研究所、大連理工大学、中国科学技術大学
• 論文リンク: https://arxiv.org/pdf/2401.11880
• 論文 11：大規模言語モデルは良い感情的サポーターとなり得るか？感情的サポート会話における選好バイアスの緩和
• 著者：カン・ドンジン、キム・ソンファン 他
• 実施機関：延世大学校など
• 論文リンク: https://arxiv.org/pdf/2402.13211
• 論文 12：政治的な羅針盤か回転する矢か？大規模言語モデルにおける価値観と意見のより意味のある評価に向けて
• 著者：ポール・レトガー、ヴァレンティン・ホフマン、他
• 機関: ボッコーニ大学、アレン人工知能研究所など
• 論文リンク: https://arxiv.org/pdf/2402.16786
• 論文 13: 同じタスク、より多くのトークン: 大規模言語モデルの推論パフォーマンスに対する入力長の影響
• 著者: モッシュ レヴィ、アロン ジャコビー、ヨアヴ ゴールドバーグ
• 機関: バルイラン大学、アレン人工知能研究所
• 論文リンク: https://arxiv.org/pdf/2402.14848
• 論文 14: 多言語変換者の潜在言語についてラマは英語で機能するか?
• 著者：クリス・ウェンドラー、ヴェニアミン・ヴェセロフスキー 他
• 機関: エコール・ポリテクニック・フェデラール・ド・ローザンヌ
• 論文リンク: https://arxiv.org/pdf/2402.10588
• 論文 15: ユーモアについて真剣に取り組む: 面白くない大規模言語モデルを使用してユーモア データセットを作成する
• 著者：ザカリー・ホーヴィッツ、ジンルー・チェン 他
• 機関: コロンビア大学、ローザンヌ連邦エコール・ポリテクニック
• 論文リンク: https://arxiv.org/pdf/2403.00794
• 論文 16: 方言性のレベルの推定により、複数方言のアラビア語データセットにおけるアノテーター間の合意が予測される
• 著者: アムル・ケレグ、ワリド・マグディ、シャロン・ゴールドウォーター
• 機関: エディンバラ大学
• 論文リンク: https://arxiv.org/pdf/2405.11282
• 論文 17: G-DlG: 機械翻訳のための勾配ベースの Dlverse と高品質な命令データの選択に向けて
• 著者：Xingyuan Pan、Luyang Huang、Liyan Kang、Zhicheng Liu、Yu Lu、Shanbo Cheng
• 組織: バイトダンスリサーチ
• 論文リンク: https://arxiv.org/pdf/2405.12915
• 論文 18: メディア フレーミング: 専門分野にわたる計算アプローチの類型論と調査
• 著者: ユリア・オトマホワ、シマ・ハネザール、リー・フレールマン
• 論文リンク: https://openreview.net/pdf?id=9AV_zM56pwj
• 論文 19: SPZ: アルツハイマー病検出のためのゾーンミキシングによるセマンティック摂動ベースのデータ拡張手法
• 著者: FangFang Li、Cheng Huang、PuZhen Su、Jie ying
• 論文 20: 必要なのは貪欲だけ: トークナイザー推論方法の評価
• 機関: ネゲブのベングリオン大学、MIT
• 著者: オムリ・ユーザン、クレイグ・W・シュミット、クリス・タナー、ユヴァル・ピンター
• 論文リンク: https://arxiv.org/abs/2403.01289
• 論文 21：言語の複雑さと音声認識の精度：綴りの複雑さは悪影響だが、音韻の複雑さは悪影響を及ぼさない
• 機関: ノートルダム大学 (米国)
• 著者：田口千尋、デビッド・チャン
• 論文リンク: https://arxiv.org/abs/2406.09202
• 論文 22: 対照的な活性化の追加によるラマ 2 のステアリング
• 機関: Anthropic、ハーバード大学、ゲッティンゲン大学 (ドイツ)、人間互換 AI センター
• 著者：ニーナ・リムスキー、ニック・ガブリエリ、ジュリアン・シュルツ、メグ・トン、エヴァン・J・ヒュービンガー、アレクサンダー・マット・ターナー
• 論文リンク: https://arxiv.org/abs/2312.06681
• 論文 23: EconAgent: マクロ経済活動をシミュレートするための大規模言語モデルを強化したエージェント
• 機関: 清華大学-清華大学深セン国際大学院
• 著者: Nian Li、Chen Gao、Mingyu Li、Yong Li、Qingmin Liao
• 論文リンク: https://arxiv.org/abs/2310.10436
• 論文 24：M4LE: 大規模言語モデルのための多機能、多範囲、多タスク、多ドメイン、長期コンテキスト評価ベンチマーク
• 機関: 香港中文大学、ファーウェイ・ノアの方舟研究所、香港科技大学
• 著者：Wai-Chung Kwan、Xingshan Zeng、Yufei Wang、Yusen Sun、Liangyou Li、Liffeng Shang、Qun Liu、Kam-Fai Wong
• 論文リンク: https://arxiv.org/abs/2310.19240
• 論文 25: CHECKWHY: 引数構造による因果事実の検証
• 著者：Jiasheng Si、Yibo Zhao、Yingjie Zhu、Haiyang Zhu、Wenpeng Lu、Deyu Zhou
• 論文 26: データ アノテーションの効率的かつ統計的な品質推定について
• 著者：ジャン＝クリストフ・クリー、フアン・ハラジャン、マルク・キルヒナー、ラーフル・ナール
• 機関: UKP Lab、ダルムシュタット工科大学、Apple
• 論文リンク: https://arxiv.org/pdf/2405.11919
• 論文 27: エミュレートされた不調整: 大規模な言語モデルの安全性調整は逆効果になる可能性があります!
• 著者：Zhanhui Zhou、Jie Liu、Zhichen Dong、Jiaheng Liu、Chao Yang、Wanli Ouyang、Yu Qiao
• 組織: 上海人工知能研究所
• 論文リンク: https://arxiv.org/pdf/2402.12343
• 論文 28: IndicLLMSuite: インド言語の事前トレーニングおよび微調整データセットを作成するためのブループリント
• 著者: モハメド・サフィー・ウル・ラーマン・カーン、プリヤム・メータ、アナント・サンカールなど。
• 機関: AI4Bharat の Nilekani Center、インド工科大学 (マドラス)、マイクロソフトなど
• 論文リンク: https://arxiv.org/pdf/2403.06350
• 論文 29: MultiPICo: 多言語パースペクティビスト lrony コーパス
• 著者：シルヴィア・カソラ、シモナ・フレンダ、ソーダ・マレム・ロー、エルハン・セゼレルなど。
• 機関：トリノ大学、aequa-tech、Amazon Development Center（イタリア）など
• 论文链接：https://assets.amazon.science/08/83/9b686f424c89b08e8fa0a6e1d020/multipico-multilingual-perspectivist-irony-corpus.pdf
• 論文 30: MMToM-QA: 心のマルチモーダル理論の質問応答
• 著者：Chuanyang Jin、Yutong Wu、Jing Cao、jiannan Xiangなど。
• 機関: ニューヨーク大学、ハーバード大学、MIT、カリフォルニア大学サンディエゴ校、バージニア大学、ジョンズ・ホプキンス大学
• 論文リンク: https://arxiv.org/pdf/2401.08743
• 論文 31: MAP はまだ死んでいない: 縮退を条件付けすることで真の言語モデル モードを明らかにする
• 著者：デイビス・ヨシダ、カルティック・ゴヤル、ケビン・ギンペル
• 所属機関：豊田工科大学シカゴ工科大学、ジョージア工科大学
• 論文リンク: https://arxiv.org/pdf/2311.08817
• 論文 32: NounAtlas: 名目上の意味役割のラベル付けにおけるギャップを埋める
• 著者：ロベルト・ナヴィッリ、マルコ・ロ・ピント、パスクワーレ・シルヴェストリ 他
• 論文 33: 地球は平らであるため.. PersuasiveConversation による誤情報に対する LLM の信念を調査する
• 著者: Rongwu Xu、Brian S. Lin、Shujian Yang、Tiangi Zhang など
• 機関: 清華大学、上海交通大学、スタンフォード大学、南洋理工大学
• 論文リンク: https://arxiv.org/pdf/2312.09085
• 論文 34: Let's Go Real Talk: 対面会話用の音声対話モデル
• 著者：パク・セジン、キム・チェウォン、ラ・ヒョンソプ、キム・ミンスほか。
• 機関: 韓国科学技術院(KAIST)
• 論文リンク: https://arxiv.org/pdf/2406.07867
• 論文 35: 単語の埋め込みは言語モデルの舵取りとなる
• 著者：Chi Han、Jialiang Xu、Manling Li、Yi Fung、Chenkai Sun、Nan Jiang、Tarek F. Abdelzaher、Heng Ji
• 機関: イリノイ大学アーバナ・シャンペーン校
• 論文リンク: https://arxiv.org/pdf/2305.12798

最優秀テーマ論文賞

論文: OLMo: 言語モデルの科学の加速

• 著者：ダーク・グルーネフェルト、イズ・ベルタギー 他
• 機関：アレン人工知能研究所、ワシントン大学など
• 論文リンク: https://arxiv.org/pdf/2402.00838

引用: この研究は、大規模な言語モデルのトレーニングにおける透明性と再現性への重要な一歩であり、進歩を目指すコミュニティの取り組みの前進です (または、少なくとも業界の巨人ではない他の研究者が緊急に貢献できるようにするため)。

リソースペーパー賞

Resource Paper Awardを3論文が受賞しました。

論文 1: Latxa: バスク語のオープン言語モデルと評価スイート

機関: バスク大学、スペイン

• 著者：ジュレン・エチャニス、オスカー・サインツ、ナイアラ・ペレス、イッツィアル・アルダベ、ジャーマン・リガウ、エネコ・アギレ、アイトール・オルマザバル、ミケル・アルテクス、アイトール・ソロア
• リンク: https://arxiv.org/pdf/2403.20266

受賞理由： コーパス収集とデータセット評価の詳細が詳しく述べられています。この方法論はバスク語の研究に関連していますが、他の低リソース言語の大規模モデルの構築にも拡張できます。

論文 2: Dolma: 言語モデルの事前トレーニング研究のための 3 兆トークンのオープン コーパス

• 機関: アレン人工知能研究所、カリフォルニア大学バークレー校など
• 著者：ルカ・ソルダイニ、ロドニー・キニー 他
• リンク: https://arxiv.org/abs/2402.00159

受賞理由: この論文は、大規模な言語モデルをトレーニングするためのデータセットを準備する際のデータ管理の重要性を示しています。これは、コミュニティ内の幅広い人々に非常に貴重な洞察を提供します。

論文 3: AppWorld: インタラクティブ コーディング エージェントのベンチマークを行うためのアプリと人々の制御可能な世界

• 機関: ニューヨーク州立大学ストーニーブルック校、アレン人工知能研究所など
• 著者: ハーシュ トリヴェディ、トゥシャール コート 他
• リンク: https://arxiv.org/abs/2407.18901

受賞理由： この研究は、インタラクティブな環境シミュレーションと評価を構築する上で非常に重要かつ素晴らしい研究です。これにより、誰もがコミュニティ向けに、より本格的な動的ベンチマークを作成することが奨励されます。

ソーシャル・インパクト賞

3論文がソーシャル・インパクト賞を受賞しました。

論文 1：ジョニーが LLM を脱獄させる方法: LLM を人間化することで AI の安全性に異議を唱える説得を再考する

• 著者: Yi Zeng、Hongpeng Lin、Jingwen Zhang、Diyi Yang 他
• 機関: バージニア工科大学、中国人民大学、カリフォルニア大学デービス校、スタンフォード大学
• 論文リンク: https://arxiv.org/pdf/2401.06373

受賞理由: この記事では、AI セキュリティのトピックである脱獄、社会科学研究の分野で開発された手法の研究について考察します。この研究は非常に興味深いものであり、コミュニティに重大な影響を与える可能性があります。

論文 2: DIALECTBENCH: 方言、品種、および密接に関連した言語の NLP ベンチマーク

• 著者: ファヒム・ファイサル、オレヴァオゲネ・アヒア、アーロヒ・スリヴァスタヴァ、カビール・アフージャなど。
• 機関: ジョージ メイソン大学、ワシントン大学、ノートルダム大学、RC アテナ
• 論文リンク: https://arxiv.org/pdf/2403.11009

受賞理由： 方言のバリエーションは、NLP や人工知能の分野において十分に研究されていない現象です。しかし、言語と社会の観点から見ると、その研究の価値は極めて高く、応用にも重要な意味を持っています。この論文では、LLM 時代のこの問題を研究するための非常に新しいベンチマークを提案します。

論文 3: 祈りの後にビールを飲む? 大規模な言語モデルで文化的バイアスを測定する

• 著者: Tarek Naous、Michael J. Ryan、Alan Ritter、Wei Xu
• 機関: ジョージア工科大学
• 論文リンク: https://arxiv.org/pdf/2305.14456

受賞理由: この記事は、LLM 時代の重要な問題である文化的偏見を示しています。この論文はアラビアの文化と言語環境を研究しており、その結果は、LLM を設計する際に文化の違いを考慮する必要があることを示しています。したがって、同じ研究を他の文化でも再現して、他の文化もこの問題の影響を受けるかどうかを一般化して評価することができます。