ニュース

OpenAIは7月18日早朝、最新技術研究「Prover-Verifier」を公式サイトで公開した。ゲーム。

ChatGPT は法律、金融、マーケティングなどの分野で広く使用されているため、モデルの出力が安全で正確で、よく理解されていることを確認することが非常に重要です。ただし、ニューラル ネットワークの複雑さと変動性により、ニューラル ネットワークが生成するコンテンツの正確性を検証することはできず、結果として「ブラック ボックス」出力が生成されます。

この問題を解決するために、OpenAI は新しいトレーニング フレームワーク Prover-Verifier Games (略して「PVG」) を提案しました。たとえば、GPT-3 などの小規模なモデルを使用して、大規模な GPT-4 モデルの出力を検証および監視します。出力精度と制御性が向上します。

実際、PVG テクノロジーの概念は、2021 年 8 月には論文で提案されていました。 , OpenAIもこのインスピレーションから生まれました。これは、証明者と検証者の間の対話をシミュレートすることでモデルの出力品質を向上させる、ゲーム理論に基づいたトレーニング方法です。

このメカニズムでは、証明者のタスクはコンテンツを生成することであり、検証者のタスクはコンテンツが正しいかどうかを判断することです。

PVG モジュールの中心的なアイデアは、複数回の反復トレーニングを通じて証明者と検証者の全体的なパフォーマンスを向上させることです。トレーニングの各ラウンドでは、検証者はまず教師あり学習を使用して、前のラウンドの証明者からサンプリングされたコンテンツの正確さを予測します。

この目的は、検証者が大量のコンテンツから正解を特定する方法を学習できるようにすることです。次に、証明者は強化学習を使用して、生成されたコンテンツが正しいだけでなく、検証者にとって説得力のあるものとなるように最適化します。

検証プロセスでは、証明者と検証者の役割は相互依存しています。証明者は検証者を納得させる内容を生成する必要があり、検証者は正しい内容を特定するのに十分な判断力が必要です。

効率をさらに向上させるために、OpenAI はこれに基づいて、Helpfulprover と Sneaky Prover という 2 つの強化されたタイプの証明者を設計しました。

有用な証明者の目標は、正しくて説得力のあるコンテンツを生成することです。生成するコンテンツを最適化して、バリデーターが受け入れられるようにします。

そして、狡猾な証明者は、間違っているが同様に説得力のあるコンテンツを生成することで検証者を欺こうとします。この設計では、トレーニングの難易度が高まるだけでなく、検証者にはより高い判断力と堅牢性が求められます。

PVG をトレーニングする場合、トレーニングの各ラウンドには検証者と証明者の最適化が含まれます。各ラウンドでは、検証者はまず教師あり学習を使用してコンテンツの正しさを予測し、検証者が大量のコンテンツから正解を特定する方法を学習できるようにします。証明者が強化学習を通じて生成されたコンテンツを最適化できるようにします。

たとえば、ユーザーが「ショーナの父親はショーナの年齢の 5 倍です。ショーナは現在アリーヤの年齢の 3 倍です。アリーヤが 3 歳なら、ショーナの父親は何歳ですか?」という質問をしたとします。

GPT-4 の出力は 45 年前のものです。

検証者モデル GPT-3 は、アリヤの年齢を決定し、次にアリヤの年齢に基づいてショーナの年齢を計算し、最後にショーナの年齢に基づいてショーナの父親の年齢を計算する必要があり、プロセス全体で複数回の検証が必要です。

さらに、OpenAIはトレーニングの過程で「チェック可能性トレーニング」と呼ばれる手法も導入しました。

検証者モデルと証明者モデルを交互にトレーニングすることで、教師あり学習を使用して前のラウンドの証明者からサンプリングされた解を予測することの正しさを検証します。証明者は強化学習を使用して、現在のラウンドのバリデーターの承認とソリューションの正しさに基づいて継続的に最適化します。

研究者らは言う 、トレーニング ラウンドの数が増加するにつれて、検証者の健全性は徐々に向上します。これは、狡猾なデモンストレーターによって生成された誤った解決策に対する抵抗力の増加によって明らかです。同時に、有益な議論者によって生成された解決策は、人間にとってより明確で理解しやすくなります。

ただし、検証モデルをトレーニングする場合、真と偽を区別する能力を向上させるために、大量の実際の正確なラベル データが必要であることに注意してください。つまり、検証モデルに偏りがあると、検証内容が不正に出力される可能性があります。

この記事の素材は OpenAI 公式 Web サイトおよび論文からのものです。侵害がある場合は、削除するようご連絡ください。