Новости

Ранним утром 18 июля OpenAI опубликовала на своем официальном сайте новейшее технологическое исследование — Prover-Verifier.Игры。

Поскольку ChatGPT широко используется в таких областях, как право, финансы и маркетинг, очень важно гарантировать, что выходные данные модели безопасны, точны и понятны. Однако из-за сложности и изменчивости нейронных сетей мы просто не можем проверить точность генерируемого ими контента, что приведет к получению «черного ящика».

Чтобы решить эту проблему, OpenAI предложила новую среду обучения Prover-Verifier Games (сокращенно PVG). Например, небольшие модели, такие как GPT-3, используются для проверки и контроля результатов большой модели GPT-4. , тем самым улучшая точность вывода и управляемость.

Фактически, концепция технологии PVG была предложена еще в августе 2021 года в статье. , OpenAI тоже была вдохновлена ​​этим вдохновением. Это метод обучения, основанный на теории игр, который улучшает качество вывода модели за счет моделирования взаимодействия между доказывающим и проверяющим.

В этом механизме задача проверяющего — сгенерировать контент, а задача проверяющего — определить, корректен ли контент.

Основная идея модуля PVG — повысить общую производительность проверяющего и проверяющего за счет нескольких раундов итеративного обучения. В каждом раунде обучения проверяющий сначала использует контролируемое обучение, чтобы предсказать правильность контента, полученного от проверяющих предыдущего раунда.

Цель этого — позволить проверяющему научиться определять правильный ответ из большого количества контента. Затем проверяющий использует обучение с подкреплением, чтобы оптимизировать сгенерированный контент, чтобы он был не только правильным, но и убедительным для проверяющего.

В процессе верификации роли доказывающего и проверяющего взаимозависимы.Доказывающему необходимо создать контент, который убедит проверяющего, а проверяющий должен обладать достаточным суждением, чтобы определить правильный контент.。

Чтобы еще больше повысить эффективность, OpenAI разработала на этой основе два усовершенствованных типа пруверов: «Полезный прувер» и «Скрытный прувер».

Цель полезного прувера — создать правильный и убедительный контент. Он оптимизирует генерируемый контент, чтобы его могли принять валидаторы.

Искусные пруверы пытаются обмануть проверяющих, генерируя неправильный, но столь же убедительный контент. Такая конструкция не только увеличивает сложность обучения, но также требует от проверяющего более высокого суждения и надежности.

При обучении PVG каждый раунд обучения включает в себя оптимизацию верификатора и доказывающего. В каждом раунде проверяющий сначала использует контролируемое обучение, чтобы предсказать правильность содержания, помогая проверяющему научиться определять правильный ответ из большого объема контента. Позволяет испытателям оптимизировать создаваемый ими контент посредством обучения с подкреплением.

Например, когда пользователь задает вопрос «Отец Шоны в 5 раз старше Шоны. Шона в настоящее время в 3 раза старше Алии. Если Алие 3 года, сколько лет отцу Шоны?»

Выпуску ГПТ-4 45 лет.

Модель верификатора GPT-3 должна определить возраст Алии, затем вычислить возраст Шоны на основе возраста Алии и, наконец, вычислить возраст отца Шоны на основе возраста Шоны. Весь процесс требует нескольких раундов проверки.

Кроме того, в процессе обучения OpenAI также внедрила метод под названием «обучение проверяемости».

Проверьте правильность использования обучения с учителем для прогнозирования решений, выбранных из предыдущих раундов проверки, поочередно обучая модели проверяющего и проверяющего. Доказывающее устройство использует обучение с подкреплением для непрерывной оптимизации на основе принятия текущего раунда валидаторов и правильности решения.

Исследователи говорят По мере увеличения количества обучающих раундов надежность проверяющего постепенно улучшается, что проявляется в повышении устойчивости к неверным решениям, генерируемым хитрыми демонстрантами. В то же время решения, предложенные полезными спорщиками, становятся яснее и легче для понимания людей.

Однако следует отметить, что при обучении модели верификатора необходим большой объем реальных и точных данных метки, чтобы улучшить ее способность отличать истину от ложности. Другими словами, если используемая модель проверки является предвзятой, содержимое проверки все равно может быть выведено незаконно.

Материал этой статьи взят с официального сайта OpenAI и документов. Если есть какие-либо нарушения, свяжитесь с нами, чтобы удалить их.