новое исследование академика яо цичжи по большим моделям решило проблему «что больше: 9,11 или 9,8?»
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
статья перепечатана в qubit (qbitai).
автор: западный ветеракадемик яо цичжи берет на себя инициативу и запускает новую структуру рассуждений для больших моделей. «корона» цт больше не может держаться.предложите диаграмму мышления, чтобы большие модели думали больше как люди.команда обеспечивает математическую основу для этого процесса рассуждений и формализует dot с помощью теории топоса, чтобы обеспечить его логическую последовательность и рациональность.по сравнению с cot, который выражает процесс рассуждения как линейную последовательность, dot может лучше отражать сложность человеческого рассуждения.по сравнению с введением отраслевых структур tot и got, dot не нужно полагаться на внешние механизмы контроля или сотрудничество нескольких моделей, а обучение и развертывание проще.секрет в том, что dot моделирует итеративный вывод в llm как построение ориентированного ациклического графа (dag) в рамках одной модели.dag состоит из узлов, представляющих предложения, критические замечания, уточнения и проверки. ребра представляют собой логические отношения или зависимости между ними. ребра имеют направления и не имеют круговых путей.эта ациклическая функция гарантирует, что на процесс рассуждения не влияют циклические зависимости, и она может более точно отражать разумный логический вывод.такие вопросы, как какой из них больше, 9,11 или 9,8, и сколько букв «r» в клубнике, решаются с помощью dot.это исследование привлекло большое внимание после того, как было предложено.пользователи сети заявили, что это правильный путь.перестань, перестань, перестань
давайте посмотрим, как конкретно выглядит dot.новая основа для сложных рассуждений в больших моделях
как упоминалось ранее, dot моделирует процесс логического рассуждения как построение ориентированного ациклического графа (dag) в рамках одного llm.в его рамках управляются три ключевые роли:предлагающий: генерируйте предложения или шаги рассуждения, добавляйте новые узлы.
критики: оценивайте предложения, выявляйте ошибки, несоответствия или логические заблуждения, а также добавляйте элементы критики.
составитель резюмирования: синтезируйте проверенные предложения в последовательную цепочку размышлений и эффективно выполняйте топологическую разновидность dag для получения окончательного вывода рассуждений.
эти три роли используют специальные жетоны.процесс рассуждения начинается с того, что предлагающий представляет предложение и добавляет узел в dag.затем рецензенты должны оценить, подтвердить или подвергнуть критике. если предоставляется критика, добавляется новый узел и устанавливается грань между предложением и критикой.на основе критики инициатор генерирует уточненное и улучшенное предложение, представленное как новый узел в dag.как только установлены достаточно обоснованные предложения, сумматор синтезирует эти рассуждения и топологически сортирует dag, чтобы создать последовательную цепочку мыслей.предоставляя модели как правильные, так и неправильные рассуждения, dot позволяет llm учиться на своих ошибках и со временем совершенствовать свои рассуждения, что больше похоже на то, как люди решают проблемы.этот подход не только отражает нелинейный и итеративный характер рассуждений, но также обеспечивает более обширную обратную связь, чем двоичные сигналы, посредством критики естественного языка.обучение dot включает использование обучающих примеров, отформатированных в структуру dot, включая токены для конкретных ролей и представления dag. в ходе рассуждений модель генерирует предложения, критические замечания и резюме на основе контекстных подсказок и токенов, специфичных для ролей.этот подход упрощает развертывание и устраняет необходимость в совместной работе нескольких llm или механизмах внешнего контроля, сохраняя при этом соответствие стандартным парадигмам обучения llm для легкой интеграции в существующие рабочие процессы.автор также обеспечивает строгую математическую основу для структуры dot, используяпроцесс рассуждения формально описан.в этой структуре предложения моделируются как подобъекты терминальных объектов в топологии, логические отношения и этапы рассуждения представлены как морфизмы, а процессы критики и улучшения соответствуют морфизмам классификаторов подобъектов и морфизмам между предложениями соответственно.введя категорию prenet, они также успешно уловили динамичный и параллельный характер процесса вывода.эта математическая основа не только обеспечивает логическую последовательность и полноту процесса рассуждения, но также обеспечивает концептуальную основу для разработки следующего поколения моделей ии специально для рассуждений.под руководством яо цичжи и юань ян из университета цинхуа.
эту статью подготовили яо цичжи и юань ян из института междисциплинарной информации цинхуа. первым автором статьи является чжан ифань.чжан ифань получила степень бакалавра в 2021 году.колледж юаньпей пекинского университета, в настоящее время является докторантом школы междисциплинарной информации университета цинхуа, учится у доцента юань яна.его основными направлениями исследований являются теория и алгоритмы базовых моделей (больших языковых моделей), самостоятельное обучение и надежный искусственный интеллект.юань ян — доцент и научный руководитель школы междисциплинарной информации университета цинхуа.окончил факультет компьютерных наук пекинского университета в 2012 году. в 2018 году получил степень доктора компьютерных наук в корнелльском университете в сша. с 2018 по 2019 год работал научным сотрудником в школе наук о больших данных массачусетского института; технологии.его основными направлениями исследований являются интеллектуальная медицинская помощь, интерпретируемость искусственного интеллекта и большие системы искусственного интеллекта. он добился многих исследовательских достижений в области теории невыпуклой оптимизации, теории оптимизации нейронных сетей и проектирования механизмов.яо цичжи — академик китайской академии наук и директор института междисциплинарной информации университета цинхуа.премия тьюринга«первый азиатский ученый, получивший эту награду с момента ее учреждения, и единственный китайский ученый-компьютерщик, удостоенный этой награды до сих пор.профессор яо цичжи ушел из принстона в качестве штатного профессора в 2004 году и вернулся в цинхуа, чтобы преподавать в 2005 году. он основал «класс яо», экспериментальный класс информатики для студентов цинхуа, в 2011 году он основал «квантовый информационный центр цинхуа»; и «междисциплинарный институт информационных исследований»; в 2019 г. в 2008 г. он основал класс искусственного интеллекта для студентов бакалавриата цинхуа, получивший название «умный класс».сегодня возглавляемый им междисциплинарный информационный институт университета цинхуа уже давно известен и является филиалом междисциплинарного информационного института.научные интересы профессора яо цичжи включают алгоритмы,криптография、квантовые вычисленияи т. д., являются международными пионерами и авторитетами в этой области.еще одна вещь
примерно в то же время год назад академик яо цичжи выступил с предложениемсовокупное рассуждение(кумулятивное рассуждение, cr).dot — это дальнейшее углубление cr.в то время cr координировал итерационный процесс, включающий большие языковые модели разных специализаций, при этом разные модели брали на себя роли предлагающего, проверяющего и репортера.dot, с другой стороны, напрямую строит направленный ациклический граф в рамках одной модели и не полагается на внешние механизмы управления или несколько моделей, что упрощает обучение и развертывание.а в dot критическая обратная связь, генерируемая моделью, имеет форму естественного языка, а не просто дает двоичный сигнал, такой как cr. это позволяет модели получать подробные объяснения ошибок, помогая более эффективно улучшать предложения.на этот раз dot также имеет прочную математическую основу, которая проясняет взаимосвязь между процессом рассуждения dot и категориальной логикой, обеспечивая последовательность и надежность рассуждений в теории.
