Новости

«Тиран» доминирует над AGI, ждет ли OpenAI опасное будущее?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Автор технологий Tencent Го Сяоцзин Хао Боян

Редактор Су Ян

На этот раз кадровые беспорядки в OpenAI продолжаютсяOpenAI Президент Грег Брокман, признанный верным сторонником Сэма Альтамана и который был с ним, когда Сэма выгнали из совета директоров, объявил о долгосрочном отпуске. Сам Грег Брокман заявил, что вернется в компанию после длительного отпуска. Однако многие топ-менеджеры технологических компаний перед уходом возьмут длительный отпуск. Трудно, чтобы его действия не вызвали других спекуляций.

Кроме того, два ключевых руководителя были вынуждены уйти. Одним из них был Джонсон Шульман, один из соучредителей. Перед уходом он некоторое время возглавлял группу безопасности. Эту команду ранее совместно возглавляли бывший главный научный сотрудник OpenAI Илья Суцкевер. исследователь Ян Лейке.

В то же время Джонсон также возглавлял группу OpenAI.ГПТ Можно сказать, что процесс постобучения серии больших моделей является очень важным моментом в технологическом строительстве. Что еще более интригующе, так это то, что после своей отставки он, как и Ян Лейке, напрямую присоединился к Anthropic, сильнейшему конкуренту OpenAI.

Кроме того, подал в отставку Питер Денг, менеджер по продукту, который присоединился к OpenAI в прошлом году. Хотя он не был соучредителем, он ушел в отставку менее чем через год после присоединения, что также заставит внешний мир размышлять о том, что случилось с OpenAI. Команда OpenAI.

Вторая волна мобильности талантов OpenAI

Осталось всего 3 учредителя, 1 находится в долгосрочном отпуске.

После этого изменения из первоначальных 11 соучредителей OpenAI в OpenAI остались только Сэм Альтман, Войцех Заремба и Грег Брокман (который также объявил о долгосрочном отпуске). Остальные члены-основатели покинули команду.

Пятеро из этих 11 основателей работали в период с 2017 по 2018 год, когда Маск объявил о своей продаже, что спровоцировало волну беспорядков в OpenAI. В том числе Тревор Блэквелл, Вики Чунг, Дурк Кингма, Памела Вагата.Андрей Карпати, еще один один из основателей, также был переманен Маском непосредственно в качестве представителя Теслы.Автопилот главный. Он вернулся в OpenAI только в феврале 2023 года.

Остальные шесть членов-учредителей ушли в отставку в этом году после судебного разбирательства OpenAI в конце прошлого года. В том числе бывший главный научный сотрудник OpenAI Илья Суцкевер, вышеупомянутый Джон Шульман и вернувшийся всего на год учёный Андрей Карпати. Можно сказать, что 2024 год станет самым большим изменением в руководящем составе OpenAI после кризиса Маска.

Куда делись все сотрудники, покинувшие OpenAI?

Судя по местонахождению сотрудников, покидающих OpenAI, они в основном идут по двум путям. Один из них — присоединиться к конкурирующим компаниям, в основном Deepmind и Anthrophic. Во-вторых, начать собственный бизнес. Подавляющее большинство упомянутых выше уволившихся сотрудников (66%) решили присоединиться к новым предпринимательским проектам.

Этот выбор фактически породил так называемую «OpenAI Mafia». По сообщениям СМИ, до этого года около 30 сотрудников покинули OpenAI и основали собственные компании в области искусственного интеллекта. Некоторые из них достигли уровня единорога. Самая известная из них — Anthrophic, основанная Дарио Амодеи, ставшая самым сильным конкурентом OpenAI.

Каковы последствия этой отставки?

Согласно схеме архитектуры, ранее раскрытой Information, все три человека, в которых на этот раз происходят кадровые изменения, являются ключевыми менеджерами OpenAI. С функциональной точки зрения и Брокман, и Шульман подчиняются Мире Мурати, техническому директору OpenAI (Грег также должен отвечать за дополнительную работу в качестве председателя и члена правления), а Питер Денг, который является вице-президентом по пользовательским продуктам, должен быть в подчинении. Третий уровень отчетности. Работа, за которую они отвечают, по сути, относится к основной технической работе OpenAI. Влияние этих изменений нельзя назвать незначительным. Вероятно, были заменены трое из основных 40 руководителей высшего звена.

Но на самом деле, если посмотреть на конкретное содержание трех ответственных людей, это может быть не связано с ядром разработки новой модели OpenAI на данный момент. Согласно прошлому официальному блогу OpenAI, Грег Брокман будет занимать пост президента с 2022 года, и в то время он сосредоточился на обучении флагманской системы искусственного интеллекта OpenAI. Но на самом деле, начиная с GPT-4, нынешний главный научный сотрудник Якуб Пачоцкий руководил разработкой GPT-4 и OpenAI Five.

Шульман когда-то отвечал за пост-обучающую часть OpenAI и предложил алгоритм оптимизации проксимальной политики (PPO). Это набор основных алгоритмов стратегии для улучшения больших языковых моделей, а также один из основных алгоритмов, используемых OpenAI до сих пор. Однако после того, как Илья ушел в отставку, его заменили на человека, отвечающего за Super Alignment, и его нынешнее влияние на проект GPT-5 оценивается очень ограниченным.

Вице-президент по ответственному за продукцию Питер Денг отвечает за продукты клиентов и имеет ограниченное общее отношение к основной работе по разработке GPT-5.

В принципе можно подтвердить, что вице-президент по исследованиям Боб МакГрю и главный научный сотрудник Якуб Пачоцку являются наиболее важными фигурами в разработке новой модели.

Кроме того, основные фигуры в OpenAI, которые, возможно, продвигают технологические инновации, больше не являются высшими руководителями, а являются рядовыми исследователями. Например, бывший генеральный директор Stability AI Эмад заявил на X, что только отставка Алека Рэдфорда может определить крах OpenAI.

Мы также можем узнать его вес, выполнив поиск по количеству цитирований в статьях Ученого в Google.

Поэтому влияние этой отставки на исследовательский прогресс OpenAI может быть ограниченным. Основное влияние окажет на внутренний моральный дух команды и внешнее доверие к компании.

В конце концов, боссу, который не может сохранить даже своих лучших друзей и уничтожил все компании Lianchuang, будет трудно обрести уверенность в своих управленческих способностях.

Ключевые предположения о конфликте

Ключевые слова, которые следует оставить: Super Alignment.

Проект OpenAI Super Alignment был основан в июне 2023 года. В ближайшие четыре года он планирует инвестировать 20% вычислительных мощностей в создание исследователя автоматического выравнивания, эквивалентного человеческому уровню, с использованием контроля ИИ для решения проблем интеллектуальных систем и людей более высокого уровня. Проблемы с согласованностью целей. Команду Super Alignment возглавляют соучредитель и главный научный сотрудник OpenAI Илья Суцкевер и исследователь Ян Лейке.

Илью Суцкевера можно назвать одним из лидеров OpenAI. Когда в 2017 году была выпущена статья «Внимание – это все, что вам нужно», которая привлекла большое внимание в отрасли, Илья полностью ее поддержал.ТрансформаторАрхитектурное направление, а затем руководил разработкой моделей серий GPT и Vincentian DALL-E.

Илья также был учеником Джеффри Хинтона, известного как «Отец глубокого обучения». Он закончил бакалавриат и аспирантуру под руководством Хинтона и в конечном итоге получил докторскую степень в области компьютерных наук. Хинтон также предупреждает, что быстрое развитие искусственного интеллекта может принести угрозы, выходящие за рамки человеческого интеллекта.

В конце 2023 года инцидент, известный как «Дворцовая битва OpenAI», был наконец временно прекращен благодаря отъезду Ильи и возвращению Сэма Альтмана. Однако споры продолжаются и по сей день. Самое большое предположение из внешнего мира заключается в том, что внутри OpenAI существуют внутренние разногласия, и что еще важнее, огромный конфликт убеждений.

Судя по биографии и поведению Сэма Альтмана, индустрия склонна считать его сторонником e/acc (эффективного акселерационизма), полагая, что развитие технологий по сути выгодно человечеству, и человечество должно инвестировать как можно больше ресурсов. Ускорить инновации, чтобы изменить существующую социальную структуру. В соответствии с тем, что сделал OpenAI, это можно просто и грубо охарактеризовать как концентрацию финансовых ресурсов и ресурсов для прорыва AGI на полной скорости.

Супервыравнивание и эффективное ускорение — это, по сути, уже не битва маршрутов, а огромный конфликт внутренних убеждений. В мае 2024 года Ян Лейке также объявил о своей отставке. Уйдя в отставку, он написал в социальных сетях «Опасная работа», но за последние несколько лет безопасность ИИ уступила место блестящим продуктам. Этот разрыв продолжается уже некоторое время и продолжается. наконец достиг точки невозврата».

С отставкой Яна Лейке первоначальная команда Super Alignment фактически прекратила свое существование. Остальные члены были интегрированы в команду безопасности, которую возглавил Джонсон Шульман. Буквально сегодня о своем уходе объявил и Джонсон Шульман.

Что очень интригует, так это то, что и Ян Лейке, и Джонсон Шульман перешли в Anthropic, который, можно сказать, имеет те же корни, что и OpenAI. Основателем Anthropic также является Дарио Амодей, бывший основной сотрудник OpenAI. Говорят, что Дарио ушел из компании еще в 2020 году из-за проблем с безопасностью ИИ.

Дарио запустил в Antropic конституционный ИИ — метод обучения моделей ИИ, который управляет поведением систем ИИ посредством четкого набора поведенческих принципов, а не полагается на обратную связь от человека для оценки ответов. Суть этого подхода заключается в использовании самой системы ИИ для помощи в надзоре за другими системами ИИ с целью повышения безвредности и полезности ИИ при одновременном расширении масштабов надзора.

Дарио подчеркнул, что основная идея конституционного ИИ заключается в использовании систем ИИ для помощи в надзоре за другими системами ИИ, тем самым расширяя масштабы надзора и повышая безвредность и полезность ИИ. Процесс конституционного ИИ включает в себя такие этапы, как самокритика, исправление, обучение с учителем и обучение с подкреплением, а также ряд конституционных принципов, основанных на естественном языке, для ограничения поведения ИИ.

Очень ли это похоже на сверхсозвучные мысли Ильи?

Похоже, что с тех пор OpenAI и Anthropic стали разными представителями двух убеждений — эффективного акселерационизма и супер-выравнивания в области ИИ.

Ранее некоторые с тревогой отмечали, что уход Ильи может быть вызван тем, что он увидел, что некоторые технологии OpenAI вышли из-под контроля. Если это действительно так, Anthropic, идущий по другой дороге, может стать преимуществом в сдерживании этого гигантского зверя. . оружие.

В конце концов, модели серии Claude от Anthropic бесконечно близки по возможностям к большим моделям серии OpenAI GPT.

Другой тип конфликта: «Тиран» Сэм Альтман и идеалистические структуры управления

То, на чем настаивает другая ключевая фигура, Сэм Альтман, основатель OpenAI, может быть более трудным, чем вера в эффективное ускорение.

Во-первых, археология OpenAI, основанная 11 декабря 2015 года. Оно с самого начала было полно идеализма, и его видение включало активное содействие развитию общего искусственного интеллекта (AGI), приносящее пользу всему человечеству, приносящее пользу каждому, и борьбу против монополии искусственного интеллекта со стороны крупных компаний или нескольких человек.

В соответствии с этим видением деньги были собраны от громких имен, включая Илона Маска, и спонсоры, похоже, вкладывают в организацию миллиарды долларов по мере ее роста. В настоящее время OpenAI не нужно заботиться только о том, как достичь своих идеалов. беспокоиться о повседневных потребностях.

Однако после появления всемирно известной статьи «Внимание — это все, что вам нужно», OpenAI пошла по пути закона масштабирования, который требует огромного потребления ресурсов.

В 2019 году для получения финансирования OpenAI обратилась к гибридной структуре. В рамках материнской компании OpenAI Inc. была создана дочерняя компания OpenAI Global, в которой инвестиции Microsoft были обменены на до 49% акций OpenAI Global.

То есть OpenAI сохраняет свою первоначальную некоммерческую материнскую компанию, но в рамках этой материнской компании создается коммерческая дочерняя компания под названием OpenAI Global. Эта дочерняя компания может поглощать деньги венчурных инвесторов и акции сотрудников, а это означает, что она может привлекать средства, как обычная компания.

Однако OpenAI LP не превратилась полностью в обычную компанию. У нее есть и особенность — «фиксированная прибыль». Это означает, что, хотя это может быть прибыльно, есть предел. Если заработанные деньги превысят этот лимит, излишек будет возвращен некоммерческой материнской компании. Это гарантирует, что OpenAI LP не отклонится от своей первоначальной цели — принести пользу всему человечеству.

Однако в такой, казалось бы, инновационной структуре есть потенциальный риск, заключающийся в том, что совет директоров некоммерческой организации OpenAI LP контролирует коммерческую организацию Open AI Global. Миссия некоммерческой организации – колодец. -бытие всего человечества, а не права и интересы акционеров. Microsoft получила 49% акций, но не имела ни мест в совете директоров, ни права голоса.

Еще более драматично то, что после исключения Альтмана из совета директоров 98% сотрудников пригрозили уйти в отставку и подписали открытое письмо с требованием его восстановления в должности. Альтман сказал в более позднем интервью: «Этот инцидент может разрушить капитал каждого, и для многих сотрудников это все или большая часть их богатства».

«Суета» простых сотрудников ради самых светских интересов победила великие идеалы AGI в области безопасности основных основателей.

Помимо структуры управления OpenAI, в Интернете также был обнаружен определенный «спорный» стиль управления Сэма Альтмана. Например, у Альтмана есть метод, который он называет «динамическим» управлением, который заключается в том, чтобы делать что-то без предупреждения, помещать кого-то на временный режим. роль лидера и распределение ресурсов. Например, однажды Альтман внезапно назначил на должность директора по исследованиям другого исследователя искусственного интеллекта Якуба Пачоцкого. Тогдашний директор по исследованиям Илья Суцкевер выразил беспокойство и пообещал ресурсы и ответственность одновременно двум разным руководителям, хотя первоначальным намерением Сэма было вызвать конкуренцию. , Но Илья чувствует, что это вызовет еще больше конфликтов.

Кроме того, стиль Сэма Альтмана на соревнованиях также более волчий и прямой, как, например, вГПТ-4оПеред выходом в Интернет выяснилось, что он не прошел достаточную проверку безопасности. Слухи говорят, что время было выбрано, чтобы обеспечить более эффективный барьер для конкурента Google.

OpenAI является зажигателем этой волны генеративного искусственного интеллекта и всегда считалась лидером. Однако текущая ситуация становится все более сложной: весь мир с нетерпением ждет, сколько прорывов у OpenAI в руках, но в то же время он также с нетерпением ждет, смогут ли эти прорывы быть преобразованы в реальный продукт. это может принести достаточную прибыль - в конце концов, качество продукта OpenAI всегда подвергалось критике со стороны отрасли.

Кроме того, по прогнозам инвестиционных институтов, OpenAI, как ожидается, продолжит терять деньги в этом году и продолжит обучение более мощных моделей. Как продолжить финансирование — это также вопрос, который OpenAI должен учитывать, когда его кроветворных возможностей недостаточно.

Конкурентная среда становится все более жесткой. Не только гиганты окружают ее, но и Microsoft, крупнейший акционер, включила OpenAI в список конкурентов в своем последнем финансовом отчете. Ему также придется столкнуться с столь же могущественной Antropic.

После возвращения Сэма Альтмана он может стать «одиноким», и внешний мир тоже будет беспокоиться о том, сможет ли этот совет директоров, который, похоже, стал «пустой оболочкой», продолжать удерживать лидерство OpenAI.

Однако консультант в области венчурного капитала высказал нам сегодня следующее мнение: «Первоначальное руководство OpenAI представляло собой группу ученых с великолепным опытом, честностью и идеалами; однако, возможно, технологические компании действительно могут расти, но им нужен «Тиран». Без произвольного «тирана» принятие решения может занять много времени».

OpenAI под руководством «тирана» Альтмана, интересно, куда он в итоге пойдет?

Секрет подъема OpenAI: Ультрачеловек с детства жаждет власти и полагается на свои связи, чтобы накопить огромное влияние.