новости

текст: web3 sky city · городской лорд

прошло много времени, но было опубликовано полное видео личного интервью генерального директора openai сэма альтмана после возвращения в openai. это время, когда грег находится в отпуске, создается новая компания ильи и появляются новости о продолжающихся убытках openai и новом финансировании.

это интервью вел известный ведущий тревор цуй ва. что немного удивительно, так это то, что тревор очень глубоко разбирается в технологиях искусственного интеллекта, лучше, чем 95% ведущих, не имеющих технических знаний.

в этом интервью тревор и сэм провели обширную беседу, обсуждая искусственный интеллект, openai, а также личную карьеру и путь сэма. начиная со своего возвращения в openai, сэм поделился тем, как он размышлял о взаимоотношениях между личными и корпоративными миссиями в условиях хаоса и неопределенности, а также рассказал о будущем направлении развития agi.

сэм не только подробно остановился на огромном потенциале оии в области познания, производительности и социальных эффектов, но также ответил на проблемы безопасности ии, этические проблемы, капиталистические компромиссы и технологическую революцию. в то же время он откровенно обсудил свои мысли о корпоративном управлении openai, о том, как сбалансировать технологический прогресс и социальную ответственность, и подчеркнул важность прозрачности и демократического управления технологиями.

путь возвращения к власти openai: сэм альтман вспоминает свой краткий уход и рассказывает, как во время этой суматохи он заново открыл для себя любовь к openai и ее миссии. хотя его ненадолго уволили, он подчеркнул, что извлек уроки из этого опыта и чувствует важность продолжения развития agi.

будущее agi и технологической революции: сэм альтман твердо верит, что оии приведет к беспрецедентной технологической революции, хотя социальные и экономические изменения могут быть не такими быстрыми, как ожидалось. он считает, что хотя технологии будут становиться всё ближе и ближе к оии, их фактическое влияние на общество будет постепенным, позволяя обществу постепенно адаптироваться к изменениям, вызванным новыми технологиями.

баланс между капитализмом и ии: в интервью сэм альтман подробно обсуждает, как openai работает в капиталистической системе, сохраняя при этом первоначальную цель своего создания, а именно обеспечить широкое распространение преимуществ agi. хотя openai необходимо конкурировать с капитализмом, чтобы получить ресурсы, необходимые для развития, он подчеркнул, что технологический прогресс не должен осуществляться за счет этики и социальной ответственности.

демократическое управление и социальное влияние ии: сэм альтман отметил важную мысль: управление технологиями ии должно быть более демократичным. он считает, что общественность должна более активно участвовать в принятии решений о том, как использовать системы искусственного интеллекта и устанавливать правила, и подчеркнул важность технической прозрачности и разнообразного управления.

опасения по поводу безопасности и этики ии: в интервью сэм альтман признал, что хотя ии обладает огромным потенциалом, он также таит в себе множество потенциальных угроз безопасности. он особо указал на риски применения ии в компьютерной безопасности, синтетической биологии и т. д. и призвал общество ответственно способствовать технологическому развитию.

более широкий взгляд на искусственный интеллект: сэм альтман с оптимизмом смотрит в будущее. он считает, что по мере развития agi у каждого будет больше возможностей для реализации личных интересов, а технологии значительно улучшат глобальные стандарты образования и медицины. хотя технологические инновации приведут к изменениям в работе и социальных моделях, он считает, что в конечном итоге человеческий дух и творчество приведут нас в более процветающее будущее.

тревор：

спасибо, что нашли время для интервью.

сэм: спасибо.

тревор: тебе не кажется, что сейчас сумасшедшее время?

сэм: это было похоже на самый безумный момент, который я когда-либо переживал.

тревор：

да, ты в центре всего этого. интересно, на что это похоже? потому что я просто заядлый наблюдатель этой области и этого мира, понимаешь? я чувствую, что все это затронуло тебя. я имею в виду, что сэм альтман входит в шорт-лист журнала time на звание «человек года».

сэм: рад, что я этого не понял.

тревор: рад, что ты не понял?

сэм: да, конечно.

тревор: почему?

сэм: в этом году мне уже уделили больше внимания, чем за всю мою жизнь.

тревор: хорошо, хорошо. значит, тебе не нравится внимание? ты не хочешь внимания?

сэм:

нет, это слишком жестоко. в некотором смысле это интересно. это полезно в некотором смысле. а вот для личной жизни имеет значение качество жизни. да, определенно нет. но сейчас дела обстоят именно так. это то, на что я подписался.

тревор: да, теперь пришло время славы.

сэм: да.

тревор: люди узнают тебя на улице?

сэм:это очень плохой компромисс. да, мне кажется, что ты никогда... я уверен, что с тобой такое тоже случается, но я больше не могу оставаться анонимом.

тревор：да, но люди не спрашивают меня о будущем.

сэм:они не спрашивают вас, разрушите ли вы мир.это верно. есть небольшая разница. люди, возможно, захотят сфотографироваться со мной. вот и все. много групповых фотографий.

тревор: что ж, поздравляю. вы — генеральный директор года по версии журнала time.

сэм: да.

тревор：

вероятно, это был один из самых странных моментов, потому что, думаю, это было примерно в то время, когда журнал time принимал это решение. несколько недель назад вы, возможно, не были бы генеральным директором года. я не знаю, смогут ли они еще вручить вам эту награду. я думаю, это для твоей предыдущей работы.

сэм: да, я не знаю. я не знаю, как это работает.

тревор: каково это снова стать генеральным директором?

сэм:

честно говоря, я все еще перепрограммирую реальность. в каком-то смысле это было здорово, потому что в ходе этого процесса я многое узнал о том, как сильно я люблю эту компанию, ее миссию и ее людей. и несколько раз по пути я испытал всю гамму человеческих эмоций за короткий промежуток времени. но очень ясным для меня моментом является то, что все это произошло в пятницу днем, в пятницу в полдень. на следующее утро, в субботу, мне позвонили несколько членов совета директоров и спросили, готовы ли они обсудить возврат.

у меня очень смешанные чувства по этому поводу. но со временем мне стало совершенно ясно, что я хочу вернуться.

мне очень нравится это место и то, что мы делаем. я думаю, что это важно для мира, и это то, что меня волнует больше всего.

тревор：

в мире технологий найм и увольнение — это то, к чему каждый должен привыкнуть.

я знаю, что в прошлом тебя увольняли из y combinator. у каждого в этой ситуации есть своя история.

сэм: я не хочу об этом говорить.

тревор: скажи мне, скажи мне. в таких случаях вы проводите исследование и идете дальше.

сэм:

примерно за год до этого (уходя из yc) я решил, что хочу прийти в openai.

это был сложный переход. но я работал над openai и yc одновременно и был почти уверен, что хочу прийти в openai. я никогда не сожалел об этом.

тревор：тогда вас никогда не увольняли. это тяжелая ситуация, чтобы оказаться в такой ситуации как человек.

сэм: это увольнение?

тревор: что, если бы вас уволили и немедленно снова приняли на работу?

сэм:то, что я собирался сказать, было больше, чем просто... это просто жестоко... думаю, мне не следует говорить об этом сейчас.

это очень болезненная вещь. лично мне, как человеку, это показалось очень несправедливым, и то, как с этим поступили, было действительно несправедливым.

тревор：

я могу себе представить. многие люди будут говорить об увольнении.

это стало тенденцией во время пандемии, особенно когда люди говорили о том, чтобы отправить группе электронное письмо или видео, а затем тысячи сотрудников были уволены.

редко можно подумать, что такое может случиться с генеральным директором компании. более того, вы бы не подумали, что подобное произойдет с генеральным директором, которого многие называют «стивом джобсом» этого поколения и будущего.

кстати, ты себя так не называешь.

сэм: конечно нет.

тревор：

так о вас говорят многие, но я не думаю, что справедливо называть вас стивом джобсом нынешнего поколения. на мой взгляд, вы прометей этого поколения. это действительно так.

мне кажется, ты украл огонь у бога. вы находитесь в авангарде этой трансформации, и сейчас мы живем в эпоху, когда ии когда-то был предметом научной фантастики и легенд, а вы сейчас находитесь в авангарде того, что может навсегда изменить цивилизацию.

как вы думаете, будущее изменится повсеместно?

сэм:

я так думаю.

вполне возможно, что я ошибаюсь в том, что собираюсь сказать, но у меня такое ощущение, что мы собираемся создать нечто, с чем согласятся почти все, а именно agi. дать определение общему искусственному интеллекту (agi) очень сложно, но мы построим систему, на которую люди посмотрят и скажут: «хорошо, вы это сделали». эта система представляет собой общий искусственный интеллект, систему, которая находится на человеческом уровне или превосходит его.

тревор：

прежде чем объяснить это подробно, как вы думаете, в чем заключается самая большая разница между восприятием людьми ии и общего искусственного интеллекта?

сэм:

по мере того, как мы приближаемся к этой области, то, как мы ее определяем, становится очень важным, и между нами есть различия. для некоторых agi относится к системе, которая может выполнять важную часть современной человеческой работы. конечно, мы найдем новую работу и новые дела. но для других agi относится к системе, которая может помочь открыть новые научные знания. очевидно, что это совершенно разные вехи, имеющие совершенно разное влияние на мир.

несмотря на то, что я устал от этого термина и даже не могу перестать его использовать, есть причина, по которой он мне больше не нравится. этот термин — оги. я думаю, что для большинства людей сейчас это означает просто очень умный ии, но помимо этого это стало очень расплывчато. я думаю, это главным образом потому, что мы становимся ближе.

я пытаюсь сказать, что мы собираемся создать agi, как бы вы это ни называли. по крайней мере, в краткосрочной и среднесрочной перспективе это изменит мир гораздо меньше, чем думают люди. в краткосрочной перспективе, я думаю, общество очень инерционно, экономика очень инерционна, и то, как люди живут, также имеет много инерции. это может быть здорово и полезно, если мы сможем справиться с этим переходом. мы все поступаем определенным образом и привыкли к этому. общество как суперорганизм тоже ведет себя определенным образом и привыкло к этому.

глядя на то, что произошло с gpt-4, я думаю, это поучительно. когда мы впервые запустили его, у людей был момент настоящей паники, когда они говорили: «ух ты, я не думал, что это произойдет», но затем они продолжили свою жизнь. это действительно меняет ситуацию, и люди этим пользуются. это лучше, чем ничего. конечно, gpt-4 не очень хороша, 5, 6, 7, неважно какая, будет гораздо лучше. тем не менее, я думаю, что версия 4 интерфейса chatgpt — это тот момент, когда многие люди начинают относиться к ней от несерьезного к очень серьезному. однако жизнь продолжается.

тревор：

считаете ли вы, что это хорошо для человечества и общества? должна ли жизнь продолжаться так? как один из «отцов» этого продукта, один из «родителей» этой идеи, хотели бы вы, чтобы мы все остановились, остановились на минутку и оценили, где мы находимся сейчас?

сэм:

я думаю, что стойкость людей по отдельности и коллективно поразительна. меня очень радует наша способность усваивать и адаптироваться к новым технологиям и изменениям, позволяя им чувствовать себя частью мира. это действительно замечательно.

я думаю, что covid — самый последний пример, когда мы это наблюдаем. мир быстро адаптировался и вскоре стал нормальным. другой менее серьезный, но поучительный пример — куча новостей об нло. это было несколько лет назад. многие из моих друзей, которые когда-то были полными скептиками, сказали бы, что, возможно, это были настоящие нло, или инопланетяне, или что-то в этом роде. тем не менее, на следующий день они все равно пошли на работу и играли со своими детьми.

тревор: да, подумал я, а что еще ты можешь сделать? если они летят, то они летают.

итак, хотелось бы мне, чтобы мы потратили больше времени на оценку прогресса? мы делаем это всем миром, и я думаю, что это здорово. я твердо верю, что итеративное внедрение этих технологий важно. мы не хотим разрабатывать общий искусственный интеллект (agi) в секретной лаборатории, о его приближении никто не знает, а затем внезапно выпустить его в мир, чтобы люди говорили: «хм, вот и мы». ..

тревор：

считаете ли вы, что нам нужно постепенно адаптироваться к этому и расти вместе с ним как с технологией?

сэм:

да.

так что разговор сейчас о том, где общество, наши лидеры и наши институты на самом деле используют эти технологии, чтобы понять, что оно может сделать, а что нет, в чем заключаются риски и каковы преимущества, я думаю, это здорово. я думаю, что в каком-то смысле лучшее, что мы сделали для нашей миссии, — это усовершенствовали нашу стратегию развертывания. мы могли бы построить его в тайне, потратить на его создание больше лет, а затем запустить его сразу, что было бы ужасно.

тревор：

сегодня мы вошли в здание openai, которое немного напоминает крепость и ощущается как будущий дом. я видел, что у вас было сообщение о том, что вы пришли в качестве гостя.

я подумал: о боже, это странно. это как идти домой, но не домой, а всё равно домой.

сэм:

это должно быть очень странный момент, как будто вы носите здесь значок гостя. но я чувствую, что все устали и полны адреналина. на самом деле не было того ощущения важного момента, на который я надеялся. в тот день определенно были моменты, о которых стоит задуматься и рассказать. например, одним из моментов, которыми я больше всего горжусь, был момент, когда я очень устал и отвлекся. мы думали, что в тот день правление вернет меня на пост генерального директора, но на всякий случай меня взял на собеседование на l3, нашу должность инженера-программиста самого низкого уровня, один из наших лучших людей. тогда он дал мне однозначный ответ. это был момент гордости.

единственное, что запомнилось мне в тот день, это то, что у меня все еще был этот навык. хотя значок не такой глубокий, как хотелось бы.

тревор：

мне бы хотелось знать, что, по вашему мнению, я сделал правильно на посту генерального директора, чтобы заручиться публичной поддержкой со стороны сотрудников openai.

когда это стало известно, я не собирался расспрашивать вас о подробностях, поскольку знал, что вы не можете комментировать содержание внутреннего расследования. но я знаю, что вы можете немного поговорить об общем настроении компании и о том, что происходит в последнее время. редко мы видим, чтобы что-то развивалось так, как openai. у вас есть эта компания и эта идея, которой для большинства людей на планете не существовало ни минуты. в следующую минуту вы отпускаете chatgpt. эта простая подсказка, всего лишь небольшое окно чата, меняет мир. я думаю, вы набрали 1 миллион пользователей в самое быстрое время. я думаю, это было пять дней. да, пять дней. затем оно быстро достигло 100 миллионов человек.

очень быстро, я знаю на уровне анекдотов, для меня эта вещь перестала быть неизвестной всем в мире. я объясняю это людям, пытаюсь заставить их понять. я должен показать им это как поэзию и что-то простое, что они смогут понять. потом люди начали мне об этом рассказывать. теперь это понятие стало повсеместным, и люди изо всех сил пытаются понять, что это такое и что оно означает.

но с другой стороны, есть компания, которая пытается каким-то образом контролировать и формировать будущее. и люди вас поддерживают. мы видели эту историю: сэм альтман ушел и больше не является генеральным директором. дальше все пошло бурно. я не знаю, видели ли вы какие-то слухи. они просто сумасшедшие. одна из самых безумных вещей, которые я когда-либо видел, это когда кто-то говорит: «это одновременно смешно и смешно». говорят, и я знаю из надежных источников, что сэма уволили за попытку заняться сексом с ии.

сэм:

я даже не знаю, что ответить. когда я увидел это сообщение, я подумал... думаю, на данный момент мне следует официально это отрицать, просто этого не произошло.

тревор：

я думаю, что это вряд ли произойдет, потому что люди не понимают сочетание этих двух факторов. но что меня поражает, так это то, что сенсационность этого инцидента, похоже, привлекла openai в другой центр внимания в другой момент.

одна из самых важных вещей — это поддержка, которую вы получаете от команды, когда люди подходят и говорят: что бы ни случилось, мы поддержим сэма. такая ситуация не распространена в компаниях. часто руководители и сотрудники в той или иной степени разобщены.

но это больше, чем просто команда.

сэм:

далее следует не ложная скромность. есть много мест, где я бы принял много похвал. но в данном случае, помимо того, что я являюсь представителем, это не совсем моя вина. но я думаю, что мы преуспеваем в том, что наша миссия — по-настоящему убедить людей в ее важности.

я думаю, что происходит то, что люди понимают, что миссия, организация, команда, над которой мы так усердно работаем и добиваемся такого большого прогресса, но еще многое предстоит сделать, находятся под реальной угрозой. думаю, именно это и вызвало реакцию. на самом деле речь идет не обо мне лично, хотя, надеюсь, я нравлюсь людям и думают, что я хорошо справляюсь со своей работой. речь идет об общей лояльности, которую мы все ощущаем, и чувстве ответственности за то, чтобы добиться цели и, как мы надеемся, максимизировать наши шансы на достижение этой цели.

тревор：

как вы думаете, в чем заключается миссия на самом высоком уровне? достигает ли он общего искусственного интеллекта?

сэм:

пусть преимущества agi будут распространены как можно шире и успешно решат все проблемы безопасности.

тревор：

это интересный второй момент. я хотел бы поговорить с вами позже, чтобы более подробно обсудить аспекты безопасности. когда вы смотрите на openai как на организацию, ее рождение действительно является странным. не стесняйтесь поправлять меня, если я ошибаюсь, но, похоже, при его создании особое внимание уделялось безопасности. вы собираете группу людей и говорите: мы хотим создать организацию, компанию, коллектив, который посвятит себя созданию наиболее этичного искусственного интеллекта на благо общества. вы можете увидеть это даже в распределении прибыли компании, в том, как инвесторы получают свою прибыль и так далее.

но даже openai в какой-то момент изменился. как вы думаете, сможете ли вы противостоять силам капитализма? я имею в виду, здесь задействовано так много денег. считаете ли вы, что действительно можете поддерживать мир, в котором деньги не определяют, что вы делаете и почему вы это делаете?

сэм:

это должно быть фактором. например, если вы просто подумаете о стоимости обучения этих систем, нам придется найти какой-то способ конкурировать, за неимением лучшего термина, в капиталистическом пространстве. но я не думаю, что это будет нашей главной мотивацией. кстати, я люблю капитализм. я думаю, что у нее есть огромные недостатки, но по сравнению с любой другой системой, которую пробовал мир, я думаю, что это все же лучшее, что мы придумали. но это не значит, что мы не должны стремиться к лучшему. я думаю, мы найдем способы потратить огромный, рекордный капитал, который нам необходим для дальнейшего развития передовых технологий. это был один из наших первых уроков. однако эта вещь гораздо дороже, чем мы думали.

мы как бы знали, что у нас есть идея расширенной системы, но мы просто не знали, как она будет реализована.

тревор：

ты всегда был большим поклонником расширений, я читал это о тебе. один из ваших наставников, который сейчас является одним из ваших инвестиционных партнеров по injection, сказал, что всякий раз, когда вы задаете сэму вопрос, первое, что приходит ему на ум, — как нам решить эту проблему? как нам решить эту проблему? второе, о чем он говорит, — как нам масштабировать эти решения?

сэм: кто это сказал? я не помню. я ужасно обращаюсь с именами.

тревор: интересно. но я знаю, что это сказал кто-то с вашей работы.

сэм:

интересный. но я не слышал, чтобы кто-то говорил обо мне такое.

но я думаю, что это наблюдение, которое я сделал во многих разных компаниях и секторах, заключается в том, что масштаб часто приводит к потрясающим результатам. итак, массовое масштабирование этих моделей ии приводит к очень неожиданным результатам. массовое масштабирование делает его лучше не только во всех очевидных, но и в некоторых неочевидных аспектах. есть неочевидные преимущества масштабирования компаний. есть небольшие преимущества в масштабировании такой компании, как y combinator. я не думаю, что это воспринимается серьезно.

в нашем случае важно знать, насколько важно масштабироваться на ранних этапах. если бы мы мыслили умнее или имели больше смелости, мы бы в первую очередь сделали более крупные шаги. но очень сложно сказать, что я собираюсь построить компьютер стоимостью 10 миллиардов долларов больше. поэтому мы этого не сделали. мы понимали это немного медленнее, чем следовало бы, но в конце концов поняли. теперь мы видим, какой масштаб нам нужен.

я думаю, что капитализм – это круто. я ничего не имею против системы. нет, это неправда. у меня много возражений против этой системы, но я должен признать, что ничего лучшего, чем она, пока не обнаружено.

тревор: вы спрашивали chatgpt, могут ли они разработать систему?

сэм: у меня другая… возможно, я не разрабатываю новую систему. да. но я задаю много вопросов о том, как пересекаются ии и капитализм и что это значит.

во-первых, мы были правы в самом важном из наших первоначальных предположений, а именно в том, что ии должен был появиться. глубокое обучение возможно... и, кстати, многие над этим смеются. это именно так.

тревор: боже мой, над нами безжалостно смеялись.

сэм:

да.

даже имея некоторые идеи о том, как этого добиться, мы все сделали правильно. но мы ошибались во многих деталях, что является обычным и нормальным явлением в науке. до того, как в игру вступили языковые модели, у нас было совсем другое видение построения этой системы. в то время у нас была совсем другая концепция создания agi. мы не предполагали, что это будет итеративный инструмент, который постоянно совершенствуется и с которым можно будет общаться как с человеком. поэтому мы были очень озадачены тем, что повлечет за собой создание оии. мы думаем о времени до и после agi. тогда вам нужно передать это другим системам и другому управлению.

теперь я думаю, что это возможно, и я очень рад этому, потому что считаю, что так легче ориентироваться. я думаю, что это возможно, я не хочу говорить, что это просто еще один инструмент, потому что он во многом отличается, но в некотором смысле мы создали новый инструмент для человечества. мы добавили несколько вещей в набор инструментов. люди будут делать с ним самые невероятные вещи, но будущее по-прежнему будут планировать люди, а не какой-то искусственный интеллект в небе. вы можете делать то, чего раньше не могли. я также могу делать то, чего раньше не мог. мы можем сделать больше. в этом смысле я могу представить мир, в котором мы достигаем нашей миссии, создавая действительно хорошие инструменты, которые значительно влияют на человеческие возможности и выходят за их пределы. я очень взволнован этим.

например, мне нравится, что мы предлагаем бесплатный chatgpt без рекламы. потому что лично я считаю, что реклама в интернете всегда была проблемой. но мы просто выпустили этот инструмент. это обратная сторона капитализма, да, да. один из них. лично я считаю, что есть и более серьезные недостатки, но мы выпустили этот инструмент, и люди могут использовать его бесплатно. мы не хотим превращать их в продукты. мы не хотим, чтобы они использовали немного больше. я думаю, это показывает интересный путь, по которому мы можем сделать больше.

тревор：

итак, давайте сделаем это. есть много вещей, которые я надеюсь затронуть в ходе нашей беседы, и, очевидно, мы не сможем ответить на них все. но есть некоторые мысли, некоторые моменты и некоторые области, которые, я надеюсь, мы сможем изучить. думаю, первый и самый актуальный вопрос: что будет с компанией в будущем? как вы думаете, куда это пойдет? одна вещь, которую я нахожу особенно интересной, — это состав нового совета директоров, особенно для openai, где раньше в совете были женщины, а теперь их нет, и раньше для членов совета не было финансовых стимулов, а теперь они есть. мне интересно, обеспокоены ли вы тем, что та защита, которую вы помогли создать, теперь исчезла и что у вас есть совет, который больше не занимается защитой людей или определением более безопасного будущего, а вместо этого сосредоточен на зарабатывании денег и обеспечении большой и сильный, насколько это возможно?

сэм:

я считаю, что наши нынешние и предыдущие структуры управления и советы директоров не работают в некоторых важных аспектах. поэтому я полностью поддерживаю поиск путей улучшения и поддержу правление и его работу по достижению этой цели.

очевидно, что совету директоров необходимо расти и диверсифицироваться, и я думаю, что это произойдет быстро. нам нужно услышать голоса тех, кто будет выступать в защиту тех, кого традиционно не защищали, и не только очень тщательно подумать о безопасности ии, но и извлечь уроки из прошлого о том, как наладить взаимодействие со всеми аспекты общества. это очень сложные системы. необходимо обеспечить максимально эффективное выполнение работы, одновременно смягчая негативные последствия и распределяя выгоды.

итак, я рад, что у меня есть второй шанс исправить все те вещи, в которых мы, очевидно, ошибались раньше. такие вещи, как разнообразие, обеспечение того, чтобы мы представляли все ключевые группы заинтересованных сторон, которые должны быть представлены, выяснение того, как сделать это более демократичным, продолжение подталкивания правительства к принятию некоторых решений по управлению этой технологией. я знаю, что это не идеально, но я думаю, что это лучше, чем все, что мы можем придумать в настоящее время. важно больше взаимодействовать с нашим сообществом пользователей и позволить им помочь установить границы использования этой технологии.

основным будущим направлением станет расширение состава совета директоров и структуры управления. опять же, я знаю, что наше нынешнее правление невелико, но я думаю, что они очень заинтересованы во всем, о чем вы только что говорили.

и еще есть еще одна большая категория вопросов. если бы вы спросили меня неделю назад, я бы сказал, что стабилизация компании — мой главный приоритет. но, по крайней мере, внутренне я чувствую себя довольно хорошо. мы не потеряли клиента, не потеряли сотрудника. мы продолжаем расти, и это удивительно. мы продолжаем знакомить вас с новыми продуктами. наши ключевые партнерские отношения ощущаются укрепленными, а не затрудненными. в этом плане все пошло по плану. и я думаю, что планы исследований и продуктов на первую половину следующего года кажутся лучше и более целенаправленными, чем когда-либо.

тревор：

я всегда думаю о тебе как о личности, когда происходит вся эта ситуация в зале заседаний. когда бы ни была гроза, меня всегда интересует, что происходит в ее центре. мне любопытно, где ты был, когда все это вспыхнуло? мол, что ты делал? что происходит в вашем мире на личном уровне?

сэм:

причина, по которой я смеюсь, заключается в том, что люди говорят обо мне, что я чувствую себя так, словно нахожусь в эпицентре урагана, и все вокруг меня вертится, и я все еще очень спокоен. на этот раз все пошло не так, как ожидалось.

это ощущение, как будто ты находишься в центре бури, но не в спокойствии. я был в лас-вегасе и смотрел гонку формулы-1.

тревор: вы поклонник формулы-1?

сэм: да.

тревор: какую команду ты болеешь? у вас есть какой-то особый фаворит?

сэм:

честно говоря, я думаю, что ферстаппен настолько хорош, что сложно сказать, за какую команду болеть. но я чувствую, что это, вероятно, ответ, который сказал бы каждый.

тревор：

на самом деле, это зависит от того, когда на движение начали обращать внимание. я фанат шумахера, потому что именно тогда я начал смотреть гонки. сначала это был найджел мэнселл, затем айртон сенна, понимаете, о чем я?

ферстаппен очень точен, и я понимаю, почему он так популярен.

сэм:

хотя я немного устал наблюдать, как он столько раз побеждает, он действительно потрясающий.

той ночью я прибыл поздно в четверг. кто-то забыл приварить крышку люка, поэтому на первом круге ее сорвало, как взорвался один из двигателей ferrari, из-за чего тренировка была приостановлена. я не смог посмотреть игру, не видел никаких действий за все выходные.

мне позвонили в гостиничном номере, я понятия не имел, что это будет, и совет директоров уволил меня с работы. это было похоже на сон, и я был в замешательстве. все было запутанным и не казалось реальным. было очевидно грустно и больно, но доминирующей эмоцией в тот момент было растерянность, и мне казалось, что я нахожусь в тумане и дыму. я понятия не имею, что происходит.

то, как это произошло, было беспрецедентным, это было безумие. в течение следующих получаса на мой телефон пришло так много сообщений, что на моем телефоне произошел сбой imessage. эти сообщения пришли от всех, и телефон стал совершенно непригоден для использования, поскольку уведомления продолжали появляться. imessage доходил до того, что на некоторое время останавливался, сообщения задерживались, а потом все сообщения помечались как прочитанные, так что я даже не мог сказать, с кем разговариваю, это был хаос.

я разговаривал с командой здесь, пытаясь понять, что происходит. например, microsoft также разговаривает по телефону, и другие стороны также находятся в контакте. вся ситуация была действительно тревожной и не казалась реальной. я немного успокоился и начал думать о будущем. я очень хочу работать над agi (общим искусственным интеллектом). если поначалу у меня не получится, я все равно буду продолжать попытки. я думаю о лучшем подходе.

грег ушел, уволилось еще несколько человек, и я начал получать поток сообщений от людей, желающих работать со мной. в то время возвращение в openai было совершенно не в моих мыслях. я могу представить, что нас ждет в будущем, но не совсем понимаю, насколько это важное отраслевое событие, потому что я особо не слежу за новостями. я просто чувствую огромное количество получаемых сообщений.

тревор：

потому что ты буквально в центре шторма.

сэм:

да. я просто хочу поддержать openai, разобраться, что делать дальше, попытаться понять, что происходит. затем я полетел обратно в калифорнию, встретился с некоторыми людьми и начал сильно концентрироваться на будущем. но я также желаю openai всего наилучшего. почти всю ночь я мало спал и одновременно много разговаривал. за этим последовали сумасшедшие выходные. я уверен, что еще не до конца смирился со всем этим, все еще немного потрясен и все еще пытаюсь собрать кусочки. я уверен, что почувствую это больше, когда у меня будет время сесть и обдумать это.

тревор：

чувствуете ли вы, что вам нужно вернуться ко всему сразу? потому что, по вашему мнению, вы выполняете эту миссию. в твоих глазах можно увидеть драйв, и мир достиг точки невозврата. вы движетесь в определенном направлении, и внезапно кажется, что вы не можете достичь этого в той области, в которой находитесь. но, как вы сказали, вмешалась microsoft, и сатья наделла сказал: приходите работать с нами, и мы восстановим эту команду.

если есть что-то, в чем люди сходятся во мнении о сэме альтмане, так это то, что он упорный. он бескомпромиссен и считает, что если у тебя есть цель и ты во что-то веришь, ты не должен позволять жизни мешать тебе. и вы, похоже, движетесь в этом направлении. вы ничего публично не говорили об openai и не оскорбляли его каким-либо образом. но, похоже, это оказывает на вас большое давление.

сэм:

конечно. я не думаю, что это что-то, от чего я не смогу оправиться, но думаю, что невозможно пройти через это и не пострадать, это было бы очень странно.

тревор：

вы чувствуете, что потеряли часть себя?

сэм:

да. мы запустили openai в конце 2015 года. первый день работы фактически начался в 2016 году.

я занимаюсь этим на yc какое-то время, но с начала 2019 года занимаюсь этим постоянно. agi и моя семья — это две вещи, которые меня волнуют больше всего. так что потеря одного из них в некотором смысле, я бы сказал, сделала меня более преданным agi и более заботливым о миссии. но, конечно, меня также волнует эта организация, эти люди, наши пользователи, наши акционеры и все, что мы здесь строим. итак, это было действительно больно.

единственный жизненный опыт, с которым я могу это сравнить, — это смерть моего отца, что, конечно, было намного хуже. это чувство замешательства и потери было очень неожиданным. в этом случае я чувствовал, что у меня есть немного времени, чтобы все это осознать. но впереди было еще столько всего, и это было настолько неожиданно, что мне пришлось на некоторое время собрать по кусочкам его жизнь. лишь примерно через неделю после этого у меня действительно появилось время вздохнуть и подумать: «о боже мой, я не могу поверить, что это происходит». так что да, это определенно намного хуже. но и здесь есть подобные отголоски.

тревор：

глядя на будущее компании и свою роль в нем, как вы сейчас находите баланс между продвижением открытого ии и продолжением движения в том направлении, в которое вы верите? у вас еще есть аварийные тормоза? существует ли в компании какая-то система, согласно которой, когда вы чувствуете, что мы создаем что-то, что может оказать плохое влияние на общество, мы вмешиваемся и прекращаем такое поведение. есть ли у вас эта способность? и эта система встроенная?

сэм:

да, конечно. раньше у нас была такая система. например, мы создаем некоторые системы, но предпочитаем не развертывать их. я верю, что мы сделаем это снова в будущем. или мы создаем систему и говорим: «эй, нам нужно немного больше времени, чтобы сделать ее безопасной, прежде чем мы сможем ее развернуть». как и в случае с gpt-4, нам потребовалось почти восемь месяцев, чтобы завершить обучение, прежде чем мы были готовы выпустить его, со всеми согласованиями и тестированием безопасности. я помню, как разговаривал с некоторыми членами команды, и это было не решение совета директоров, это были люди, которые выполняли свою работу и были преданы нашей миссии. так что это будет продолжаться.

чем я очень горжусь этой командой, так это ее способностью хорошо функционировать в условиях хаоса, кризиса, неопределенности и стресса. ставлю им пятёрку с плюсом, они проделали отличную работу. по мере того, как мы приближаемся к более надежным и очень надежным системам, я думаю, что культура и способности команд, которые мы создаем, становятся, вероятно, самым важным элементом, например, сохранять спокойствие в кризисе и принимать хорошие, продуманные решения. я думаю, что команда здесь действительно доказала, что они могут это сделать, и это действительно важно.

кто-то сказал, что одна из вещей, которую мы узнали об openai, заключается в том, что сэм может управлять компанией, не имея должности. я считаю, что это совершенно неправильно и просто неправда. правильный урок заключался в том, что компания могла бы работать и без меня. это вопрос культуры, и команда готова, и культура готова. я очень горжусь этим и очень рад вернуться и продолжать это делать.

наблюдение за тем, как команда справляется со всем этим, помогает мне лучше спать по ночам, поскольку мы сталкиваемся с предстоящими проблемами. в будущем возникнут более серьезные проблемы, чем эта, но я надеюсь и верю, что это самая трудная задача, потому что мы не готовы. теперь мы понимаем важность этого, мы не просто обычная компания, это далеко не так.

тревор：

давайте поговорим об этом. chatgpt, openai, как бы он ни назывался. у вас есть dall·e, у вас есть whisper и все эти замечательные продукты. если у вас есть идеи относительно названий брендов или архитектуры брендов, мне будет очень интересно. мне кажется, что chatgpt сделал это, и теперь это повсюду. да, это ужасное имя, но, возможно, оно стало слишком распространенным, чтобы его можно было изменить. как вы думаете, можно ли это изменить сейчас? можем ли мы упростить его до gpt или просто пообщаться?

сэм:

я не знаю, может быть, нет.

тревор：

иногда мне кажется, что продукт, имя или идея превосходят мечты маркетологов, и люди их принимают.

сэм:

ни один маркетолог не выбрал бы chatgpt в качестве названия для этого, но мы, вероятно, застряли на нем, и это, вероятно, нормально.

тревор：

теперь я очарован его мультимодальной природой. я до сих пор помню, когда я впервые увидел выход dall·e, это была всего лишь идея, и я увидел, как она работает, и увидел, что эта программа может создать изображение из ничего. я пытаюсь объяснить это людям, и они спрашивают, откуда взялся этот образ? я подумал: нет ни фотографии, ни исходного изображения. они думают, что это невозможно.

он увидел то, что, как мне тогда казалось, было трудно объяснить. иногда даже мне трудно это понять. но когда мы смотрим на мир, в котором сейчас живем, мы говорим о нем в цифрах: gpt 3.5, gpt 4, gpt 5, 6, 7, какими бы они ни были. мне нравится больше говорить о реальных вариантах использования продукта, избегая технического жаргона.

между различными продуктами, от chatgpt 3, 3.5 до 4, мы видим, как так называемые способности рассуждения достигают более высокого уровня и даже в некоторой степени демонстрируют креативность.

когда я смотрю на продукты в этом мире, которые вы сейчас создаете, например, модели больших языков общего назначения, а теперь и модели специализированных больших языков, мне интересно, думаете ли вы, что варианты использования кардинально изменятся? как вы думаете, это может быть просто маленький чат-бот, который сейчас всем нравится, и является ли это окончательной формой продукта? или вы думаете, что мир станет миром, в котором все будет иметь специализированный gpt? например, у тревора будет gpt, который что-то делает за него, или у определенной компании будет gpt, который что-то сделает за них. что вы думаете по этому поводу?

очевидно, что предсказать будущее сложно. но с того места, где мы находимся сейчас, куда вы видите это развитие?

сэм:

я думаю, что это будет смесь того и другого. очень трудно предсказать будущее, и я могу ошибаться, но я все равно готов попытаться. я думаю, что это будет смесь двух вещей, которые вы только что упомянули. во-первых, базовая модель будет настолько хороша, что мне трудно с уверенностью сказать, что она чего-то не может. это займет много времени, но я думаю, что мы движемся в этом направлении.

тревор：

сколько времени в вашем временном интервале занимает «долгое время»? например, как вы это измеряете?

сэм:

не в ближайшие несколько лет. в ближайшие несколько лет ситуация будет улучшаться с каждым годом. но, как я собирался сказать, я почти уверен, что к 2026 году эта модель еще многое не сможет сделать.

тревор：

но разве эта модель не продолжает вас удивлять? когда я разговариваю с инженерами, работающими в этой области, или с кем-либо, кто связан с искусственным интеллектом или имеет отношение к нему, больше всего звучит слово «сюрприз». люди продолжают говорить, что они учат этому, думая, что chatgpt изучает эту область. внезапно он начинает говорить на новом языке, или мы думали, что учим его этому, и внезапно он начинает наводить мосты и тому подобное.

сэм:

поэтому субъективный опыт большинства людей здесь, вероятно, приходится где-то между 2019 и 2022 годами. но теперь, я думаю, мы научились перестать удивляться. сегодня наше доверие выросло в геометрической прогрессии, и большинство людей так думают. итак, gpt-5, как бы мы его ни называли, будет превосходить во многих аспектах. мы будем удивлены некоторыми конкретными вещами, которые он может сделать, и мы также будем удивлены тем, чего он не может. никто не удивится тому, насколько это хорошо. на данный момент, я думаю, у нас есть действительно глубокое понимание этого.

второе, что вы упомянули, — это специальные gpt. что еще более важно, вы также упомянули личный gpt, например, gpt тревора. я думаю, что это станет большой тенденцией в ближайшие несколько лет. эти модели узнают о вас, получат доступ к вашим личным данным, ответят на вопросы так, как вы этого хотите, и будут очень эффективно работать в вашей среде. я думаю, что многие люди захотят этого.

тревор：

это почти заставляет меня задуматься: если на новом рынке труда ваш gpt станет почти вашим резюме, gpt каким-то странным образом будет более ценным, чем вы. вы меня понимаете? это похоже на комбинацию всего, о чем вы думаете, и всего, о чем вы когда-либо думали, и того, как вы синтезируете свои идеи, плюс ваш личный gpt, становится... я просто думаю о сумасшедшем будущем, когда вы отправитесь в работа, тебя спрашивают, какой у тебя gpt? и ты говоришь: ладно, это мое.

сэм:

мы всегда думаем о них как об агентствах, об этих персонализированных агентствах, я позволю этой штуке делать что-то за меня. но интересно то, что вы говорите по этому поводу, а не так ли это, а как другие люди взаимодействуют с вами. верно. это как ваше впечатление, ваш аватар, ваше эхо и т. д. я видел, как дело дошло до этой точки.

тревор：

потому что, если мы не являемся комбинацией всего, чем мы являемся, то кто мы? это странная идея, но я могу в это поверить. меня всегда завораживало то, куда он может пойти и что он может сделать.

знаешь почему? когда chatgpt взорвался в первые несколько недель, я никогда не забуду, как быстро люди осознали, что произошла революция роботов. я знаю, что это были не роботы, но для людей они были похожи на революцию роботов, машины не заменили что, по их мнению, джобс будет заменен. знаете, люди думали, что он заменит водителей грузовиков и так далее. однако мы обнаружили, что нет, эти рабочие места на самом деле труднее заменить. фактически, рабочие места, заменяемые так называемыми «мозговыми работами», аналогичны работе белых воротничков. вы юрист? что ж, когда у вас есть chatgpt 5, 6, 7, как бы вы его ни называли, вам может не понадобиться столько юристов. ты инженер, и ты такой: какое у тебя место... человеческое тело - действительно удивительная вещь.

как вы думаете, существуют ли какие-либо достижения, которые могли бы заменить человеческое тело? или мы все еще находимся в духовной сфере?

сэм:

нет, я думаю, что в конечном итоге мы заставим роботов работать так же, как в конечном итоге будут работать роботы-гуманоиды. но мы работали над этим на ранних стадиях openai, у нас был проект по робототехнике. я этого не знаю.

мы знаем, что создали роботизированную руку, которая может манипулировать кубиком рубика, как рукой. это требует большой гибкости. я думаю, здесь задействовано много разных идей, но одна из них заключается в том, что в мире битов гораздо легче добиться прогресса, чем в мире атомов.

например, этого робота сложно построить, но по неправильным причинам. трудность не в том, что это помогает нам решать некоторые сложные исследовательские вопросы, а в том, что робот продолжает ломаться, и он не очень точен, а симуляторы ужасны. хотя с языковой моделью вы можете делать все эти вещи в виртуальной среде, вы сможете прогрессировать гораздо быстрее. таким образом, сосредоточение внимания на когнитивном аспекте помогает нам быстрее решать более продуктивные задачи.

но это также очень важный аспект, и я думаю, что решение когнитивных задач — более важная проблема. например, если вы создадите робота, он не обязательно поймет, как помочь вам создать систему, выполняющую когнитивные задачи. но если вы создадите систему, выполняющую когнитивные задачи, она поможет вам понять, как сделать робота лучше.

да, это имеет смысл. поэтому я думаю, что познание — это основная вещь, на которой мы хотим сосредоточиться. я думаю, что это правильное решение. но я надеюсь, что мы сможем вернуться к робототехнике.

тревор：

задумывались ли вы когда-нибудь, когда, по вашему мнению, был создан общий искусственный интеллект? мол, откуда мы знаем? лично для меня? например, когда я чувствую, что задача выполнена?

сэм:

потому что все говорят об общем искусственном интеллекте, но я спрашиваю, откуда нам знать, что это такое? итак, мы возвращаемся к предыдущему вопросу: у каждого свое определение. я лично скажу вам, когда буду очень взволнован. я очень рад, когда у нас есть система, которая помогает открывать новую физику. но кажется, что это выходит далеко за рамки общего интеллекта. похоже, вы понимаете, о чем я? это выходит за рамки того, что, я думаю, большинство людей определило бы.

тревор：

может быть, это потому, что я иногда задаюсь вопросом, как мы определяем общий интеллект? определяем ли мы это как гений в определенной области? или как ребенок, являющийся искусственным общим интеллектом? это точно. но вы должны продолжать это программировать, и когда они рождаются, они не могут говорить, не могут ходить, они ничего не знают. и вы продолжаете программировать этот agi, чтобы доставить его туда, куда ему нужно.

итак, если вы, скажем, дошли до того, что у вас есть версия четырехлетнего ребенка.

сэм:

что, если бы у нас была система, которая могла бы быть такой, только что придуманной, способной работать автономно, с некоторой помощью родителей и понимать мир, как это делает четырехлетний ребенок? да, мы можем назвать это agi. если бы мы действительно могли использовать эту универсальную способность, мы могли бы разобраться в ней сами, когда возникнут новые проблемы. четырехлетние дети не всегда все прекрасно понимают, но к тому времени мы, очевидно, это поняли.

тревор：

можем ли мы добраться до этой точки, не понимая фундаментально природу мышления и мышления? кажется возможным. как вы думаете, мы сможем дойти до этой точки? я думаю, это нормально. или мы можем добраться до... так что я уверен, что вы это знаете.

одна из моих любимых историй в сфере ии — проект в microsoft. у них есть ии, который пытается научиться распознавать мужские и женские лица, и он очень точен, примерно на 99,9%. однако чернокожие люди и особенно чернокожие женщины всегда были плохо представлены, их постоянно принимали за мужчин. исследователи всегда пытаются совершенствоваться и всегда думают: что происходит?

какое-то время я рассказывал эту историю так. возможно, это немного неточно, но мне она показалась интересной. было время, когда они «отправили» ии в африку, кажется, это была кения. они отправили ии в африку, а затем сказали исследовательской группе в кении, могут ли они использовать его какое-то время, чтобы попытаться решить эту проблему? когда этот ии был запущен на той стороне мира, с их набором данных и африканскими лицами, он стал все более и более точным в идентификации чернокожих женщин.

но в конце концов они обнаружили, что ии никогда не различал мужские и женские лица. все, что он делает, это рисует корреляции между макияжами. в результате ии определил, что человек с красными губами, розовыми щеками и, возможно, голубыми веками — женщина, а остальные — мужчина. исследователи говорят: да, вы правы. знаете, он только что нашел так называемый «чит-код». это похоже на то, что я понимаю, каковы ваши стандарты для мужчин и женщин, и затем эти стандарты различаются.

а потом они поняли, что, поскольку чернокожим женщинам, как правило, не уделяют должного внимания, когда дело доходит до макияжа, они не наносят много макияжа, поэтому система просто не знает об этом. но мы не знаем, что система не знает. итак, я подумал: как нам узнать, знает ли agi что-то или не знает? или мы обнаружим, что он каким-то образом обманул свой путь к ответу? откуда мы знаем?

когда эта неопределенность переплетается со многими аспектами нашей жизни, какова цена нашего невежества? вы понимаете?

сэм:

я верю, что мы добьемся прогресса в понимании того, что делают эти системы. в настоящее время интерпретируемость достигла определенного прогресса. это область, в которой изучаются эти модели, и существуют разные способы и разные уровни, на которых могут проводиться эти исследования. вы можете попытаться понять, что делает каждый искусственный нейрон в системе, или вы можете наблюдать, как система думает шаг за шагом, и видеть, с какими шагами вы не согласны. мы узнаем больше.

способность понимать, что делают эти системы, и, надеюсь, объяснять нам, почему они приходят к определенным выводам, и делать это точно и надежно. я думаю, мы добьемся прогресса не только в понимании того, как эти системы делают то, что они делают, но и в понимании того, как наш собственный мозг делает то, что они делают. так что я думаю, что со временем мы это поймем. мне любопытно, и я уверен, что вам тоже.

по моему мнению, мы добьемся большего прогресса во внедрении методов, которые, как мы знаем, работают, чтобы сделать эти системы все лучше и лучше и помочь нам решить проблему объяснимости. и я думаю, что по мере того, как эти системы станут умнее, их будут реже обманывать. следовательно, более сложная система может не иметь таких косметических различий и может обучаться на более глубоком уровне. я думаю, мы видим некоторые доказательства того, что это происходит.

тревор：

ты заставил меня задуматься о двух вещах, когда сказал, что тебя не так-то легко обмануть. одним из них является аспект безопасности, а другим — аспект точности. об этом говорили сми. помнишь, говорили они, у ии были галлюцинации, он думал, что собирается меня убить. мне особенно интересно, что людям нравится использовать слово «мышление» для описания больших языковых моделей. потому что я всегда считаю, что журналисты должны попытаться понять, что они делают, прежде чем писать об этом. но когда они часто используют слово «думать», они фактически вводят публику в заблуждение. я испытываю к этому сочувствие.

сэм:

нам нужно использовать знакомые термины, нам нужно персонифицировать. но я согласен с вами, что это заблуждение.

тревор：

потому что вы говорите, что оно думает, и тогда люди подумают: оно думает о том, чтобы меня убить? это не так, он не думает, он просто использует этот волшебный трансформер, чтобы выяснить, какие слова с наибольшей вероятностью подойдут друг к другу.

сэм: как ты думаешь, что ты делаешь?

тревор：

что я делаю? это интересный вопрос. вот что я говорю, это идея, которую мы собрали воедино.

мы говорим о «галлюцинациях». начну с первой половины. как вы думаете, сможем ли мы достичь цели сделать ии не галлюцинирующим?

сэм:

я думаю, что лучший вопрос заключается в том, можем ли мы гарантировать, что ии не будет галлюцинировать, когда мы этого не хотим, с частотой, аналогичной тому, как часто люди не галлюцинируют. на это мой ответ — да. но на самом деле, одна из вещей, которые людям нравятся в этих системах, — это их способность делать новые вещи. если бы так... да, галлюцинации - это и особенность, и ошибка.

тревор：

это то, о чем я только что спросил. разве галлюцинация не является частью разумного существования?

сэм:

полностью.

если вы подумаете, скажем, о том, как работают исследователи ии, они просматривают много данных, придумывают какие-то идеи, читают много материала, а затем начинают думать, может быть, то или это. возможно, мне стоит попробовать этот эксперимент. теперь у меня есть данные. итак, это не совсем работает. теперь я придумаю эту новую идею.

такой человеческой способности выдвигать новые гипотезы, новые объяснения никогда раньше не существовало, и большинство из них ошибочны, но есть процесс и петля обратной связи, чтобы выяснить, какие из них могут иметь смысл и, в конечном итоге, действительно имеют смысл. это один из ключевых элементов человеческого прогресса.

тревор：

как нам запретить искусственному интеллекту вводить и выводить мусор? в настоящее время искусственный интеллект работает с информацией, созданной тем или иным образом человеком. это обучение на материале, который, по нашему мнению, можно выучить. сейчас, когда появляются все новые вещи, такие как open ai, anthropic, lambda и т. д., создается ощущение, что мы вступаем в мир, где ии генерирует больше информации, чем люди, и эта информация может не получить того внимания, которого она заслуживает.

станет ли ии лучше, если он учится сам у себя таким образом, который не подвергается цензуре? вы меня понимаете?

сэм:

полностью понимаю.

как нам решить эту проблему? это восходит к вопросу умения вести себя в различных ситуациях. например, вам нужна фантазия в творческом процессе, но вам не нужна эта фантазия, когда вы пытаетесь сообщить точные факты о событии. и теперь эти системы могут генерировать новые изображения, красивые в важном смысле, изображения, которые в каком-то смысле являются фантазией, но хорошей фантазией. но опять же, стало намного лучше, когда вы хотите, чтобы система предоставляла только факты, но в этом отношении еще предстоит пройти долгий путь.

это не имеет значения. я думаю, что это хорошо, если эти системы обучаются на собственных данных, сгенерированных ими, при условии, что у этих систем есть процесс изучения того, какие данные хороши, а какие плохи. опять же, «галлюцинация» — недостаточное описание этого процесса, поскольку, если бы он породил новые научные идеи, эти идеи изначально можно было бы считать «галлюцинациями». это ценно.

но вы знаете, что хорошо, а что плохо. и должен быть достаточный человеческий надзор, чтобы гарантировать, что мы все по-прежнему имеем коллективный контроль над тем, куда идут эти вещи. но в рамках этих ограничений, я думаю, очень хорошо, что система будет обучаться с использованием сгенерированных данных, и будущие системы будут делать то же самое.

и тут вы мне напомнили еще одну вещь, о которой я думал, я не совсем знаю, как это рассчитать, но мне интересно, сможет ли, скажем, система типа gpt-5 или 6 в какой-то момент генерировать больше слов, чем человек вся история вместе взятая. это кажется важной вехой.

на самом деле, возможно, не имеет значения, что я говорю это сейчас.

тревор：

каким образом оно было создано?

сэм:

например, модель генерирует за год больше слов, чем все человечество. в мире восемь миллиардов человек, или какое бы это число ни было. вы можете подсчитать среднее количество слов, произносимых за год.

но вопрос в том, что это нам дает? вот почему я был удивлен после того, как сказал это. по какой-то причине мне это кажется важной вехой, но я не могу придумать конкретную причину.

тревор：

возможно, люди похожи на обезьян, которые все время печатают. итак, я думаю, что это стоит изучить.

сэм:

но я не использую слово «мышление», потому что считаю, что вы правы и вам не следует использовать это слово. возможно, мы сможем сравнить количество слов, сгенерированных ии, с количеством слов, сгенерированных всеми людьми.

тревор：

я собираюсь закончить. поэтому я хочу задать несколько вопросов, и если я их не задам, люди меня убьют.

один из главных вопросов, и это мой личный вопрос, заключается в том, что мы всегда говорим об обучении ии на данных, которые вводятся в наборы данных. вот о чем мы говорим. вот почему вам нужны суперкомпьютеры стоимостью в миллиарды долларов, чтобы компьютеры могли учиться.

как научить ии думать лучше, чем те, кто передает ему явно ошибочные данные? например, как ии учится за пределами тех ограниченных данных, которые нам дают? когда дело доходит до расы, экономического статуса и восприятия, поскольку мы ограничены, как нам научить их не ограничиваться ограниченными данными, которые нам дают?

сэм:

мы еще не знаем, но впереди нас ждет одно из крупнейших направлений исследований: как превзойти человеческие данные. я надеюсь, что если мы проведем эти вопросы и ответы снова через год, я смогу дать вам ответ, но я пока не знаю. мы не знали, что это действительно имеет значение.

однако я верю, что это станет важной силой в борьбе с несправедливостью во всем мире. я не думаю, что эти системы будут иметь те глубокие недостатки, которые свойственны всем людям. их можно будет сделать гораздо менее расистскими, сексистскими и предвзятыми. они станут силой экономической справедливости в мире.

я думаю, что если вы предоставите хорошего наставника по ии или хорошего медицинского консультанта по ии, это поможет беднейшей половине мира больше, чем только самой богатой половине, даже несмотря на то, что это помогает поднять настроение всем людям.

итак, у меня нет четкого ответа на научный вопрос, который вы поднимаете, но на данный момент я верю, что эти системы, безусловно, могут, и нам действительно нужно проделать тяжелую социальную работу, чтобы воплотить их в жизнь, но они есть. потенциал быть чрезвычайно земля способствует справедливости в мире.

тревор：

может быть, это идеально ведет ко второму вопросу: что вы делаете? что делает openai? рассматриваете ли вы какие-либо меры по сокращению разрыва между богатыми и бедными, который вновь создает эта новая технология?

появление каждой новой технологии удивительно для общества в целом, но нельзя отрицать, что она создаст момент, когда, если она у вас есть, у вас будет все. а если нет, то ты выбываешь.

сэм:

я думаю, со временем мы узнаем больше, но сейчас я думаю, что одна из действительно важных вещей, которые мы делаем, — это предоставление действительно бесплатных услуг. это означает отсутствие рекламной поддержки, только бесплатный сервис, которым каждую неделю пользуются более 100 миллионов человек. и, сложно кого-то сказать, потому что в некоторых странах нас до сих пор блокируют или нас до сих пор блокируют, но мы стараемся сделать действительно качественный, простой в использовании сервис, доступный каждому, везде, где только можно. бесплатный искусственный интеллект, который важен каждому из нас.

я думаю, что есть и другие вещи, которые мы хотим сделать с этой технологией. например, если мы сможем использовать искусственный интеллект для лечения болезней и сделать эти методы лечения доступными для всего мира, это, очевидно, полезно, но передать этот инструмент в руки как можно большему количеству людей и позволить им использовать его для построения будущего — это очень важно. и я думаю, что мы можем продвинуться еще дальше.

тревор: еще два вопроса.

сэм: могу я добавить еще один?

тревор: время в вашем распоряжении.

сэм:

еще одна вещь, которую я считаю важной, это то, кто имеет право решать, что эти системы говорят, не говорят, делают и не делают, кто устанавливает эти ограничения. сейчас решения принимают в основном сотрудники openai, и никто не скажет, что это справедливое представление мира. итак, не только выяснить, как демократизировать эту технологию, но и выяснить, как демократизировать управление этой технологией, это большая задача для нас в следующем году.

тревор：

это напрямую связано с тем, о чем я собирался вас спросить, а именно с аспектом безопасности всего этого. об этом мы говорили в начале нашего разговора. создавая что-то, что меняет мир, вы должны признать тот факт, что это может изменить мир самым худшим образом или в худшем направлении. с каждым скачком в технологии растет и способность причинять больший ущерб.

можно ли сделать ии полностью безопасным? а вторая часть: каков ваш кошмарный сценарий? что заставило бы вас нажать красную кнопку, чтобы закрыть openai и весь ии? когда ты уйдешь, ты знаешь это, если это так, если это может случиться, мы должны все это закрыть. чего ты боишься?

первый вопрос: сможете ли вы сохранить его в безопасности? вторая часть: какая сцена для вас самая страшная?

сэм:

я думаю, что, прежде всего, упомянутое вами понимание того, что число людей, способных причинить катастрофический вред, уменьшается примерно с каждым десятилетием, является глубоким фактом, с которым нам, как обществу, придется столкнуться.

во-вторых, я не думаю, что вопрос о том, как сделать систему безопасной, является вопросом «или/или». точно так же, как мы говорим, что самолеты безопасны, самолеты все равно время от времени терпят крушение, хотя это происходит крайне редко. мы говорим, что лекарства безопасны, но иногда fda все же сертифицирует лекарства, которые могут вызвать смерть у некоторых людей. таким образом, безопасность не решается в одностороннем порядке, а скорее общество решает, насколько безопасно что-либо приемлемо, после взвешивания рисков и выгод. я думаю, что мы можем это сделать, но это не значит, что что-то не может пойти не так.

я думаю, что с искусственным интеллектом возникнут большие проблемы, от которых нам следует остерегаться. я думаю, что в обществе на самом деле существует довольно хороший, хотя и запутанный, процесс коллективного принятия решения о том, какие пороги безопасности следует установить. это сложные переговоры, в которых участвуют многие заинтересованные стороны, и мы, как общество, со временем становимся лучше в этом вопросе. но мы должны остерегаться тех катастрофических рисков, о которых вы упомянули.

ядерная энергетика является примером. ядерная война оказала очень большое влияние на мир. мир относится к этому по-разному и за последние почти 80 лет проделал потрясающую работу. думаю, аналогичная ситуация произойдет и с искусственным интеллектом. одним из часто обсуждаемых примеров является использование искусственного интеллекта для проектирования и создания синтетических патогенов, которые могут вызвать огромные проблемы. еще одна часто обсуждаемая тема — проблема компьютерной безопасности и искусственного интеллекта, способного к взлому, превосходящему любые человеческие возможности.

кроме того, возникает новая ситуация, когда, если модель достаточно мощная, она может помочь в разработке методов передачи весов с сервера, создания множества копий и изменения ее поведения, что больше похоже на сценарий из научной фантастики. но я думаю, что нам как миру нужно посмотреть на это во всеоружии. возможно, это не тот конкретный случай, но идея состоит в том, что существует катастрофический и даже потенциально экзистенциальный риск, и то, что мы не можем его точно определить, не означает, что мы можем его игнорировать.

поэтому мы проделываем здесь большую работу, пытаясь предсказать и измерить, какими могут быть эти проблемы, когда они могут возникнуть и как мы можем обнаружить их на ранней стадии. я думаю, что все люди, которые говорят, что не следует говорить об этой проблеме, а только о дезинформации, предвзятости и актуальных проблемах, ошибаются. мы должны говорить об обоих и оставаться в безопасности на каждом этапе пути.

тревор：

ладно, это было так же страшно, как я себе представлял. кстати, вы действительно рассматриваете возможность баллотироваться на пост губернатора? это правда?

сэм:

нет, нет. я очень кратко думал об этом в 2017 или 2016 году, или даже в похожих на те годах. я тоже так думаю.

это похоже на смутную идею, которая у меня была в течение нескольких недель, просто для развлечения.

тревор：

хорошо

думаю, мой последний вопрос: что дальше? какая у тебя мечта? если бы сэм альтман мог взмахнуть волшебной палочкой и сделать искусственный интеллект таким, каким вы хотите, как вы думаете, что бы это принесло в будущее? каковы преимущества? каковы преимущества для всех? и на каждом уровне это действительно приятная и позитивная вещь.

сэм:

спасибо, что задали этот вопрос. я думаю, что всегда нужно заканчивать на позитивной ноте.

да. я думаю, что мы вступаем в самый плодородный период в истории человечества. я думаю, что двумя основными движущими силами являются искусственный интеллект и энергетика, но будут и другие факторы. эти две вещи — способность выдвигать любые идеи, способность реализовывать эти идеи и делать это в масштабе — пределы того, что люди могут иметь, будут примерно такими же, как то, что они могут себе представить, и то, о чем мы, как общество, договариваемся. что-нибудь. я думаю, это будет здорово.

мы только что говорили о том, что бы это значило, если бы каждый студент мог иметь лучший образовательный опыт, чем самые богатые и обеспеченные сегодня студенты? что бы это значило, если бы у всех нас было лучшее здравоохранение, чем лучшее здравоохранение, доступное сегодня самым богатым людям? что это значит, если люди, как правило, могут заниматься той работой, которую они считают наиболее удовлетворяющей их лично, даже если это означает, что им придется перейти на новые категории должностей? что бы это значило, если бы у каждого была любимая работа и те же ресурсы, что и у большой компании или команды?

итак, может быть, вместо 800 человек в openai каждый получит 800 более умных систем искусственного интеллекта, которые могут делать все эти вещи, и люди просто создают и производят все эти вещи, я думаю, это действительно замечательно. я думаю, что это тот мир, к которому мы движемся. чтобы это произошло, потребуется много работы, помимо технологий, например, обществу придется внести некоторые изменения. но тот факт, что мы вступаем в эпоху изобилия, меня очень радует.

тревор：

это все, что я здесь скажу. я большой, большой поклонник потенциальных преимуществ openai. я работаю в сфере образования в южной африке. моей мечтой всегда было дать каждому ребенку доступ к лучшим репетиторам. вы меня понимаете? буквально ни один ребенок не остается позади, поскольку они могут учиться в своем собственном темпе.

сэм:

кстати, что происходит с детьми, которые используют chatgpt для обучения? эти истории похожи на те, которые я получаю по почте каждый день. это потрясающе.

тревор：

действительно. это действительно потрясающе. особенно когда обучение становится более мультимодальным, например, с добавлением видео, оно становится потрясающим.

мечтаю, как вы говорите, о медицинской помощи. я мечтаю обо всем этом. один экзистенциальный вопрос, о котором, я думаю, мы недостаточно говорим: как нам переопределить человеческие цели, когда ии эффективно заменит все эти вещи? потому что, нравится вам это или нет, на протяжении всей истории вы обнаружите, что наши цели часто определяли наш прогресс.

когда-то нашей целью была только религия. к лучшему или к худшему, если задуматься, религия действительно хороша в том, чтобы заставить людей думать и действовать в определенном направлении, помимо самих себя. они говорят: «это моя цель». я просыпаюсь, чтобы служить богу, о каком бы боге вы ни думали. я просыпаюсь, чтобы служить богу. я просыпаюсь, чтобы угодить богу. я думаю, что это заставляет людей чувствовать, что они движутся к цели, но также дает им чувство общности и принадлежности.

по мере того, как мы приближаемся к миру, где ии устраняет это, я надеюсь, мы не забудем, как много людей полностью привязаны к тому, что они делают, а не к тому, кем они являются. как только мы заменим эти роли, когда у вас не будет клерков, секретарей, операторов коммутаторов, помощников, фабричных рабочих, это то, что мы слишком часто видели в истории. подобно радикализму, возникшему из ниоткуда, возникла массовая оппозиция. вы когда-нибудь думали об этом? есть ли способ перехватить его до того, как это произойдет?

сэм:

как бы вы описали, каковы наши цели сейчас?

тревор：

я думаю, что сейчас наша цель — выжить, и это выживание связано с некоторой формой получения дохода, потому что нам говорят, что выживание работает так: чтобы выжить, нужно зарабатывать деньги. но мы видели, что в некоторые периоды эта ситуация меняется. есть отличный пример во франции: у них был (и я думаю, что у них до сих пор есть такая версия) фонд художников, где они говорили: мы будем платить вам как художнику, а вы просто творите, чтобы франция выглядела красивее. это так красиво.

я знаю, что ты фанат ubi. да, нам не следует уходить, пока ты не поговоришь об этом.

сэм:

я не думаю, что выживание людей должно быть привязано к их желанию или способности работать. я считаю, что это пустая трата человеческого потенциала. да, я полностью с вами согласен.

тревор：

подожди, позволь мне спросить тебя об этом, прежде чем ты уйдешь. не поэтому ли вы считаете, что универсальный базовый доход так важен? поскольку вы не стали бы тратить время и деньги на то, во что не верите, вы тратите много времени и денег на универсальный базовый доход. последнее, что я видел, это то, что вы участвовали в проекте стоимостью около сорока миллионов долларов. на самом деле это было 60 миллионов долларов.

сэм:

я думаю, что универсальный базовый доход, конечно, не является всеобъемлющим решением стоящих перед нами задач, но я действительно считаю, что искоренение бедности, несомненно, является хорошим делом. я думаю, что лучшее перераспределение ресурсов приведет к лучшему обществу для всех. но я думаю, что отправка денег не является ключевым моментом. предоставление инструментов и обеспечение управления, я думаю, важнее. люди хотят быть архитекторами будущего, и я думаю, что могу сказать, что существует непрерывная смысловая нить или что-то вроде миссии человечества.

с индивидуальной точки зрения речь, безусловно, идет о выживании и процветании, но в целом у нас есть коллективная необходимость сделать будущее лучше. мы часто отклоняемся от темы, но человеческая история такова: сделать будущее лучше. это технологии, это управление, вот как мы относимся друг к другу. это похоже на исследование звезд: это способ понять вселенную, какой бы она ни была. я испытываю огромную уверенность, и эта уверенность глубоко внутри нас. независимо от того, какие инструменты мы получим, это основополагающее желание, эта миссия человечества – процветать как вид и как личность, никогда не исчезнет.

поэтому я полон оптимизма относительно мира, который произойдет через два поколения. но вы упомянули очень важный момент: люди, которые уже сделали свою карьеру и на самом деле вполне удовлетворены ею, не хотят меняться. грядут перемены. одна из вещей, которые мы видели во время предыдущих технологических революций, заключалась в том, что в течение примерно двух поколений общество и люди смогут адаптироваться к любой степени изменений в работе. но не через десять и уж точно не через пять лет.

мы столкнемся с этим, и я думаю, что в некоторой степени, как мы уже говорили ранее, я думаю, что это будет медленнее, чем думают люди, но все же быстрее, чем обществу приходилось сталкиваться в прошлом. меня определенно немного пугает то, что это значит и как мы к этому адаптируемся. нам придется с этим разобраться, и я думаю, мы найдем решение. я уверен, что мы во всем разберемся.

я также верю, что если мы дадим нашим детям и внукам инструменты лучше, чем у нас, они будут делать вещи, которые нас удивят. я надеюсь, что им действительно грустно из-за того, насколько плоха жизнь для всех нас. я надеюсь, что будущее будет невероятным. это человеческий дух и желание исследовать и выражать себя, создавать все лучший и лучший мир и даже за его пределами. я думаю, что это здорово, и я очень рад этому.

в каком-то смысле нам не следует относиться к этой мелочи слишком серьёзно. в «звездных войнах» есть злодей, который говорит: «не впечатляйтесь этим технологическим ужасом, который вы создали, я думаю, это был дарт вейдер». это означает, что этот технологический террор не может сравниться с мощью силы.

в каком-то важном смысле я чувствую то же самое в отношении искусственного интеллекта. нам не следует этому слишком удивляться. например, человеческий дух проведет нас в трудные времена, и он намного значительнее, чем любая технологическая революция.

тревор：

это прекрасное послание надежды.

надеюсь, вы правы, потому что мне нравится эта технология.

как сэм альтман, один из генеральных директоров года и человека года по версии time, я хочу сказать вам одну вещь: я думаю, что вы и дальше будете такими, особенно в этой роли. из-за огромного влияния, которое openai и сам искусственный интеллект собираются оказать на нас, я умоляю вас продолжать помнить, что вы чувствовали, когда вас уволили, потому что вы создаете технологию, которая поставит многих людей в аналогичное положение. я вижу в вас эту человечность и надеюсь, что вы всегда учитываете это при творчестве.

сэм:

знаешь, что я делал в субботу утром, очень рано, когда не мог заснуть? я записал то, чему я мог бы научиться из этого, чтобы я мог действовать лучше, когда другие попадают в подобные ситуации и обвиняют меня, как сейчас я виню совет директоров.

тревор: ты понял это?

сэм:

есть много полезных отдельных уроков. но сочувствие, которое я получил в результате всего этого опыта и перестройки моих ценностей, хотя и было болезненно дорогостоящим, определенно было скрытым благословением. я рад, что у меня был такой опыт в этом смысле.

тревор：

что ж, сэм, спасибо, что уделил время. спасибо большое, все очень понравилось. я надеюсь, что через год мы сможем поговорить обо всех новых событиях.

сэм:

тебе обязательно стоит это сделать, это будет весело.

тревор：

я сделаю, братан. чудесный. спасибо.