новости

сергей брин: google не решился использовать трансформер, и все авторы сбежали. теперь я пишу код каждый день.

2024-09-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

отчет о сердце машины

монтажер: цзяци

google, крупнейший в мире поисковый бизнес, всегда был уникальным в силиконовой долине. огромные доходы от рекламы, приносимые поиском, позволяют двум основателям сергею брину и ларри пейджу сделать шаг назад и спокойно наслаждаться жизнью.

15 сентября 1997 года сергей брин и ларри пейдж зарегистрировали сайт под названием «google».

лишь в конце 2022 года chatgpt стал популярен во всем мире, и google, первоначальный лидер волны искусственного интеллекта, похоже, осознал, что его статус изменился. за последний год мы, похоже, уже привыкли к тому, что этот технологический гигант выступает в роли «догоняющего».

с прошлого года в сми появилась информация, что сергей брин вернулся на передовую и сам пишет код. бывший генеральный директор эрик шмидт даже прямо раскритиковал неорганизованную систему «работы только один день в неделю» на лекции в стэнфордском университете: «если мы проиграем openai, мы проиграем стартапам, если продолжим».

шмидт выступает в стэнфорде

в то же время, по мере того как google становится все больше и больше, некоторые симптомы «болезней крупных компаний» становятся все более очевидными. многие «эссе» об увольнении google показывают, что корень проблем google не в «технологиях», а в «культуре». например, у сотрудников отсутствует чувство миссии, и компания создала громоздкие системы и процессы, чтобы избежать рисков.

основатель appsheet правин сешадри объявил о своем уходе из google. в его блоге говорится, что компания сбилась с пути, а сотрудники оказались в ловушке системы.

что не так с гуглом? «что действительно снижает производительность сотрудников google каждый день, так это нехватка кадров, изменение приоритетов, частые увольнения, стагнация заработной платы и отсутствие контроля руководства над проектами», — заявил профсоюз работников alphabet.

хотя google догоняет «контратаку chatgpt», она несколько отличается от стиля ожидания выпуска gpt-5 в области комментариев openai. когда gemini будет представлен, он всегда будет непреднамеренно «опрокидываться». мошенничество с демо-версией произошло, когда она была впервые выпущена. с тех пор gemini подверглась большой критике за создание портретов с расовой предвзятостью, в которых предлагалось каждому съедать по камню в день и использовать клей, чтобы приклеивать сыр к пицце.

в прошлом месяце google выпустила расширенную версию gemini, а также запустила gemini live, голосовой помощник на основе gpt-4o. однако во время демонстрации gemini live все равно пошла не так.

на мероприятии made by google, состоявшемся в августе, первые два испытания функций фотосъемки и распознавания изображений gemini live потерпели неудачу, и только в третий раз, когда я сменил свой телефон, это удалось.

почему мы должны возвращаться на передний план технологий, если у нас уже есть финансовая свобода? как google относится к gemini, которая часто «переворачивалась»? что не так с google на фоне конкуренции со стороны технологических гигантов? какую роль он будет играть в этом соревновании? на прошедшем вчера all-in summit сергей брин, давно не появлявшийся перед сми, рассказал о своих взглядах в интервью.

основные положения брина таковы:

он решил вернуться на передний план технологий, потому что прогресс в области искусственного интеллекта был настолько захватывающим, и как ученый-компьютерщик он не хотел пропустить эту волну.

технология искусственного интеллекта — это не просто расширение поиска, она затронет более широкий спектр изменений.

по сравнению с «экспертными моделями», специализирующимися в определенной области, брин более оптимистично настроен в отношении общих моделей. google успешно завоевала модель серебряной медали imo. это связано с тем, что google начал интегрировать определенные знания и способности в модели формального доказательства. универсальная языковая модель.

в настоящее время существует устойчивый спрос на вычислительную мощность, но трудно увидеть всплеск спроса «со 100 мегаватт до 1 гигаватта, 10 гигаватт или даже 100 гигаватт».

в области применения искусственного интеллекта брин считает, что биология относительно хорошо реализовала применение технологии искусственного интеллекта, в то время как область робототехники все еще находится на этапе, когда люди находят ее волшебной после просмотра демонстраций, и еще не достигла уровня, который может быть достигнут. используется в повседневной жизни.

хотя ии иногда допускает большие ошибки, его следует выпускать своевременно. ии — это не технология, которую вы держите в секрете и прячете, пока она не станет идеальной. что еще страшнее, чем «глупость» ии, так это то, что google в то время был слишком робок, чтобы внедрить transformer, и все авторы статьи подали в отставку.

конкуренция между технологическими гигантами в области искусственного интеллекта на самом деле — это хорошо, но брин по-прежнему будет уделять пристальное внимание рейтингам крупных моделей.

ниже приводится полный текст интервью:

брин: сначала я думал, что пришел сюда только для того, чтобы принять участие в подкасте, но не ожидал, что будет так много зрителей. поздравляю с успешной карьерой. это заставило меня немного застесняться.

модератор: спасибо, что нашли время пообщаться со мной. сегодня ии находится на переломном этапе изменения мира. в 1998 году вы и ларри пейдж основали google. я слышал, что вы недавно занимались исследованием искусственного интеллекта в google. большие языковые модели и диалоговые инструменты искусственного интеллекта представляют угрозу для поиска google, что является темой дискуссий среди многих отраслевых аналитиков и экспертов. так сколько же времени вы сидите в google каждый день? что ты делаешь?

брин: честно говоря, я почти каждый день хожу на работу, но сегодня я пропустила один день, потому что мне нужно было появиться на вашем шоу. как ученый-компьютерщик, я никогда не видел таких впечатляющих достижений в области искусственного интеллекта, как в последние годы. прогресс ии действительно шокирует!

еще в 1990-е годы, когда я был аспирантом, ии был почти незначителен в учебной программе и был не более чем сноской в ​​учебниках. в учебнике говорится, что предыдущие люди проводили различные эксперименты, но ии действительно не работает, и работа над ии — это «тупик». это все, что вам нужно знать об ии.

и затем каким-то чудесным образом эти люди, работающие над нейронными сетями, начали добиваться прогресса в методах ии, от которых отказались в 1960-х и 1970-х годах: больше вычислений, больше данных, более умные алгоритмы... за последние десять лет произошло следующее: просто потрясающе. сегодняшние инструменты искусственного интеллекта могут демонстрировать новые возможности почти каждый месяц, и эти возможности могут быстро удвоиться. возможности компьютеров поистине поразительны. поэтому я решил вернуться на передовую линию технологий, потому что не хотел упустить все, что мог получить как ученый-компьютерщик.

модератор: считаете ли вы, что ии — это расширение поиска или он изменит способы получения информации людьми?

брин: я думаю, что ии затрагивает все аспекты повседневной жизни, и поиск — один из них. влияние ии проявляется практически везде, включая программирование. теперь у меня другой взгляд на программирование ии. писать код с нуля действительно сложно, особенно по сравнению с программированием ии, не так ли?

ведущий: что вы запрограммировали с помощью ии?

брин: на самом деле я сам пишу немного кода, просто для развлечения. иногда я позволяю ии писать за меня код, и это очень интересно. например, я хочу знать, насколько хорошо модель искусственного интеллекта google играет в судоку. итак, я попросил модель ии сама написать много кода, который сможет автоматически генерировать головоломки судоку, а затем передать эти вопросы ии для подсчета очков. ии более чем способен написать эти коды.

но когда я разговаривал об этом с инженерами, было много разговоров, и я вернулся через полчаса, и ии был готов. они были впечатлены, и было ясно, что они не используют инструменты искусственного интеллекта для помощи в кодировании в такой степени, как я думал.

судоку

ведущий: это так смешно. некоторые модели хорошо решают головоломки судоку, некоторые могут ответить на фактическую информацию о моем мире, а некоторые специализируются на проектировании домов. в то же время многие исследователи работают над разработкой общих крупномасштабных языковых моделей. как вы думаете, по какому пути пойдет будущее?

я не знаю, откуда взялось это утверждение, что будет «модель бога». вот почему инвесторы вкладывают деньги в ии. как только «модель бога» будет разработана, вы сможете «достичь мира за один шаг». когда у вас есть ии, вы сможете управлять всем. или есть множество небольших моделей, основанных на конкретном приложении, взаимодействующих в агенте. как, по вашему мнению, разработка и применение моделей будут развиваться в будущем?

брин: если вы оглянетесь назад, 10–15 лет назад, разные технологии искусственного интеллекта использовались для решения совершенно разных задач. например, шахматный ии и технология генерации изображений очень разные, и каждая из них очень различна.

модератор: точно так же, как google недавно выпустил модель gnn, которая работает лучше, чем все физические модели прогнозирования. я не уверен, знаете ли вы это, но это было отправлено google.

брин: это потрясающе, но я не знаю (неловко).

модератор: эта модель совершенно другой архитектуры.

брин: с исторической точки зрения ии действительно существует во многих различных системах. возьмем, к примеру, недавнюю международную математическую олимпиаду (imo). модель google завоевала серебряную медаль, отстав от золотой медали всего в одном балле (подробности см. в предыдущих отчетах machine heart: google ai выиграл серебряную медаль математической олимпиады imo). и с появлением модели математического рассуждения alphaproof, обучение с подкреплением вернулось).

фактически мы использовали три модели ии: одну, отвечающую за доказательство теорем, другую, ориентированную на геометрические задачи, и третью, представляющую собой общую языковую модель. однако всего несколько месяцев назад мы начали пытаться извлечь уроки из нашей предыдущей работы и начать включать некоторые знания и возможности модели формального доказательства в общую языковую модель.

эта работа еще продолжается, но я думаю, что тенденция будет заключаться в построении более унифицированной модели. я не уверен, что это так называемая «модель бога», но мы определенно движемся к какой-то общей архитектуре или даже к общей модели.

модератор: если это будущее направление, то для обучения и улучшения этой очень большой модели неизбежно будут использоваться огромные вычислительные ресурсы.

брин: вычислительная мощность необходима. я читал статьи, предсказывающие резкий рост спроса на вычислительную мощность со 100 мегаватт до 1 гигаватта, 10 гигаватт или даже 100 гигаватт. у меня есть сомнения по этому поводу. в последние годы инновации и оптимизация алгоритмов привели к более значительному повышению производительности, чем увеличение вычислительной мощности оборудования.

модератор: итак, являются ли нынешние крупные инвестиции в вычислительные мощности неразумными? все говорят о доходах, прибылях и рыночной капитализации nvidia. он поддерживает рост гипермасштабных вычислений и инфраструктуры, позволяющей создавать эти массивные модели. действительно ли эта тенденция имеет смысл? может быть, в этом есть смысл, иначе зачем nvidia так много зарабатывать?

брин: позвольте мне начать с того, что я не экономист и не рыночный аналитик, и мои взгляды основаны исключительно на точке зрения ученого-компьютерщика. что касается нас, поскольку мы сталкиваемся с огромным спросом, мы строим вычислительные кластеры как можно быстрее. например, клиентам google cloud просто нужно много ppu, графических процессоров и всего остального. нам пришлось отказывать клиентам, потому что у нас самих не было достаточного количества карточек, и мы полагались на эти внутренние ресурсы для обучения и развертывания собственных моделей. поэтому я считаю целесообразным для крупных компаний активно расширять свои вычислительные мощности. я просто думаю, что сложно прямо из текущей ситуации сделать вывод о том, что будущая потребность в вычислительной мощности увеличится со «100 мегаватт до 1 гигаватта, 10 гигаватт или даже 100 гигаватт».

ведущий: но потребности бизнеса есть.

брин: я понимаю, что у клиентов широкий спектр потребностей. они хотят выполнять задачи по выводу различных моделей ии и применять эти модели к бесконечному потоку новых сценариев. их потребности в настоящее время безграничны.

модератор: в области применения ии, будь то робототехника или биология, в каких аспектах, по вашему мнению, достигнуты наиболее значительные достижения? был ли случай использования, который заставил вас подумать: «ух ты, это так полезно»? какие области являются более сложными и реализация приложений может занять больше времени, чем ожидалось?

брин: мой ответ: биология. alphafold существует уже некоторое время. оно существует уже давно, и когда я разговариваю с биологами, почти все его используют. последняя версия alphafold, alphafold 3, представляет собой новый тип технологии искусственного интеллекта. как я уже упоминал ранее, я считаю, что будущая тенденция — это унификация моделей.

что касается роботов, я нахожусь в стадии «вау», например: «ух ты, робот действительно может выполнять работу по дому!» но вы должны знать, что за этим может стоять просто отточенная общая языковая модель. хотя это волшебно, большинство из них. в большинстве случаев они еще не готовы к ежедневному использованию.

ведущий: видите ли вы будущее роботов?

брин: возможно... но я не увидел конкретики...

ведущий: а разве у google тоже нет робототехнического бизнеса? хотя позже его снесли и продали.

брин: google занимался робототехническим бизнесом.

ведущий: возможно, сейчас просто неподходящее время.

брин: честно говоря, возможно, это произошло потому, что мы слишком забегали вперед. у boston dynamics так много звездных продуктов, но я даже не могу вспомнить, что сделал google. в любом случае, у нас было пять или шесть продуктов, которые вызывали смущение, но они были крутыми и оставили неизгладимое впечатление. просто видя, насколько эффективна нынешняя универсальная языковая модель и как мультимодальные технологии позволяют роботам понимать сцены, тогда все еще было немного глупо думать об этом. без этих технологий искусственного интеллекта в то время мы словно стояли на беговой дорожке и не могли двигаться вперед.

у плана google по разработке роботов когда-то были хорошие карты: «отец android» энди рубин, известный производитель роботов boston dynamics и знаменитый человекоподобный робот atlas... однако всего за пять лет, в течение года, было планировалось расформировать и реорганизовать, затем расформировать и снова реорганизовать. руководители высшего звена ушли в отставку одно за другим, планы продаж были приостановлены, а несколько крупных компаний распродались...

модератор: вы уделяете много времени исследованиям и разработкам основных технологий. вы тоже приложили значительные усилия к созданию продукта? в будущем мире, где искусственный интеллект будет повсюду, как будет развиваться взаимодействие человека и компьютера и как изменится наша повседневная жизнь?

брин: кажется, это тема для беседы с коллегами в чайной.

ведущий: не могли бы вы поделиться этим с нами?

брин: не обращайте внимания, я изо всех сил пытаюсь придумать что-нибудь, что не будет смущать.

ведущий: можно рассказать историю «у тебя есть друг».

брин: что произойдет в будущем, действительно трудно сказать. технология искусственного интеллекта является основой для реализации приложений. например, кто-то выпустил взрывную демо-версию, которая была особенно потрясающей, но требуется время, чтобы пройти путь от демонстрации до реального внедрения в производство. я не знаю, пробовали ли вы модель astra, с помощью которой вы можете воспроизводить видео в реальном времени и узнавать, что происходит в вашем окружении.

ведущий: вы можете использовать его, верно?

брин: я обязательно получу доступ. иногда я могу оказаться одним из последних, кто получит доступ. сейчас мы достигли стадии, когда, познакомившись с ии, люди могут сказать: «о боже, это потрясающе», а потом подумать: «ну, в 90 процентах случаев это «все работает правильно». вы можете задаться вопросом: «если в 10% случаев возникают ошибки или медленные ответы, действительно ли эта технология достаточно хороша?» итак, мы должны усердно работать над улучшением этих деталей, чтобы гарантировать, что она быстрая, надежная и многое другое. когда это действительно происходит, это действительно удивительное достижение.

ведущий: я слышал историю и должен вам кое-что рассказать, прежде чем выйду на сцену. перед запуском группа инженеров показала вам, как можно использовать ии для написания кода, и сказали: «мы еще не внедрили его в gemini, потому что хотим убедиться, что он не сломается». неуверенность в корпоративной культуре google. тогда вы сказали: «нет, раз он умеет писать код, его надо запустить». многие рассказывали мне эту историю. потому что они считают: «чрезвычайно важно слышать подобные высказывания от вас, основателя, потому что это показывает, что консерватизм не полностью овладел google, и мы с нетерпением ждем, когда google продолжит лидировать в инновациях». верно ли это описание? ты правда это сказал?

брин: конкретных подробностей не помню. честно говоря, это действительно похоже на то, что я бы сделал.

модератор: для меня это становится проблемой, потому что google настолько велик, что если он допустит ошибку, это будет стоить дорого.

брин: тогда мне еще есть чего бояться. отправную точку нынешней языковой модели можно найти в статье «трансформер», вышедшей 6 или 8 лет назад. но все авторы этих статей ушли из google. поздравляем их! в то время мы были слишком робки, чтобы развернуть трансформер.

брин: и каким бы мощным ни был ии, он все равно иногда будет совершать ошибки и говорить неприятные вещи. но в то же время ии уже может помочь нам в том, чего мы никогда раньше не делали. например, я программирую со своими детьми и работаю над некоторыми чрезвычайно сложными задачами.

просто посоветовавшись с ии, они могут напрямую начать программировать и изучить различные сложные api и инструменты, на изучение которых обычно уходит месяц. эта способность почти магическая. мы должны быть готовы совершить некоторые ошибки и пойти на риск. я считаю, что наша реакция в этой области улучшилась. конечно, вы могли видеть немало «глупых» моментов с ии, но…

модератор: это приемлемо. ведь у вас уже есть богатство и свобода, сидящие на огромном количестве акций. я имею в виду, что вы готовы принять смущение, потому что это так важно на данном этапе.

брин: я делаю это не из-за своих акций, ясно? но подумайте, могу ли я действительно принять эти ошибки? это то волшебство, которое мы дарим миру? я думаю, нам нужно сказать: «посмотрите, это потрясающая вещь». ии иногда будет совершать большие ошибки, но я думаю, что мы должны выпустить его своевременно и позволить людям экспериментировать и смотреть, какие новые приложения они смогут найти. ии — это не технология, которую вы держите в секрете и прячете, пока она не станет идеальной.

ведущий: считаете ли вы, что ии окажет такое глубокое влияние на мир и создаст такую ​​большую ценность, что это больше не будет простым соревнованием между google, meta и amazon? все рассматривают это как бизнес-войну, но возможно ли это? пирог, приготовленный ии, настолько велик, а области, которые вы изучаете, настолько широки, что он выходит далеко за рамки того, кто построил модель с наибольшим количеством баллов и чьи результаты llm являются лучшими. лучший. как вы оцениваете широкие перспективы, которые открывает ии, и какую роль в этом будет играть google?

брин: я думаю, что конкуренция в некотором смысле очень полезна, потому что все крупные технологические игроки конкурируют, и, кстати, в некоторых рейтингах несколько недель назад google был номером один, и в последний раз, когда я проверял, мы все еще побеждаем топ-модель. только......

модератор: есть несколько плохих показателей. значит, вас волнуют рейтинги моделей!

брин: я не говорил, что мне все равно. google действительно отставал, когда появился chatgpt, и теперь мы прошли долгий путь. я очень доволен всем прогрессом, которого добивается google сейчас. так что мы обязательно будем следить за рейтингами моделей. я думаю, что хорошо, что существует так много компаний, занимающихся искусственным интеллектом, будь то openai, anthropic или mistral. это означает, что сфера искусственного интеллекта быстро расширяется и полна жизненной силы.

отвечая на ваш вопрос, я думаю, что ии имеет огромную ценность для человечества. если вспомнить мои студенческие годы, то интернета, каким мы его знаем сегодня, не существовало, и получение базовой информации и общение с людьми требовали огромных усилий. до популярности мобильных телефонов мы добились огромных улучшений в возможностях по всему миру, и сегодняшняя технология искусственного интеллекта, несомненно, является еще одним крупным скачком в возможностях. сейчас почти каждый имеет доступ к ии в той или иной степени. я думаю, это очень интересно, это потрясающе.