новости

01.

автономное вождение очень похоже на agi.

сара го:что вы думаете о развитии автономного вождения сегодня? как скоро мы увидим широкое распространение автономного вождения?

андрей карпаты: я работаю в сфере автономного вождения уже 5 лет и нахожу эту сферу очень интересной. судя по нынешнему развитию этой области, автономное вождение и agi очень похожи. возможно, это еще и потому, что я знаком с областью автономного вождения, но я чувствую, что мы близки к agi в области автономного вождения. например, уже существуют продукты formed, которые пользователи могут использовать за определенную плату. waymo сейчас очень распространен в сан-франциско, и я сам часто сталкиваюсь с waymo, и он стал коммерческим продуктом.

мой первый опыт работы с waymo произошел почти 10 лет назад. в то время мой друг работал в waymo и прокатил меня по всему кварталу. с технической точки зрения, waymo 10 лет назад. это уже очень хорошо, но процесс от демонстрации до продукта, широкомасштабного внедрения в городах, занял 10 лет. конечно, waymo продолжает расширяться и сегодня.

элад гил:от демо-версии до успешного платного продукта прошло 10 лет. в какой степени это связано с регулированием? как вы думаете, когда технология автономного вождения будет готова?

андрей карпаты:я думаю, что 10 лет назад автономное вождение достигло довольно зрелого уровня, но 30-минутная демонстрация не может полностью продемонстрировать все проблемы, с которыми они столкнулись за последние 10 лет. между демо и реальным продуктом существует большой разрыв. конечно, будут. есть некоторые нормативные причины.

но я думаю, что мы в определенной степени достигли agi в области автономного вождения. в то же время существует большой разрыв между демонстрацией и глобальным продвижением.хотя waymo уже может работать в сан-франциско, она еще не оказала существенного влияния и результатов с точки зрения популяризации на мировом рынке. я думаю, что именно здесь agi и автономное вождение схожи.

возвращаясь к области автономного вождения,многие люди думают, что waymo технологически опережает tesla, но я лично считаю, что tesla на самом деле опережает waymo. эта точка зрения может не совпадать с нынешним мнением большинства, но я уверен в автономном вождении tesla.

tesla сталкивается с проблемами на уровне программного обеспечения, а проблемы waymo связаны с аппаратным обеспечением. для сравнения, проблемы с программным обеспечением решить проще. tesla широко развернула транспортные средства по всему миру, в то время как waymo еще не достигла такого масштаба. поэтому я верю, что как только систему теслы можно будет внедрить в больших масштабах и эффективно работать, результаты будут потрясающими. вчера я тестировал последнюю версию fsd, и впечатления от вождения были очень приятными. серия операций системы автономного вождения tesla дает мне ощущение, что tesla сегодня добилась неплохих результатов в автономном вождении.

в целом, я думаю, что самая большая проблема для автономного вождения tesla связана с программным обеспечением, в то время как проблемы waymo больше связаны с аппаратной точки зрения. с сегодняшней точки зрения waymo, кажется, находится в сильной позиции, но я считаю, что если вы посмотрите на нее в течение 10-летнего периода, tesla будет дальше впереди с точки зрения масштаба и модели дохода.

элад гил:как вы думаете, сколько времени потребуется, чтобы решить программную проблему? вы только что упомянули, что автомобили waymo оснащены множеством дорогих лидаров и датчиков. это оборудование обеспечивает поддержку программной системы. если, как и tesla, полагаться только на систему камер, это может не только значительно снизить затраты, но и снизить сложность системы. система и применима к большему количеству моделей. когда это изменение, вероятно, будет реализовано?

андрей карпаты: я лично надеюсь, что эта проблема будет решена в течение следующих нескольких лет. фактически, tesla также использовала множество дорогих датчиков на этапе обучения, а также создала множество технологий, которые невозможно продвигать в больших масштабах, таких как беспроводные технологии.исследование модели доверия линейных датчиков, картографирование и т. д.на этапе тестирования tesla оптимизировала эти данные в тестовый пакет, который опирался только на систему машинного зрения, и развернул ее на серийных автомобилях. многие люди могут не осознавать, что на самом деле это очень разумный «арбитраж» между датчиками и затратами. поскольку камера может захватывать достаточно информации, нейронная сеть также способна обрабатывать эту информацию. на этапе обучения эти датчики очень полезны, но на этапе тестирования их роль не так важна. поэтому я думаю, что просто полагаться на камеру достаточно.

элад гил: последняя тенденция в области автономного вождения заключается в постепенном переходе от эвристических алгоритмов, разработанных на основе крайних случаев, к сквозному глубокому обучению. каковы причины и логика этого?

андрей карпаты: на самом деле сквозное соединение — это то, что мы хотели сделать с самого начала. когда я впервые присоединился к tesla, мы обсуждали, что нейронные сети в конечном итоге заменят весь стек технологий. в то время в системе было много кода c++, но сегодня в тестовом пакете выполняется очень мало кода c++. нейронные сети постепенно заменили их. сначала нейронные сети использовались только для обработки распознавания изображений, а затем расширились для обработки нескольких кадров изображений и генерации результатов прогнозирования. со временем коды c++ были постепенно заменены. в конечном счете, системе нужно только давать инструкции по вождению, а нейронная сеть может выводить результаты.

итак, tesla занимается сквозным управлением искусственным интеллектом, но waymo, вероятно, не выбрала этот технический путь. хотя они пытались, результаты неудовлетворительные.

я лично считаю, что сквозной путь является правильным и неизбежным направлением для будущего развития.если посмотреть на это с этой точки зрения, то система tesla через десять лет, скорее всего, разовьется в сквозную нейронную сеть, которая напрямую выводит инструкции по вождению после ввода видеопотока. разумеется, этот процесс требует постепенного совершенствования каждого модуля системы. я не думаю, что все текущие промежуточные прогнозы вводят в заблуждение в процессе развития, наоборот, они являются важной частью системы; потому что при обучении полностью сквозной нейронной сети сигналы надзора для моделирования вождения человека очень ограничены и не могут поддерживать обучение такой большой сети. промежуточные прогнозы могут помочь в разработке функций и детекторов, что делает комплексную задачу более осуществимой. я предполагаю, что они проводят много предварительной подготовки, чтобы обеспечить возможность сквозной тонкой настройки в будущем.

в целом, я считаю, что процесс замены нейронными сетями всего стека технологий необходим, но этот процесс должен быть постепенным. нынешние попытки теслы дали первые результаты, вселяя в людей надежды на будущее.

02.

tesla также является робототехнической компанией.

сара го: прежде чем покинуть tesla, вы также участвовали в проекте tesla по созданию робота-гуманоида. какие технологии можно перенести от автономного вождения к роботам?

андрей карпаты: по сути, все технологии могут быть перенесены. но я думаю, что люди, возможно, еще этого не осознают.между роботами и автомобилями нет большой разницы. я думаю, что простое понимание tesla как автомобильной компании на самом деле является ее непониманием.

на самом деле tesla — крупная робототехническая компания, которая не только производит автомобили, но и производит автоматизированные машины. массовое производство — это совсем другая область, и я думаю, что tesla — это компания, которая специализируется на крупномасштабной робототехнике.

переход от автомобильных технологий к гуманоидной робототехнике на самом деле не требует особой дополнительной работы. фактически, ранний робот оптимус даже думал, что это автомобиль, потому что он использовал тот же компьютер и камеры, что и автомобиль. интересно, что мы использовали на роботе нейронную сеть, предназначенную для автомобилей, и когда робот ходил по офису, идентифицированное им «пространство для вождения» фактически становилось «проходимым пространством». хотя требуется некоторая тонкая настройка, это демонстрирует универсальность технологии.

сара го: с определенной точки зрения tesla действительно можно рассматривать как компанию, занимающуюся робототехникой, и многие основные технологии можно перенести с одной платформы на другую. ключевой частью, которой не хватает производственным роботам, является механизм выполнения и соответствующие данные о действиях.

андрей карпаты: да, хотя некоторые места еще не идеальны, я хочу подчеркнуть, что многие технологии можно напрямую мигрировать. например, проект optimus стартовал очень быстро. после того как илон маск анонсировал проект, были быстро созданы соответствующие команды и инструменты. такие ресурсы, как модели сапр, цепочки поставок и т. д., были быстро подготовлены. в то время я чувствовал, что у tesla на самом деле уже было довольно много внутренних ресурсов по производству роботов, и все они были взяты из автомобилей tesla. это ощущение чем-то похоже на то, что показано в «трансформерах». после того, как машина трансформируется в робота, все остается по-прежнему, но некоторые вещи нужно немного подкорректировать и перенастроить. помимо аппаратного обеспечения изменится весь образ мышления, команды аннотации, координация между различными разделами компонентов и т. д. но в целом некоторый опыт и ресурсы можно передать.

элад гил:как вы думаете, каким будет первый сценарий применения человекоподобных роботов?

андрей карпаты: многие люди думают, что роботы могут помочь нам в повседневных задачах, таких как стирка. но я думаю, что для реального внедрения этих технологий может потребоваться много времени. я не думаю, что прямая связь с потребителем является хорошей отправной точкой для роботов-гуманоидов, потому что мы до сих пор не можем полностью обеспечить безопасность роботов при взаимодействии с людьми, например пожилыми людьми, например, избежать несчастных случаев, таких как «сбивание с ног». старушка», такая ситуация повлечет за собой огромные юридические риски, поэтому я считаю, что это направление не подходит. даже во многих простых сценариях взаимодействия роботы могут напрямую сбить людей с ног.

но сегодняшняя технология недостаточно зрела и нуждается в дальнейшем совершенствовании. поэтому я думаю, что для разработчиков роботов лучшим заказчиком на первом этапе является сам робот. если разработчики роботов смогут это реализовать, первое, что нужно сделать, — это использовать эти технологии внутри компании для инкубации, а затем их можно будет применять на заводах. , например, погрузочно-разгрузочные работы и т. д., так что нет необходимости подписывать контракт с третьей стороной, избегая громоздкого процесса с участием юристов и контрактов.

после внутренней инкубации и успеха вы можете выйти на рынок b и сотрудничать с некоторыми компаниями, имеющими крупный складской бизнес, для выполнения таких задач, как погрузочно-разгрузочные работы. в рамках этого сотрудничества компании, занимающиеся робототехникой, могут создать систему рыночной безопасности, а после успешного внедрения несколькими компаниями они могут постепенно перейти к приложениям, ориентированным на потребителя. я верю, что в будущем мы увидим множество роботов, разработанных для потребителей. например, продукты, разработанные unitree, заслуживают внимания. я бы сам хотел купить unitree g1.

когда роботы будут популярны в различных сценариях, возникнет полноценная экосистема, то есть каждый будет разрабатывать различные типы роботов на основе роботизированной платформы. но с точки зрения масштаба я считаю, что путь постепенного продвижения является наиболее разумным.

он может начаться с выполнения некоторых работ, связанных с погрузочно-разгрузочными работами (погрузочно-разгрузочными работами), а затем постепенно расширяться до более нишевых и востребованных областей. лично меня особенно интересует «воздуходувка для листьев». например, однажды мы увидим, как роботы optimus ходят по улицам и аккуратно подбирают каждый опавший лист, и нам больше не придется использовать воздуходувки. я думаю, что это отличный проект, и я надеюсь, что он станет первым сценарием применения.

сара го: что касается формы робота, некоторые люди думают, что роботы-гуманоиды будут лучшим выбором, поскольку многие конструкции в физическом мире сегодня основаны на привычках человеческого поведения, поэтому унифицированная модель разработки аппаратной формы, основанная на роботах-гуманоидах, может выполнять все больше и больше задач. другая точка зрения заключается в том, что гуманоидные роботы не обязательно являются единственным ответом на универсальных роботов. что вы думаете по этому поводу?

андрей карпаты: я думаю, что многие люди на самом деле недооценивают сложность фиксированных затрат на различные платформы роботов. каждая платформа робота требует высоких фиксированных затрат, поэтому путь универсального робота будет более разумным. мы будем выполнять различные задачи на основе единой платформы. пытаться.

поэтому я думаю, что роботы-гуманоиды на самом деле обладают большим потенциалом, и люди могут легко управлять ими удаленно, помогая собирать данные. в то же время, как и в одной из только что упомянутых вами точек зрения, весь мир вращается вокруг человеческого поведения и привычек, что является еще одной причиной важности человекоподобных роботов.

конечно, в будущем в роботах-гуманоидах могут произойти различные изменения, но для любой новой платформы роботов фиксированная стоимость является важным вопросом, который необходимо учитывать.

я также хочу подчеркнуть, что вы получите больше, если будете делиться информацией и учиться друг у друга при выполнении различных задач.

в области искусственного интеллекта мы хотим создать нейронную сеть, которая сможет выполнять несколько задач и учиться друг у друга посредством множества задач, чтобы улучшить общий уровень интеллекта. языковые модели интересны тем, что они служат многозадачными моделями обработки текста, способными решать множество различных типов задач, а также обмениваться информацией между этими задачами. но все эти задачи на самом деле выполняются посредством одной нейронной сети.

точно так же мы надеемся, что данные, собранные во время задачи по сбору листьев, помогут вам выполнить другие задачи, но если вы разработаете систему специально для конкретной задачи, ваша прибыль может сузиться.

сара го: роботы, подобные unitree g1, в настоящее время стоят около 300 000 долларов сша. похоже, что в настоящее время область гуманоидных роботов достигла низкой стоимости., функциональная квартирабалансировать сложно, но если мы примем колесную конструкцию и добавим роботизированную руку для выполнения конкретных задач, не будет ли у нас больше шансов создать более экономичного робота общего назначения?

андрей карпаты:с аппаратной точки зрения имеет смысл поискать более дешевые платформы общего назначения. в некоторых обстоятельствах может быть более эффективным решением использовать колеса и другие конструкции вместо ног для выполнения задач, но я думаю, что это может быть поиском локального оптимального решения. в долгосрочной перспективе, я думаю, разумнее выбрать одну форму и довести ее до совершенства. а с психологической точки зрения преимущества роботов-гуманоидов будут более очевидными. они кажутся знакомыми и вызывают у людей желание взаимодействовать с ними.

конечно, учитывая эффект зловещей долины, возможно, абстрактные формы будут более популярны среди пользователей. потому что я на самом деле не уверен, как люди будут реагировать на различные формы роботов. если для выполнения работы у нас будет восьмиколесный монстр, я не уверен, что людям это понравится или они будут еще больше напуганы.

элад гил: механические собаки также являются формой, и собаки также являются формами, более знакомыми человеку.

андрей карпаты:да, но многие люди, которые смотрели «черное зеркало», могут сочетать механических собак с определенными сценами ужасов, поэтому психологическое восприятие у всех будет разным. для сравнения, гуманоидную форму принять легче. принятие также облегчает понимание людьми. его функции и поведение.

элад гил:если мы хотим достичь гуманоидной формы, каких ключевых достижений необходимо достичь с технической точки зрения?

андрей карпаты: я думаю, что однозначного ответа на этот вопрос пока нет. одна из наиболее интересных дискуссий здесь заключается в том, что при проектировании гуманоидных роботов нижняя часть тела не подходит для имитационного обучения. эта часть включает в себя управление с помощью перевернутого маятника. что касается верхней части тела (верхней части тела), она больше полагается на дистанционное управление. , сбор данных и сквозное обучение. в каком-то смысле роботизированные системы должны объединять несколько технологий, но я пока не совсем уверен, как эти системы работают друг с другом.

элад гил: общаясь с некоторыми людьми в сфере робототехники, я обнаружил, что их очень волнуют такие вопросы, как силовой привод, управление и цифровые манипуляции.

андрей карпаты: да, я думаю, что на ранних этапах действительно будет много сценариев дистанционного управления, например, когда роботы будут имитировать людей, подбирающих предметы с земли, до тех пор, пока система не сможет работать автономно 95% времени. затем постепенно увеличивайте долю работы роботов, позволяя людям превращаться из операторов в супервайзеров.

на самом деле, я думаю, особых технических препятствий нет. скорее, нужно проделать большую базовую работу.у нас уже есть соответствующие инструменты и ресурсы, такие как архитектура transformer. такая технология является отличным «координатором». нам нужно только подготовить правильные данные, обучиться и поэкспериментировать и, наконец, реализовать развертывание. хотя этот процесс сложен, на самом деле существенных технических узких мест не так много.

03.

синтетические данные, небольшие модели, компании llm

сара го: как вы думаете, где мы находимся с точки зрения исследования больших blob-объектов?

андрей карпаты: я чувствую, что сейчас мы находимся на этапе быстрого развития. трансформер — это не просто нейросеть, а мощная и универсальная нейросеть.

например, когда все обсуждают закон масштабирования, они часто ссылаются на характеристики архитектуры transformer. до transformer люди в основном использовали составной lstm для выполнения какой-то работы, но четкого закона масштабирования обнаружено не было. transformer — первая модель, которая ясно показывает это и эффективно масштабируется.

трансформатор похож на обычный компьютер, а точнее на дифференцируемый нейронный компьютер (dnc). мы можем заставить его выполнять очень масштабный ввод и вывод и обучить этот компьютер с помощью метода обратного распространения ошибки.со временем это станет саморазвивающейся системой выполнения миссий.

хотя transformer — это чудо, которое мы случайно обнаружили в области алгоритмов, за ним действительно стоит множество ключевых инноваций, таких как остаточные связи, нормализация слоев и блоки внимания. в отличие от традиционных методов, transformer не использует нелинейные функции активации, которые приводят к исчезновению градиентов. вместо этого он интегрирует инновационные технологии, упомянутые в их технических документах, что значительно повышает эффективность и производительность обучения.

сара го:в течение этого периода шла дискуссия о стене данных, и стоимость масштабирования модели следующего поколения будет чрезвычайно высокой. что вы думаете о проблемах с данными?

андрей карпаты: это то, что мы обсуждали с самого начала. я думаю, что архитектура нейронных сетей сегодня уже не является узким местом. хотя до рождения transformer проблемы архитектуры действительно были препятствием. сейчас новые узкие места в основном сосредоточены на функции потерь и наборе данных.поэтому многие компании и исследователи больше не фокусируются на изменениях в архитектуре transformer. например, llama не имеет особо очевидных архитектурных инноваций. единственным большим изменением могут стать «вращательные позиционные кодировки» (позиционные кодировки rope).сам трансформер не сильно изменился за последние пять лет. все просто сосредоточены на инновациях обучения, наборов данных и функций потерь на основе существующего фундамента.

сара го:когда в интернете будет недостаточно данных, начнем ли мы использовать синтетические данные или аналогичные более дорогие методы сбора данных?

андрей карпаты: в настоящее время большое количество исследований сосредоточено на языковых моделях. хотя данные интернета не являются самым идеальным источником данных для transformer, их можно использовать в качестве инструмента для постоянного улучшения возможностей модели. интернет-данные — это всего лишь набор веб-страниц, но что действительно ценно, так это то, что у нас в мозгу.внутренний монолог»——эти сложные и глубокие траектории мышления.

если у нас будут миллиарды данных, похожих на «следы мыслей», то мы сможем в какой-то степени приблизиться к оии. но этих данных в настоящее время не существует, поэтому текущие исследования в основном направлены на реорганизацию существующих наборов данных в формат, аналогичный «внутреннему монологу (внутреннему монологу)». в этом важность синтетических данных. сегодняшние модели могут помочь нам создать модели следующего поколения. это процесс непрерывного итеративного прогресса, подобный восхождению по лестнице, шаг за шагом приближаясь к цели.

элад гил:насколько полезны синтетические данные? как вы сказали, каждая модель может помочь нам обучить следующую модель или, по крайней мере, предоставить инструменты для таких задач, как аннотирование данных, частью которых могут быть синтетические данные.

андрей карпаты: я считаю, что синтетические данные необходимы для улучшения возможностей модели.но будьте осторожны при использовании синтетических данных., потому что модель «рушится», не зная когда. например, когда мы просим chatgpt рассказать нам шутки, если мы попробуем еще несколько раз, мы поймем, что он может знать только 3 шутки. хотя кажется, что он знает много, на самом деле он знает только эти несколько. коллапс" ", то есть нет проблемы с единственным выходом, но если выход в этом конкретном направлении, разнообразие и гибкость модели сильно уменьшаются, это проблема при генерации данных, особенно при генерации синтетических данных, легко «схлопнуться». ситуация такова, потому что нам действительно нужно разнообразие и богатство данных, то есть «энтропия», чтобы избежать проблем, вызванных слишком единственным набором данных.

например, кто-то опубликовал набор данных о персонажах, содержащий 1 миллиард биографий вымышленных персонажей, таких как «я учитель» или «я художник, я живу здесь, я делаю эту работу» и так далее.при создании синтетических данных вы фактически позволяете модели представить процесс взаимодействия с конкретным человеком. это может дать модели больше места для исследования, тем самым выдавая больше информации и увеличивая разнообразие набора данных.поэтому нам необходимо осторожно вводить энтропию, сохраняя при этом стабильность распределения данных, что является самой большой проблемой при создании синтетических данных.

сара го:как вы думаете, что мы можем узнать о человеческом познании из этого исследования? например, некоторые люди считают, что понимание процесса формирования траекторий мышления поможет нам понять, как работает мозг.

андрей карпаты:исследовательские модели и человеческое познание — две совершенно разные вещи, но в некоторых случаях их можно сравнивать. например, я думаю, что transformer в некоторых аспектах сильнее человеческого мозга, а модель является более эффективной системой, чем человеческий мозг, но из-за ограничений данных их текущая производительность не так хороша, как у человеческого мозга. но это лишь грубое объяснение.

например, с точки зрения возможностей памяти трансформеры работают лучше, чем человеческий мозг при обработке длинных последовательностей. если вы дадите ему последовательность и попросите его выполнить расчет в прямом и обратном направлении, он сможет запомнить переднюю и заднюю части последовательности и выполнить задачу, которую человеческой памяти выполнить сложно. поэтому в некоторых аспектах я думаю, что метод обучения, основанный на градиентной оптимизации, действительно более эффективен, чем человеческий мозг, и даже в будущем модель действительно может превзойти человека на некоторых когнитивных уровнях.

элад гил:объем памяти — одна из сильных сторон компьютеров.

андрей карпаты: да, я думаю, что человеческий мозг на самом деле имеет много ограничений. например, емкость рабочей памяти очень ограничена, в то время как рабочая память трансформеров намного больше по сравнению с ней, и разрыв между ними все еще увеличивается. кроме того, трансформеры учатся более эффективно. работа человеческого мозга ограничена множеством скрытых факторов, таких как происхождение, ответственность, окружающая среда и т. д., что делает систему человеческого мозга более случайной и ограниченной. поэтому я чувствую, что в некоторых аспектах эти модели уже сильнее человеческого мозга, но они еще не раскрыли весь свой потенциал.

элад гил:что касается отношений между людьми и ии, один из аргументов заключается в том, что мы используем его как внешний инструмент, в то время как другие говорят, что произойдет более глубокая интеграция людей и моделей ии. что вы думаете по этому поводу?

андрей карпаты: я думаю, что мы в некоторой степени достигли интеграции людей и искусственного интеллекта. технические инструменты всегда были производными от человеческих способностей. как часто говорят: «компьютеры — это велосипеды человеческого мозга». просто проблема сегодняшних моделей заключается в узком месте в процессе ввода и вывода информации, поэтому интеграция людей и ии по-прежнему требует постоянных попыток. однако, когда модели усовершенствованы, их использование становится очень простым и может быть достигнуто с помощью всего лишь нескольких простых движений. таким образом, несмотря на некоторые препятствия, современные технологии сделали эту интеграцию относительно простой и осуществимой.

элад гил:некоторые люди в области искусственного интеллекта считают, чтоесли в будущем между нами и ии возникнет конфликт, это нормально.

решается путем некой формы слияния людей и искусственного интеллекта.

андрей карпаты: да, это очень похоже на философию neuralink. хотя я не совсем уверен, как будет выглядеть это объединение, ясно одно: мы хотим уменьшить задержку ввода и вывода между людьми и инструментами. вы можете думать об этом как о добавлении новой коры к коре головного мозга. эта новая кора может быть облачной и, по сути, является следующим слоем мозга.

элад гил: существовать акселерандо в книге есть похожая идея: все доставляется в мозг через носимые умные очки. если вы потеряете эти очки, это все равно, что потерять часть своей личности или памяти.

андрей карпаты: я думаю, что это вполне вероятно произойдет. сегодняшние мобильные телефоны практически стали частью нашей жизни, как внешнее устройство для мозга. каждый раз, когда мы откладываем телефоны, мы чувствуем, что вернулись в исходное состояние.

другой пример: если у нас есть «универсальный переводчик» и мы долгое время полагаемся на него, то, когда у нас его вдруг не будет, мы можем потерять возможность напрямую общаться с людьми, говорящими на разных языках. как показано на видео, ребенок держит журнал и пытается провести по нему пальцем. он не может отличить, что естественно, а что достигнуто с помощью технологий. это заставляет меня думать, что по мере того, как технологии становятся все более и более повсеместными, люди могут стать зависимыми от этих инструментов только для того, чтобы понять, что они не могут сказать, что такое технология, а что нет, пока они не исчезнут. такие устройства, как переводчики, которые всегда помогают выполнять задачи, значительно уменьшат чувствительность людей к границам между технологиями и природой.

сара го: «экзокортекс» звучит как очень важная вещь, и она важна для всех. сегодня исследования llm проводятся несколькими лабораториями искусственного интеллекта, и только у них есть ресурсы для продвижения разработки моделей обучения следующего поколения. что вы думаете об этой структуре в исследованиях llm сегодня? какое влияние это окажет на популярность технологий искусственного интеллекта в будущем?

андрей карпаты: экосистема llm сегодня действительно монополизирована несколькими закрытыми платформами, в то время как meta llama с более низким рейтингом является относительно открытой. это явление также в определенной степени является отражением экосистемы с открытым исходным кодом. когда мы думаем о llm как о «внешнем уровне», мы подразумеваем вопросы конфиденциальности информации и данных. в области шифрования есть поговорка: «не ваши ключи, не ваши токены». возможно, в будущем в области llm мы сделаем упор на «не ваш вес, не ваш мозг». если ии станет новой корой головного мозга для всех в будущем, и если эта кора будет контролироваться определенной компанией, люди будут чувствовать, что они «арендуют» мозг, а не владеют им.

сара го: готовы ли вы отказаться от владения и контроля над собственным мозгом, чтобы арендовать более мощный?

андрей карпаты: я думаю, что это критический компромисс. возможно, в будущем большинство людей будут использовать мощную модель с закрытым исходным кодом в качестве варианта по умолчанию, но в некоторых конкретных случаях альтернативой станут системы с открытым исходным кодом. точно так же, как и сейчас, когда у некоторых поставщиков моделей с закрытым исходным кодом возникают проблемы с их api, люди обращаются к экосистеме с открытым исходным кодом и, следовательно, чувствуют себя лучше.

это также может быть направлением будущего развития технологий мозга: при возникновении проблем мы можем перейти на системы с открытым исходным кодом, хотя в большинстве случаев мы по-прежнему полагаемся на закрытые системы. важно продолжать развитие систем с открытым исходным кодом, но сегодня, возможно, не все знают об этой проблеме.

элад гил:что вы думаете о миниатюрах? какого уровня производительности могут достичь современные небольшие модели?

андрей карпаты: я думаю, что модель можно было бы уменьшить еще меньше. из-за проблем с набором данных мы считаем, что текущая модель тратит много ресурсов на хранение ненужной информации. ключ к созданию маленькой модели — сосредоточиться на основном познании, а это ядро ​​на самом деле может быть очень маленьким. это больше похоже на образ мышления. когда нам нужно найти информацию, мы можем гибко использовать различные инструменты для ее получения, а не позволять модели хранить множество ненужных деталей.

что касается параметров, я думаю, что для достижения нашей цели нам может понадобиться всего 100 миллионов параметров. технология эффективного сжатия может сделать модель очень маленькой. принцип сжатия прост: используйте очень большую модель или большой объем вычислительных ресурсов для управления меньшей моделью. этот процесс может вместить в маленькую модель множество возможностей.

суть этого вопроса в том, что сегодняшние большие модели имеют дело с наборами данных интернета, и только около 0,001% контента связано с познанием, а остальные 99,99% на самом деле представляют собой некоторую нерелевантную информацию, например текст, защищенный авторским правом. большая часть информации не играет существенной роли в улучшении моделей мышления.

элад гил:можно ли объяснить этот процесс математикой или какой-то теорией информатики? можно ли измерить взаимосвязь между размером модели и когнитивной мощностью? например, в будущем для достижения хорошего понимания может потребоваться всего лишь модель с 1 миллиардом параметров.

андрей карпаты: это может даже стоить менее 1 миллиарда, и модель может обладать такого рода когнитивными способностями, принимая во внимание стоимость модели, конечного оборудования и т. д. и то, что мы собираемся обсудить, возможно, не является единой когнитивной моделью. я думаю, что модель должна иметь возможность выполнять параллельную обработку, а не просто полагаться на последовательную обработку. это как компания: много работы можно выполнять параллельно, но для лучшей обработки информации также необходима иерархическая структура. поэтому я думаю, что в будущем может возникнуть модель «компаний для llm»: разные модели ориентированы на свои области, например, одна — модель программиста, а другая — модель менеджера проектов. каждый выполняет много работы. параллельно и друг с другом. они также могут сотрудничать, образуя «групповой мозг», состоящий из llm.

элад гил:этот кластер llm подобен экосистеме, каждая часть которой имеет свой уникальный опыт и позицию.

андрей карпаты: я думаю, что будущее определенно будет развиваться в этом направлении. облачная модель является самой разумной и может рассматриваться как генеральный директор. в этой группе есть много более дешевых моделей с открытым исходным кодом. но когда система сталкивается с очень сложными проблемами. задачи автоматически эскалируются и назначаются другим частям группы.

04.

образование в эпоху ии

сара го:вы начали работать над собственным образовательным проектом после ухода из openai. почему вы выбрали образование?

андрей карпаты: мне всегда нравилась сфера образования, мне нравится учиться и преподавать, и я очень увлечен этой областью.

важная причина, которая подтолкнула меня заняться этой областью, заключается в том, что я чувствую, что многие ии пытаются заменить людей, в результате чего многие люди теряют работу, но меня больше интересуют технологии, которые могут расширить человеческие возможности. в целом я стою на стороне человечества и надеюсь, что ии поможет человечеству стать более могущественным, а не маргинализированным.

кроме того, я считаю, что иметь «идеального репетитора», который сможет выполнять задачи по обучению по всем предметам, — это неплохая идея. если у каждого будет такой репетитор с искусственным интеллектом, который будет направлять его в изучении всех предметов, я верю, что каждый сможет добиться больших результатов.

элад гил: с 1980-х годов в литературе четко утверждается, что индивидуальное обучение может улучшить успеваемость человека на 2 стандартных отклонения. есть также много случаев, связанных с персонализированными репетиторами. как, по вашему мнению, можно объединить ии и репетиторов?

андрей карпаты: я черпаю много вдохновения из этих примеров. сейчас я создаю полный курс с целью сделать его лучшим выбором для изучения ии. ранее я преподавал первый курс глубокого обучения в стэнфорде. хотя количество студентов было всего 20–30, результаты были хорошими. сейчас задача состоит в том, как масштабировать такой курс, чтобы охватить 8 миллиардов человек по всему миру. учитывая различия в языке и способностях, этого трудно достичь с одним преподавателем.

поэтому ключевой вопрос заключается в том, как использовать ии для расширения роли хороших учителей. основной задачей учителей должна быть разработка курса и написание материалов, в то время как ии может взаимодействовать со студентами на стороне пользователя и преподавать контент. нынешний ии не может самостоятельно создавать полные курсы, но его достаточно, чтобы помогать объяснять и передавать знания. таким образом, преподаватели могут сосредоточиться на дизайне серверной части, в то время как ии использует несколько языков во внешней части, чтобы взаимодействовать с учениками и помогать им завершить обучение.

сара го:можно ли сравнить ии с помощником преподавателя?

андрей карпаты: помощник преподавателя — одно из направлений, которое я рассматриваю. я рассматриваю его как интерфейс, напрямую взаимодействующий со студентами и ведущий их к завершению курса. я думаю, что это осуществимое решение при нынешних технологиях, и подобного продукта не существует. на рынке, поэтому я думаю, что в этой области есть большой потенциал, и по мере развития технологий мы можем вносить в нее различные коррективы. я чувствую, что многие компании сегодня не обладают достаточно интуитивным пониманием возможностей моделей, и в результате разрабатываемые ими продукты оказываются слишком продвинутыми или недостаточно точными. поэтому я думаю, что эта сфера имеет большой потенциал.

сара го: до какой степени можно достичь пределов человеческих возможностей с помощью хороших инструментов? например, если мы сравним это с олимпийскими играми, благодаря достижениям в области науки и техники в области подготовки за последние 10 лет результаты лучших бегунов стали лучше, чем за 10 лет.

андрей карпаты: мне кажется, что сегодня мы еще не полностью раскрыли свой потенциал. мы можем рассматривать эту проблему с двух точек зрения. первая – это глобализация. я надеюсь, что каждый может получить высокий уровень образования. вторая – это предел индивидуальных способностей. обе точки зрения ценны.

элад гил: обычно, когда мы обсуждаем индивидуальное руководство по обучению, мы упоминаем персонализацию и адаптацию, то есть предоставление соответствующих учебных задач в соответствии с уровнем каждого человека. как вы думаете, может ли ии сделать это сегодня?

андрей карпаты: я думаю, что «низко висящий плод» в сегодняшней сфере образования в области искусственного интеллекта — это приложения для перевода. нынешние модели очень хорошо справляются с такими задачами, и то, что они могут делать, по-прежнему остается базовыми задачами.

трудно добиться персонализации, которая адаптируется к уровню каждого человека, но это не невозможно, я думаю, что это также должно быть в центре внимания разработки ии, и у него, очевидно, есть потенциал для этого. но это может включать в себя новые области. более простую модель можно реализовать через быстрый проект, но я думаю, что действительно полезным способом будет сделать так, чтобы сама модель имела такие возможности, чтобы она могла работать как учитель.

я думаю, что это затрагивает некоторые области, которые в настоящее время недостаточно развиты. хотя простые версии, возможно, не за горами, такие как подсказки модели для получения помощи, я говорю о решениях, которые действительно работают, а не просто хорошо выглядят в демо. я говорю о способности работать так же эффективно, как настоящий учитель, понимая контекст каждого человека и обеспечивая индивидуальное руководство, что требует дальнейшего развития.

элад гил: можем ли мы добиться этой адаптации, вводя другие модели?

андрей карпаты: я думаю, это тоже особенность ии. я думаю, что многие функции можно реализовать с помощью всего лишь одной подсказки. итак, мы часто видим множество демо-версий, но можем ли мы наконец представить реальный продукт? так что, возможно, сделать несколько демо-версий не составит труда, но предстоит еще пройти долгий путь, прежде чем его можно будет превратить в продукт, который можно будет использовать в больших масштабах.

сара го:несколько недель назад вы упомянули, что обучение и развлечение — это разные вещи. обучение должно быть сложным и требует определенной системы стимулов, такой как социальный статус, эффект кумира и т. д. как вы думаете, в какой степени система стимулирования может изменить мотивацию людей к обучению? вы больше сосредоточены на предоставлении ресурсов, которые позволят людям зайти настолько далеко, насколько они смогут в рамках своих возможностей? или вы хотите изменить количество людей, желающих учиться, и помочь большему количеству людей начать учиться?

андрей карпаты:я надеюсь сделать обучение немного проще, поскольку некоторые люди могут не проявлять естественного интереса к обучению. многие люди учатся ради практических нужд, например, чтобы найти работу, и это вполне логично. образование играет важную роль в нашем обществе, поскольку оно не только дает знания, но и улучшает экономический статус человека, поэтому люди хотят, чтобы образование их мотивировало.

сара го:как будет выглядеть наше будущее в обществе после оии?

андрей карпаты:я думаю, что в эпоху после agi образование станет больше похоже на развлечение. успешное образование заключается не только в передаче знаний, но и в глубоком понимании и применении этих знаний.

сара го:кто был первой аудиторией «эврики»?

андрей карпаты:основная аудитория этого первого курса – студенты бакалавриата, особенно те, кто получает степени в технических областях. если вы изучаете курс бакалавриата, связанный с технологиями, вы являетесь идеальной целевой группой для этого курса.

андрей карпаты:я думаю, что наша нынешняя концепция образования несколько устарела. старый способ ходить в школу, получать высшее образование и постоянно работать будет разрушен в результате сегодняшних изменений. технологии быстро меняются, и людям необходимо продолжать учиться. так что, хотя курс предназначен для студентов, на самом деле у него широкая аудитория. я думаю, что в нем могут участвовать люди любого возраста. особенно для тех, кто имеет техническое образование и хочет глубже понять соответствующие знания.

я планирую предложить курс позже в этом году, возможно, в начале следующего года будет подходящее время, а до этого я буду усердно работать, чтобы качество курса соответствовало ожидаемому стандарту.

элад гил:если бы у вас были дети, какие знания и навыки вы бы хотели, чтобы они освоили?

андрей карпаты:я бы ответил: математика, физика, информатика и другие предметы. эти предметы на самом деле обеспечивают базовую подготовку для развития мыслительных способностей. конечно, на эту точку зрения влияет мой опыт, но я считаю, что эти области очень полезны с точки зрения навыков решения проблем. даже когда будущее приближается к эпохе оии, эти навыки по-прежнему будут важны. в этот критический период, когда у людей много времени и внимания, я думаю, нам следует сосредоточиться в основном на задачах, которые относительно просты в выполнении, а не на задачах, требующих большого количества памяти. хотя я также признаю важность изучения других предметов, я считаю, что 80% времени следует уделять этим основным областям, поскольку они более практичны и имеют долгосрочную ценность.

набор текста: фиа