новости

28 сентября в южном университете науки и технологий прошел 4-й «форум молодых ученых» шэнь сянъян, иностранный академик национальной инженерной академии, выступил с программной речью на тему «как нам следует относиться к большим моделям в мире». эпоха всеобщего искусственного интеллекта» и высказал свои 10 мыслей о больших моделях.

ниже приводится конкретное содержание его 10 мыслей:

1. вычислительная мощность — это порог. за последние 10 лет требования к вычислительной мощности больших моделей были огромными. сегодня мы собираемся создать большую модель искусственного интеллекта, утверждая, что застревание ранит чувства, а отсутствие блокировки означает отсутствие чувств.

2. данные о данных: если выйдет gpt-5, объем данных может достичь 200t. но хороших данных в интернете не так уж и много. после очистки 20т может быть почти максимум. поэтому в будущем строить gpt-5, помимо уже существующих данных, еще мультимодальных данных и даже искусственно синтезированных данных. понадобится.

3. следующая глава большой модели. предстоит провести много мультимодальных научных исследований. я считаю, что очень важным направлением является объединение мультимодального понимания и порождения.

4. смена парадигмы искусственного интеллекта. после выхода o1 первоначальная идея предварительного обучения gpt изменилась на сегодняшний путь независимого обучения, который представляет собой процесс усиления обучения на этапе вывода и непрерывного самообучения. весь процесс очень похож на то, как люди думают и анализируют проблемы, а также требует большой вычислительной мощности.

5. большие модели охватывают тысячи отраслей. на волне строительства крупных моделей в китае в промышленности используется все больше и больше крупных моделей. эта тенденция определенно такова, и в будущем доля обычных больших моделей будет становиться все меньше и меньше.

6. ai-агент: от концепции до реализации: суперприложение существует с самого начала. это суперприложение является суперпомощником и суперагентом.

7. открытый исходный код или закрытый исходный код. я думаю, что llama от meta не является традиционной системой с открытым исходным кодом. она просто открывает модель и не предоставляет вам исходный код и данные. поэтому, когда мы используем системы с открытым исходным кодом, мы также должны создавать свои. умы, чтобы по-настоящему понять общую картину работы системы с закрытым исходным кодом.

8. обратите внимание на управление ии. искусственный интеллект оказывает огромное влияние на тысячи отраслей и все общество, и каждый должен справиться с этим вместе.

9. переосмыслите отношения человека и компьютера. только по-настоящему поняв взаимодействие человека и компьютера, мы сможем стать по-настоящему коммерчески ценным лидером для каждого поколения высокотехнологичных предприятий. говорите сейчасопенаидобавление microsoft означает, что эта эра еще слишком рано. они впереди, но в будущем еще есть много места для воображения.

10. природа интеллекта. хотя большие модели шокировали всех, у нас нет теории о больших моделях и глубоком обучении. оиио возникновении проблемы только говорили, но не объясняли внятно.

«форум молодых ученых 50²» — это ежегодное академическое собрание научного фонда new cornerstone, организованноеюжный университет науки и технологий, tencent sustainable social value division и new cornerstone science foundation организованы совместно. научный фонд new cornerstone был создан и независимо управляется компанией tencent с инвестициями в размере 10 миллиардов юаней в течение 10 лет. в настоящее время это один из крупнейших научных фондов общественного благосостояния в китае. его создание и деятельность являются долгосрочными инвестициями tencent в технологии. хорошо. конкретные действия по финансированию науки.

«форум молодых ученых 50²» — это междисциплинарная платформа академического обмена для лауреатов премии «научные исследования». премия за научные исследования была учреждена в 2018 году. это награда общественного благосостояния, финансируемая научным фондом new cornerstone и возглавляемая учеными. в настоящее время это один из крупнейших проектов финансирования молодых научных и технологических талантов в китае. каждый победитель поделится на форуме своей большой идеей и последними исследованиями хотя бы один раз в течение пятилетнего периода финансирования. «50²» означает, что 50 молодых ученых, ежегодно отбираемых «премией за научные исследования», окажут значительное влияние на научные и технологические прорывы в ближайшие 50 лет.

ниже приведенышэнь сянъянполный текст выступления на этом форуме:

я очень рад возможности поделиться с вами недавними знаниями и опытом в области искусственного интеллекта сегодня в шэньчжэне.

я продолжуяо цичжичто касается темы искусственного интеллекта, о которой говорил г-н сэр, позвольте мне рассказать вам о некоторых вещах, которые мы делаем сейчас в эпоху больших моделей, особенно глядя на этот вопрос с точки зрения интеграции технологий и промышленного перехода.

на самом деле, дело не только в важности технологического развития в эпоху искусственного интеллекта. вся история развития человечества — это история технологического развития. без технологий не будет роста ввп. мы не будем оглядываться назад на такие вещи, как сверление дерева для добычи огня или изобретение колеса – мы просто посмотрим на множество замечательных достижений в физике за последние 100 лет, а также на достижения в области искусственного интеллекта и информатики за последние 70 лет. мы видим, что появилось много возможностей.

тема, о которой мы сегодня говорим, — искусственный интеллект и большие модели. в последние несколько лет все, должно быть, шаг за шагом были шокированы новым опытом в области искусственного интеллекта. даже если бы я работал в области искусственного интеллекта всю свою жизнь, было бы трудно представить ситуацию сегодня несколько лет назад.

я хочу рассказать о трех примерах: первый — генерировать текст из текста, второй — генерировать изображения из текста и третий — генерировать видео из текста. только что мы говорили о системе искусственного интеллекта, такой как chatgpt, которая доступна не только на международном уровне, но и внутри страны. например, прежде чем я пришел сюда сегодня, чтобы выступить с речью, я спросил chatgpt, что собираюсь принять участие в форуме молодых ученых tencent 50² и выступить с речью. на какие темы мне следует говорить, учитывая мой опыт? вы можете подумать, что это немного забавно, но на самом деле, после использования, вы думаете, что это очень хорошо.

все знакомы с chatgpt. два года назад openai запустила систему, которая генерирует графики. вы даете абзац, и он генерирует график. семь месяцев назад он выпустил sora. вы передаете ему сообщение, и он генерирует для вас 60-секундное видео высокой четкости, такое как это видео прогулки по улицам токио. это очень шокирует. (видео не покажу из-за нехватки времени.)

позвольте мне привести вам пример этой диаграммы винсента. я специализируюсь на компьютерной графике и думаю, что хорошо понимаю, хорошая фотография или плохая. два года назад появилось это фото. это была первая фотография в истории человечества, созданная искусственным интеллектом, и она появилась на обложке американского модного журнала («cosmopolitan»). цифровой художник из сан-франциско использовал систему openai и задал вопрос, что привело к такому результату. вот этот отрывок: на огромном звездном небе женщина-космонавт с важным видом шла по марсу и подошла к широкоугольному объективу. у меня нет такого большого художественного таланта, но я был очень шокирован, когда увидел эту картинку. думаю, вы со мной согласитесь. когда искусственный интеллект рисует такую ​​картину, она действительно похожа на женщину-космонавта. итак, этот искусственный интеллект достиг очень разумного уровня.

сегодня у нас есть такие удивительные технологии и даже такие удивительные продукты. мы также очень усердно работаем дома и создаем крупномасштабные модели, от технологии к моделям и последующим приложениям, мы работаем над всеми аспектами. только что академик яо также рассказал о многих последних работах университета цинхуа. итак, я хочу поделиться с вами тем, как нам следует относиться к большим моделям в эпоху всеобщего искусственного интеллекта. я хотел бы поделиться некоторыми своими мнениями.

первая мысль заключается в том, что вычислительная мощность — это порог.

самое важное в современном общем искусственном интеллекте, больших моделях и глубоком обучении — это общий рост вычислительной мощности искусственного интеллекта за последние годы.

за последние 10 лет вычислительная мощность, используемая большими моделями, увеличилась сначала в шесть-семь раз в год, а затем более чем в четыре раза в год. позвольте мне сейчас задать вам вопрос: если что-то увеличивается в четыре раза в год, во сколько раз оно увеличится за 10 лет? вы сначала подумайте об этом, я вернусь к этому вопросу позже.

всем известно, что компания, которая больше всего выиграет от этой волны развития искусственного интеллекта,nvidiaпоставки nvidia растут из года в год, ее вычислительная мощность постепенно увеличивается, а рыночная стоимость всей компании стала одной из трех компаний в мире (microsoft, apple, nvidia) с рыночной стоимостью 3 триллиона долларов сша. самое главное – это ежегодный спрос каждого на вычислительную мощность. количество чипов nvidia, купленных в 2024 году, по-прежнему быстро растет. например, илон маск строит кластер из 100 000 карт h100. очень сложно построить систему из 10 000 карт. требования к сети очень высоки.

сегодня мы говорим о вычислительной мощности и больших моделях. самое главное — законы масштабирования (вычислительной мощности и данных) чем больше вычислительная мощность, тем больше растёт интеллект. сейчас ещё не все достигли потолка. к сожалению, когда весь объем данных увеличивается, рост вычислительной мощности не является линейным, а рост вычислительной мощности больше похож на квадратичный рост.

потому что, когда модель становится больше, для обучения модели необходимо увеличивать объем данных, поэтому, условно говоря, это больше похоже на квадратный рост. поэтому требования к вычислительной мощности за последние 10 лет были огромными. поэтому я скажу только одно: сегодня я собираюсь сделать большую модель искусственного интеллекта. если он застрянет, это ранит ваши чувства. если он не застрянет, у вас не будет чувств.

я просто задал вам вопрос, если она будет повышаться в 4 раза каждый год, во сколько раз она вырастет за 10 лет? те из нас, кто изучает компьютеры, знают, что существует так называемый «закон мура», который означает, что вычислительная мощность удваивается каждые 18 месяцев или около того. именно так intel развивалась на протяжении многих лет. почему nvidia теперь обогнала intel? очень важная причина в том, что темпы роста у него разные. если он удвоится за 18 месяцев, то, вероятно, увеличится в 100 раз за 10 лет, что тоже весьма примечательно, если он будет увеличиваться в 4 раза каждый год, то за 10 лет он составит 1 миллион раз. если подумать об этом таким образом, то понятно, что рыночная стоимость nvidia так быстро выросла за последние 10 лет.

вторая мысль касается данных.

вычислительная мощность, алгоритмы и данные — три важных фактора для искусственного интеллекта. ранее я упоминал, что нам нужно много данных для обучения общему искусственному интеллекту. когда вышел chatgpt3, он все еще находился на стадии публикации статей, и было сказано, что к моменту выхода gpt-4 ему потребуется 2 триллиона данных токенов, а gpt-4 будет постоянно обучаться; сегодня предполагается, что его количество превышает 20 тонн. любой, кто заботится об искусственном интеллекте, знает, что все так долго ждали выхода gpt5, но он так и не вышел. если gpt-5 выйдет, мое личное мнение может заключаться в том, что объем данных достигнет 200t. . оглядываясь назад, хороших данных в интернете не так уж и много. после очистки 20т может быть почти пределом. так что в будущем, если вы захотите построить gpt-5, вам понадобятся помимо имеющихся данных. больше мультимодальных данных, даже искусственно синтезированных данных.

очень интересно то, что за последние тридцать или сорок лет все делились своей информацией в интернете. раньше мы думали, что работаем на поисковые системы. что еще более примечательно сейчас, так это то, что мы накопили информацию за последние тридцать или сорок лет. лет - это на мгновение, как chatgpt, он интегрировал все и изучил такую ​​​​модель искусственного интеллекта с помощью мощной вычислительной мощности. вот что произошло.

третья мысль, следующая глава большой модели.

вы работали до сегодняшнего дня, что делать дальше? во-первых, это языковая модель. в основе chatgpt лежит технология обработки естественного языка. то, над чем сегодня все работают, — это мультимодальная модель, представленная gpt-4, и многие технологии в ней — это компьютерное зрение. двигаясь вперед, нам необходимо развивать воплощенный интеллект. какова цель воплощенного интеллекта? фактически, нам нужно построить модель мира. даже если она мультимодальна, в ее основе нет физической модели, поэтому нам нужно построить такую ​​модель мира. модель мира означает, что вам нужно не только прочитать тысячи книг, но и проехать тысячи миль, чтобы передать в свой мозг больше знаний о мире. итак, нам следует создать роботов. я думаю, что шэньчжэнь должен решиться на создание роботов и воплощение интеллекта. в роботах есть специальная трасса, которая называется автономное вождение. автономное вождение — это специальный робот, но он ездит по заданному маршруту.

что делать? предстоит провести большую мультимодальную научно-исследовательскую работу, и я считаю, что очень важным направлением является объединение мультимодального понимания и порождения. даже если сора будет построена, она будет отдельной. генерация мультимодулей и понимание мультимодулей не унифицированы. в этой области мы можем провести большую научно-исследовательскую работу.

приведу пример: несколько моих студентов создали крупную модельную компанию step stars, и их понимание мультимодальности было очень хорошим. если вы покажете искусственному интеллекту картинку, почему поведение на картинке называется «неверным навыком», ии объяснит вам, что картинка похожа на ребенка, катающегося по земле, но его мать равнодушна, и она смотрит на мобильные телефоны и пьет напитки, поэтому этот навык детей называется недействительным навыком. ии теперь все лучше и лучше понимает графики.

четвертая мысль — это смена парадигмы искусственного интеллекта.

две недели назад openai выпустила свою последнюю модель o1. я уже упоминал ранее, что gpt развивается. после gpt4 так и не вышел gpt5. все думают, а если это просто увеличение параметров больших моделей, то достиг ли он своего пика? никто не знает, его еще не выпустили, а более крупную модель в китае мы не делали.

но теперь появилось новое измерение, заключающееся не в выполнении предыдущего предварительного обучения (расширения), а в выполнении расширения при выполнении вывода. от первоначальной идеи gpt она изменилась до сегодняшнего независимого пути обучения, который представляет собой процесс усиления обучения на этапе рассуждения и непрерывного самообучения.

раньше мы проводили предварительное обучение, в основном предсказывая, каким будет следующее слово и каким будет следующий токен. теперь новая идея состоит в том, чтобы сделать черновик и попытаться увидеть, правильный ли этот путь и тот путь. точно так же, как человеческий мозг. в мышлении есть быстрая система и медленная система. точно так же, как когда мы решаем математические задачи, мы сначала делаем черновик, чтобы увидеть, какой способ сработает. существует цепочка мышления, а затем мы смотрим. на возможностях в процессе оптимизации цепочки мышления. пока только openai выпустила такую ​​систему, и я призываю всех взглянуть на некоторые примеры здесь.

самое главное, что весь процесс очень похож на то, как люди думают и анализируют проблемы, набрасывают, проверяют, исправляют ошибки и начинают все сначала. это пространство для размышлений будет очень большим. для этого также требуется много вычислительной мощности.

пятая мысль заключается в том, что крупные модели охватывают тысячи отраслей.

всем компаниям приходится сталкиваться с возможностями, которые предоставляют большие модели, но не каждой компании нужно создавать универсальную большую модель. если у вас нет даже 10 000 карт, у вас нет шансов создать универсальную большую модель. большая модель модель должна иметь не менее 10 000 карт.

например, когда вышел gpt4, его общий объем обучения составлял 2×10^25 flops. при таком большом объеме обучения потребуется год, чтобы запустить 10 000 карт а100, чтобы достичь этого количества. если эта сумма не будет достигнута, настоящей универсальной большой модели не будет. используя общую большую модель, мы можем построить на этой основе наши собственные крупные отраслевые модели, такие как финансы и страхование. возможно, килокалории подойдут очень хорошо, и мы сможем внести в них некоторые тонкие настройки. для предприятия у вас есть свои данные, включая внутренние данные и данные о клиентах. если вы возьмете эти данные и используете десятки или сотни карточек, вы сможете сделать очень хорошую модель для своего предприятия. так оно строится слой за слоем.

конечно, есть еще одно очень важное измерение, которое мне очень нравится, — это личная модель будущего. сегодня мы постепенно используем пк и мобильные телефоны (данные в определенной степени накопились) и понимаем нас все больше и больше. я верю, что в будущем появится такой сверхразумный ии, который поможет вам. данных, он может построить вашу собственную личную модель. это в части (личных) терминалов, а мобильные телефоны — вещь естественная. что касается пк, такие компании, как microsoft и lenovo, также продвигают концепцию пк с искусственным интеллектом, поэтому такие возможности тоже есть.

в волну строительства крупных моделей в китае включается все больше и больше крупных промышленных моделей. вот пример: поскольку крупные модели китая должны быть одобрены администрацией киберпространства китая, прежде чем они будут опубликованы в интернете, к концу июля этого года в общей сложности 197 моделей в китае были одобрены администрацией киберпространства китая. 70% из них были крупными отраслевыми моделями, а 30% — большими моделями общего назначения. эта тенденция определенно такова, и в будущем доля обычных больших моделей будет становиться все меньше и меньше. например, мы можем создать финансовую модель на основе общей большой модели. это большая модель, созданная компанией в шанхае для своих финансовых клиентов. например, когда выходит финансовый отчет nvidia, вы можете сразу же суммировать его основные моменты и проблемы.

шестая мысль — ии-агент, от замысла до реализации.

сегодня мы видим, в чем заключаются самые большие возможности применения больших моделей и где открываются самые большие возможности. многие люди до сих пор пытаются найти суперприложение. на самом деле, суперприложение было с самого начала. это суперприложение — суперпомощник, суперагент.

мы с гейтсом много лет работали вместе в microsoft и оба думали об этом вопросе. что в этом такого сложного? трудность заключается в понимании рабочего процесса, когда вы действительно хотите выполнить полезную работу. если вы задаете вопрос, его можно разбить шаг за шагом. сегодня я могу заниматься чем-то, что имеет определенную степень влияния, например, работать службой поддержки клиентов или личным помощником. но многие работы невозможно выполнить. почему это невозможно сделать? вам нужно быть цифровым мозгом. большая модель ниже — это только первый шаг. возможности большой модели недостаточно сильны, чтобы помочь вам выполнить всю вышеописанную работу шаг за шагом. поскольку вы действительно хотите создать такого агента, чтобы он мог что-то делать, ему необходимо понимать, в чем заключаются следующие проблемы, и каждая часть имеет соответствующие навыки.

мы уже сделали много хороших примеров, используя сегодняшнюю модель. например, вы можете быть консультантом по вопросам здравоохранения с использованием ии, рассказывать о своем понимании косметики и рекомендовать косметику. далее вы увидите множество применений в этой области.

седьмая мысль — открытый и закрытый исходный код.

в развитии мировой науки и техники за последние несколько десятилетий, особенно в развитии науки и техники китая, очень важны две вещи.

во-первых, это появление интернета. благодаря интернету вы можете найти все документы и материалы в интернете.

второе — открытый исходный код. открытый исходный код позволяет резко сократить разрыв с лидерами при создании приложений. но открытый исходный код — это не то же самое, что открытый исходный код для больших моделей и баз данных, хотя возможности открытого исходного кода сейчас близки к возможностям закрытого исходного кода. в китае также есть много компаний, которые занимаются разработками с открытым исходным кодом. лучшим инструментом с открытым исходным кодом на сегодняшний день является meta llama 3.1, который утверждает, что близок к openai. я так не думаю. я думаю, что это не традиционный открытый исходный код. он просто открывает модель и не предоставляет вам исходный код и данные. поэтому, когда мы используем системы с открытым исходным кодом, мы также должны принять решение. по-настоящему понять закрытие системы больших моделей.

восьмая мысль — обратить внимание на управление ии.

поскольку ии развивается так быстро, мир придает большое значение безопасности ии. потому что влияние этого вопроса настолько велико. искусственный интеллект оказывает огромное влияние на тысячи отраслей и все общество. развитие всего мира фактически требует, чтобы все столкнулись с этим вместе.

девятая мысль — переосмыслить отношения человека и машины.

я только что представил текст винсента, фотографии винсента и видео винсента — какая часть этого — интеллект машины, а какая — шок, который приносит нам взаимодействие человека и компьютера?

около 10 лет назад обозреватель «нью-йорк таймс» джон маркофф написал книгу, которая мне очень нравится, «машина любящей благодати», в которой суммированы две линии прошлого развития технологий: одна — искусственный интеллект; другая — ии (искусственный интеллект); intelligent augmentation) — это повышение интеллекта, представляющее собой взаимодействие человека и компьютера. после того, как компьютеры стали доступны, они помогли людям делать многие вещи, и игра в шахматы является одним из примеров.

фактически, только по-настоящему поняв взаимодействие человека и компьютера, мы сможем стать лидерами, имеющими реальную коммерческую ценность для каждого поколения высокотехнологичных предприятий. сегодняшний интерфейс искусственного интеллекта стал очень понятным, что представляет собой процесс диалога. сегодняшний представитель — chatgpt. но говорить об openai плюс microsoft означает, что эта эра еще слишком рано. они впереди, но в будущем еще есть много места для воображения.

десятая мысль – это природа интеллекта.

хотя большие модели сегодня шокировали всех, у нас нет теории о больших моделях и глубоком обучении. сегодня мы хотели бы иметь любую теорию, которая кажется хорошей. в отличие от физики, с физической точки зрения все, от огромного звездного неба до мельчайшего кванта, описывается какими-то прекрасными физическими законами. сегодня не существует такой теории искусственного интеллекта, которая не имела бы ни объяснимости, ни устойчивости. сегодняшняя система глубокого обучения не может достичь настоящего общего искусственного интеллекта.

что касается появления искусственного интеллекта, то все только говорили об этом, но не объясняли внятно. почему интеллект появляется, когда модель достаточно велика? почему модель 70b может оказаться разумной? нет такой истины. поэтому мы также очень усердно работаем над этим вопросом. прошлым летом я также организовал семинар в гонконгском университете науки и технологий на тему «математическая теория нового интеллекта». при обсуждении возникающего интеллекта необходимо четко объяснить некоторые научные и математические принципы и привлечь больше людей, которые готовы это сделать. приходите, особенно с появлением проектов tencent «награда за научные исследования» и «новый исследователь-краеугольный камень», к ним присоединилось больше молодых ученых, и у них появилось больше уверенности и веры, чтобы глубже погрузиться в трудную задачу создания. среди вопросов – прорывы в области будущего развития искусственного интеллекта.

еще раз поздравляем всех победителей и молодых ученых. развитием науки и технологий должны заниматься молодые люди из поколения в поколение, особенно искусственного интеллекта. спасибо всем еще раз.