новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Опубликовано с разрешения Heart of the Machine

Автор: Ли Му

• Позвольте мне рассказать моим друзьям о прогрессе, трудностях и размышлениях LLM в первый год предпринимательства.

Когда я работал в Amazon пятый год, я думал об открытии бизнеса, но меня задержала эпидемия. К семи с половиной годам я почувствовал, что это слишком чешется, поэтому уволился. Теперь, когда я думаю об этом, если бы мне нужно было что-то попробовать в своей жизни, я бы сделал это пораньше. Потому что как только вы действительно начнете, вы обнаружите, что вам предстоит изучить так много нового, и вы всегда задаетесь вопросом, почему вы не начали раньше.

Название: Происхождение BosonAI

Прежде чем начать бизнес, я сделал серию проектов имени Глюона. В квантовой физике глюон — это бозон, связывающий кварки, что символизирует то, что этот проект начался как совместный проект Amazon и Microsoft. В это время руководитель проекта похлопал себя по голове и вышло имя, но программистам было очень сложно дать имя. Мы каждый день боролись с различными именами файлов и именами переменных. В конце концов новая компания просто назвала его в честь Бозона. Надеюсь, все понимающе улыбнутся, когда увидят мем «Бозон и фермионы составляют мир». Но я не ожидал, что многие люди будут думать о нем как о Бостоне.

«Я в Бостоне. Давай встретимся как-нибудь?» «А? Но я в районе залива».

Финансирование: ведущий инвестор сбежал за день до подписания

В конце 2022 года у меня возникли две идеи использования больших языковых моделей (LLM) в качестве инструментов повышения производительности. Я случайно встретил Чжан Имина и попросил у него совета. После обсуждения он спросил: Почему бы самому не заняться LLM? Я подсознательно вздрогнул: наша команда в Amazon занималась этим уже несколько лет, с десятками тысяч карточек и кучей сложностей вроде блаблы. Имингхехе сказал: «Это краткосрочные трудности, и нам нужно смотреть на долгосрочную перспективу».

Мое преимущество в том, что я прислушался к совету и действительно пошел на степень магистра права. Команда основателей собрала людей, ответственных за данные, предварительное обучение, постобучение и архитектуру, и приступила к сбору средств. Благодаря удаче я быстро получил начальные инвестиции. Но денег на покупку карты не хватает, поэтому приходится получать второй тур. Лидером этого раунда стала очень крупная организация, которой потребовалось несколько месяцев на документирование и согласование условий. Но за день до подписания лидер заявил, что не будет инвестировать, что напрямую привело к уходу нескольких инвесторов. Я очень благодарен остальным инвесторам за то, что они завершили этот раунд и получили билет на степень LLM.

Если я подумаю об этом сегодня, с энтузиазмом, который был на рынке капитала в то время, я мог бы продолжать собирать средства. Возможно, как и у других друзей, у меня теперь есть один миллиард наличных денег. В то время я волновался, что если я соберу слишком много денег, мне будет сложно выйти, или меня выбросит в небо. Теперь, когда я думаю об этом, открытие бизнеса — это изменение вашей жизни вопреки всему. Какой выход?

Машины: первые люди, которые стали есть крабов

Если у вас есть деньги, купите графический процессор. Я спросил у разных поставщиков, и они единогласно ответили, что H100 будет поставлен через год. У меня возникла идея, и я написал письмо напрямую Лао Хуану. Лао Хуан ответил мгновенно и сказал, что посмотрит. Час спустя позвонил генеральный директор Supermicro. Я заплатил немного больше, встал в очередь и получил машину через 20 дней. Мне выпала честь съесть крабов пораньше.

Поев крабов, я засомневался в своей жизни и столкнулся со всевозможными невероятными жуками. Например, питание графического процессора было недостаточным, что приводило к нестабильности. Позже инженеры Supermicro изменили код BIOS и исправили его, например, неправильный угол среза оптического волокна, что привело к нестабильной связи, например, к рекомендованной Nvidia схеме сети; не был оптимальным, поэтому мы разработали новый план, и позже Nvidia тоже приняла этот план. Я до сих пор этого не понимаю. Мы купили меньше тысячи карт, поэтому нас можно считать мелкими покупателями. Но разве крупные покупатели не столкнулись с теми проблемами, с которыми столкнулись мы? Зачем нам наш отладчик?

При этом мы также арендовали такое же количество H100, и каждый день были всевозможные ошибки. У графического процессора были проблемы, и мы даже задавались вопросом, одни ли мы в этом облаке. Позже я увидел технический отчет Llama 3, в котором говорилось, что после перехода на H100 модель сотни раз прерывалась во время тренировки. Могу сочувствовать боли между строк.

Если сравнить самостоятельное строительство и аренду, то стоимость аренды на три года практически равна стоимости самостоятельного строительства. Преимущество аренды карты – спокойствие. Есть два преимущества самостоятельного строительства. Во-первых, если через три года технологии Nvidia все еще будут далеко впереди, она сможет контролировать цены, чтобы графические процессоры сохраняли свою ценность. Другая причина — низкая стоимость самостоятельного хранилища данных. Хранилище должно быть расположено рядом с графическим процессором. Будь то большое облако или маленькое облако с графическим процессором, цена хранилища высока. Однако при обучении одной модели для хранения контрольных точек может использоваться несколько ТБ пространства, а объем хранилища обучающих данных начинается с 10 ПБ. Если вы используете AWS S3, 10PB стоит два миллиона в год. Если эти деньги использовать для самостоятельного строительства, они могут достигать 100 ПБ.

Бизнес: Благодаря клиентам мы вышли на уровень безубыточности в первый год

Нам очень повезло, что наши доходы и расходы в первый год были одинаковыми. Наши расходы в основном связаны с рабочей силой и вычислительной мощностью. Благодаря финансовым ресурсам Openai и значительному лидерству Nvidia, оба расхода довольно велики. Наш источник дохода — изготовление индивидуальных моделей для крупных заказчиков. Большинство компаний, которые пришли в LLM очень рано, объяснялись тем, что их генеральные директора были очень склонны к принятию решений. Их не пугали высокие вычислительные мощности и затраты на рабочую силу, и они решительно подталкивали свои внутренние команды к совместному опробованию новых технологий. Я очень благодарен клиенту за то, что он дал нам время передохнуть, иначе я бы последние несколько месяцев носился по разным инвесторам.

Далее, большему количеству компаний следует попытаться использовать LLM, будь то модернизация собственных продуктов или сокращение затрат и повышение эффективности. Причина в том, что, с одной стороны, затраты на технологии снижаются, а с другой стороны, лидеры отрасли (такие как наши клиенты) будут последовательно выпускать продукты на основе LLM, сворачивая отрасль.

Также мы уделяем внимание внедрению LLM на toC. Лучшие игроки предыдущей волны, такие как c.ai и perplexity, все еще ищут бизнес-модели, но есть также около дюжины небольших собственных приложений LLM с хорошим доходом. Мы предоставили модель ролевой стартап-компании. Они ориентированы на глубоких игроков и балансируют доходы и расходы, что тоже здорово. Возможности моделей все еще развиваются, и в них интегрируется больше модальностей (голос, музыка, изображения, видео). Я верю, что в будущем появится больше творческих приложений.

В целом промышленность и капитал по-прежнему нетерпеливы. В этом году несколько компаний, которые были созданы более года назад, но собрали миллиарды долларов, решили выйти из бизнеса. От технологии к продукту — долгий процесс, обычно он занимает 2–3 года. С учетом появления потребностей пользователей это может занять больше времени. Мы сосредотачиваемся на настоящем, исследуем путь в тумане и сохраняем оптимизм в отношении будущего.

Технология: четыре этапа познания LLM

Понимание LLM прошло четыре этапа. Первый этап — от Берта к GPT3. Кажется, что с новой архитектурой и большими данными можно справиться. Когда мы работали в Amazon, мы сразу же приступили к масштабному обучению и внедрению продуктов.

На втором этапе был выпущен GPT4, когда я впервые начал свой бизнес, и я был сильно шокирован. Основная причина кроется в том, что технология не разглашается. По слухам, время обучения одной модели составляет 100 миллионов, а стандартная стоимость данных — десятки миллионов. Многие инвесторы спрашивали меня, сколько будет стоить воспроизведение GPT4, и я ответил: 300–400 миллионов. Позже один из них действительно вложил сотни миллионов.

Третий этап – первые полгода открытия бизнеса. Мы не можем сделать GPT4, поэтому начнем с конкретных проблем. Поэтому я начал искать клиентов, в том числе из сферы игр, образования, продаж, финансов и страхования. Обучайте модели на основе конкретных потребностей. Вначале на рынке не было хороших моделей с открытым исходным кодом, поэтому мы обучались с нуля. Позже появилось много хороших моделей, что снизило наши затраты. Затем разработайте метод оценки на основе бизнес-сценария, отметьте данные, посмотрите, где модель не работает, и соответствующим образом улучшите ее.

В конце 2023 года мы были приятно удивлены, обнаружив, что наши модели серии Photon (разновидность Boson) превзошли GPT4 в клиентских приложениях. Преимущество настройки модели заключается в том, что стоимость вывода составляет 1/10 от стоимости вызова API. Хотя API сегодня намного дешевле, наши собственные технологии также совершенствуются и по-прежнему составляют 1/10 стоимости. Кроме того, лучше контролируются QPS, задержка и т. д. На данном этапе понимание заключается в том, что для конкретных приложений мы можем превзойти лучшие модели на рынке.

Четвертый этап – второе полугодие открытия бизнеса. Хотя заказчик получил модель, запрошенную в контракте, это было не то, что он ожидал, поскольку GPT4 было недостаточно. В начале года мы обнаружили, что модели сложно сделать еще один скачок, если она обучалась для одного приложения. Оглядываясь назад, можно сказать, что если AGI хочет достичь уровня обычных людей, то клиентам нужен уровень профессионалов. Для игр нужны профессиональные планировщики и профессиональные актеры, для образования нужны учителя с золотыми медалями, для продаж нужны продажи с золотыми медалями, а для финансов и страхования нужны старшие аналитики. Это все AGI плюс профессиональные возможности отрасли. Хотя в то время мы трепетали перед AGI, мы чувствовали, что это неизбежно.

В начале года мы разработали серию моделей Хиггса (частицы Бога, разновидность бозона). Сосредоточение внимания на общих способностях соответствует лучшим моделям, но выделяется определенной способностью. Компетенции, которые мы выбрали, были ролевыми: играть виртуального персонажа, играть учителя, играть в продажи, играть в аналитика и так далее. В середине 2024 года его перевели на второе поколение. На Arena-Hard и AlpacaEval 2.0, проверяющих общие возможности, V2 сравним с лучшими моделями и не сильно отстает от MMLU-Pro, проверяющего знания Far.

Higgs-V2 основан на базе Llama3 и затем проходит постобучение. Мы не можем тратить много денег на маркировку данных, таких как Meta, поэтому V2 лучше, чем Llama3 Instruct. Причина в основном кроется в инновациях алгоритма.

Затем мы сделали обзорный набор для оценки ролевой игры, в том числе игры по персонажу и игры по сценарию. Мне жаль, что моя модель заняла первое место в моем списке. Однако данные, используемые для оценки во время обучения модели, не используются. Поскольку этот оценочный набор с самого начала предназначен для личного использования и призван по-настоящему отразить возможности модели, необходимо избегать наборов данных, переопределяющих модель. Но студенты, проводившие оценку, хотели написать технический отчет, поэтому опубликовали его. Интересно, что тестовый образец ролевой игры взят из c.ai, но возможности их модели находятся внизу.

Четвертый этап понимания заключается в том, что хорошая вертикальная модель не должна быть слабой по общим возможностям. Например, по вертикали также необходимы рассуждения и следование инструкциям. В долгосрочной перспективе как общие, так и вертикальные модели должны будут перейти к ОИИ. Просто вертикальная модель может быть чуть более предметно-ориентированной, с высокими баллами по профессиональным курсам и ладно общим курсам, поэтому затраты на исследования и разработки будут немного ниже, а методы исследований и разработок будут другими.

А как насчет пятой стадии понимания? Работа все еще находится в стадии разработки, и я надеюсь поделиться ею в ближайшее время.

Видение: Человеческое общение

Стыдно говорить, что мы полностью погружаемся в технологии и настройку для клиентов, а затем медленно думаем о том, какое видение мы преследуем. Мы смотрим на то, чего хотят клиенты, чего хотим мы и что нам может понадобиться в будущем. Если говорить за себя, то много лет назад я мечтал о роботе-няне, который бы помогал мне заботиться о моих детях и сопровождать их, потому что мне было трудно это делать, и я не совсем понимал нынешние познания и мысли моих детей. Мне бы хотелось, чтобы у меня на работе был действительно классный виртуальный помощник, который мог бы вместе со мной изобретать что-то новое. Когда я состарюсь, я тоже хочу, чтобы меня сопровождали интересные роботы. Мой прогноз на будущее заключается в том, что производственные инструменты будут становиться все более и более развитыми, и один человек сможет выполнять задачи, которые раньше могли быть выполнены только командой, в результате чего люди станут более индивидуальными и независимыми. Каждый занят своими собственными делами. делая их еще более одинокими.

Объединив все это, мы определили наше видение как «разумных агентов, сопровождающих людей». Умный агент с высоким эмоциональным интеллектом и онлайн-IQ. Если бы это был реальный человек, это была бы профессиональная команда. Например, если вы хотите, чтобы он с вами играл, то это профессиональный планировщик + актер. Сопровождайте вас на занятиях, а затем поощряйте преподавателя + профессионального спортивного тренера. Если я буду учиться вместе с вами, я смогу объяснить то, чего вы не понимаете. Преимущество модели в том, что она может сопровождать вас долгое время и по-настоящему вас понимать. И я могу «искренне быть за тебя».

Однако нынешние технологии все еще далеки от видения. Сегодняшние технологии могут сопровождать вас в беседе. Во многих ситуациях разговор не так хорош, содержания не хватает, а IQ и EQ иногда не онлайн. Это все проблемы, которые необходимо решать сейчас. Если у вас есть друзья, которые хотят подать это заявление за границей, пожалуйста, свяжитесь с нами.

Команда: сложные задачи должны зависеть от команды

Только после запуска бизнеса я по-настоящему осознал важность команды. Когда я работал на большом заводе, я чувствовал себя винтиком, члены моей команды были винтиками, и даже команда была винтиком. Но предпринимательская команда – это машина. Автомобиль меньше по размеру, но он может ехать, перевозить грузы, гибко поворачивать и проезжать каждый поворот. Вскоре после основания компании МиХоЙо Лао Цай взглянул и увидел всех в одной комнате. Он с волнением сказал, что небольшая команда — это здорово.

Конечно, есть некоторые неудобства. Нужно постоянно проверять, есть ли масло, и быть осторожным, чтобы не расшатать машину на сложных дорогах. Каждый член важен, и дублирования не существует. Если один человек неэффективен, это может быть спущено колесо. Люди тоже драгоценны. Один человек может потерять одну шину.

Раньше, выбирая проекты, я выбирал проекты, разработку которых я мог бы возглавить. Но это также означает, что вопросы не очень сложные. Начать бизнес – большая проблема, и все зависит от команды. Хотя в этой статье использовано много «Я», на самом деле работу делает команда. Без команды мне, возможно, придется сменить карьеру, чтобы продавать курсы.

Личное стремление: слава или богатство?

До сих пор я полагался на свой внутренний голос при принятии решений. После работы я буду учиться на доктора философии, снимать видео и начинать бизнес. Предпринимательство требует поддержки сильной мотивации для преодоления бесконечных трудностей. Это требует более глубокого анализа собственных мотивов.

Мотивация исходит либо от желания, либо от страха. Десять лет назад я, возможно, с большей страстью стремился к славе и богатству, но в моем нынешнем возрасте я чувствую, что предельная полезность денег уже не высока, а эмоциональная ценность, которую приносит слава, также очень мала. Моя самая глубокая мотивация исходит из страха, что жизнь может не иметь смысла. Если отбросить необъятность Вселенной, то даже в долгой истории человечества человек — всего лишь песчинка. Приходите неожиданно и быстро исчезайте. На Земле проживало 100 миллиардов человек, и подавляющее большинство из них не оставит в истории никакого следа. Я едва узнаю тысячи имен на моем генеалогическом древе.

Так в чем же смысл существования человека? Когда я был ребенком, у меня была депрессия, потому что я не мог ясно мыслить об этой проблеме. Итак, подсознательно я хочу создать ценность и обрести смысл существования. Я предпочитаю «идти вперед», чтобы улучшить свою способность создавать ценность; я предпочитаю записывать длинные видеоролики и писать учебные материалы, чтобы создать образовательную ценность; я предпочитаю писать резюме своей учебы, работы и предпринимательства, описывая свою кандидатскую деятельность. связанные с этим запутанности и трудности, а также создание ценности примеров; решите начать бизнес и объединить усилия многих людей для создания большей ценности.

постскриптум

Су Хуа и я гуляли в Стэнфорде в прошлом году. Он похлопал меня по плечу и сказал: «Скажи мне правду, почему ты хочешь начать бизнес?» хочу изменить свою карьеру». Затем Су Хуа улыбнулся.

Теперь я понимаю, потому что он пережил взлеты и падения в предпринимательстве. Если бы мне пришлось сегодня еще раз ответить на этот вопрос, я бы сказал: «Я просто сошел с ума». Но я рад, что тогда я не ожидал, что это будет так просто, поэтому я первым прыгнул в голову. В противном случае каждый может увидеть «размышление о десяти годах работы». Я думаю, что история, которую я написал сегодня, более интересна.

Приветствую всех предпринимателей.

(Наконец, информация о наборе персонала нашей компании (район залива и Ванкувер) в объявлении: https://jobs.lever.co/bosonai. Если у вас есть заявки на участие за границей, свяжитесь с нами по адресу [email protected])