Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Новый отчет мудрости

Монтажер: Таози

[Введение в новую мудрость] Неожиданно мультимодальная Llama 4 уже полным ходом приступила к тренировкам. Сяо Чжа заявил, что вложит в десять раз больше расчетной суммы, чем Llama 3, в обучение модели, выпуск которой ожидается в 2025 году. Он потратил много денег на покупку графического процессора, но боялся, что будет слишком поздно.

Только что была выпущена версия Llama 3.1, а версия Llama 4 полностью прошла обучение.

За последние несколько дней Сяо Чжа заявил в финансовом отчете за второй квартал, что Meta будет использовать в десять раз большую вычислительную мощность, чем Llama 3, для обучения мультимодальной Llama 4 следующего поколения, выпуск которой ожидается в 2025 году.

Благодаря этому законопроекту Лао Хуан снова стал крупнейшим победителем.

В чем заключается концепция десятикратного увеличения суммы расчета?

Знаете, Llama 3 обучается на двух графических кластерах по 24 000 графических процессоров. Другими словами, для обучения Llama 4 требуется 240 000 графических процессоров.

Итак, достаточно ли мета-инвентаря?

Я до сих пор помню, как Сяо Чжа объявил в начале года, что планирует выпустить 350 000 Nvidia H100 к концу года.

Он также раскрыл более подробную информацию. Meta построит внутри компании два отдельных кластера для обучения LLM: один будет оснащен 22 000 блоками H100, а другой — 24 000 блоков.

Некоторые пользователи сети однажды отметили, как увеличилось использование графического процессора в процессе итерации модели Llama:

Лама 1: 2048 графических процессоров

Лама 2: 4096 графических процессоров

Лама 3.1: 16384 графических процессора

Или потратьте 40 миллиардов долларов США, Сяо Чжа не хочет, чтобы было слишком поздно.

Видно, что обучение больших моделей — дело затратное.

Финансовый отчет показывает, что капитальные затраты Meta на серверы, центры обработки данных и сетевую инфраструктуру увеличились почти на 33% во втором квартале.

Он увеличился до 8,5 млрд долларов США с 6,4 млрд долларов США за аналогичный период прошлого года.

Ожидается, что годовые расходы составят от 37 до 40 миллиардов долларов по сравнению с предыдущей оценкой в ​​35-40 миллиардов долларов.

В отчете Information говорится, что OpenAI потратила 3 ​​миллиарда долларов на учебные модели и еще 4 миллиарда долларов на аренду серверов у Microsoft со скидкой.

Можно увидеть, насколько иронично тратить вычислительные мощности на обучение больших моделей.

Но значение состоит в том, что открытый исходный код Llama 3.1 станет важным поворотным моментом в индустрии искусственного интеллекта, а искусственный интеллект с открытым исходным кодом начнет становиться отраслевым стандартом, таким как Linux.

Meta планирует на ближайшие несколько лет создать вычислительные кластеры и центры обработки данных для поддержки будущих поколений моделей искусственного интеллекта.

Сяо Чжа признал, что трудно предсказать будущий путь развития технологий искусственного интеллекта, но строительство инфраструктуры происходит не быстро.

Несмотря на неопределенность, я был готов пойти на риск и начать строительство раньше времени, а не отставать от конкурентов из-за отсутствия подготовки.

Предусмотрительность Сяо Чжа однажды помогла компании выделиться на волне метавселенной.

Когда в 2022 году цена акций компании сильно упала, Сяо Чжа все же пошел на риск и приобрел большое количество H100.

Финансовый отчет за третий квартал того же года показал, что капитальные затраты Meta составили от 32 до 33 миллиардов долларов США.

Большая часть этих средств идет на создание центров обработки данных, серверов и сетевой инфраструктуры, а также на огромные инвестиции в Метавселенную.

В интервью Сяо Чжа объяснил: «В то время Meta активно разрабатывала инструмент для создания коротких видеороликов Reels, поэтому для обучения модели требовалось больше графических процессоров».

Поскольку вывод моделей является решающим вопросом для Meta, ей необходимо предоставлять услуги пользователям своих собственных приложений, таких как Facebook и Ins.

Оригинальные слова Сяо Чжа:

Соотношение расчетов и обучения, необходимое нам, может быть намного выше, чем у других компаний, работающих в этой области. Это связано с тем, что количество пользователей сообщества, которые мы обслуживаем, очень велико.

У каждого есть ИИ-агент

Некоторое время назад ученый Meta AI Томас Сиалом также упомянул в интервью в блоге, что Лама 4 начала обучение в июне.

Он сказал, что новая модель может быть сосредоточена на агентных технологиях, и что были проведены некоторые исследования по агентным инструментам, таким как Toolformer.

Сяо Чжа считает, что ИИ-агенты скоро станут «стандартным оборудованием» для онлайн-компаний.

«Я думаю, что со временем у каждого бизнеса будет веб-сайт, учетные записи в социальных сетях и адреса электронной почты, и в будущем у каждого бизнеса будет агент искусственного интеллекта, с которым смогут взаимодействовать клиенты».

Цель Meta — дать возможность каждому малому бизнесу и, в конечном итоге, даже каждому крупному предприятию легко интегрировать свой собственный контент и продукты в агенты ИИ.

Когда эта технология будет внедрена в практическое применение в больших масштабах, это значительно увеличит доходы от нашей бизнес-информации.

Несмотря на критику со стороны инвесторов по поводу высоких расходов Meta на ИИ и Метавселенную, Цукерберг остается верным своей стратегии.

Хотя в последние кварталы в Meta виртуальная реальность, кажется, отошла на второй план, Цукерберг все же упомянул, что продажи Quest 3 превзошли ожидания компании.

Данные второго квартала показывают, что выручка в этой сфере увеличилась на 22% до 39,1 млрд долларов США, а прибыль увеличилась на 73% до 13,5 млрд долларов США.

В третьем квартале Meta ожидает выручку в диапазоне $38,5-41 млрд.

Источники сообщают, что компания анонсирует более дешевую пару наушников на конференции Connect в сентябре.

Кроме того, ИИ-помощник Meta AI становится все более популярным, и Сяо Чжа заявил, что к концу года он, как ожидается, станет наиболее широко используемым ИИ-помощником.

Использованная литература:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generation-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg