новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

cerebras запускает самое быстрое в мире решение для вывода искусственного интеллекта, в 20 раз быстрее, чем решение nvidia

2024/8/28 9:51:23 источник: it house автор: yuanyang редактор: yuanyang

комментарии: 2

28 августа it house сообщил, что компания cerebras systems сегодня объявила о запуске cerebras inference, которое, по словам официальных лиц, является самым быстрым в мире решением для вывода на базе искусственного интеллекта. новое решение обеспечивает скорость 1800 токенов в секунду для llama 3.1 8b и 450 токенов в секунду для llama 3.1 70b, что в 20 раз быстрее, чем решения для вывода искусственного интеллекта на базе графического процессора nvidia, доступные в гипермасштабируемых облаках, таких как microsoft azure.

помимо невероятной производительности, это новое решение для вывода имеет цену значительно ниже, чем популярные облака графических процессоров, начиная всего с 10 центов за миллион токенов, что обеспечивает в 100 раз лучшую производительность для рабочих нагрузок ии по соотношению цена/качество.

эта программа позволит разработчикам приложений ии создавать приложения ии следующего поколения без ущерба для скорости и стоимости. в этом решении используется система cerebras cs-3 и ее процессор искусственного интеллекта wafer scale engine 3 (wse-3). пропускная способность памяти cs-3 в 7000 раз превышает пропускную способность nvidia h100, что решает технические проблемы генеративного искусственного интеллекта, связанные с пропускной способностью памяти.

по данным it house, cerebras inference предоставляет следующие три уровня:

уровень бесплатного пользования обеспечивает бесплатный доступ к api и щедрые ограничения на использование для всех, кто входит в систему.

уровень разработчика предназначен для гибкого бессерверного развертывания, предоставляя пользователям конечную точку api за небольшую часть стоимости альтернатив на рынке, при этом цена llama 3.1 составляет 10 центов за миллион токенов для моделей 8b и 70b соответственно.

корпоративный уровень предоставляет точно настроенные модели, индивидуальные соглашения об уровне обслуживания и специализированную поддержку. предприятия могут получить доступ к cerebras inference через частное облако, управляемое cerebras, или через помещения клиентов, что делает его идеальным для текущих рабочих нагрузок.

команда cerebras заявила: «благодаря рекордной производительности, лучшим в отрасли ценам и открытому доступу к api, cerebras inference устанавливает новый стандарт для разработки и развертывания открытого llm. cerebras opens — единственное решение, которое может одновременно обеспечивать высокоскоростное обучение и логический вывод. совершенно новые возможности для ии».

область ии быстро развивается, и хотя nvidia в настоящее время доминирует на рынке ии, появление таких компаний, как cerebras и groq, является признаком того, что динамика отрасли может измениться. поскольку спрос на более быстрые и экономичные решения для вывода ии продолжает расти, эти претенденты разрушают доминирование nvidia, особенно в области вывода.