2024-08-28
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
cerebras, nvidia 솔루션보다 20배 빠른 세계에서 가장 빠른 ai 추론 솔루션 출시
2024/8/28 9:51:23 출처: it house 작성자: yuanyang 편집자: yuanyang
댓글: 2
it house는 cerebras systems가 오늘 세계에서 가장 빠른 ai 추론 솔루션인 cerebras inference의 출시를 발표했다고 8월 28일 보도했습니다. 새로운 솔루션은 llama 3.1 8b의 경우 초당 1800개의 토큰을 제공하고 llama 3.1 70b의 경우 초당 450개의 토큰을 제공합니다. 이는 microsoft azure와 같은 하이퍼스케일 클라우드에서 사용할 수 있는 nvidia gpu 기반 ai 추론 솔루션보다 20배 빠른 속도입니다.
놀라운 성능 외에도 이 새로운 추론 솔루션은 인기 있는 gpu 클라우드보다 훨씬 낮은 가격으로 백만 토큰당 10센트부터 시작하여 비용 대비 ai 워크로드 가치에 대해 100배 더 나은 성능을 제공합니다.
이 프로그램을 통해 ai 애플리케이션 개발자는 속도나 비용을 저하하지 않고 차세대 ai 애플리케이션을 구축할 수 있습니다. 이 솔루션은 cerebras cs-3 시스템과 wafer scale engine 3(wse-3) ai 프로세서를 사용합니다. cs-3의 메모리 대역폭은 nvidia h100의 7,000배로 생성 ai의 메모리 대역폭 기술 문제를 해결합니다.
it house에 따르면 cerebras 추론은 다음 세 가지 수준을 제공합니다.
무료 등급은 로그인하는 모든 사람에게 무료 api 액세스와 넉넉한 사용 제한을 제공합니다.
개발자 계층은 유연한 서버리스 배포를 위해 설계되었으며, llama 3.1의 가격은 8b 및 70b 모델에 대해 각각 60센트로 백만 토큰당 10센트로 시장에 있는 대안 비용의 일부만으로 사용자에게 api 엔드포인트를 제공합니다.
엔터프라이즈 계층은 미세 조정된 모델, 맞춤형 서비스 수준 계약 및 전담 지원을 제공합니다. 기업은 cerebras가 관리하는 프라이빗 클라우드 또는 고객 구내를 통해 cerebras inference에 액세스할 수 있으므로 지속적인 워크로드에 이상적입니다.
cerebras 팀은 다음과 같이 말했습니다. "기록적인 성능, 업계 최고의 가격 및 개방형 api 액세스를 갖춘 cerebras inference는 개방형 llm 개발 및 배포를 위한 새로운 표준을 설정합니다. 고속 교육과 추론을 동시에 제공할 수 있는 유일한 솔루션인 cerebras는 ai의 완전히 새로운 가능성.”
ai 분야는 빠르게 진화하고 있으며, 현재 ai 시장을 엔비디아가 장악하고 있는 가운데, 세레브라스(cerebras), 그로크(groq) 등 기업의 등장은 업계 역학이 바뀔 수 있다는 신호다. 더 빠르고 비용 효율적인 ai 추론 솔루션에 대한 수요가 계속 증가함에 따라 이러한 도전자들은 특히 추론 영역에서 nvidia의 지배력을 뒤흔들고 있습니다.
