소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

베이징 시간인 7월 23일 저녁, Meta는 최신 오픈 소스 대형 모델 Llama 3.1 시리즈를 공식 출시하여 오픈 소스 모델과 폐쇄 소스 모델 간의 격차를 더욱 좁혔습니다. Llama 3.1에는 8B, 70B 및 450B의 3가지 매개변수 크기가 포함되어 있습니다. 450B 매개변수 모델은 여러 벤치마크 테스트에서 OpenAI의 GPT-4o를 능가했으며 Claude 3.5 Sonnet과 같은 주요 비공개 소스 모델과 비슷합니다.

Meta 창립자이자 CEO인 Zuckerberg는 동시에 공식 웹사이트에 블로그를 게시하여 이번 릴리스에 대한 추진력을 구축했습니다. 그는 Llama 3.1 버전이 업계의 전환점이 될 것이라고 말했습니다. 대부분의 개발자는 오픈 소스를 주로 사용하기 시작할 것입니다. 소스 AI가 미래의 발전 방향입니다.

Nvidia 수석 연구 과학자 Jim Fan은 X에 Meta 팀을 축하하는 메시지를 올렸습니다. 그는 "GPT-4의 힘이 우리 손에 있습니다. (지금은) 정말 역사적인 순간입니다."라고 말했습니다.

구체적인 세부 사항을 살펴보면, Llama 3.1 3개 버전의 모델 컨텍스트 창이 8k에서 128K로 증가하고, 16배 확장되었으며, 동시에 8개 언어를 지원합니다. Llama 3.1 -405B 모델은 훈련에 15조 개 이상의 토큰을 사용했으며, 이러한 훈련 규모를 달성하기 위해 팀은 16,000개의 H100 GPU를 사용했습니다. 공식적으로 405B 모델은 이 규모로 훈련된 최초의 Llama 모델입니다.

오픈소스 대형 언어 모델은 기능이나 성능 면에서 클로즈드 소스 모델에 비해 대부분 뒤떨어지지만 “이제 우리는 오픈소스가 이끄는 새로운 시대로 진입하고 있습니다.”

Meta는 공식 블로그에서 150개가 넘는 벤치마크 데이터 세트의 성능을 평가하고 Llama 3.1의 성능을 다른 모델과 비교했습니다. 플래그십 모델인 Llama 3.1 -405B는 상식, 조작성, -4, GPT-4o는 Claude 3.5 Sonnet과 유사합니다. 또한 8B 및 70B 소형 모델은 유사한 수의 매개변수를 가진 폐쇄 소스 및 오픈 소스 모델과 경쟁력이 있습니다.

실제 시나리오에서 Llama 3.1 405B를 인간 평가와 비교한 결과 전반적인 성능이 GPT-4o 및 Claude 3.5 Sonnet보다 우수했습니다.

이번에 Meta는 오픈 소스 라이선스도 업데이트하여 개발자가 처음으로 Llama 모델(405B 포함)의 출력을 사용하여 다른 모델을 개선할 수 있도록 했습니다. 관계자들은 GPT-4o를 벤치마킹하면서 이미지, 비디오, 음성 기능을 라마 3에 통합하는 조합 방식도 사용할 것이라고 밝혔습니다. 이를 통해 모델이 이미지와 비디오를 인식하고 음성을 통한 상호작용을 지원할 수 있을 것입니다. 그러나 이 기능은 아직 개발 중이며 아직 출시 준비가 되지 않았습니다.

메타는 공식 블로그를 통해 지금까지 모든 라마 버전의 총 다운로드 수가 3억 회를 넘었다고 밝혔습니다.

Zuckerberg는 이번 모델 출시 외에도 공식 웹사이트에 "Open Source AI Is the Path Forward"라는 장문의 글을 게재하여 오픈 소스의 중요성을 언급했습니다. 그는 오픈 소스가 모든 개발자와 Meta, 그리고 개발자에게 유익하다고 믿습니다. 세상에는 좋은 일이다.

주커버그는 폐쇄소스 시스템인 유닉스에 대한 오픈소스 시스템인 리눅스의 승리를 예로 들며, 인공지능도 비슷한 방식으로 발전할 것이라고 믿었다. "선도적인 폐쇄형 모델을 개발하는 여러 기술 회사가 있지만 오픈 소스가 빠르게 격차를 좁히고 있습니다." 그는 작년에 Llama 2가 이전 세대 모델과만 비교할 수 있다고 언급했습니다. 그리고 올해 라마 3는 일부 분야에서 경쟁력을 갖추었으며, 일부 분야에서는 심지어 가장 앞선 모델들을 앞지르기도 했습니다.

Zuckerberg는 오픈 소스가 혁신을 촉진하고 비용을 절감하며 보안을 향상시킬 수 있다고 믿습니다. 개발자의 경우 오픈 소스를 활용하면 자신만의 모델을 훈련하고, 미세 조정하고, 정제할 수 있습니다. 모든 조직은 서로 다른 요구 사항을 갖고 있으며, 이러한 요구 사항은 특정 데이터에 대해 훈련되거나 미세 조정된 다양한 크기의 모델을 사용하여 가장 잘 충족됩니다. 의.

동시에 개발자는 데이터 보안을 보호하기 위해 폐쇄된 공급업체에 갇히지 않습니다. "오픈 소스 소프트웨어는 개발이 더 투명하고 광범위하게 검토될 수 있기 때문에 더 안전한 경향이 있습니다."

Zuckerberg는 또한 오픈 소스 모델이 더 저렴하고 효율적이라고 언급했습니다. 개발자는 사용자 인터페이스에 적합한 GPT-4o%와 같은 폐쇄형 모델을 사용하는 것에 비해 약 50%의 비용으로 자체 인프라에서 Llama 3.1 405B에 대한 추론을 실행할 수 있습니다. 및 오프라인 추론 작업.

“오픈소스 인공지능은 세계 최고의 기회를 의미합니다.” Zuckerberg의 관점에서 이 기술을 사용하면 가장 큰 경제적 기회와 보안을 창출할 수 있습니다.