소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

편집자: Asia Oriole, Big Pan Chicken, Du Wei

오픈소스와 클로즈드소스 간의 논쟁은 오랫동안 지속되어 왔으며, 이제 새로운 정점에 이르렀을지도 모릅니다.

오픈소스 대형 모델의 경우 라마(Llama) 시리즈가 탄생부터 대표적인 대표작으로 꼽힌다. 뛰어난 성능과 오픈소스 기능으로 인공지능 기술의 적용성과 접근성이 크게 향상됐다. 모든 연구자와 개발자는 이를 통해 연구와 응용 프로그램을 더욱 광범위하게 만들 수 있습니다.

이제 Meta Llama 3.1 405B가 공식 출시되었습니다. 메타는 공식 블로그를 통해 “지금까지 오픈소스 대형 언어 모델은 기능성이나 성능 측면에서 폐쇄형 모델에 비해 대부분 뒤떨어져 있었다. 이제 우리는 오픈소스가 이끄는 새로운 시대를 열고 있다”고 밝혔다.

동시에 Meta 창립자이자 CEO인 Zuckerberg는 모든 개발자, Meta, 그리고 전 세계에 대한 오픈 소스의 중요성을 설명하는 장문의 기사를 직접 작성했습니다. 그는 AI의 긍정적인 발전을 위해서는 오픈소스가 필수 조건이라고 말했다. Unix와 Linux의 개발을 예로 들면, 오픈 소스 AI는 혁신, 데이터 보호 및 비용 효율성에 더욱 도움이 될 것입니다.

그는 또한 오픈 소스 Llama 모델이 기술 발전을 보장하고 경쟁으로 인해 우위를 잃지 않는 완전한 생태계를 구축할 수 있다고 믿습니다. Meta는 오픈소스의 성공적인 역사를 가지고 있습니다. Zuckerberg는 오픈소스 AI 모델을 통해 글로벌 기술의 평등과 안전한 적용을 촉진하기를 희망합니다.

원본 링크: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

원본 내용은 다음과 같습니다.

Zuckerberg는 오픈 소스 유전자를 Meta에 주입합니다.

고성능 컴퓨팅 초기에 주요 기술 회사는 자체 비공개 소스 Unix 버전을 개발하는 데 막대한 투자를 했습니다. 당시에는 이러한 고급 소프트웨어를 개발하는 다른 방법을 상상하기 어려웠습니다.

그러나 오픈 소스 Linux는 점차 인기를 얻었습니다. 처음에는 개발자가 코드를 자유롭게 수정할 수 있고 더 저렴했기 때문입니다. 그러나 나중에는 더 발전하고 더 안전하며 폐쇄 소스 Unix보다 더 광범위한 생태계를 갖고 더 많은 기능을 지원합니다. 오늘날 Linux는 클라우드 컴퓨팅의 업계 표준 기반이자 대부분의 모바일 장치를 실행하는 운영 체제이며 모든 사람이 Linux의 우수한 제품의 혜택을 누리고 있습니다.

나는 인공지능의 발전도 비슷한 궤적을 따라갈 것이라고 믿는다.오늘날 일부 기술 회사는 선도적인 폐쇄 소스 모델을 개발하고 있지만 오픈 소스는 빠르게 그 격차를 줄이고 있습니다.

작년에 Llama 2는 한 세대 이전 모델과만 비교할 수 있었습니다. 그리고 올해 Llama 3는 이미 일부 분야에서 업계 선두 모델과 경쟁하거나 심지어 앞서기까지 했습니다. 내년부터 우리는 미래의 Llama 모델이 업계에서 가장 발전된 대형 모델이 될 것으로 기대합니다. Llama는 또한 개방성, 수정 가능성 및 비용 효율성 측면에서도 선두를 달리고 있습니다.

오늘 우리는 오픈 소스 AI를 업계 표준으로 만드는 다음 단계를 밟고 있습니다. 우리는 최초의 최첨단 오픈 소스 AI 모델인 Llama 3.1 405B와 Llama 3.1 70B 및 8B 모델의 개선된 버전을 출시했습니다. 비공개 소스 모델과 비교할 때 이러한 오픈 소스 모델은 훨씬 더 비용 효율적이며, 특히 405B 모델의 오픈 소스 특성으로 인해 소형 모델을 미세 조정하고 정제하는 데 가장 적합합니다.

이러한 모델을 출시하는 것 외에도 우리는 더 넓은 생태계를 확장하기 위해 여러 회사와 협력하고 있습니다. Amazon, Databricks 및 Nvidia는 개발자가 자신의 모델을 미세 조정하고 정제할 수 있도록 전체 서비스 제품군을 출시합니다. Groq과 같은 혁신가들은 모든 새로운 모델에 대해 지연 시간이 짧고 비용이 저렴한 추론 서비스를 구축했습니다.

이러한 모델은 AWS, Azure, Google, Oracle 등을 포함한 모든 주요 클라우드 플랫폼에서 사용할 수 있습니다. Scale.AI, Dell, Deloitte 등은 이미 기업이 Llama를 채택하고 자체 데이터를 사용하여 맞춤형 모델을 교육할 수 있도록 지원할 준비가 되어 있습니다. 커뮤니티가 성장하고 더 많은 회사가 새로운 서비스를 개발함에 따라 우리는 함께 Llama를 업계 표준으로 만들고 AI의 이점을 모든 사람에게 제공할 수 있습니다.

Meta는 오픈소스 AI에 전념하고 있습니다. 오픈소스가 최고의 개발 플랫폼이라고 생각하는 이유, 오픈소스 Llama가 Meta에 좋은 이유, 오픈소스 AI가 전 세계에 좋고 오랫동안 존재할 이유는 다음과 같습니다. .

개발자를 위한 오픈소스 AI

저는 전 세계의 개발자, CEO, 정부 관료들과 대화할 때 대개 다음과 같은 몇 가지 주제를 듣습니다.

• 우리는 우리 자신의 모델을 훈련하고, 미세 조정하고, 정제해야 합니다. 모든 조직에는 다양한 규모와 특정 데이터를 사용하여 훈련되거나 미세 조정된 모델을 사용하여 가장 효과적으로 충족할 수 있는 다양한 요구 사항이 있습니다. 온디바이스 작업과 분류 작업에는 작은 모델이 필요하고, 더 복잡한 작업에는 큰 모델이 필요합니다. 이제 귀하는 최첨단 Llama 모델을 사용하여 귀하의 데이터에 대해 계속 교육한 다음 당사나 다른 사람이 귀하의 데이터를 볼 필요 없이 귀하의 요구에 가장 적합한 모델 크기로 추출할 수 있습니다.
• 우리는 우리 자신의 운명을 통제해야 하며 폐쇄 소스 공급업체에 의해 "갇혀" 있어서는 안 됩니다. 많은 조직은 스스로 실행하고 제어할 수 없는 모델에 의존하고 싶어하지 않습니다. 그들은 폐쇄 소스 모델 공급업체가 모델을 변경하거나, 사용 약관을 변경하거나, 심지어 서비스를 완전히 중단하는 것을 원하지 않습니다. 또한 그들은 자신의 모델에 대한 독점권을 가진 단일 클라우드 플랫폼에 갇히는 것을 원하지 않습니다. 오픈 소스는 쉽게 전환할 수 있는 호환 가능한 도구 체인의 광범위한 생태계를 지원합니다.
• 우리는 데이터를 보호해야 합니다. 많은 조직에서는 보호해야 하고 클라우드 API를 통해 폐쇄 소스 모델로 보낼 수 없는 민감한 데이터를 처리합니다. 일부 조직에서는 비공개 소스 모델 공급업체의 데이터를 신뢰하지 않습니다. 오픈 소스를 사용하면 원하는 곳 어디에서나 모델을 실행할 수 있으므로 이러한 문제가 해결됩니다. 오픈소스 소프트웨어는 개발 프로세스가 더 투명하기 때문에 더 안전하다는 것은 잘 알려져 있습니다.
• 효율적이고 경제적인 모델이 필요합니다.개발자는 사용자 측 및 오프라인 추론 작업에 적합한 비공개 소스 모델(예: GPT-4)을 사용하는 비용의 약 50%로 추론을 위해 자체 인프라에서 Llama 3.1 405B를 실행할 수 있습니다.
• 우리는 장기적으로 표준이 될 생태계에 투자하고 싶습니다.많은 사람들이 오픈 소스가 폐쇄형 모델보다 빠르게 발전하는 것을 보고 장기적으로 가장 큰 이점을 제공하는 아키텍처에 시스템을 구축하기를 원합니다.

메타에 대한 오픈 소스 AI

Meta의 비즈니스 모델은 사람들을 위한 최고의 경험과 서비스를 구축하는 것입니다. 이를 달성하기 위해 우리는 항상 최고의 기술에 접근할 수 있어야 하며 경쟁사가 우리가 개발하는 것을 제한할 수 없도록 폐쇄적인 경쟁 생태계에 갇히지 않도록 해야 합니다.

저는 중요한 경험을 공유하고 싶습니다. Apple은 플랫폼에서 콘텐츠를 구축할 수 있도록 허용하지만 서비스 구축에 있어서는 여전히 제한적입니다. 그들이 개발자에게 부과하는 세금이든, 그들이 부과하는 자의적인 규칙이든, 그들이 방해하는 모든 제품 혁신이든, 우리가 최고의 제품 버전을 만들 수 있다면 경쟁업체는 우리가 만드는 것을 제한할 수 없다는 것이 분명합니다. Meta 및 기타 여러 가지 기업은 사람들에게 더 나은 서비스를 제공할 수 있을 것입니다. 철학적 수준에서 이것이 제가 AI 및 AR/VR 분야에서 차세대 컴퓨터를 위한 개방형 생태계 구축을 그토록 강력하게 믿는 큰 이유입니다.

사람들은 종종 나에게 Llama를 오픈소스로 제공함으로써 기술적 이점을 잃을까 봐 걱정되는지 묻지만, 나는 이것이 몇 가지 이유로 더 큰 그림을 놓치고 있다고 생각합니다.

첫째, 우리가 장기적으로 기술 리더십을 유지하고 폐쇄 소스 생태계에 갇히지 않도록 하려면 Llama는 도구, 효율성 개선, 하드웨어 최적화 및 기타 통합을 포함하는 완전한 생태계로 진화해야 합니다. 우리 회사가 Llama를 사용하는 유일한 회사라면 생태계는 성장하지 않을 것이며 Unix의 폐쇄 소스 변종을 사용하는 것보다 나을 것이 없을 것입니다.

둘째, 나는 AI 개발이 계속해서 높은 경쟁력을 가질 것으로 예상합니다. 즉, 특정 순간에 모델을 오픈 소스화한다고 해서 차기 최고의 모델과의 경쟁에서 큰 이점을 얻지는 않는다는 의미입니다.업계 표준이 되기 위한 Llama의 길은 세대를 거쳐 경쟁력 있고 효율적이며 개방적인 상태를 유지하는 것입니다.

셋째, Meta와 비공개 소스 모델 제공업체의 주요 차이점은 AI 모델에 대한 액세스를 판매하는 것이 우리의 비즈니스 모델이 아니라는 것입니다. 즉, Llama를 공개적으로 출시하더라도 비공개 소스 제공업체는 그렇지 않지만 수익, 지속 가능성 또는 연구 투자 능력은 손상되지 않습니다. (이것이 일부 폐쇄 소스 제공업체가 공개 소스에 반대하여 공공 관리자에게 로비를 벌여온 이유 중 하나입니다.)

마지막으로 Meta는 오픈 소스 프로젝트에 대한 풍부한 성공적인 경험을 보유하고 있습니다. 우리는 서버, 네트워크 및 데이터 센터 설계를 Open Compute Project와 공유하고 공급망을 표준화하여 수십억 달러를 절약했습니다. PyTorch, React 등과 같은 선도적인 도구를 오픈소스로 제공함으로써 우리는 생태계 혁신으로부터 큰 이익을 얻습니다. 이 접근 방식은 오랫동안 매우 효과적이었습니다.

오픈소스 AI를 세계로

저는 AI의 미래를 위해서는 오픈소스가 필요하다고 믿습니다. AI는 다른 어떤 현대 기술보다 인간의 생산성, 창의성, 삶의 질을 향상시키고, 경제 성장을 가속화하는 동시에 의학 및 과학 연구를 발전시킬 수 있는 잠재력을 가지고 있습니다.오픈소스는 전 세계 더 많은 사람들이 AI 개발로부터 혜택과 기회를 얻을 수 있도록 하고, 권력이 소수 기업의 손에 집중되지 않고, 기술이 사회 전반에 더 균등하고 안전하게 배포될 수 있도록 보장할 것입니다.

오픈소스 AI 모델의 안전성에 대한 논쟁이 계속되고 있습니다. 내 요점은 오픈 소스 AI가 대안보다 안전할 것이라는 것입니다. 저는 정부가 결국 세상을 더욱 번영하고 안전하게 만들 것이기 ​​때문에 오픈 소스를 지원한다는 결론에 도달할 것이라고 생각합니다.

제가 이해하는 보안 프레임워크에서는 의도하지 않은 피해와 의도적인 피해라는 두 가지 유형의 피해로부터 보호해야 합니다.

• 의도하지 않은 피해란 AI 시스템이 작동하는 동안 의도치 않게 피해를 입힐 수 있는 가능성을 말합니다. 예를 들어 최신 AI 모델은 실수로 잘못된 건강 조언을 제공할 수 있습니다. 또는 미래 시나리오에서는 모델이 실수로 스스로 복제하거나 목표를 과도하게 최적화하여 인간에게 해를 끼칠 수 있다는 우려가 있습니다.
• 의도적인 피해란 악의적인 행위자가 피해를 입힐 의도로 AI 모델을 사용하는 경우를 말합니다.

의도하지 않은 피해에는 AI 시스템이 수십억 명의 사용자에게 미치는 영향부터 가장 재앙적인 SF 시나리오에 이르기까지 사람들이 AI에 대해 갖는 대부분의 우려가 포함된다는 점은 주목할 가치가 있습니다. 이런 점에서 오픈소스가 제공하는 보안은 시스템이 더욱 투명하고 광범위하게 조사될 수 있기 때문에 더욱 중요합니다.

역사적으로 오픈 소스 소프트웨어는 이러한 이유로 더 안전했습니다. 마찬가지로 Llama와 Llama Guard와 같은 보안 시스템을 사용하는 것이 비공개 소스 모델보다 더 안전하고 안정적일 수 있습니다. 결과적으로 오픈 소스 AI 안전에 대한 대부분의 논의는 의도적인 피해에 중점을 두고 있습니다.

우리의 보안 프로세스에는 모델이 출시되기 전에 위험을 완화한다는 목표로 모델이 중대한 피해를 입힐 가능성이 있는지 여부를 확인하기 위한 엄격한 테스트와 레드팀 평가가 포함됩니다. 이러한 모델은 오픈 소스이므로 누구나 직접 테스트할 수 있습니다. 이러한 모델은 이미 인터넷에서 얻을 수 있는 정보를 기반으로 학습되었다는 점을 명심해야 합니다. 따라서 피해를 고려할 때 출발점은 해당 모델이 Google이나 다른 검색 결과에서 빠르게 얻은 정보보다 더 큰 피해를 줄 수 있는지 여부부터 시작해야 합니다.

의도적인 피해에 대해 추론하는 것은 개인이나 소규모 행위자가 할 수 있는 일과 국가와 같이 막대한 자원을 가진 대규모 행위자가 할 수 있는 일을 구별함으로써 도움이 될 것입니다.

미래의 어느 시점에는 개별 악의적인 행위자가 AI 모델의 지능을 활용하여 이미 인터넷에 있는 정보를 통해 새로운 유형의 피해를 입힐 수 있습니다. 이 시점에서 AI 안전에는 힘의 균형이 중요합니다.

AI가 널리 배포되어 대형 행위자가 소규모 악의적인 행위자와 균형을 맞출 수 있는 세상에 사는 것이 더 나을 것이라고 생각합니다. 이는 또한 소규모 AI 시스템을 자주 사용하는 덜 정교한 행위자를 식별하고 차단하는 보다 강력한 AI 시스템을 통해 소셜 네트워크의 보안을 관리하는 방법이기도 합니다.

보다 광범위하게는 대규모 기관이 AI를 대규모로 배포하면 사회의 보안과 안정성에 기여할 것입니다. 모든 사람이 세대와 유사한 모델에 액세스할 수 있는 한, 더 많은 컴퓨팅 리소스를 보유한 정부 및 기관은 더 적은 컴퓨팅 리소스로 악의적인 행위자와 균형을 맞출 수 있습니다.

미래의 기회를 고려할 때 오늘날의 선도적인 기술 기업과 과학 연구의 대부분이 오픈 소스 소프트웨어를 기반으로 구축되었다는 점을 기억하십시오. 우리가 오픈소스 AI에 함께 투자한다면 차세대 기업과 연구가 이를 이용할 수 있게 될 것입니다. 여기에는 이제 막 시작한 스타트업뿐만 아니라 SOTA AI를 처음부터 개발할 리소스가 없는 대학 및 국가의 사람들도 포함됩니다.

종합해보면, 오픈 소스 AI는 모두를 위한 경제적 기회와 보안을 창출하기 위해 이 기술을 전 세계적으로 최대한 활용하는 것을 의미합니다.

협력은 안정적이고 오픈 소스는 광범위합니다.

과거 Llama 모델에서는 Meta가 더 넓은 생태계 구축에 집중하지 않고 자체 개발을 위해 이러한 모델을 출시했습니다. 이번 출시를 위해 우리는 다른 접근 방식을 취했습니다. 우리는 가능한 한 많은 개발자와 파트너가 Llama를 사용할 수 있도록 내부적으로 팀을 구성하고 있으며 생태계 내 더 많은 회사가 고객에게 고유한 기능을 제공할 수 있도록 적극적으로 파트너십을 구축하고 있습니다.

나는 Llama 3.1의 출시가 업계의 전환점이 될 것이라고 믿으며 대부분의 개발자는 오픈 소스 기술을 사용하기 시작할 것이며 이러한 접근 방식은 우리의 오픈 소스에서 시작될 것이라고 예측합니다.

AI의 혜택을 세상에 알리기 위해 우리가 함께 노력할 수 있기를 바랍니다.

이제 llama.meta.com에서 이러한 모델에 액세스할 수 있습니다.

마크 주커 버그