소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

저자 | 왕이신

편집자|아니타 탕

Meta가 최신 오픈소스 대형 모델 Llama 3.1을 출시한 지 하루도 채 지나지 않아 프랑스 AI 스타트업 Mistral이 이를 시작했습니다. 7월 24일 Mistral은 새로운 플래그십 모델 Large 2를 출시했습니다.

Mistral AI는 설립된 지 1년이 된 프랑스의 AI 스타트업 회사로, 현재까지 유럽에서 가장 자금력이 풍부하고 경쟁력 있는 AI 기업이기도 합니다. 핵심 구성원은 Google DeepMind 등 최고의 AI 기관 출신입니다. Lianchuang Mensch와 같은 Chinchilla와 같은 대형 모델 논문의 저자는 Scaling Laws를 포함한 핵심 기술을 제안했습니다.

2023년 6월 설립된 지 불과 4주 만에 미스트랄 AI는 6명으로 구성된 팀과 함께 1억500만 유로의 자금 조달을 받았다. 이 회사는 오픈 소스 대형 모델의 연구 개발에 중점을 두고 있으며 마크롱 프랑스 대통령으로부터 "미국 기술 거대 기업과 경쟁할 수 있는 유럽 신세대 스타트업의 모델"이라고 칭찬받았습니다.

2023년 12월 미스트랄은 560억 개의 매개변수를 보유한 미스트랄 8x7B라는 오픈소스 대형 모델을 출시했는데, 그 효율성과 성능은 LLaMA-65B에 버금가며 대형 모델 업계에서 즉각 히트를 쳤습니다. 또한 회사는 ChatGPT를 벤치마킹하고 Le Chat(공식 웹사이트에는 아직 테스트 단계에 있으며 테스트 자격 등록 및 신청이 필요함을 나타냄)이라는 다국어 대화 도우미를 출시하여 회사의 최신 기술 역량을 선보였습니다.

Mistral은 Large 2가 Llama 3.1 405B 매개변수의 1/3 미만인 1,230억 매개변수를 사용하여 코드 생성, 수학 및 추론 기능에서 Llama 3.1 405B를 능가했으며 응답 생성에서 다른 주요 AI 모델보다 성능이 더 뛰어나다고 말했습니다. 설명이 너무 길어요. 이는 Large 2가 비용 측면에서 더 많은 이점을 갖고 있으며 개발자가 로컬에서 더 빠르게 실행할 수 있음을 의미합니다.

Meta의 Llama 3.1과 마찬가지로 Large 2에는 다중 모드 기능이 없지만 대화 응답의 정확성과 신뢰성 측면에서 Llama의 "little is big"과 비교할 수 있습니다. Mistral은 모델의 환각 문제가 Large 2의 훈련 과정에서 중점을 둔 문제 중 하나라고 말했습니다. 또한 Large 2는 명령 따르기 및 대화 작업을 개선하여 정확한 지침과 길고 여러 차례 대화를 처리합니다.

Large 2의 컨텍스트 길이는 128k이며 단일 대화에서 대략 300페이지 책만큼 많은 문자를 수신할 수 있습니다. 또한 Large 2는 다국어를 지원하며 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어, 한국어는 물론 80가지 코드 언어를 처리할 수 있습니다.

출처: 미스트랄 공식 홈페이지

미스트랄의 모델은 전통적인 의미의 오픈소스 모델이 아니며, 상업적 이용에는 비용을 지불해야 한다는 점을 지적해야 한다.

현재 Large 2는 사용자가 사용할 수 있도록 Google, Amazon, Azure 및 IBM의 플랫폼에 진입했습니다. 사용자는 또한 미스트랄의 La Plateforme(AI 애플리케이션 개발을 단순화하고 사전 훈련된 모델, 데이터 처리 도구 및 API 인터페이스를 제공하는 종합 플랫폼)에서 'mistral-large-2407'을 통해 경험하거나 Le Chat에서 무료로 테스트할 수 있습니다.

Mistral은 올해 6월 시리즈 B 파이낸싱을 완료하여 총 6억 4천만 달러, 가치 60억 달러를 조달했습니다. 이번 자금 조달 라운드는 General Catalyst가 주도했으며 투자자에는 Lightspeed Venture Partners, Andreessen Horowitz, Nvidia, Samsung Ventures 및 IBM도 포함되어 있습니다.

Mistral AI에는 현재 약 60명의 직원이 있으며, 그 중 45명은 프랑스에, 10명은 미국에, 5명은 영국에 있습니다. Financial Times에 따르면 직원의 약 4분의 3이 제품 개발 및 연구 분야에 종사하고 있습니다.