소식

AI 주간 보고서 | 대형 모델은 9.11 또는 9.9 중 어느 것이 더 큰지 결정할 수 없습니다. OpenAI는 경량 모델 GPT-4o mini를 출시합니다.

2024-07-21

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

대형 모델은 9.11과 9.9 중 어느 것이 더 큰지 결정할 수 없습니다.

초등학생들에게 어려운 수학 문제는 국내외 많은 대형 AI 모델을 난처하게 만들었다. 9.11과 9.9 중 어느 것이 더 큽니까? 이 문제와 관련해 지난 7월 17일 차이나비즈니스뉴스 취재진은 대형 모델 12개를 테스트했는데 그 중 알리바바 동이 첸웬(Alibaba Tongyi Qianwen), 바이두 원신이얀(Baidu Wenxinyiyan), 미니맥스(Minimax), 텐센트 위안바오(Tencent Yuanbao)가 정답을 맞혔으나 ChatGPT-4o, Byte Doubao, Dark of the Moon Mian kimi, Zhipu Qingyan이 정답을 맞췄다. , Zero One All Things Knowledge, Step Stars Yuewen, Baichuan Zhibai Xiaoying, Shangtang 토론은 모두 잘못된 답을 얻었으며 잘못된 방법은 다릅니다. 대부분의 대형 모델은 Q&A에서 소수점 이하 숫자를 비교하여 9.11이 9.9보다 크다고 잘못 생각합니다.

설명: 실수 뒤에는 대형 모델의 열악한 수학적 능력이 오랫동안 지속되어 온 문제가 있습니다. 일부 업계 관계자는 생성 언어 모델이 수치적 사고보다는 문자적 사고에 더 가깝도록 설계되었다고 믿습니다. 그러나 표적화된 말뭉치 훈련은 미래에 과학 질문에 답하는 모델의 능력을 점차적으로 향상시킬 수 있습니다.

OpenAI, 경량 모델 GPT-4o mini 출시, 2년 만에 모델 비용 99% 감소

현지 시간으로 7월 18일, OpenAI는 새로운 경량 대형 모델 GPT-4o mini를 출시했습니다. 보도에 따르면 GPT-4o mini는 이제부터 질의응답 로봇 ChatGPT에서 GPT-3.5 Turbo를 대체할 예정이며, 기업 사용자는 다음 주부터 GPT-4o mini에 액세스할 수 있게 됩니다. “우리는 GPT-4o mini가 인공지능의 적용을 확장하고 인공지능을 더욱 저렴하게 만들 것으로 기대합니다. OpenAI 공식 웹사이트의 기사에 따르면 GPT-4o mini의 입력 가격은 15센트($0.15)/백만입니다. 토큰(단어 요소)), 출력 가격은 60센트(USD 0.6)/백만 토큰으로, GPT-3.5 Turbo보다 ​​60% 저렴합니다. OpenAI는 회사가 모델 성능을 향상시키면서 계속해서 비용을 절감할 것이라고 밝혔습니다. 2022년형 text-davinci-003 모델에 비해 GPT-4o mini의 가격은 99% 감소했습니다.

설명: OpenAI는 차세대 모델 GPT-5를 출시하지 않았지만 여전히 기존 기능을 기반으로 모델을 업데이트하고 있으며 대형 모델의 비용을 지속적으로 낮추고 있습니다. 다른 대형 모델 제조사들도 올해 경량 모델을 내놓고 있다. 구글은 올해 5월 경량 모델인 Gemini 1.5 Flash를 출시했습니다. 지난 3월 Anthropic이 출시한 Claude 3 시리즈에는 경량 Claude 3 Haiku가 포함되어 있습니다. 올해에는 매개변수가 더 작은 대형 모델이 큰 잠재력을 보였습니다. 학습을 통해 매개변수의 양을 늘리는 대신 데이터의 양을 늘려 성능을 향상할 수 있습니다.

6개 대형 모델 제조업체가 대형 모델의 디지털 성능 저하 문제에 대응

China Business News 기자들은 최근 Alibaba Tongyi, Tencent Hunyuan Team, Dark Side of the Moon Kimi, MiniMax Conch, Xueersi Jiuzhang, NetEase Youdao 등을 포함한 여러 대형 모델 제조업체에 연락하고 인터뷰했습니다. 인터뷰에서 그들은 큰 질문에 답했습니다. 빈약한 모델 수학의 문제. Alibaba Tongyi Laboratory의 제품 관리자인 왕 샤오밍(Wang Xiaoming)은 유사한 문제가 일반적인 수학적 계산 및 논리적 추론 문제이며 개발자가 모델 훈련 및 사용 과정에서 자주 테스트하는 경우이기도 하며 "정답" 또는 "정답"이 있다고 말했습니다. 오답입니다." "실제로는 확률의 문제입니다. Tencent Hunyuan 팀은 대형 모델 자체가 확률 모델이며 다양한 상황에서 이러한 수치 계산이나 비교 문제를 안정적으로 해결하기 어렵다고 밝혔습니다.

코멘트: "9.11과 9.9 중 어느 것이 더 큽니까?" 인간에게는 어렵지 않지만, 대형 모델의 경우에는 반드시 대답하기 쉬운 질문은 아닙니다. 종합적인 답변으로 볼 때, 대형 모델 제조사 담당자들이 언급한 견해에는 대형 모델이 아직 숫자 간의 계산이나 비교 규칙을 정확하게 제어하지 못하는 동시에 대형 모델의 기능에 대한 인간의 탐구가 포함되어 있습니다. 아주 초기 단계에서. 많은 업계 관계자들은 미래에는 기본 모델의 지능 수준을 높이고 이러한 실수를 교육 데이터 및 외부 도구 수준에서 해결해야 한다고 믿고 있습니다. 모델. 이러한 사례의 발견은 제조업체가 대형 모델 기능의 경계에 대한 이해를 높이는 데 도움이 될 것입니다.

인공지능법(Artificial Intelligence Act)이 오는 8월 1일 EU 전역에서 발효된다.

유럽연합이 발의한 세계 최초의 인공지능법(EU AI Act)이 8월 1일 EU 전역에 발효된다. 이는 지금까지 전 세계에서 발표된 인공지능 감독을 겨냥한 법안 중 가장 포괄적인 법안이기도 하다. EU의 인공지능법은 일반 데이터 보호 규정(GDPR)과 동일한 '브뤼셀 효과' 달성을 목표로 글로벌 인공지능 규정의 기반을 마련합니다. 최신 법안에 따르면, 규정을 위반한 기업에는 최대 3,500만 유로 또는 최대 연간 매출의 7% 중 더 높은 금액의 행정 벌금이 부과됩니다.

설명: EU는 항상 기술 규제의 최전선에 있었습니다. EU의 인공지능법은 세계 최초의 포괄적인 인공지능 규제법으로, 기술 규제 분야에 대한 EU의 선견지명과 리더십을 보여준다. 그러나 이 규정은 또한 기업의 운영 비용을 증가시킬 것입니다. Shanghai Dabang Law Firm의 파트너인 You Yunting은 GDPR 시행 이후 기업의 비용, 특히 규정 준수 비용이 크게 증가했다고 말했습니다. 인공지능법도 마찬가지일 것으로 예상되는데, 이는 기업이 새로운 규정에 투자하고 전담 인력을 임명해 규정 준수 정책을 연구해야 한다는 뜻이다. 또한 위반 통지 처리, 공시 시스템 등도 비용이 증가할 것으로 예상된다.

'대학 입시' 참가 후 주요 모델 7명의 성적 공개: 과학과목은 2과목만 수강 가능

앞서 지난 6월 상하이 인공지능연구소 산하 신안 평가 시스템인 오픈컴패스(OpenCompass)가 AI 대학 입시 첫 전체논문 평가 결과를 공개한 바 있는데, AI 지원자는 이 외에 3개 과목에서 최대 303점을 받을 수 있는 것으로 나타났다. 언어와 수학, 그리고 모든 수학에서 낙제했습니다. 지난 7월 17일, OpenCompass는 과목 범위를 확대한 평가를 추가로 발표했습니다. 팀은 대학 입시 9개 과목 전체에서 7개의 대형 AI 모델을 테스트하여 대학 입시 입학 점수와 비교할 수 있도록 했습니다.

AI가 대학 입시를 치면 어느 대학에 입학할 수 있을까? OpenCompass 테스트 결과, 대형 모델이 교양 시험을 치르면 최고 점수는 한 권의 책에 '인정'될 수 있지만 과학 시험을 치르면 최대 두 권의 책에만 '인정'될 수 있는 것으로 나타났습니다(기준). 올해 대학 입시가 가장 많은 허난성(河南省)의 성적표) 참고)

의견: 마킹 교사의 평가에 따르면 인간 후보자와 비교하면 현재의 대형 모델에는 여전히 큰 한계가 있습니다. 채점을 완료한 후 교사들은 대형 모델이 기본 지식을 익히는 데는 좋은 성능을 보였지만, 논리적 추론과 지식의 유연한 적용 측면에서는 여전히 만족스럽지 않다는 데 동의했습니다. 특히 주관적인 질문에 답할 때 대형 모델은 질문 어간을 완전히 이해하지 못하고 대명사의 방향을 이해하지 못하는 경우가 많아 잘못된 답을 얻게 됩니다. 수학적 질문에 답할 때 문제 해결 과정은 기계적이고 논리적이지 않습니다. 공간 논리에 문제가 있는 경우가 종종 발생합니다.

Li Feifei는 "유니콘"을 육성하고 World Labs의 가치는 10억 달러를 초과합니다.

7월 17일, 중국의 유명 컴퓨터 과학자 리페이페이(Li Feifei)가 설립한 '공간지능' 스타트업 월드랩스(World Labs)의 가치가 10억 달러를 넘어섰다고 보도됐다. 이 스타트업은 주로 인간과 유사한 시각적 데이터 처리 기술을 사용하여 AI에 고급 추론 기능을 탑재합니다.

월드랩스는 올해 4월 설립된 이후 최고 기술 투자자 안드레센 호로위츠(Andreessen Horowitz)와 AI 펀드 래디컬 벤처스(Radical Ventures) 등 투자자들과 함께 두 차례에 걸쳐 자금 조달을 진행했다. 회사의 최근 자금 조달 규모는 약 1억 달러에 달하는 것으로 알려져 있습니다. Li Feifei, Andreessen Horowitz 및 Radical Ventures는 논평 요청에 응답하지 않았습니다.

코멘트: 전설적인 인물인 리페이페이(Li Feifei)의 기업가적 경향 또한 업계의 많은 주목을 받았습니다. 리 페이페이(Li Feifei)는 33세에 스탠포드 컴퓨터과학과 종신교수가 되었고, 44세에 국립공학원 원사, 현재 스탠포드 인간중심인공지능연구소(HAI) 소장을 맡고 있습니다. ). 컴퓨터 비전 분야의 벤치마크 성과인 ImageNet도 그녀의 원동력이었습니다. OpenAI와 Tesla에서 근무한 Andrej Karpathy, 현재 Nvidia에서 근무하고 있는 Jim Fan 등 제자가 많습니다. 이들 역시 AI 분야의 영향력 있는 인물입니다.

AI 칩 및 클라우드 제조업체 거대 기업, 글로벌 AI 기업 '빠르게'

기업용 서비스 데이터베이스 기업 크런치베이스(Crunchbase) 통계에 따르면 올해 상반기 글로벌 AI 스타트업에 대한 자금 조달은 356억 달러로 전년 동기 대비 24% 증가해 가장 많은 자금이 유입된 분기였다. 최근 몇 년간 AI 투자. 차이나 비즈니스 뉴스(China Business News)의 공개 통계에 따르면, 엔비디아는 올해 16개 이상의 AI 관련 기업에 투자하거나 인수했으며, 대부분의 자금 조달 라운드는 총 1억 달러 이상에 달했습니다. 마이크로소프트는 OpenAI에 투자한 이후 올해에도 총 1억 달러가 넘는 자금 조달에 여러 차례 참여했습니다. Google은 다양한 투자 플랫폼을 통해 AI 생태계를 광범위하게 배포했으며 31회 이상의 자금 조달에 참여했습니다. 이번 AI 투자 붐 속에서 AMD, 아마존, 소프트뱅크 등이 활발하게 활동하고 있다.

코멘트: AI의 인기는 투자에 직관적으로 반영됩니다. 거대 기업들의 투자 스타일과 선호도가 완전히 똑같지는 않다. 엔비디아, AMD 등 반도체 하드웨어를 주업으로 하는 제조사인지, 마이크로소프트, 구글, 아마존 등 클라우드 제조사인지 곰곰이 생각해 볼 필요가 있다. 일부 대기업에 투자하기를 희망합니다. 모델 공급업체와 클라우드 공급업체는 대규모 모델 스타트업을 강력하게 묶을 의향이 있습니다. 올해 업계 최대 규모의 자금 조달 라운드를 살펴보면 기본 대형 모델, 자율 주행, AI 데이터 및 휴머노이드 로봇이 가장 큰 핫스팟임을 알 수 있습니다.

영국, 마이크로소프트와 Inflection AI 거래에 대한 독점 금지 조사 시작

영국 독점 금지 규제 기관인 CMA(경쟁 시장 당국)는 최근 Microsoft-Inflection AI 거래에 대한 공식적인 독점 금지 조사를 시작했다고 밝혔습니다. 올해 3월 마이크로소프트는 AI 스타트업 인플렉션 AI(Inflection AI)에 AI 소프트웨어 라이선스 대가로 6억5천만 달러를 지불하기로 합의했다. 또한 Microsoft는 Inflection AI 공동 창업자인 Mustafa Suleyman과 Karén Simonyan을 비롯해 회사 직원 대다수를 고용한다고 발표했습니다.

코멘트: Inflection AI의 가치는 약 40억 달러입니다. 업계 관계자는 Microsoft의 행동이 Inflection AI를 저렴한 가격에 합병하는 것과 같다고 말합니다. 인수와 달리 Inflection AI는 여전히 독점 기술을 유지하고 있습니다. 지난달 영국 외에도 미국 연방거래위원회(FTC)도 이번 거래를 검토하고 있다는 보도가 나왔다. 보도에 따르면 FTC는 마이크로소프트(Microsoft)와 인플렉션 AI(Inflection AI)에 소환장을 발부해 지난 2년간 관련 문서를 요청했다고 한다.

휴머노이드 로봇 기업 Zhuji Dynamics, 시리즈 A 자금 조달 완료

7월 15일, 차이나 비즈니스 뉴스(China Business News)는 일반 휴머노이드 로봇 스타트업인 Zhuji Dynamics가 China Merchants Venture Capital, SAIC 그룹의 사모 투자 플랫폼 Shangqi Capital 및 기존 주주인 Fengrui Capital, Oasis Capital 및 Mingshi Capital이 주도하는 시리즈 A 자금 조달을 완료했다는 사실을 알게 되었습니다. 투자에 참여했으며, 펀딩 금액은 공개되지 않았습니다. 앞서 알리바바는 주지다이내믹스에도 투자했다. Zhuji Dynamics는 2022년에 설립되었습니다. 설립자 Zhang Wei는 Southern Science and Technology 대학의 종신 교수입니다. Zhuji Dynamics의 제품에는 실물 크기 휴머노이드 로봇, 4족 로봇, 이족 보행 로봇 및 관련 솔루션이 포함됩니다.

코멘트: 많은 휴머노이드 로봇 회사는 아직 자금 조달 과정에 있습니다. 올해도 휴머노이드 로봇 트랙에 대한 펀딩 이벤트가 꾸준히 진행되었습니다. 올해 1월, Xingdong Era는 1억 위안 이상의 엔젤 라운드 파이낸싱을 완료했다고 발표했습니다. 이어 Yushu Technology는 10억 위안 이상의 B2 라운드 파이낸싱을 완료했으며, Kepler Exploration Robot은 엔젤 라운드 파이낸싱을 완료했으며, Galaxy Universal Robots는 엔젤 라운드 파이낸싱을 완료했다고 발표했습니다. 700백만 위안의 라운드 파이낸싱. 인터넷 거대 기업인 텐센트, 바이두, 알리바바는 각각 UBTECH, Zhiyuan Robot, Zhuji Dynamics에 투자했고, Meituan은 Galaxy Universal Robots와 Yushu Robot에 투자했습니다. 휴머노이드 로봇 업체들이 자금을 조달한 뒤 다음 단계는 양산 구현이다.

NVIDIA와 Mistral AI, 대형 모델 Mistral-NeMo 출시

7월 19일 뉴스에 따르면 NVIDIA와 프랑스 스타트업 Mistral AI는 120억 개의 매개변수와 컨텍스트 창(AI 모델이 한 번에 처리할 수 있는 최대 토큰 수)을 갖춘 Mistral-NeMo AI 대형 언어 모델을 출시했습니다. 128,000개의 토큰 중. Mistral-NeMo AI 대형 모델은 주로 기업 환경을 대상으로 하며, 많은 양의 클라우드 리소스를 사용하지 않고 인공지능 솔루션을 구현합니다.

설명: Mistral AI는 올해 6억 유로의 자금 조달을 완료했으며 투자자 목록에는 Nvidia와 Samsung이 포함되어 있습니다. 또한 Microsoft는 이전에 Mistral AI에 1,500만 유로를 투자한다고 발표한 바 있으며, 이는 Mistral AI의 다음 자금 조달 라운드에서 지분으로 전환될 것입니다. Mistral AI는 Nvidia와 제휴하여 대형 모델을 출시했으며, 회사는 또한 주요 거대 기업 간의 균형을 맞추고 협력을 모색할 것입니다. Nvidia는 이전에 개발자가 대규모 언어 모델을 훈련하기 위한 합성 데이터를 생성하는 데 사용할 수 있도록 Nemotron-4 340B 시리즈 모델을 오픈 소스로 제공했습니다.