2024-09-06
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
it house는 face wall intelligence의 공식 공개 계정이 어제(9월 5일) 블로그 게시물을 게재하여 오픈 소스 minicpm3-4b ai 모델 출시를 알리며 "클라이언트 측 chatgpt의 순간이 다가오고 있다"고 주장했다고 6일 보도했습니다. ."
minicpm3-4b는 minicpm 시리즈의 3세대 제품으로, 전체 성능은 phi-3.5-mini-instruct 및 gpt-3.5-turbo-0125를 능가하며 70억~90억 개의 매개변수를 가진 많은 ai 모델과 비슷합니다.
minicpm1.0 / minicpm2.0에 비해 minicpm3-4b는 더 다양한 목적으로 사용할 수 있는 더욱 강력하고 다재다능한 기술 세트를 갖추고 있습니다. minicpm3-4b는 함수 호출 및 코드 해석기를 지원합니다.
다음은 모델 구조의 세 가지 버전(1->2->3) 간의 차이점입니다.
단어 목록 크기: 123k->73k->73k
모델 레이어 수: 40->52->62
숨겨진 레이어 노드: 2304->1536->2560
최대 길이: 4k->4k->32k
시스템 프롬프트 단어: 지원되지 않음 -> 지원되지 않음 -> 지원됨
도구 호출 및 코드 해석기: 지원되지 않음 -> 지원되지 않음 -> 지원됨
minicpm3-4b에는 32k 컨텍스트 창이 있습니다. llmxmapreduce의 도움으로 minicpm3-4b는 너무 많은 메모리를 차지할 필요가 없으며 이론적으로 무한한 컨텍스트를 처리할 수 있습니다.
facewall intelligence는 또한 rag 제품군 minicpm-embedding 모델 및 minicpm-reranker 모델을 출시했으며 rag 시나리오를 위해 minicpm3-rag-lora 모델의 미세 조정 버전도 출시했습니다.
