2024-10-01
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
콰이테크놀로지 뉴스, 10월 1일자amd는 "amd-135m"이라는 최초의 소규모 언어 모델(slm)을 출시했습니다.
점점 더 커지고 있는 llm(대형 언어 모델)과 비교할 때 더 작고, 더 유연하고, 더 많은 대상을 지정하며 개인 및 전문 기업에 배포하는 데 매우 적합합니다.
amd-135 소형 모델은 llama 제품군에 속하며 두 가지 버전이 있습니다.
하나는 기본형이다"amd-라마-135m", 최대한 많이6,700억 개의 토큰이 8개의 instinct mim250 64gb 가속기에서 6일 동안 훈련되었습니다.
두 번째는 확장된 "amd-llama-135m 코드", 특히 프로그래밍에 초점을 맞춘 추가 장이 포함되어 있습니다.4일 동안 동일한 하드웨어에서 훈련된 200억 개의 토큰.
생성 및 배포 프로세스
이라는 메소드를 사용합니다."추측적 디코딩"이 방법은 더 작은 초안 모델을 통해 단일 전달 패스에서 여러 후보 토큰을 생성한 다음 확인 또는 수정을 위해 더 크고 더 정확한 대상 모델로 보냅니다.
이 방법은 성능에 영향을 주지 않고 동시에 여러 토큰을 생성할 수 있으며 메모리 사용량도 줄일 수 있습니다. 그러나 데이터 트랜잭션이 많아지기 때문에 전력 소비도 증가합니다.
amd는 또한 추론적 디코딩 유무에 관계없이 성능을 테스트하기 위해 codellama-7b의 초안 모델로 amd-llama-135m 코드를 사용했습니다.
예를 들어 mi250 가속기에서는 최대 약 2.8배, 라이젠 ai cpu에서는 최대 약 3.88배, 라이젠 ai npu에서는 최대 약 2.98배 성능 향상이 가능하다. .
추측적 디코딩
amd-135m 소형 모델의 훈련 코드, 데이터 세트 및 기타 리소스는 오픈 소스였으며 apache 2.0을 따릅니다.
amd에 따르면,성능은 기본적으로 다른 오픈소스 소형 모델과 동일하거나 약간 앞서 있습니다.예를 들어 hellaswag, sciq, arc-easy 및 기타 작업은 llama-68m 및 llama-160m을 초과하는 반면 hellaswag, winogrande, sciq, mmlu, arc-easy 및 기타 작업은 기본적으로 gtp2-124mn 및 opt-125m과 유사합니다.
