nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

kuai technology news le 1er octobreamd a publié son premier petit modèle de langage (slm), nommé « amd-135m ».

comparé au modèle de langage de plus en plus grand (llm), il est plus petit, plus flexible et plus ciblé, et convient parfaitement au déploiement dans les entreprises privées et professionnelles.

le petit modèle amd-135 appartient à la famille llama et se décline en deux versions :

l'un est le type de base "amd-llama-135m», avec autant que670 milliards de jetons ont été formés pendant six jours sur huit accélérateurs instinct mim250 64 go.

le second est le " étendu "code amd-llama-135m», avec des chapitres supplémentaires spécifiquement axés sur la programmation20 milliards de tokens, formés sur le même matériel pendant quatre jours.

processus de création et de déploiement

il utilise une méthode appelée"décodage spéculatif"cette méthode génère plusieurs jetons candidats en un seul passage via un modèle de brouillon plus petit, puis les envoie à un modèle cible plus grand et plus précis pour vérification ou correction.

cette méthode peut générer plusieurs jetons en même temps sans affecter les performances et peut également réduire l'utilisation de la mémoire. cependant, comme il y a plus de transactions de données, la consommation d'énergie augmentera également.

amd a également utilisé le code amd-llama-135m comme projet de modèle pour codellama-7b afin de tester les performances avec ou sans décodage spéculatif.

par exemple, sur l'accélérateur mi250, les performances peuvent être améliorées jusqu'à environ 2,8 fois, sur le processeur ryzen ai, elles peuvent être améliorées jusqu'à environ 3,88 fois, et sur le npu ryzen ai, elles peuvent être améliorées jusqu'à environ 3,88 fois. à environ 2,98 fois.

décodage spéculatif

le code de formation, les ensembles de données et autres ressources du petit modèle amd-135m sont open source et suivent apache 2.0.

selon amd,ses performances sont fondamentalement équivalentes ou légèrement supérieures aux autres petits modèles open source, par exemple, hellaswag, sciq, arc-easy et d'autres tâches dépassent llama-68m et llama-160m, tandis que hellaswag, winogrande, sciq, mmlu, arc-easy et d'autres tâches sont fondamentalement similaires à gtp2-124mn et opt-125m.