标签：推测解码

AMD发布首款小型语言模型AMD-135M 10月1日，快科技报道，AMD正式发布了其首款小型语言模型（SLM），命名为“AMD-135M”。相较于当前日益庞大的大型语言模型（LLM），这款小型语言模型体积更小、灵活性更高，并且具有更强的专业性和隐私保护能力，非常适合企业内部部署。 AMD-135M的两个版本 AMD-135M属于Llama系列模型，共有两个版本：基础型“AMD-Llama-135M”和扩展型“AMD-Llama-135M-code”。基础型“AMD-Llama-135M”拥有6700亿个token，在八块Instinct MIM250 64GB加速器上进行了为期六天的训练。而扩展型“AMD-Llama-135M-c...

IT之家报道，9月29日，AMD公司在Huggingface平台上发布了自家首款“小语言模型”——AMD-Llama-135m。该模型具备推测解码功能，并拥有6700亿个token，采用了Apache 2.0开源许可。用户可以通过以下链接访问模型（点击这里）。 据官方介绍，AMD-Llama-135m的主要特点是其推测解码能力。该技术的基本原理是利用小型草稿模型生成一组候选token，再通过更大规模的目标模型进行验证。这种方式使得每次前向传递可以生成多个token，同时不会对性能产生负面影响，从而显著减少了RAM占用量，提升了整体效率。 AMD透露，这款模型是在四个A...