标签：AMD Instinct MI250

IT之家报道，9月29日，AMD公司在Huggingface平台上发布了自家首款“小语言模型”——AMD-Llama-135m。该模型具备推测解码功能，并拥有6700亿个token，采用了Apache 2.0开源许可。用户可以通过以下链接访问模型（点击这里）。 据官方介绍，AMD-Llama-135m的主要特点是其推测解码能力。该技术的基本原理是利用小型草稿模型生成一组候选token，再通过更大规模的目标模型进行验证。这种方式使得每次前向传递可以生成多个token，同时不会对性能产生负面影响，从而显著减少了RAM占用量，提升了整体效率。 AMD透露，这款模型是在四个A...