AMD 首推小语言 AI 模型“Llama-135m ”，能力可减少 RAM 占用

IT之家报道，9月29日，AMD公司在Huggingface平台上发布了自家首款“小语言模型”——AMD-Llama-135m。该模型具备推测解码功能，并拥有6700亿个token，采用了Apache 2.0开源许可。用户可以通过以下链接访问模型（点击这里）。

据官方介绍，AMD-Llama-135m的主要特点是其推测解码能力。该技术的基本原理是利用小型草稿模型生成一组候选token，再通过更大规模的目标模型进行验证。这种方式使得每次前向传递可以生成多个token，同时不会对性能产生负面影响，从而显著减少了RAM占用量，提升了整体效率。

AMD透露，这款模型是在四个AMD Instinct MI250节点上经过六天训练完成的。此外，其编程专用版本AMD-Llama-135m-code还额外花费了四天时间进行微调，以进一步提高模型在编程任务中的表现。

需要注意的是，本文中包含的外部链接（如超链接、二维码等）旨在提供更多信息，便于用户快速获取相关。这些链接仅供读者参考，IT之家的所有文章均包含此声明。

本文来源： IT之家【阅读原文】