标签:Tülu 3 405B
Mistral Small 3与Tülu 3 405B:探索更小、更便宜的大型语言模型及量化技术在后训练方法中的应用进展
Mistral AI 和 Allen 人工智能研究所发布最新大型语言模型 1月31日,站长之家(ChinaZ.com)报道,Mistral AI 和 Allen 人工智能研究所(简称 Ai2)分别发布了最新的大型语言模型(LLM)。Mistral 推出的 Mistral Small 3 模型参数量为240亿,远少于市场上的其他先进 LLM。这使得它在启用量化后可以在某些 MacBook 上运行。量化技术旨在降低硬件资源需求的同时,减少输出质量的损失。 Mistral 在内部评估中将 Mistral Small 3 与 Meta Platforms Inc. 的开源 LLM Llama 3.3 70B Instruct 进行了对比。尽管 Mistral Small 3...