标签：训练后量化（PTQ）

港大、北航和苏黎世联邦理工学院的研究团队近期提出了一项创新的训练后量化（PTQ）技术——BiLLM，该技术有效地解决了大型语言模型（LLM）的能源需求问题。BiLLM通过使用1.1bit来近似大多数网络参数，2bit表示关键权重，使得模型在保持高效性能的同时，大幅度减小了内存占用。实验结果显示，BiLLM在OPT和Llama系列模型上的表现甚至超越了全精度模型，且在单个GPU上可快速完成二值化。 针对LLM权重分布的特性，研究者发现权重存在极端的长尾分布和不均匀的钟形分布，这意味着大部分权重是冗余的，而少量权重至关重要。BiLLM采...