标签：能源效率

IT之家报道，近日，在AI + 能源峰会上，谷歌前CEO埃里克·施密特发表了一番关于人工智能与气候保护的观点。施密特表示，AI计算所需的电力几乎是无止境的，而现有的气候目标难以实现。因此，他建议暂时搁置气候保护目标，优先发展AI技术，并寄希望于AI能够最终解决全球变暖的问题。 施密特认为，当前的人类组织方式无法有效实现气候目标，而AI技术则有可能在这方面发挥关键作用。他提议为AI公司提供更多资源，如电力、土地和基础设施，以促进其快速发展。施密特相信，AI的发展不仅能提高能源利用效率，还能显著降低能源消耗。...

港大、北航和苏黎世联邦理工学院的研究团队近期提出了一项创新的训练后量化（PTQ）技术——BiLLM，该技术有效地解决了大型语言模型（LLM）的能源需求问题。BiLLM通过使用1.1bit来近似大多数网络参数，2bit表示关键权重，使得模型在保持高效性能的同时，大幅度减小了内存占用。实验结果显示，BiLLM在OPT和Llama系列模型上的表现甚至超越了全精度模型，且在单个GPU上可快速完成二值化。 针对LLM权重分布的特性，研究者发现权重存在极端的长尾分布和不均匀的钟形分布，这意味着大部分权重是冗余的，而少量权重至关重要。BiLLM采...

近年来，人工智能推理领域的竞争日益激烈，其中一家名为Groq的初创公司以其创新的芯片技术引起了关注。Groq声称，其专为矩阵乘法优化的张量流处理器在为Meta最新发布的LLaMA 3大型语言模型提供服务时，实现了每秒超过800个token的惊人速度。这一成绩如果得到验证，将对比现有云AI服务产生重大影响。 Groq的处理器架构与传统的CPU和GPU不同，它专注于简化和确定性的执行模型，以提高AI推理的性能和效率。通过避免通用处理器的开销和内存瓶颈，Groq的解决方案有望在运行大型神经网络时实现更低的延迟、功耗和成本。对于需要快...

Arm CEO警示：AI数据中心电力消耗激增，ChatGPT成焦点 随着人工智能(AI)技术的迅速发展，Arm公司CEO雷内·哈斯揭示了一个严峻的问题：AI模型的智能提升与其能源消耗同步增长。以OpenAI的ChatGPT为例，这类大型语言模型对电力的需求日益庞大，预计到2030年，AI数据中心可能占据美国20%至25%的电力消耗，远超目前的4%。ChatGPT每日处理的海量请求使得其日耗电量超过50万千瓦时，是普通美国家庭日用电量的1.7万倍。面对这一挑战，Arm正在致力于减少AI技术的能耗。国际能源机构(IEA)报告显示，全球AI数据中心的电力需求将在未来...