标签:硬件能耗

【解读】费电但极具潜力的“大脑”:如何理解AI耗能问题?

1. Meta推出了新AI模型Llama3,其训练使用了比前代模型Llama2多8倍的H100 GPU,加剧了AI训练对电力的依赖。 2. AI发展的电力需求引发关注,OpenAI CEO、马斯克和黄仁勋等业界领袖警告,电力短缺可能成为AI发展的瓶颈,而AI的能耗远超预期。 3. AI的能耗分为软件和硬件两部分,硬件中的芯片制造尤其耗水,如台积电每年耗水约8000万吨。软件和硬件的能耗对比,AI尚未在能耗和成本上优于人脑。 4. AI的能耗产出比需综合考虑,其在各行业的应用潜力巨大,能提高生产力。专家探讨了AI能耗的计算方法和降低能耗的途径,包括改进硬...