标签:多模态学习

AI训练节能革命:ChatGPT能耗大挑战,DeepMind多模态学习算法JEST,效率提升13倍,能耗骤减10倍

随着人工智能(AI)的发展,模型的能耗问题日益凸显。据国际能源署预测,数据中心的电力消耗将在未来几年内翻倍,而AI计算需求的增加更是加剧了这一问题。例如,ChatGPT在处理任务时,不仅消耗大量电力,还会使用大量水资源。为应对这一挑战,谷歌DeepMind的研究团队提出了一种名为“多模态对比学习与联合示例选择”(JEST)的新方法,旨在减少AI训练所需的计算资源和时间。 JEST通过13倍更少的迭代次数和10倍更少的计算量,超越了当前最先进的模型,实现了更高效的训练。这一创新在于,它允许模型自我选择高质量的训练数据,从...

ChatGPT能耗大揭秘!DeepMind多模态学习新策略:JEST算法提升训练效率13倍,降低能耗90%

在应对人工智能模型,尤其是像ChatGPT这样的大型模型所带来的惊人能耗问题上,谷歌DeepMind的研究团队提出了一种名为JEST(Joint Example Selection and Truncation)的新算法。JEST通过减少迭代次数和计算量,成功降低了13倍的训练次数和10倍的计算需求,有望重塑AI训练的未来。据估计,ChatGPT每天消耗的电力相当于1.7万个美国家庭的总电量,而数据中心的能耗预计将在未来几年内翻倍。为了应对这一挑战,JEST通过多模态对比学习与联合示例选择,实现了更高效的数据筛选,从而减少对计算资源的需求。 JEST算法的核心在于从...