AI训练节能革命：ChatGPT能耗大挑战，DeepMind多模态学习算法JEST，效率提升13倍，能耗骤减10倍

随着人工智能(AI)的发展，模型的能耗问题日益凸显。据国际能源署预测，数据中心的电力消耗将在未来几年内翻倍，而AI计算需求的增加更是加剧了这一问题。例如，ChatGPT在处理任务时，不仅消耗大量电力，还会使用大量水资源。为应对这一挑战，谷歌DeepMind的研究团队提出了一种名为“多模态对比学习与联合示例选择”（JEST）的新方法，旨在减少AI训练所需的计算资源和时间。

JEST通过13倍更少的迭代次数和10倍更少的计算量，超越了当前最先进的模型，实现了更高效的训练。这一创新在于，它允许模型自我选择高质量的训练数据，从而降低能源和水资源的消耗。具体来说，JEST算法通过从“超级 batch”中筛选出“子 batch”，确保训练数据的质量和相关性，同时减少了对数据筛选的人工干预。

在实验中，JEST展示了其在选择可学习batch方面的优势，能够显著加速多模态学习过程。通过使用JEST，研究人员观察到在减少训练数据量的同时，仍能保持或提高模型的性能。此外，JEST还能与其他数据管理策略结合，如多分辨率训练，以进一步提高效率。

本文来源： IT之家【阅读原文】