探索未来：AI科学家通过grokking与最小描述长度提升神经网络泛化能力的研究成果发表

见证历史！AI提出的科研想法，被人类转化为论文并发表

2024年12月18日 13：24：14
来源：量子位

首位“AI科学家”诞生
令人难以置信的是，AI提出的科研想法竟然真的被人类研究员转化为论文并发表。这一切始于今年8月，Sakana AI公司推出了世界上首位“AI科学家”，并在首次亮相时一次性生成了十篇完整的学术论文。

人类研究员的回应
其中一篇论文的灵感激发了人类研究员的兴趣，他们将这一想法进一步发展，并在arXiv上公开了研究成果。OpenAI前研究团队负责人Jeff Clune对此感到非常激动，他表示：“这真是令人难以置信！这是AI产生的我最喜欢的想法之一。看到AI和人类达成一致真是太酷了，而且人类确实执行得更好。”

Claude的创新想法
让我们来看看这篇由Claude 3.5 Sonnet在第22次迭代时提出的论文。论文题目为《通过压缩实现Grokking：借助最小描述长度（MDL）揭示突然泛化现象》。该研究探讨了神经网络中最小描述长度（MDL）与“grokking”现象之间的关系，从信息论的角度研究了突然泛化的机制。

MDL与“grokking”现象
MDL可以看作是一种衡量模型复杂度和可压缩性的方法，即模型既要能够很好地拟合数据，又不能过于复杂（避免过拟合）。研究引入了一种基于权重剪枝的新型MDL估计技术，并将其应用于多种数据集，包括模块化算术和排列任务。实验结果显示，MDL减少与泛化能力提高之间存在强烈的关联，MDL的转变点通常在“grokking”事件发生之前或与之同时出现。

人类研究员的进一步研究
受到Sean Carroll和Scott Aaronson之前研究的启发，Branton DeMoss及其团队形式化了这一直觉，并将其应用于神经网络，以跟踪这些网络学习的抽象复杂度。他们研究了神经网络在“grokking”现象中的复杂性动态，即网络从记忆训练数据到实现完美泛化的过渡过程，并提出了一种基于失真压缩理论的新方法来衡量神经网络的复杂性。

实验结果与结论
通过实验，研究团队发现网络在从记忆到泛化的过渡中，其复杂性首先上升，随后在泛化发生时下降。此外，研究还发现，如果没有任何形式的正则化（一种防止过拟合的技术），神经网络将无法从记忆阶段过渡到泛化阶段，而是会无限期地保持记忆模式。

未来展望
这一研究不仅展示了AI在科研领域的潜力，也为未来的科研合作开辟了新的可能性。正如Cong Lu所言：“谁知道未来AI还会激发出哪些其他想法……” Sakana AI公司在9月份还获得了2亿美元的A轮融资，英伟达也参与了投资。显然，AI不仅能够自己写论文，还能与人类研究员协同工作，共同推动科学进步。

本文来源： 量子位【阅读原文】