132年未解之谜：李雅普诺夫函数难题终被AI数学利器Symbolic Transformer破解，引领NeurIPS 2024新风向

AI破解百年数学难题：李雅普诺夫函数的突破

人工智能（AI）在数学领域的应用越来越广泛，尤其是在解决复杂的数学问题方面。作为衡量语言模型推理水平的重要标准之一，解决高级数学问题的能力一直是研究的热点。尽管谷歌DeepMind的AI曾在国际数学奥林匹克竞赛（IMO）中以一分之差未能获得金牌，但AI工具已经在帮助数学家解决诸如“纽结理论”和“海狸难题”等长期困扰数学界的难题。

然而，对于没有已知通用解法的开放性问题，AI仍然面临挑战。最近，Meta和巴黎理工学院的研究人员合作，成功攻克了一个困扰数学界132年的难题——李雅普诺夫函数。李雅普诺夫函数用于判断动力系统在长时间内的稳定性，是数学和物理学中的一个重要概念。这项研究成果已被选入NeurIPS 2024会议，论文标题为《全局李雅普诺夫函数：数学中的长期未解问题及其符号变换器》。

三体问题与李雅普诺夫函数

三体问题是经典力学中最著名的未解问题之一。牛顿提出了万有引力定律，并通过微积分解决了两个物体之间的引力相互作用问题。然而，当系统中增加第三个物体时，系统的复杂性显著增加，传统方法难以应对。18世纪，拉格朗日发现了拉格朗日点，即三体系统在特定位置可以达到平衡。尽管如此，他仍无法解决三体系统在长时间尺度下的整体稳定性问题。

19世纪末，庞加莱通过发展拓扑学和混沌理论，证明了在某些条件下，三体系统会出现不可预测的混沌行为。这表明三体问题的复杂程度远超人们的想象，不存在普遍适用的解。1892年，俄罗斯数学家李雅普诺夫提出，如果能找到系统的李雅普诺夫函数，就能保证系统的稳定性。然而，实际计算李雅普诺夫函数极为困难，目前只有少数系统找到了解。

研究方法与成果

在这项研究中，研究人员提出了一种从随机采样的李雅普诺夫函数生成训练数据的新技术。他们使用序列到序列的Transformer模型进行训练，该模型在held-out测试集上达到了近乎完美的准确率（99%），在分布外测试集上也表现出色（73%）。通过在训练集中加入少量（300个）已知解的简单样本，模型的准确率进一步提升至84%。

研究者表示，生成模型不仅能够解决数学研究层面的问题，还可以为数学家提供可能解决方案的猜测。这些解决方案的数学正确性可以通过验证来确认。这一研究为解决数学开放问题提供了一种人工智能驱动的新蓝图。

数据生成与模型训练

为了训练模型，研究者生成了多个数据集，包括后向数据集BPoly和BNonPoly，以及前向数据集FLyap和FBarr。这些数据集分别包含不同类型的稳定系统和相关的李雅普诺夫函数。后向数据集主要用于生成问题和解决方案，而前向数据集则用于验证模型的泛化能力。

模型训练使用了Adam优化器，学习率为10^-4，批大小为16，Transformer模型具有8层、10个注意力头和640嵌入维度。训练在8个V100 GPU和32GB内存上进行，每个GPU的训练时间为12到15小时。

实验结果与性能对比

实验结果显示，模型在held-out测试集上达到了近乎完美的准确率，在分布外测试集上也表现出色。特别是在前向数据集上，模型的准确率超过90%，而在后向数据集上，基于BPoly训练的模型的准确率接近100%。通过在训练集中加入少量前向生成的样本，模型的OOD性能得到了显著提升。

与现有的最先进技术相比，基于Transformer的模型在多项式系统上的准确率和速度都表现出色。例如，在求解包含2至5个方程的随机多项式系统时，传统的findlyap方法平均需要935.2秒，而本文的模型使用贪婪解码时仅需2.6秒，使用束大小为50时也只需13.9秒。

未来展望

这项研究不仅展示了AI在解决数学难题方面的巨大潜力，还为数学家提供了一种新的工具。通过不断优化模型和数据集，未来有望在更多领域取得突破。此外，研究者还计划利用新解决的问题进一步微调模型，以提高其在不同任务上的性能。

本文来源： 机器之心【阅读原文】