标签：Transformer模型

AI破解百年数学难题：李雅普诺夫函数的突破 人工智能（AI）在数学领域的应用越来越广泛，尤其是在解决复杂的数学问题方面。作为衡量语言模型推理水平的重要标准之一，解决高级数学问题的能力一直是研究的热点。尽管谷歌DeepMind的AI曾在国际数学奥林匹克竞赛（IMO）中以一分之差未能获得金牌，但AI工具已经在帮助数学家解决诸如“纽结理论”和“海狸难题”等长期困扰数学界的难题。 然而，对于没有已知通用解法的开放性问题，AI仍然面临挑战。最近，Meta和巴黎理工学院的研究人员合作，成功攻克了一个困扰数学界132年的难题——...

因果推理，一个在GenAI领域中相对小众但备受重视的概念，得到了Yann LeCun这样的业界大佬的支持。他公开批评Sora等生成模型，推崇因果推理，认为引入因果关系能提升深度学习模型的泛化能力和数据效率。最近，微软、MIT等机构的研究者提出了一种创新的训练模型方法——公理框架，通过简单的因果链训练6700万参数的模型，其在推断复杂因果关系时的表现甚至超越了大模型，如GPT-4。 这篇论文受到图灵奖得主Judea Pearl的启发，利用他的因果无关性公理，直接教授Transformer模型学习因果知识，无需干预实验。通过公理化训练，模型...