标签:因果推理

Transformer模型揭秘:6700万参数挑战GPT-4的因果推理奥秘,微软MIT与Judea Pearl的公理框架合作破译

因果推理,一个在GenAI领域中相对小众但备受重视的概念,得到了Yann LeCun这样的业界大佬的支持。他公开批评Sora等生成模型,推崇因果推理,认为引入因果关系能提升深度学习模型的泛化能力和数据效率。最近,微软、MIT等机构的研究者提出了一种创新的训练模型方法——公理框架,通过简单的因果链训练6700万参数的模型,其在推断复杂因果关系时的表现甚至超越了大模型,如GPT-4。 这篇论文受到图灵奖得主Judea Pearl的启发,利用他的因果无关性公理,直接教授Transformer模型学习因果知识,无需干预实验。通过公理化训练,模型...