标签:思维链(CoT)
姚班马腾宇等数学证明:思维链与Transformer结合,通过布尔电路实现图灵完备,推理Token无上限,轻松解决复杂问题
引言 最近,来自清华大学姚班的李志远、Hong Liu、Google Brain推理团队创始人Denny Zhou以及斯坦福大学助理教授马腾宇共同发表了一篇论文,揭示了Transformer在推理能力方面的巨大潜力。这篇论文已经入选ICLR 2024会议,通过严谨的数学证明,展示了思维链(CoT)能够显著提升Transformer的表达能力和解决问题的能力。研究发现,只要思维链足够长,Transformer就能够解决任何由大小为T的布尔电路解决的问题。 思维链(CoT)的重要性 论文首先通过理论分析指出,对于固定深度、多项式宽度、常数精度的Transformer模型,如果...