标签：填充token

纽约大学的研究揭示了一种AI的新能力，即AI能够在不依赖人类步骤的情况下，通过隐藏的“心算”过程解决复杂任务。研究团队发现，即使将AI的推理步骤替换为无意义的“……”符号，AI在某些任务中的表现仍然能够显著提高。这一发现挑战了以往认为AI需要模仿人类分解任务的观念，并引发了关于AI推理机制的讨论。 研究人员通过设计3SUM和2SUM-Transform两个任务来测试这一理论，发现填充“……”的AI模型在长序列任务中保持高准确率，即使没有看到人类的解题步骤。此外，实验还显示，填充token的隐藏层表示包含与下游任务相关的隐性计算，...