标签：线性复杂度

机器之心学术专栏：AIxiv 推动全球学术交流 机器之心的 AIxiv 栏目致力于发布和报道前沿的学术和技术。自成立以来，该栏目已报道了超过2000篇来自全球顶尖高校和企业实验室的研究成果，极大地促进了学术界的交流与传播。如果您有优秀的工作想要分享，欢迎通过以下邮箱投稿或联系：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。 Token Statistics Transformer (ToST)：革新注意力机制 加州大学伯克利分校三年级博士生吴梓阳及其导师马毅教授提出了一种全新的注意力机制——Token Statistics Transformer (ToST)。该...