标签：自注意力机制

机器之心学术专栏：AIxiv 推动全球学术交流 机器之心的 AIxiv 栏目致力于发布和报道前沿的学术和技术。自成立以来，该栏目已报道了超过2000篇来自全球顶尖高校和企业实验室的研究成果，极大地促进了学术界的交流与传播。如果您有优秀的工作想要分享，欢迎通过以下邮箱投稿或联系：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。 Token Statistics Transformer (ToST)：革新注意力机制 加州大学伯克利分校三年级博士生吴梓阳及其导师马毅教授提出了一种全新的注意力机制——Token Statistics Transformer (ToST)。该...

IT之家报道，近日，成立于去年的Liquid AI公司发布了一系列全新的基础模型——Liquid Foundation Models（LFM）。这批模型包括LFM-1.3B、LFM-3.1B和LFM-40.3B三个版本。这些模型采用了不同于传统Transformer架构的设计，宣称在多项基准测试中表现优异。 目前，Transformer架构在深度学习和自然语言处理领域占据主导地位。该架构通过自注意力机制捕捉序列中单词之间的关系，例如OpenAI的GPT、Meta的BART和谷歌的T5等模型都基于这一架构。然而，Liquid AI却选择了不同的路径，其基础模型重新设计了架构，受到交通信号处理系统和...