标签:LFM模型
Liquid AI:采用自注意力机制与Transformer架构的LFM模型,展示出卓越的数据处理能力,性能超越Meta Llama及微软Phi
IT之家报道,近日,成立于去年的Liquid AI公司发布了一系列全新的基础模型——Liquid Foundation Models(LFM)。这批模型包括LFM-1.3B、LFM-3.1B和LFM-40.3B三个版本。这些模型采用了不同于传统Transformer架构的设计,宣称在多项基准测试中表现优异。 目前,Transformer架构在深度学习和自然语言处理领域占据主导地位。该架构通过自注意力机制捕捉序列中单词之间的关系,例如OpenAI的GPT、Meta的BART和谷歌的T5等模型都基于这一架构。然而,Liquid AI却选择了不同的路径,其基础模型重新设计了架构,受到交通信号处理系统和...