标签:Transformer架构

Liquid AI:采用自注意力机制与Transformer架构的LFM模型,展示出卓越的数据处理能力,性能超越Meta Llama及微软Phi

IT之家报道,近日,成立于去年的Liquid AI公司发布了一系列全新的基础模型——Liquid Foundation Models(LFM)。这批模型包括LFM-1.3B、LFM-3.1B和LFM-40.3B三个版本。这些模型采用了不同于传统Transformer架构的设计,宣称在多项基准测试中表现优异。 目前,Transformer架构在深度学习和自然语言处理领域占据主导地位。该架构通过自注意力机制捕捉序列中单词之间的关系,例如OpenAI的GPT、Meta的BART和谷歌的T5等模型都基于这一架构。然而,Liquid AI却选择了不同的路径,其基础模型重新设计了架构,受到交通信号处理系统和...

彩讯股份:已将多模态AI技术广泛应用于内部经营管理和外部业务的创作生产中

彩讯股份于2月21日透露,在对AI技术持续关注与研究的基础上,企业已广泛应用多模态AI于内外部业务的运营及内容创新上。借助Transformer结构的大型语言模型进行文本生成,利用图文结合模型实现图生文的应用,并运用扩散模型构建图像生成系统。此外,公司还在深入挖掘多模态AI技术的潜在应用,特别是在数字人领域,通过深度学习驱动的3D建模、动画设计以及语音合成就技术,打造更生动、智慧且具有高度交互性的虚拟形象,将其成功落地到客户服务、教育培训、日常办公等多个场景之中。