标签:Transformer架构

微软推出基于Transformer架构和VQGAN图像编码器的游戏开发大模型:实现离散化处理与多样性测试,一张图片生成游戏的创新时代来临,游戏界ChatGPT正式登场

微软发布游戏领域创新大模型Muse,大幅提升开发效率 微软在官网上推出了专为游戏领域设计的创新大模型——Muse。尽管Muse基于著名的Transformer架构,但其创建游戏场景的方式却独具特色,不依赖传统的文本提示,而是通过游戏画面和控制器操作的序列化数据作为输入,生成符合游戏机制和物理规则的。例如,仅凭一张游戏截图,Muse就能迅速生成多个可能的后续游戏画面,并通过Xbox手柄控制角色,生成与开发者操作相匹配的后续,极大地提高了游戏开发效率。 游戏开发流程复杂,Muse简化了各个环节 游戏开发是一个高度复杂的过...

清华大学、香港大学和上海AI Lab联合提出V2PE:突破视觉-语言多模态大模型长上下文瓶颈

机器之心的AIxiv专栏一直致力于发布前沿的学术和技术,过去几年已报道了超过2000篇来自全球顶尖高校和企业的研究成果。为了进一步促进学术交流与传播,我们诚邀各位学者和研究人员投稿或联系报道,邮箱为liyazhou@jiqizhixin.com和zhaoyunfeng@jiqizhixin.com。 本文由葛俊岐(清华大学本科生)、陈子熠(清华大学本科生)、林锦涛(香港大学博士生)和祝金国(上海AI Lab青年研究员)共同撰写,通讯作者是朱锡洲,他的研究方向包括视觉基础模型和多模态基础模型,代表作有Deformable DETR、DCN v2等。 随着语言大模型的成...

Liquid AI:采用自注意力机制与Transformer架构的LFM模型,展示出卓越的数据处理能力,性能超越Meta Llama及微软Phi

IT之家报道,近日,成立于去年的Liquid AI公司发布了一系列全新的基础模型——Liquid Foundation Models(LFM)。这批模型包括LFM-1.3B、LFM-3.1B和LFM-40.3B三个版本。这些模型采用了不同于传统Transformer架构的设计,宣称在多项基准测试中表现优异。 目前,Transformer架构在深度学习和自然语言处理领域占据主导地位。该架构通过自注意力机制捕捉序列中单词之间的关系,例如OpenAI的GPT、Meta的BART和谷歌的T5等模型都基于这一架构。然而,Liquid AI却选择了不同的路径,其基础模型重新设计了架构,受到交通信号处理系统和...

彩讯股份:已将多模态AI技术广泛应用于内部经营管理和外部业务的创作生产中

彩讯股份于2月21日透露,在对AI技术持续关注与研究的基础上,企业已广泛应用多模态AI于内外部业务的运营及内容创新上。借助Transformer结构的大型语言模型进行文本生成,利用图文结合模型实现图生文的应用,并运用扩散模型构建图像生成系统。此外,公司还在深入挖掘多模态AI技术的潜在应用,特别是在数字人领域,通过深度学习驱动的3D建模、动画设计以及语音合成就技术,打造更生动、智慧且具有高度交互性的虚拟形象,将其成功落地到客户服务、教育培训、日常办公等多个场景之中。