标签：Transformer

精确的交通预测与城市规划 精确的交通预测对于实现高效的城市规划和交通管理至关重要，有助于优化资源分配并改善出行体验。然而，现有的预测模型在面对未知区域和城市的零样本预测任务，以及长期预测时，表现并不理想。这些问题主要源于交通数据在空间和时间上的异质性以及显著的分布变化。为了解决这些挑战，我们开发了一个多功能、强鲁棒性和高适应性的时空基础模型——OpenCity。 OpenCity的设计与特点 OpenCity结合了Transformer和图神经网络，以捕捉和规范来自不同数据源的潜在时空模式，从而增强在不同城市环境中的零...

人工智能的卓越发展与洞察 人工智能的快速发展得益于对技术和产业本质的深刻洞察。机器之心推出全新视频栏目“智者访谈”，邀请领域内的专家，解析AI核心技术与行业趋势，为从业者提供深入的认知，激发创新思考。本期节目邀请了北京大学智能学院教授王立威，探讨机器学习理论对AI未来发展的深远影响。 市场对AI泡沫破裂的担忧 近期美股科技巨头市值大幅缩水，引发了市场对AI泡沫破裂的担忧，特别是在大模型领域。尽管当前AI成果令人惊叹，但其过程中的诸多问题仍需解决。大语言模型（LLM）的通用能力是一个意外收获，Transf...

Meta发布TransFusion：统一文本与图像生成的多模态AI模型 # 随着人工智能领域的不断发展，Meta近日推出了一款名为TransFusion的新型多模态AI模型，该模型能够在单一框架内同时生成高质量的文本和图像。这款模型通过巧妙地结合Transformer和扩散模型的优点，为构建真正意义上的多模态AI模型开辟了新的路径。 TransFusion的核心创新在于：它将语言建模（下一个token预测）与扩散模型相结合，实现了在混合模态序列上训练单个Transformer的目标。研究团队从零开始，在混合文本和图像数据上预训练了一个参数量高达70亿的TransF...

近期，国泰君安发布的一份研究报告指出，在人工智能（AI）领域，专用集成电路（ASIC）因其在能耗和成本上的显著优势，正成为行业内的优选方案。当前，AI算法正逐渐向Transformer架构集中，而深度学习框架则以PyTorch为主流，这些因素共同构成了推动AI ASIC发展的关键条件。 ASIC芯片的设计专门针对某一应用场景，并且拥有相配套的软硬件生态系统。尽管从单一芯片的角度来看，ASIC的计算能力相较于最先进的图形处理器（GPU）仍存在差距，但从整个集群的角度考虑，ASIC的计算能力利用率可能会更高。此外，ASIC还具有价格和能...

摒弃注意力机制：Falcon Mamba 7B 开源模型强势崛起 近期，阿联酋阿布扎比技术创新研究所（TII）发布了一款名为Falcon Mamba 7B的新模型，这款模型摒弃了传统的Transformer架构及其注意力机制，转而采用了Mamba状态空间语言模型架构，这一转变使其在性能方面全面超越了同规模的开源模型。Falcon Mamba 7B不仅能够在处理长序列时保持高效的计算效率，还能处理任意长度的序列而无需增加内存消耗。 Mamba架构详解：结合RNN与CNN优势 Mamba架构作为一款状态空间模型（SSM），融合了循环神经网络（RNN）和卷积神经网络（CNN）...

Character.AI的核心团队加盟谷歌 近日，知名人工智能初创企业Character.AI的核心团队宣布加盟谷歌。这一举动引起了业内外广泛关注。Character.AI的两位创始人Noam Shazeer（诺姆·沙泽尔）和Daniel De Freitas（丹尼尔·德·弗雷塔斯）都是Transformer的重要贡献者，他们的加盟无疑为谷歌的人工智能研发注入了新的活力。此外，Character.AI的部分研究团队成员也将一同加入谷歌。 尽管Character.AI官方表示大部分团队将继续留在公司，专注于产品的开发和服务用户，但外界普遍认为这是一次典型的“雇佣式收购”，即主要目的是为了...

自从Sora在今年2月发布以来，国内的AI视频生成赛道迅速升温，各大企业和初创公司纷纷加入竞争行列。Sora以其出色的视频生成能力和长达一分钟的视频展示，引领了行业潮流。紧随其后，国内企业如字节跳动、快手、商汤、阿里达摩院等相继推出了自己的AI视频生成工具。这些工具不仅吸引了大量用户的关注，还推动了技术的快速迭代。 技术架构与创新 Sora的成功激发了其他公司对Diffusion Model和Transformer架构的深入研究。这两种技术路径各有千秋，而Sora创造性地将两者结合，形成了DiT（Diffusion + Transformer）架构，显...

近日，一款名为Dream Machine的视频生成AI引起轰动，因其120秒内可生成120帧的高清晰度视频而备受关注。这款AI工具免费提供给公众试用，导致服务器一度被网友的热情挤爆。Dream Machine采用Transformer架构，能创建物理精确、内容连贯且生动的视频场景。尽管目前使用需排队等待，但其出色的表现赢得了用户们的惊叹，有人甚至感到它对现有视频生成工具Sora构成竞争压力。 用户反馈显示，Dream Machine不仅适用于生成各种动作场景，还能处理二次元风格和动画效果。该模型由初创公司Luma AI开发，团队成员包括前英伟达研究人员...

在人工智能领域，一种名为Vision-LSTM (ViL) 的新型模型正在挑战现有的Vision Transformer (ViT) 和 Vision-Mamba (Vim) 方法。ViL由ViT的原始创造者Sepp Hochreiter领导的团队开发，它采用扩展长短期记忆(xLSTM)架构，克服了LSTM的传统限制，同时保持了线性复杂性，适用于高分辨率图像任务。与ViT不同，ViL使用交替的mLSTM块处理图像补丁序列，奇数块从上到下，偶数块从下到上，避免了Transformer的二次计算复杂性。 ViL在ImageNet-1K分类任务上的表现优于优化过的ViT模型，尤其是在公平的比较条件下。此外，ViL在语义分割...

彩云科技近期发布了一项创新的AI通用模型结构——DCFormer，它通过改进注意力矩阵，使得在相同的训练数据和算力下，计算效率可提高至Transformer的两倍。DCFormer改变了Transformer中的向量矩阵推理路径，允许任意线性组合，提供了更多的组合可能性。据实验，一个69亿参数的DCFormer模型在某些情况下超越了120亿参数的模型。该模型的论文已在arXiv上发布，并将在ICML 2024大会上正式发表，其源代码、权重和训练数据集也已开源。 DCFormer与现有模型如Mamba、RetNet等不同，它可以叠加在Transformer基础上进行改进，无需从头训...