标签：长上下文处理

Kimi推出AI视频生成功能“Kimi创作空间” 快科技11月28日报道，Kimi正在内测一款名为“Kimi创作空间”的AI视频生成功能。该功能提供12种预设风格模板和自定义创作选项，帮助用户轻松制作个性化的音乐视频。 据内部消息，“Kimi创作空间”目前处于灰度测试阶段，预计不久后将正式上线。届时，该功能将在Kimi官网首页的显眼位置展示，为用户提供更加直观和便捷的操作体验。 值得注意的是，一旦“Kimi创作空间”正式推出，用户将享有每天免费生成100秒个性化视频的福利。此外，用户还可以根据个人喜好，添加个性化的音乐背景和详细的...

谷歌近期推出了一项创新技术，名为Infini-attention，极大地扩展了Transformer模型处理长上下文的能力。通过引入压缩记忆，该机制使得1B规模的模型能够处理相当于10部小说的100万token，同时在Passkey检索任务中表现出色。8B模型在500K长度的书籍摘要任务中刷新了最新最优结果。Infini-attention实现了114倍的信息压缩比，允许模型在有限的计算资源下处理无限长度的输入。这种新机制通过固定参数量的压缩记忆来存储和重用上下文信息，降低了内存占用和计算成本。与Transformer-XL相比，Infini-attention能保存更长的上下文，...