扎克伯格近期在全球范围内引起了广泛关注。不久前,他展示了一款历经十年研发的AR眼镜Meta Orion,这款原型机虽然尚未正式上市,但已经抢尽了苹果Vision Pro的风头。而在最近的一次活动中,Meta再次展示了其在视频生成领域的突破性进展。
Meta宣布推出了全新的Meta Movie Gen,这是迄今为止最先进的“媒体基础模型”。尽管Meta官方尚未公布具体的开放时间表,但他们表示正在积极与娱乐行业的专业人士和创作者进行沟通与合作,预计将在明年将这一技术整合到Meta的产品和服务中。
Meta Movie Gen的主要特点包括:
– 个性化视频生成
– 精确视频编辑
– 高质量音频生成
– 支持生成1080P、16秒、每秒16帧的高清视频
– 输入简单文本即可实现复杂的视频编辑任务
Meta Movie Gen不仅具备基本的视频生成功能,还能根据用户需求生成不同长宽比的高清视频。此外,该模型提供了高级的视频编辑功能,用户可以通过简单的文本输入完成复杂的视频编辑任务。在个性化视频生成方面,用户可以上传自己的图片,生成既个性化又保持人物特征和动作的视频。
Meta Movie Gen还支持高质量音频生成,用户可以通过提供视频文件或文本,生成相应的音频。该模型不仅能创建单个的声音效果,还能制作背景音乐,甚至为整个视频制作完整的配乐,极大地提升了视频的整体质量和观看体验。
在推出Meta Movie Gen的同时,Meta AI研究团队也发布了长达92页的技术论文,详细介绍了两个基础模型——Movie Gen Video和Movie Gen Audio。Movie Gen Video是一个30B参数的模型,用于文本到视频的生成,能够生成高质量的高清视频。为了提高视频生成的质量,模型还进行了监督微调(SFT)。Movie Gen Audio则是一个13B参数的模型,用于视频和文本到音频的生成,能够生成长达45秒的高质量音频,并与视频同步。
尽管Meta Movie Gen功能强大,但目前仍存在一些挑战。例如,生成一个视频通常需要等待数十分钟,这极大影响了用户体验。Meta希望进一步提高视频生成的效率,并尽快在移动端推出该视频服务,以更好地满足消费者的需求。
总的来说,Meta Movie Gen在视频生成领域展现了强大的潜力,尽管面临一些技术和产品化的挑战,但仍值得期待。
本文来源: iFeng科技【阅读原文】