腾讯混元联合港科大及清华推出「Follow Your Emoji」， 一键让照片变表情包

腾讯混元携手港科大和清华大学共同推出了创新的肖像动画工具——「Follow Your Emoji」。这款框架利用人脸骨架信息，可生成多种风格的动态表情，轻松制作个性化“表情包”。借助算法改进和大量数据，它能实现对脸部精细控制，包括眉毛、眼珠转动甚至微妙的翻白眼动作，也能轻易创造出动物风格的表情包。

「Follow Your Emoji」支持单个表情对应多个肖像，以及单个肖像展现多种表情的功能。虽然扩散模型在视频和图像生成方面表现出色，但在保持人物特征和精准表情建模上仍有挑战，尤其是在非典型肖像（如卡通、雕塑和动物）的动画化中，常会出现失真或不真实的现象。

研究团队为此提出了一个新的基于扩散模型的肖像动画框架。他们创新性地引入了表情感知骨架，通过3D面部关键点定位信息，确保动画生成时动作与参考肖像对齐，防止失真。此外，他们设计了一种面部细粒度损失函数，专注于捕捉表情变化和肖像细节，以实现高度逼真的表情还原。

为了训练模型，研究人员建立了一个包含18种夸张表情和115位主体的高质量数据集，并采用渐进式生成策略，使长期动画合成具备高保真度和稳定性。同时，他们还创建了EmojiBench基准测试，包含410个不同风格的肖像动画视频，以评估方法的广泛适用性和性能。

根据全面评估，Follow-Your-Emoji在处理未见过的肖像和动作时表现出色，无论是在定量还是定性指标上，都优于现有基准方法，提供了优秀的视觉保真度和精确的动作渲染。

本文来源： 机器之心【阅读原文】