腾讯混元联合港科大、清华大学推出一键让照片变表情包

图生视频又有新玩法。近日，腾讯混元联合港科大、清华大学推出肖像动画生成框架“Follow Your Emoji”，可以通过人脸骨架信息生成任意风格的脸部动画，一键创建“表情包”。基于算法革新和数据积累，“Follow Your Emoji”可以支持对脸部进行精细化的控制，包括眉毛，眼珠，翻白眼等细节，动物表情包也可以轻松“拿捏”。此外，Follow Your Emoji不仅支持单个表情多肖像的生成，也支持单个肖像多表情的生成。

据了解，本次研究中，研究员提出了一个新颖的基于扩散模型的肖像动画框架Follow-Your-Emoji，并且算法上有两大主要创新。

首先，引入了表情感知骨架这一表情控制信号，能够有效地引导动画生成。其次，该研究提出了一种面部细粒度损失函数，以帮助模型专注于捕捉微妙的表情变化和参考照片中肖像的详细外观。最后，为了解决肖像动画领域缺乏基准测试的问题，研究还引入了一个名为EmojiBench的 综合 基准测试，其中包括410个各种风格的肖像动画视频，展示了广泛的面部表情和头部姿势，最终提供了出色的视觉保真度身份表现和精确的动作渲染等。