快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移

近日，快手可灵大模型团队开源了名为LivePortrait的可控人像视频生成框架，该框架能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。如下动图所示：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

                               ^{来自网友测试LivePortrait}

                                ^{来自网友测试LivePortrait}

快手开源的LivePortrait对应的论文题目为：

《 LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control 》

                                   ^{LivePortrait论文首页}

并且，LivePortrait发布即可用，秉承快手风格，论文、主页、代码一键三连。LivePortrait一经开源，就得到了HuggingFace首席执行官Clément Delangue的关注转发，首席战略官 Thomas Wolf还亲自体验了功能，厉害了！

并引起了全世界网友的大规模评测：

                              ^{视频剪辑素材均来自X}

同时，LivePotrait获得了开源社区的广泛关注，短短一周多时间左右，在GitHub上总计收获了6.4K Stars，550 Forks，140 Issues&PRs，获得广泛好评，关注仍在持续增长中：

此外，HuggingFace Space、Papers with code趋势榜连续一周榜一，近日登顶HuggingFace所有主题排行榜榜一：

 

@@##@@ HuggingFace Space榜一 @@##@@ Papers with code榜一

@@##@@ HuggingFace所有主题排行榜一

更多资源信息，可以查看：

• 代码地址：https://github.com/KwaiVGI/LivePortrait
• 论文链接：https://arxiv.org/abs/2407.03168
• 项目主页：https://liveportrait.github.io/
• HuggingFace Space一键在线体验：https://huggingface.co/spaces/KwaiVGI/LivePortrait

LivePortrait到底用了什么样的技术，能够在全网快速"走红"呢？

方法介绍

和当前主流基于扩散模型的方法不同，LivePortrait探索并拓展了基于隐式关键点框架的潜力，从而平衡了模型计算效率和可控性。LivePortrait聚焦于更好的泛化性，可控性和实用的效率。为了提升生成能力和可控性，LivePortrait采用69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形 (Blendshape) 的有效隐式表示，并基于此精心提出了贴合 (stitching) 和重定向 (retargeting) 模块。这两个模块为轻量MLP网络，因此在提升可控性的同时，计算成本可以忽略。即使是和一些已有的基于扩散模型的方法比较，LivePortrait依旧很能打。同时，在RTX4090 GPU上，LivePortrait的单帧生成速度能够达到12.8ms，若经过进一步优化，如TensorRT，预计能达10ms以内！

LivePortrait的模型训练分为两阶段。第一阶段为基础模型训练，第二阶段为贴合和重定向模块训练。

第一阶段基础模型训练

                               ^{第一阶段基础模型训练}

在第一阶段模型训练中，LivePortrait对基于隐式点的框架，如Face Vid2vid[1]，做了一系列改进，包括：

高质量训练数据收集：LivePortrait采用了公开视频数据集Voxceleb[2]，MEAD[3]，R*DESS [4]和风格化图片数据集AAHQ[5]。此外，还使用了大规模4K分辨率的人像视频，包含不同的表情和姿态，200余小时的说话人像视频，一个私有的数据集LightStage[6]，以及一些风格化的视频和图片。LivePortrait将长视频分割成少于30秒的片段，并确保每个片段只包含一个人。为了保证训练数据的质量，LivePortrait使用快手自研的KVQ[7]（快手自研的视频质量评估方法，能够综合感知视频的质量、内容、场景、美学、编码、音频等特征，执行多维度评价）来过滤低质量的视频片段。总训练数据有69M视频，包含18.9K身份和60K静态风格化人像。

视频-图像混合训练：仅使用真人人像视频训练的模型对于真人人像表现良好，但对风格化人像（例如动漫）的泛化能力不足。风格化的人像视频是较为稀有的，LivePortrait从不到100个身份中收集了仅约1.3K视频片段。相比之下，高质量的风格化人像图片更为丰富，LivePortrait收集了大约60K身份互异的图片，提供多样身份信息。为了利用这两种数据类型，LivePortrait将每张图片视为一帧视频片段，并同时在视频和图片上训练模型。这种混合训练提升了模型的泛化能力。

升级的网络结构：LivePortrait将规范隐式关键点估计网络 (L)，头部姿态估计网络 (H) 和表情变形估计网络 (Δ) 统一为了一个单一模型 (M)，并采用ConvNeXt-V2-Tiny[8]为其结构，从而直接估计输入图片的规范隐式关键点，头部姿态和表情变形。此外，受到face vid2vid相关工作启发，LivePortrait采用效果更优的SPADE[9]的解码器作为生成器 (G)。隐式特征 (fs) 在变形后被细致地输入SPADE解码器，其中隐式特征的每个通道作为语义图来生成驱动后的图片。为了提升效率，LivePortrait还插入PixelShuffle[10]层作为 (G) 的最后一层，从而将分辨率由256提升为512。

更灵活的动作变换建模：原始隐式关键点的计算建模方式忽视了缩放系数，导致该缩放容易被学到表情系数里，使得训练难度变大。为了解决这个问题，LivePortrait在建模中引入了缩放因子。LivePortrait发现缩放正则投影会导致过于灵活的可学习表情系数，造成跨身份驱动时的纹理粘连。因此LivePortrait采用的变换是一种灵活性和驱动性之间的折衷。

关键点引导的隐式关键点优化：原始的隐式点框架似乎缺少生动驱动面部表情的能力，例如眨眼和眼球运动。具体来说，驱动结果中人像的眼球方向和头部朝向往往保持平行。LivePortrait将这些限制归因于无监督学习细微面部表情的困难。为了解决这个问题，LivePortrait引入了2D关键点来捕捉微表情，用关键点引导的损失 (Lguide)作为隐式关键点优化的引导。

级联损失函数：LivePortrait采用了face vid2vid的隐式关键点不变损失 (LE)，关键点先验损失 (LL)，头部姿态损失 (LH) 和变形先验损失 (LΔ)。为了进一步提升纹理质量，LivePortrait采用了感知和GAN损失，不仅对输入图的全局领域，面部和嘴部的局部领域也施加了这些损失，记为级联感知损失 (LP,cascade) 和级联GAN损失 (LG,cascade) 。面部和嘴部区域由2D语义关键点定义。LivePortrait也采用了人脸身份损失 (Lfaceid) 来保留参考图片的身份。

第一阶段的所有模块为从头训练，总的训练优化函数 (Lbase) 为以上损失项的加权和。

第二阶段贴合和重定向模块训练

LivePortrait将隐式关键点可以看成一种隐式混合变形，并发现这种组合只需借助一个轻量的MLP便可被较好地学习，计算消耗可忽略。考虑到实际需求，LivePortrait设计了一个贴合模块、眼部重定向模块和嘴部重定向模块。当参考人像被裁切时，驱动后的人像会从裁图空间被反贴回原始图像空间，贴合模块的加入是为了避免反贴过程中出现像素错位，比如肩膀区域。由此，LivePortrait能对更大的图片尺寸或多人合照进行动作驱动。眼部重定向模块旨在解决跨身份驱动时眼睛闭合不完全的问题，尤其是当眼睛小的人像驱动眼睛大的人像时。嘴部重定向模块的设计思想类似于眼部重定向模块，它通过将参考图片的嘴部驱动为闭合状态来规范输入，从而更好地进行驱动。

码上飞

码上飞（CodeFlying） 是一款AI自动化开发平台，通过自然语言描述即可自动生成完整应用程序。

430 查看详情

                                 ^{第二阶段模型训练：贴合和重定向模块训练}

贴合模块：在训练过程中，贴合模块 (S) 的输入为参考图的隐式关键点 (xs) 和另一身份驱动帧的隐式关键点 (xd)，并估计驱动隐式关键点 (xd) 的表情变化量  (Δst)。可以看到，和第一阶段不同，LivePortrait采用跨身份的动作替代同身份的动作来增加训练难度，旨在使贴合模块具有更好的泛化性。接着，驱动隐式关键点 (xd) 被更新，对应的驱动输出为 (Ip,st) 。LivePortrait在这一阶段也同时输出自重建图片 (Ip,recon)。最后，贴合模块的损失函数 (Lst) 计算两者肩膀区域的像素一致损失以及贴合变化量的正则损失。

眼部和嘴部重定向模块：眼部重定向模块 (Reyes) 的输入为参考图隐式关键点 (xs)，参考图眼部张开条件元组和一个随机的驱动眼部张开系数，由此估计驱动关键点的变形变化量 (Δeyes)。眼部张开条件元组表示眼部张开比例，越大表示眼部张开程度越大。类似的，嘴部重定向模块 (Rlip) 的输入为参考图隐式关键点 (xs)，参考图嘴部张开条件系数和一个随机的驱动嘴部张开系数，并由此估计驱动关键点的变化量  (Δlip)。接着，驱动关键点 (xd) 分别被眼部和嘴部对应的变形变化量更新，对应的驱动输出为 (Ip,eyes) 和 (Ip,lip) 。最后，眼部和嘴部重定向模块的目标函数分别为 (Leyes) 和  (Llip)，分别计算眼部和嘴部区域的像素一致性损失，眼部和嘴部变化量的正则损失，以及随机驱动系数与驱动输出的张开条件系数之间的损失。眼部和嘴部的变化量 (Δeyes) 和 (Δlip) 是相互独立的，因此在推理阶段，它们可以被线性相加并更新驱动隐式关键点。

实验对比

同身份驱动：由如上同身份驱动对比结果可见，与已有的非扩散模型方法和基于扩散模型的方法相比，LivePortrait具有较好的生成质量和驱动精确度，可以捕捉驱动帧的眼部和嘴部细微表情，同时保有参考图片的纹理和身份。即使在较大的头部姿态下，LivePortrait也有较稳定的表现。

跨身份驱动：由如上跨身份驱动对比结果可见，与已有的方法相比，LivePortrait可以准确地继承驱动视频中细微的眼部和嘴部动作，同时在姿态较大时也比较稳定。LivePortrait在生成质量上略弱于基于扩散模型的方法AniPortrait[11]，但与后者相比，LivePortrait具有极快的推理效率且需要较少的FLOPs。

拓展

多人驱动：得益于LivePortrait的贴合模块，对于多人合照，LivePortrait可以用指定驱动视频对指定人脸进行驱动，从而实现多人合照驱动，拓宽了LivePortrait的实际应用。

动物驱动：LivePortrait不仅对人像具有良好的泛化性，当在动物数据集上微调后，对动物肖像也可进行精准驱动。 

人像视频编辑：除了人像照片，给定一段人像视频，比如舞蹈视频，LivePortrait可以用驱动视频对头部区域进行动作编辑。得益于贴合模块，LivePortrait可以精准地编辑头部区域的动作，如表情、姿态等，而不影响非头部区域的画面。

落地与展望

LivePortrait的相关技术点，已在快手的诸多业务完成落地，包括快手魔表、快手私信、快影的AI表情玩法、快手|直播|、以及快手孵化的面向年轻人的噗叽APP等，并将探索新的落地方式，持续为用户创造价值。此外，LivePortrait会基于可灵基础模型，进一步探索多模态驱动的人像视频生成，追求更高品质的效果。

^参考文献

^{[1] Ting-Chun Wang, Arun Mallya, and Ming-Yu Liu. One-shot free-view neural talking-head synthesis for video conferencing. In CVPR, 2025.}

^{[2] Arsha Nagrani, Joon Son Chung, and Andrew Zisserman. Voxceleb: a large-scale speaker identification dataset. In Interspeech, 2017.}

^{[3] Kaisiyuan Wang, Qianyi Wu, Linsen Song, Zhuoqian Yang, Wayne Wu, Chen Qian, Ran He, Yu Qiao, and Chen Change Loy. Mead: A large-scale audio-visual dataset for emotional talking-face generation. In ECCV, 2025.}

^{[4] Steven R Livingstone and Frank A Russo. The ryerson audio-visual database of emotional speech and song (r*dess): A dynamic, multimodal set of facial and vocal expressions in north american english. In PloS one, 2018}

^{[5] Mingcong Liu, Qiang Li, Zekui Qin, Guoxin Zhang, Pengfei Wan, and Wen Zheng. Blendgan: Implicitly gan blending for arbitrary stylized face generation. In NeurIPS, 2025.}

^{[6] Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang, and Chongyang Ma. Towards practical capture of high-fidelity relightable *atars. In SIGGRAPH Asia, 2025.}

^{[7] Kai Zhao, Kun Yuan, Ming Sun, Mading Li, and Xing Wen. Quality-aware pre-trained models for blind image quality}

^{assessment. In CVPR, 2025.}

^{[8] Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, and Saining Xie. Con-}

^{vnext v2: Co-designing and scaling convnets with masked autoencoders. In CVPR, 2025.}

^{[9] Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu. Semantic image synthesis with spatially-adaptive normalization. In CVPR, 2019.}

^{[10] Wenzhe Shi, Jose Caballero, Ferenc Husz ´ar, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert, and Zehan Wang. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In CVPR, 2016.}

^{[11] Huawei Wei, Zejun Yang, and Zhisheng Wang. Aniportrait: Audio-driven synthesis of photorealistic portrait animation. arXiv preprint:2403.17694, 2025.}

以上就是快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移的详细内容，更多请关注其它相关文章！

# 快手  # 高质量  # 采用了  # 重定向  # 隐式  # 眼部  # 极速  # 开源  # stylized  # design  # udio  # follow  # 视频编辑  # 更新驱动  # git  # 可灵大模型  # 产业  # peech  # 会昌网站建设推广多少钱  # 柳州定制网站建设平台  # 网站seo快排源码  # 网络建站技术seo  # 企业网站优化哪些公司好  # 网站优化方案作业  # 淘宝钱包搜索关键词排名  # SEO咨询价格  # 秦淮区机械制造网站优化  # 攀枝花整合营销推广平台  # 较好  # 可以用  # 丰田 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 《自然》杂志拒绝刊登人工智能生成的图片和视频  腾讯企点客服接待与营销分析能力升级！企业操作更高效、人机交互更智能  百亿量化私募：量化投资进入“精耕细作”时代 AI带来行业新变革  纪录片 《寻找人工智能》全集1080P超清  如何对员工进行再培训以充分利用供应链管理中的人工智能创新  2025 年开发者必须知道的六个 AI 工具  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  一家 380 亿美元的数据巨头，要掀起企业「AI 化」革命  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  华为盘古AI模型实现秒级全球气象预报时间缩短  Adobe旗下Illustrator引入生成式AI工具Firefly  PS AI修图免费平替来了！Stability AI又放大招，核弹级更新一键扩图  看懂AI，找到增长新势能 | 笔记侠AI峰会等你来  组建团队，字节跳动要造机器人？  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能  高通发布长期产品计划，为工业和企业物联网产品提供全新组合方案  苹果机器学习关键人物 Ali Farhadi 离职，回归 AI2 担任 CEO  用AI升级会议体验！思必驰多款会议产品亮相全球智博会！  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  售价14.99万起！小米汽车部分信息疑遭AI曝光，内部人士回应：网传图片明显经过处理，不可轻信  直击上影节 | 光线传媒董事长王长田谈新技术：未来VR放映效果可能媲美影院  Spotify计划推出AI驱动的音乐播放器功能  V社悄悄封禁使用AI生成美术素材的游戏  日媒关注中国推进鸟类识别 AI 普及，除监测保护外还可预防传染性疾病  工信部信通院发布《2025大模型和AIGC产业图谱》 360智脑覆盖全产业链  苹果AR头显商标与华为撞车，在中国或改名  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  国产工业机器人领域“暗潮涌动”，即将迎来新一轮复苏  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  Nature封面：量子计算机离实际应用还有两年  百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  特斯拉 Optimus 人形机器人入驻北美门店，帮助提升汽车销量  讯飞星火大模型实现升级 助力通用人工智能人才培养  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  VR健身应用《FitXR》将取消Quest 1端会员服务  利用AI技术更好地发展农村电商  工业机器人及非标自动化设备集成服务提供商  聚焦WAIC｜AI技术支撑大模型探索未来  丰田汽车研究院推出生成式人工智能汽车设计工具  尼康尼克尔Z 180-600mm f/5.6-6.3 VR镜头发布：12499元 拍鸟神器  微幼科技晨检机器人与人工晨检相比，有何优势  中国移动副总经理高同庆：打造人工智能时代的智能服务运营新范式  脑机接口产业联盟发布十大脑机接口关键技术  智能公司为何纷纷投身机器人领域？  英特尔张宇：边缘计算在整个AI生态系统中扮演重要角色  调查：过半数艺术家认为 AI 作图无法帮助他们的工作  AI立法迫在眉睫，如何看对行业影响？