StrongTrack 免费AI面部表情捕捉生成工具 可普通摄像头同步ue4做虚拟主播


欢迎赞助!
B站演示https://www.bilibili.com/video/BV1tP4y157ei/(等审核)
工作流程 pt 1 – 地标放置。
拍摄主题拉一系列关键姿势。中立,下巴完全张开,微笑闭合,嘴唇漏斗,嘴唇皱起,眉头向上,眉头向下,闭上眼睛。这些关键姿势对于快速训练地标模型很有用。从 0.5 版开始,此工具仍然非常适合大多数静止的人脸,因此如果可能,强烈建议使用头戴式相机,但大部分静止主体的镜头仍然可以使用。

使用 StrongTrack 打开此视频后,您将看到该视频以及一组通用的无与伦比的面部标志。只有在视频暂停时才能滚动视频和输入地标。以中性姿势使用空格键暂停视频并将地标放置在脸部的相应位置。从中性帧开始很重要,因为这将使您以后可以在想要将嘴唇恢复到中性姿势时使用 N 键,这样可以节省大量时间。

单击鼠标左键移动单个点,右键单击移动面部组(下巴、眼睛、鼻子等)。W 键将嘴唇焊接在一起以节省时间。白色的点会在影响力下降的情况下移动它们周围的点。

对放置感到满意后,使用 F 键将其添加到训练集。对于这个初始条目,模型将自动训练预测器。

前往下一帧(最好打开下巴,因为它是最不同的)并重复。以这种方式继续,只要你想训练模型就按下 T 键。随着模型变得更加准确,需要越来越少的手动放置。

使用 W 键将唇部中心焊接在一起或使用 N 键将嘴点恢复到中性。这些都是有用的节省时间。

按 ESC 将退出查看器。

工作流程 pt 2 – 变形目标/shapekey 导出。
一旦您对地标放置的准确性感到满意,您就可以为分解算法分配关键姿势以用于生成动画数据。您应该使用与标志性训练中使用的“极端”姿势(中立、张开下巴、微笑、漏斗等)相同的镜头进行类似推理;不同的姿势越多,就越容易从中产生数据。

使用控制面板中的下拉列表,指定不同的帧代表不同的关键姿势,确保每次都点击“设置关键姿势”。每当您点击“set keypose”时,都会创建/修改名为“PROJECTNAME_keyposes.npy”的数据文件。

创建此文件后,您可以继续使用控制面板上的其余两个按钮;导出到 Txt 和 Stream OSC。最好将尽可能多的不同姿势提交到文件中,尽管并非所有姿势都是必需的。提供的越多,生成的动画就越准确。

工作流程 pt3 – 用法
要导出动画,请确保您对地标跟踪模型和关键姿势集感到满意。打开要制作动画的视频文件,然后选择地标模型。根据文件名自动选择相应的键位集。作为本课程的一部分,您可以继续使用源素材更新和训练地标训练,以说明特定的面部形状。事实上,如果不使用头戴式摄像头,这几乎肯定是必需的。

当准备好将动画导出到文件或 OSC 时,它将采用 51 个不同值的形式,这些值组合起来描述许多不同的可能的面部表情。值的名称可以在 ‘blenderimport’ python 脚本中找到。您的模型不需要具有全部 51 种形状(我目前共享的所有素材都使用大约 5-6 种),但名称确实需要匹配。

这些值作为(帧数,51)形状的数组作为纯文本写入文本文件。使用 OSC,值将作为长度为 51 的浮点数组一帧流式传输到 127.0.0.1。

资源下载
下载价格50
购买请先登陆,游客无法保留订单。
客服QQ:258371245 统一解压密码:www.dazstudio.cn
早期部分资源解压密码:www.chuanshi.me 下载页面如果提示“登陆中”,请切换至http://daz.lianghuadashi.com

评论2

请先
  1. 大神能不能弄到一个 facemotion3d for Daz ,这个可以直接在DAZ里面完成,付费也可以,官网不知道怎么买
    leemarkgz 2021-11-23 0
    • 如果愿意付费的话,可以使用这个http://daz.lianghuadashi.com/face-mojo-facial-mocap-retargeting-genesis-3-and-8-bundle/目前app需要98¥搜索face mojo
      456 2021-11-23 0
显示验证码
没有账号?注册  忘记密码?

社交账号快速登录