StrongTrack 免费AI面部表情捕捉生成工具 可普通摄像头同步ue4做虚拟主播


欢迎赞助!
B站演示https://www.bilibili.com/video/BV1tP4y157ei/(等审核)
工作流程 pt 1 – 地标放置。
拍摄主题拉一系列关键姿势。中立,下巴完全张开,微笑闭合,嘴唇漏斗,嘴唇皱起,眉头向上,眉头向下,闭上眼睛。这些关键姿势对于快速训练地标模型很有用。从 0.5 版开始,此工具仍然非常适合大多数静止的人脸,因此如果可能,强烈建议使用头戴式相机,但大部分静止主体的镜头仍然可以使用。

使用 StrongTrack 打开此视频后,您将看到该视频以及一组通用的无与伦比的面部标志。只有在视频暂停时才能滚动视频和输入地标。以中性姿势使用空格键暂停视频并将地标放置在脸部的相应位置。从中性帧开始很重要,因为这将使您以后可以在想要将嘴唇恢复到中性姿势时使用 N 键,这样可以节省大量时间。

单击鼠标左键移动单个点,右键单击移动面部组(下巴、眼睛、鼻子等)。W 键将嘴唇焊接在一起以节省时间。白色的点会在影响力下降的情况下移动它们周围的点。

对放置感到满意后,使用 F 键将其添加到训练集。对于这个初始条目,模型将自动训练预测器。

前往下一帧(最好打开下巴,因为它是最不同的)并重复。以这种方式继续,只要你想训练模型就按下 T 键。随着模型变得更加准确,需要越来越少的手动放置。

使用 W 键将唇部中心焊接在一起或使用 N 键将嘴点恢复到中性。这些都是有用的节省时间。

按 ESC 将退出查看器。

工作流程 pt 2 – 变形目标/shapekey 导出。
一旦您对地标放置的准确性感到满意,您就可以为分解算法分配关键姿势以用于生成动画数据。您应该使用与标志性训练中使用的“极端”姿势(中立、张开下巴、微笑、漏斗等)相同的镜头进行类似推理;不同的姿势越多,就越容易从中产生数据。

使用控制面板中的下拉列表,指定不同的帧代表不同的关键姿势,确保每次都点击“设置关键姿势”。每当您点击“set keypose”时,都会创建/修改名为“PROJECTNAME_keyposes.npy”的数据文件。

创建此文件后,您可以继续使用控制面板上的其余两个按钮;导出到 Txt 和 Stream OSC。最好将尽可能多的不同姿势提交到文件中,尽管并非所有姿势都是必需的。提供的越多,生成的动画就越准确。

工作流程 pt3 – 用法
要导出动画,请确保您对地标跟踪模型和关键姿势集感到满意。打开要制作动画的视频文件,然后选择地标模型。根据文件名自动选择相应的键位集。作为本课程的一部分,您可以继续使用源素材更新和训练地标训练,以说明特定的面部形状。事实上,如果不使用头戴式摄像头,这几乎肯定是必需的。

当准备好将动画导出到文件或 OSC 时,它将采用 51 个不同值的形式,这些值组合起来描述许多不同的可能的面部表情。值的名称可以在 ‘blenderimport’ python 脚本中找到。您的模型不需要具有全部 51 种形状(我目前共享的所有素材都使用大约 5-6 种),但名称确实需要匹配。

这些值作为(帧数,51)形状的数组作为纯文本写入文本文件。使用 OSC,值将作为长度为 51 的浮点数组一帧流式传输到 127.0.0.1。

资源下载
下载价格50
购买请先登陆,游客无法保留订单。
客服QQ:258371245 统一解压密码:www.dazstudio.cn
早期部分资源解压密码:www.chuanshi.me 下载页面如果提示“登陆中”,请切换至http://daz.lianghuadashi.com

评论2

请先
  1. 大神能不能弄到一个 facemotion3d for Daz ,这个可以直接在DAZ里面完成,付费也可以,官网不知道怎么买
    leemarkgz 2021-11-23 0
    • 如果愿意付费的话,可以使用这个http://daz.lianghuadashi.com/face-mojo-facial-mocap-retargeting-genesis-3-and-8-bundle/目前app需要98¥搜索face mojo
      456 2021-11-23 0
网站升级公告 为了更新适配https协议,网站近期进行了多项程序升级。 原有QQ登陆程序因技术原因已经被替换,原有QQ登陆用户如果还在会员期限内或者账户内有余额的欢迎联系网站客服QQ258371245重新绑定账号使用账号或者邮箱登陆用户不受影响。
显示验证码
没有账号?注册  忘记密码?

社交账号快速登录