以流媒体的形式广播自己的生活也有缺点。不仅是巨魔和仇恨者,还有保持面向公众的形象所需的巨大努力,特别是如果涉及商业,而且你的影响力机构在太多的深夜关注你的情况。这就是为什么许多流媒体现在扮演虚拟角色,或VTubers。
过去,将人类数字化既复杂又昂贵。2014年,当我在国会上报道演员罗宾·赖特的虚拟化时,南加州大学创意技术研究所的150多个LED灯和多个佳能EOS 1D Mark III LightStage才捕捉到她的身材。今天,手机、网络摄像头和软件套件可以帮助流媒体自己播放动画、2D/3D建模、面部造型、音频同步和性能捕获。
为了找出它是如何做到的,我们采访了两位创作者,他们在网上为自己的基于化身的角色提供动力-LavenderTowne和赛菲尔-在如何从现实走向虚幻的问题上,他们的做法略有不同。
在Twitch等平台上流媒体播放了几年后,Syafire在2020年成为了VTuber。除了自己的YouTube频道做品牌交易外,她还在YouTube上主持流媒体教练HTC Vive帮助其他人在数字世界中建立虚拟角色和自由插图画家的职业生涯。
她说,赛菲尔一开始是一名艺术流媒体工作者,在攻读芝加哥闪点大学平面设计学位的同时,也在流媒体我的委托工作和艺术作业。然后我转到社区大学主修游戏开发,最终转到艺术工业学院的一所网校,主修概念艺术的游戏开发专业。
2020年9月,在观看了Code Miko后,Syafire对新兴的虚拟影响力场景产生了兴趣
使用虚幻引擎以创建逼真的身临其境的化身体验。由于对这项技术着迷,Syafire决定学习如何使用可用的工具。
带着她的观众(她称他们为她的“宝石”),她实时发布了上面的视频,详细介绍了如何成为一名VTuber。这本教程开启了Syafire作为全职内容创作者的职业生涯,她现在仅在YouTube上就拥有超过2.3万名订阅者。
海莉·纽瑟姆,又名“薰衣草之乡”,是洛杉矶的一名自由插画家、角色设计师、动画师和漫画艺术家。
很多年前,我总是避免在我的视频中太多地出现我的脸,所以我想我自然会喜欢VTuber技术,“她说。
起初,我只是从艺术的角度对VTuber模型着迷,因为我喜欢创作卡通人物设计,所以我真的很喜欢著名的VTuber的酷炫、夸张的设计感觉。LavenderTowne决定学习如何进入VTuber的土地,并从上面的剪辑开始制作了一系列视频。
两位创作者都表示,在线匿名是一种解放。萨菲尔说:“成为一个虚拟的有影响力的人,让他们背后的创造者有机会体验一个前所未有的角色和世界。”还可以在不改变他们的个人生活的情况下获得名声,就像现在和过去的名人一样。
拉文德·汤恩对此表示同意。当谈到流媒体时,我确实认为VTuber模式是我个人的选择。它比不带摄像头的流媒体在视觉上更吸引人,而且更容易放松,只需与我的社区一起闲逛,而不必担心灯光、化妆和发型。
“以一种奇怪的方式,这感觉比‘使用’我的真实面孔要自然得多,”她说。
如果你想创建自己的化身,这个过程首先是构建你的角色,将其与人类表情同步(装配),将模型整合到一个流媒体软件平台,然后上线。这是在简化它。但以下是两位创作者是如何经历这个工作流程的,以及他们在这个过程中发现了什么。
Syafire使用VRoid Studio创建了她的虚拟生物-你可以在上面观看她的教程。如果你曾经经历过创建自己的虚拟化身来玩游戏或进入虚拟世界的过程,你会熟悉这个过程。
选择头发颜色、眼睛形状、面部轮廓、服装选项、身体尺寸等,直到你的头像拥有想要的样子。该程序允许你创建一个独特的3D模型,然后可以在任何平台上使用。
如果你想花几个小时来试验衣领宽度、纹理、精灵般的耳朵,以及针对个别卷发部分的刷子工具,它们都在那里。如果你想快速启动和运行,选择一个模板,做基本的mod,你就可以开始了。
由于LavenderTowne是一名专业插画家,她想从头开始创作她的角色,使用她自己的艺术品,而不是3D模型。我用的是Live2D
为了做到这一点,她解释说。许多VTuber使用Live2D来创建实时移动的动画角色,而不需要3D模型,我发现这真的很令人兴奋。
如上所述,她的教程展示了从单个插图构建2D模型,将它们导出为PSD文件,然后在Live2D Cubism中装配模型是多么费力。但至少你会从第一笔数字笔触中获得设计一个完整的虚拟角色的满足感。
一旦你的3D模型完成,你需要将角色的动作映射到你自己的动作。在Syafire的教程中,她导出她的化身,然后将模型导入运动捕捉工具。在视频中,她使用了3tene,但也有其他选项可用。
Syafire现在推荐VSeeFace因为它与名为虚拟运动捕获的第三方软件兼容
在那里,如果您的VRM模型设置了3D建模程序中所需的额外混合形状,您可以获得更高级的人脸跟踪。然后使用VSeeFaces导入模型,最后使用iFacialMocap,这款应用可以跟踪你的高级人脸跟踪。
然而,如果你想试用3tene,它会在3D空间中定位模型,然后从网络摄像头中获取输出,以设置面部跟踪和眼睛运动地图,以实现神奇的镜像。3tene还将音频同步到嘴唇动作和Ultraaleap
如果你对手势特别有表现力,可以部署手控器,这样3D模型也可以映射身体动作。
“我是一个手动量很大的人,”赛菲尔说。我说话的时候会用到很多面部表情和肢体语言。不在高端设备上花费数千美元,获得与之匹配的富有表现力的角色和模型是可能的,但也是具有挑战性的。我希望看到动作捕捉技术的更多发展,继续让这一技术尽可能地为创作者和消费者带来身临其境的体验。
这是将虚拟(模型)与真实(人)装配在一起的基本设置。在3tene内还有额外的动作选择,如果你对一个虚拟的自我有心情,可以进行空手道踢或化身面部表情变化,以增加角色的深度。
最后一步是将舞台背景设置更改为自定义颜色,然后更改为透明,以允许在头像后面标记的可能性。
LavenderTowne采取了一种不同的方式来操纵她的虚拟存在。他说,一旦我建立了角色,我就使用了VTube Studio
用我的iPhone摄像头,效果真的很好。
要做到这一点,你需要一部iPhone和苹果的ARKit
增强现实平台。一旦摄像头检测到人脸,该软件就会建立一个带有坐标的网格覆盖图,以指示眼睛、嘴巴、鼻子等的位置。
完成人脸和网格之间的映射后,创作者就可以为动画角色提供动力。如果你想看看成品是什么样子,可以查看上面的视频。
复杂的期货,复杂的设置
创造数字化人类的过程包括许多复杂的运动部件。虽然可以做最少的修改来制作虚拟角色的动画,但大多数人会想要做得更深入。这将意味着必须学习多个平台,甚至需要额外购买一些设备。
像大多数专业的Streamer一样,Syafire使用开源的OBS Studio来创建、编辑和跨多个平台分发她的流。虽然大部分繁重的工作都可以在免费软件的帮助下完成,但她的视频描述确实提供了一系列关于网络摄像头、麦克风等的建议。
她还建议使用Stream Deck而不是台式电脑来控制头像,允许你将不同的表情映射到特定的按钮上,并启用预先设置的情绪、动画等来加深沉浸感。
然而,您的设置越复杂,预计会投入更多的时间和金钱。如果你想让你的模型像Code Miko或AI Angel那样更上一层楼,这完全是另一回事,你需要参与到像Unity这样的游戏引擎中来和虚幻引擎,以及虚拟运动捕捉等第三方应用程序。
但为了让这些技术更容易获得,已经做了大量工作。LavenderTowne说:“我怀疑创建这些VTuber模型的技术挑战是许多人花了一段时间才跳上船的主要原因。”
现在有了人们可以定制的预置3D模型,PNGtuber技术,你只需要画一两张图,而且有更多多种语言的教程可供那些有兴趣自己尝试的人使用,这很有可能会出现新的VTuber的热潮。
“总的来说,这是一个漫长的工作流程和过程,”赛菲尔补充道,“但看到你的角色变得栩栩如生,并与你联系在一起,这是有史以来最有意义的经历之一。”
有话要说...