Text to 2d Lipsync In Unity



我对统一非常陌生,我真的不知道从哪里开始。我正在尝试使用unity制作一个文本到2d的唇同步。我试着搜索教程,但我只发现有人使用现成的脚本或插件来制作类似的东西,但我想尝试从头开始。只是我只知道编码的基本知识,只能修改现有的代码,还没有能力从头开始做任何事情,因为我还在学习,所以我想知道你们能不能给我一个线索?

例如,如果你们能给我指一些从头开始制作文本到语音的教程,或者制作2d lipsync的教程,或一些制作文本到语言的示例代码,或者制作2d-lipsync的示例代码。无论是什么,只要它与统一制作文本到2d-lipssync有关,我都很乐意接受并研究它。提前谢谢。(如果我的英语有很多错误,请道歉,我不是本地人(

这是我尝试制作的示例:

  • https://forum.unity.com/threads/free-tool-for-2d-lip-sync-animation.609436/
  • https://www.youtube.com/watch?v=V2-M-fjaJcs

(这两个的问题是,它们使lipsync从音频而不是文本中检测语音(

或者类似的东西,但用2d代替:

  • https://www.youtube.com/watch?v=qz3Ac9Xi29g

如果我的问题听起来很愚蠢,我很抱歉。我只是非常绝望:"(任何形式的帮助都将不胜感激。

根据您的用例,您可能可以比真正的文本对口型同步功能简单得多,但首先是

当你刚开始学习编码时,很多事情一开始可能会让人不知所措。没有一个程序员能同时解决这个大问题。你想先把它分解成块,把这些块分解成更多的块,然后像清单一样一次处理一个。

对于这个项目,我会把事情分解成这样。

  • 视觉效果
    • 动画的2D精灵图像(您发送的示例只使用了几个不同的图像,并循环使用它们(
    • 精灵动画
    • 精灵动画师&控制器
  • 文本逻辑控制器
    • text ui更新
    • 触发各种动画的文本控制器

编程的另一个重要部分是分阶段工作。确定你的最低可行产品是什么,并在你有了基本的概念验证后对其进行迭代。

现在,对于你的MVP,我所要做的就是创建一个基本的谈话动画,然后设置你的文本控制器,这样每当文本出现在屏幕上时,它就会在X段时间内为其设置动画。

最后,使用插件或其他人的代码并不可耻。即使是最优秀的程序员也会在有意义的时候使用框架或其他人的代码。只要代码是开源的或允许您根据需要使用,就没有理由重新发明轮子。插件和其他人的代码也是学习如何编码的好方法,通过查看它们是如何进行编码的,解构它,并使它成为自己的。

编辑:如果你只是想在文本显示时启用动画,请将类似的内容添加到文本控制器或用于显示文本的任何内容中。

public Animator myAnimator; (drag and drop your animator onto this in the inspector)
public void UpdateOnScreenTextDialogue() {
// logic to update your GUI with the new text
myAnimator.Play("nameOfTalkingAnimation");
}

你还需要处理重置动画或转到特定的动画,但这些都可以在unity文档中查找,或者如果你在unity中搜索开始/停止动画。

您可以尝试SALSA LipSync Suite V2。SALSA(Simple Automated LipSync Approximation(是一个实时系统,用于根据音频输入创建嘴唇同步,而无需音素映射或烘焙。这创建了一个简单快速的工作流程,允许设计者在项目中实现lipsync,而无需花费大量时间或精力。您可以使用此软件包对2D和3D字符进行唇同步。

  • 从资产商店导入SALSA LipSync Suite V2
  • 打开SALSA-basic3D-boxhead.scene场景

https://assetstore.unity.com/packages/tools/animation/salsa-lipsync-suite-148442https://crazyminnowstudio.com/docs/salsa-lip-sync/modules/overview/

演示应用程序存储库链接:https://github.com/codemaker2015/SALSA-Basic-3D-Demo

你可以尝试Avatar SDK在真实的化身上进行唇同步。

https://docs.avatarsdk.com/unity-plugin/2.2.1/using_salsa_lipsinc_v2_with_avatar_sdk.html

最新更新