一种对话视频创建方法和相关装置与流程

文档序号:31668994发布日期:2022-09-28 00:32阅读:51来源:国知局
一种对话视频创建方法和相关装置与流程

1.本技术涉及数据处理领域,特别是涉及一种对话视频创建方法和相关装置。


背景技术:

2.随着视频行业的发展,视频创作爱好者们会通过游戏、官方编辑器等途径创作虚拟人视频,与传统视频的拍摄制作方式不同,虚拟人视频指用户使用虚拟角色、虚拟场景制作的视频。以对话推进剧情的形式制作基于虚拟人的对话视频,可以简化视频的制作。
3.然而,对话视频中依然需要对虚拟角色、虚拟角色的对话内容等进行控制,对话视频的制作依然存在难度较高的问题。


技术实现要素:

4.为了解决上述技术问题,本技术提供了一种对话视频创建方法和相关装置,将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,降低操作复杂度,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
5.本技术实施例公开了如下技术方案:
6.一方面,本技术提供一种对话视频创建方法,所述方法包括:
7.展示对虚拟人视频进行编辑的剧情会话区,待编辑的所述虚拟人视频包括多个剧情片段,所述剧情会话区显示所述多个剧情片段中第一片段对应的第一剧情气泡,所述第一剧情气泡与所述第一片段涉及的第一虚拟对象具有关联关系,所述第一剧情气泡中包括所述第一虚拟对象在所述第一片段中的第一剧情文字;
8.响应于所述多个剧情片段中第二片段的添加指令,在所述剧情会话区显示所述第二片段对应的第二剧情气泡,所述第二剧情气泡与所述第二片段涉及的第二虚拟对象具有关联关系,所述第二剧情气泡中包括所述第二虚拟对象在所述第二片段中的第二剧情文字,所述第一剧情气泡和所述第二剧情气泡在所述剧情会话区中具有显示位置关系,所述显示位置关系用于标识所述第一片段和所述第二片段在所述虚拟人视频中的剧情顺序;
9.响应于视频生成指令,根据所述剧情会话区所显示的所述第一剧情气泡和所述第二剧情气泡生成视频结构参数,所述视频结构参数用于在被调用时播放所述虚拟人视频。
10.另一方面,本技术提供一种对话视频创建装置,所述装置包括:
11.剧情会话区展示单元,用于展示对虚拟人视频进行编辑的剧情会话区,待编辑的所述虚拟人视频包括多个剧情片段,所述剧情会话区显示所述多个剧情片段中第一片段对应的第一剧情气泡,所述第一剧情气泡与所述第一片段涉及的第一虚拟对象具有关联关系,所述第一剧情气泡中包括所述第一虚拟对象在所述第一片段中的第一剧情文字;
12.剧情气泡显示单元,用于响应于所述多个剧情片段中第二片段的添加指令,在所述剧情会话区显示所述第二片段对应的第二剧情气泡,所述第二剧情气泡与所述第二片段涉及的第二虚拟对象具有关联关系,所述第二剧情气泡中包括所述第二虚拟对象在所述第二片段中的第二剧情文字,所述第一剧情气泡和所述第二剧情气泡在所述剧情会话区中具
有显示位置关系,所述显示位置关系用于标识所述第一片段和所述第二片段在所述虚拟人视频中的剧情顺序;
13.视频结构参数生成单元,用于响应于视频生成指令,根据所述剧情会话区所显示的所述第一剧情气泡和所述第二剧情气泡生成视频结构参数,所述视频结构参数用于在被调用时播放所述虚拟人视频。
14.另一方面,本技术提供一种计算机设备,所述设备包括处理器以及存储器:
15.所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
16.所述处理器用于根据所述计算机程序中的指令执行上述方面所述的对话视频创建方法。
17.另一方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的对话视频创建方法。
18.另一方面,本技术实施例提供了一种包括计算机程序的计算机程序产品,当其在计算机设备上运行时,使得所述计算机设备执行所述的对话视频创建方法。
19.由上述技术方案可以看出,展示对虚拟人视频进行编辑的剧情会话区,待编辑的虚拟人视频包括多个剧情片段,多个剧情片段可以包括第一片段和第二片段,剧情会话区显示第一片段对应的第一剧情气泡,响应于第二片段的添加指令,在剧情会话区显示第二片段对应的第二剧情气泡,也就是说,剧情会话区中显示的剧情气泡包括所对应剧情片段的剧情文字,不同的剧情气泡可以和相同或不同的虚拟对象具有关联关系。剧情气泡间在剧情会话区中的显示位置关系标识了所对应剧情片段在虚拟人视频中的剧情顺序,根据剧情会话区所显示的第一剧情气泡和第二剧情气泡可以生成用于在被调用时播放虚拟人视频的视频结构参数。这样将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,使得剧情会话区中的剧情气泡可以和社交会话界面一样直观的展示不同虚拟对象的对话内容,通过剧情气泡之间的显示位置关系可以清晰直观的梳理出对话内容在虚拟人视频中的剧情顺序,当需要对虚拟人视频进行剧情编辑时,可以从剧情气泡的维度,以类似编辑社交会话的方式实现,降低操作复杂度,通过剧情气泡在剧情会话区中的显示及时清晰的体现虚拟人视频中剧情片段的增加和剧情片段的内容,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
21.图1为本技术实施例提供的一种对话视频创建方法的应用场景示意图;
22.图2为本技术实施例提供的一种对话视频创建方法的信令图;
23.图3为本技术实施例提供的一种剧情会话区的示意图;
24.图4为本技术实施例提供的一种操作界面的示意图;
25.图5为本技术实施例提供的另一种剧情会话区的示意图;
26.图6为本技术实施例提供的一种显示界面示意图;
27.图7-图9为本技术实施例提供的剧情会话区的示意图;
28.图10为本技术实施例提供的一种视频结构参数的示意图;
29.图11-图14为本技术实施例提供的又一种剧情会话区的示意图;
30.图15为本技术实施例提供的一种动作采集界面的示意图;
31.图16为本技术实施例提供的另一种动作采集界面的示意图;
32.图17为本技术实施例提供的又一种动作采集界面的示意图;
33.图18为本技术实施例提供的又一种剧情会话区的示意图;
34.图19为本技术实施例提供的又一种剧情会话区的示意图;
35.图20为本技术实施例提供的一种剧情会话区的功能示意图;
36.图21为本技术实施例提供的一种信息处理的示意图;
37.图22为本技术实施例提供的另一种信息处理的示意图;
38.图23为本技术实施例提供的另一种视频结构参数的示意图;
39.图24为本技术实施例提供的一种对话视频创建装置的结构框图;
40.图25为本技术实施例提供的一种终端设备的结构图;
41.图26为本技术实施例提供的一种服务器的结构图。
具体实施方式
42.下面结合附图,对本技术的实施例进行描述。
43.目前以对话推进剧情的形式制作视频,可以简化视频的制作。然而,对话视频依然需要对虚拟角色、虚拟角色的对话内容等进行控制,对话视频的制作依然存在难度较高的问题。
44.为了解决上述技术问题,本技术实施例提供了一种对话视频创建方法和相关装置,将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,降低操作复杂度,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
45.本技术实施例提供的对话视频创建方法是基于人工智能(artificial intelligence,ai)实现的,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
46.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
47.在本技术实施例中,主要涉及的人工智能软件技术包括上述语音处理技术、自然语言处理技术、机器学习/深度学习等方向。例如,可以涉及机器学习(machine learning,ml)中的深度学习(deep learning),包括各类人工神经网络(artificial neural network,ann)。
48.本技术实施例所提供的对话视频创建方法可以通过计算机设备实施,该计算机设备可以是终端设备或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。本技术实施例可应用于各种场景,包括但不限于音视频、云技术、人工智能、智慧交通、辅助驾驶等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
49.该具有数据处理的计算机设备具备机器学习能力,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
50.该具有数据处理的计算机设备具备语音处理技术,语音技术(speech technology)的关键技术有自动语音识别技术和语音合成技术以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
51.该具有数据处理的计算机设备具备自然语言处理(nature language processing,nlp)能力,自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
52.在本技术实施例提供的一种对话视频创建方法及相关装置中,采用的人工智能模型主要涉及对自然语言处理的应用、外形特征点的识别等,通过自然语言处理实现对话视频创建,从而简化对话视频创建过程,通过外形特征点的识别实现动作的自定义,丰富对话视频的内容。
53.随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
54.可以理解的是,在本技术的具体实施方式中,涉及到用户语音信息等相关的数据,当本技术以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
55.为了便于理解本技术提供的技术方案,接下来,将结合一种实际应用场景,对本技术实施例提供的一种对话视频创建方法进行介绍。
56.参见图1,图1为本技术实施例提供的一种对话视频创建方法的应用场景示意图。在图1所示的应用场景中,包括终端设备10和服务器20,终端设备10和服务器20连接,终端设备10用于实现对话视频创建和对话视频显示,或,服务器20用于根据来自终端设备10的操作指令进行对话视频创建,终端设备10用于获取操作指令以及进行对话视频显示。
57.终端设备10可以展示对虚拟人视频进行编辑的剧情会话区1001,待编辑的虚拟人视频包括多个剧情片段,多个剧情片段可以包括第一片段和第二片段,剧情会话区显示第一片段对应的第一剧情气泡11,第一剧情气泡11与第一片段涉及的第一虚拟对象具有关联关系,第一剧情气泡11中包括第一虚拟对象在第一片段中的第一剧情文字。举例来说,第一虚拟对象的对象标识12和第一剧情气泡11在同一行显示,体现二者的关联关系。其中,第一虚拟对象可以记为“小a”,第一剧情文字可以为“早上好呀,小b”,参见图1的1a。
58.响应于第二片段的添加指令,在剧情会话区显示第二片段的第二剧情气泡21,第二剧情气泡21与第二片段涉及的第二虚拟对象具有关联关系,第二剧情气泡21中包括第二虚拟对象在第二片段中的第二剧情文字。举例来说,第二虚拟对象的对象标识22和第二剧情气泡21在同一行显示,体现二者的关联关系。其中,第二虚拟对象可以记为“小b”,第二剧情文字为“早上好”,参见图1的1b。其中,第二片段的添加指令例如可以通过片段添加控件33的触发操作而生成,第二剧情文字例如可以通过剧情文字输入框32输入,第二虚拟对象例如可以通过对象选择控件31确定,参见图1的1a。
59.也就是说,剧情会话区1001中显示的剧情气泡包括对应剧情片段的剧情文字,不同的剧情气泡可以和相同或不同的虚拟对象具有关联关系,不同的剧情气泡可以显示在剧情会话区的不同位置,通过不同剧情气泡之间的显示位置关系标识了所对应的剧情片段在虚拟人视频中的剧情顺序,因此根据剧情会话区所显示的第一剧情气泡和第二剧情气泡可以生成用于在被调用时播放虚拟人视频的视频结构参数,视频结构参数参见图1的1c,虚拟人视频中的第二片段可以在剧情预览区1002播放,参见图1的1d。生成的视频结构参数可以存储在终端设备10中,也可以存储在服务器20中,若视频结构参数存储在服务器20中,则视频结构参数可供与该服务器20连接的多个终端设备10调用,从而在多个终端设备10播放该虚拟人视频。
60.这样将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,使得剧情会话区中的剧情气泡可以和社交会话界面一样直观的展示不同虚拟对象的对话内容,通过剧情气泡之间的显示位置关系可以清晰直观的梳理出对话内容在虚拟人视频中的剧情顺序,当需要对虚拟人视频进行剧情编辑时,可以从剧情气泡的维度,以类似编辑社交会话的方式实现,降低操作复杂度,通过剧情气泡在剧情会话区中的显示及时清晰的体现虚拟人视频中剧情片段的增加和剧情片段的内容,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
61.接下来,将结合附图,对本技术实施例提供的一种对话视频创建方法进行介绍。
62.参见图2,图2为本技术实施例提供的一种对话视频创建方法的信令图,该方法包括:
63.s101,展示对虚拟人视频进行编辑的剧情会话区。
64.本技术实施例中,有别于传统视频的拍摄制作方法,虚拟人视频指使用虚拟角色和虚拟场景制作的视频,可以利用终端设备进行虚拟人视频的制作。虚拟角色可以为二维(2-dimension,2d)角色,也可以为三维(3-dimension,3d)角色,相应的虚拟场景可以为二维场景,也可以为三维场景。以对话推进剧情的形式制作基于虚拟人的对话视频,可以简化视频的制作,尤其是包括三维角色和三维场景的虚拟人视频,由于虚拟相机的取景、虚拟人物的走位等细节控制难度较高,因此通过三维角色的对话推进剧情的形式制作虚拟人视
频,可以大大简化基于三维虚拟人的对话视频的制作。
65.本技术实施例中,虚拟人视频包括对话形式的剧情片段,可以对虚拟人视频进行编辑,以使虚拟人视频满足需要,待编辑的虚拟人视频可以包括多个剧情片段,多个剧情片段的数量可以根据实际情况确定。下面以多个剧情片段中的第一片段和第二片段进行说明,实际上,待编辑的虚拟人视频的多个剧情片段,可以仅包括第一片段和第二片段,也可以在第一片段和第二片段之外还包括其他片段,例如第三片段等。
66.具体的,可以展示对虚拟人视频进行编辑的剧情会话区1001,从而通过剧情会话区1001对虚拟人视频进行编辑。剧情会话区1001可以显示第一片段对应的第一剧情气泡11,第一片段涉及第一虚拟对象,第一剧情气泡11与第一虚拟对象具有关联关系,第一剧情气泡11中包括第一虚拟对象在第一片段中的第一剧情文字。参见图3,为本技术实施例提供的一种剧情会话区的示意图,第一剧情气泡11的外观可以根据需求确定,或者可以由用户自行设置,第一剧情气泡11的外观可以根据第一虚拟对象确定。第一剧情气泡11的外观包括第一剧情气泡11的颜色、形状、装饰件等。
67.第一虚拟对象的对象标识12可以显示在剧情会话区1001中,第一虚拟对象的对象标识12和第一剧情气泡11的显示位置关系用于体现第一剧情气泡11和第一虚拟对象的关联关系,例如第一虚拟对象的对象标识12和第一剧情气泡11在同一行显示。其中,第一虚拟对象可以记为“小a”,第一剧情文字可以为“早上好呀,小b”,参见图1的1a和图3。
68.剧情会话区1001可以根据对话设置操作展示,对话设置操作可以通过对话设置控件的触发操作而生成,也可以通过特定手势生成。参见图4,为本技术实施例提供的一种操作界面的示意图,在操作界面1003中包括对话设置控件35,对话设置控件35的显示位置可以根据实际情况设置,例如可以为显示屏的右下角。对话设置控件35可以基于对话创建指令而展示,参见图4,对话创建指令可以通过对话创建控件34的选中操作而生成,对话创建控件34被选中时,对话设置控件35随之展示,在对话设置控件35展示时,对话创建控件34可以取消显示,也可以与对话设置控件35同时展示,例如对话设置控件35位于显示屏右下角,对话创建控件34位于显示屏的左下角,二者同时展示在同一操作界面1003中。
69.s102,响应于多个剧情片段中第二片段的添加指令,在剧情会话区显示第二片段对应的第二剧情气泡。
70.本技术实施例中,可以获取多个剧情片段中第二片段的添加指令,响应于该添加指令,可以在剧情会话区显示第二片段对应的第二剧情气泡21,第二片段涉及第二虚拟对象,第二虚拟对象和第一虚拟对象可以为同一虚拟对象,也可以为不同虚拟对象,第二剧情气泡21与第二虚拟对象具有关联关系,第二剧情气泡21中包括第二虚拟对象在第二片段中的第二剧情文字。
71.其中,第二片段的添加指令,可以基于针对第二片段的片段添加操作生成,针对第二片段的片段添加操作可以为对片段添加控件33的触发操作,也可以为特定手势,还可以为第二片段的添加指令中的最后一个片段信息的确定操作,添加指令中的片段信息至少包括第二剧情文字和第二虚拟对象的唯一标识。
72.具体的,第二剧情文字可以通过剧情文字输入框32获取,剧情文字输入框32中可以被输入文字,根据剧情文字输入框32中的已输入文字可以确定第二剧情文字,具体实施时,第二剧情文字可以为获取到片段添加操作时剧情文字输入框32中的文字。其中,在剧情
文字输入框32中并未被输入文字且未被触发时,可以在剧情文字输入框中显示“在此键入剧情文字”的提示,参见图3;在剧情文字输入框被触发时,可以显示键盘区36,以根据用户对键盘区36的触发操作在剧情文字输入框32中显示已输入文字,参见图5,为本技术实施例提供的另一种剧情会话区的示意图,键盘区36显示在剧情文字输入框32的下方;或者,在剧情文字输入框32被触发时,也可以显示语音接收控件,获取来自用户的目标语音,通过对目标语音进行语音识别得到识别文字,该识别文字可以显示在剧情文字输入框32中,作为剧情文字输入框32中的已输入文字。
73.具体的,第二虚拟对象可以通过对显示的对象标识中的目标对象标识的选择操作而确定,响应于目标对象标识的选择操作,将目标对象标识对应的对象作为第二虚拟对象,获取第二虚拟对象的唯一标识,添加指令中可以包括第二虚拟对象的唯一标识。第二虚拟对象的唯一标识是能够唯一确定第二虚拟对象的标识,可以为第二虚拟对象在虚拟对象库中的编号,也可以为第二虚拟对象的名称等。显示的对象标识可以为虚拟对象对应的图案,可以体现虚拟对象的特点,例如性别特点、形象特点等。其中,对象标识可以显示在对象设置界面,对象设置界面可以响应于对象选择操作而显示,对象选择操作可以为对对象选择控件31的触发操作,也可以为特定手势。
74.第二剧情气泡的外观可以根据需求确定,或者可以由用户自行设置,第二剧情气泡的外观和第一剧情气泡的外观相同,也可以和第一剧情气泡的外观不同,第二剧情气泡的外观包括第二剧情气泡的颜色、形状、装饰件等。第二剧情气泡的外观可以根据第二虚拟对象确定,在第一虚拟对象和第二虚拟对象为不同虚拟对象时,第一剧情气泡和第二剧情气泡可以有不同的外观,从而更为直观的区分第一虚拟对象的剧情文字和第二虚拟对象的剧情文字。参见图1的1b,第二剧情气泡21的外观和第一剧情气泡11的外观相同。
75.第二虚拟对象的对象标识可以显示在剧情会话区中,第二虚拟对象的对象标识和第二剧情气泡的显示位置关系用于体现第二剧情气泡和第二虚拟对象的关联关系,例如参见图1的1b,第二虚拟对象的对象标识22和第二剧情气泡21在同一行显示。其中,第二虚拟对象可以记为“小b”,第二剧情文字为“早上好”。
76.本技术实施例中,第一剧情气泡和第二剧情气泡在剧情会话区中具有显示位置关系,该显示位置关系用于标识第一片段和第二片段在虚拟人视频张红的剧情顺序。也就是说,剧情会话区中显示的剧情气泡包括对应剧情片段的剧情文字,不同的剧情气泡可以和相同或不同的虚拟对象具有关联关系。此外,不同的剧情气泡可以显示在剧情会话区的不同位置,通过不同剧情气泡之间的显示位置关系标识了所对应的剧情片段在虚拟人视频中的剧情顺序,这样将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,使得剧情会话区中的剧情气泡可以和社交会话界面一样直观的展示不同虚拟对象的对话内容,通过剧情气泡之间的显示位置关系可以清晰直观的梳理出对话内容在虚拟人视频中的剧情顺序,大大降低了视频编辑门槛。
77.在剧情会话区显示第二剧情气泡后,响应于对第二剧情气泡的预览操作,根据第二虚拟对象和第二剧情文字确定第二剧情气泡对应的子结构参数,根据子结构参数生成第二片段,在剧情会话区之外的剧情预览区显示第二片段,在第二片段中,第二虚拟对象说出第二剧情文字,以便用户根据剧情预览区显示的第二片段是否符合要求,来确定根据第二虚拟对象和第二剧情文字是否设置合理。剧情预览区可以和剧情会话区同时显示,参见图
6,为本技术实施例提供的一种显示界面示意图,其中剧情会话区1001位于屏幕右侧,剧情预览区1002位于屏幕左侧;剧情预览区1002也可以在剧情会话区1001所在显示区域以新界面的形式显示,在剧情预览区1002显示时,剧情会话区1001可以取消显示或被剧情预览区1002覆盖,参见图1的1d,剧情会话区1001取消显示。
78.在剧情会话区显示第二剧情气泡后,响应于对第二剧情气泡的位置调整操作,可以改变第二剧情气泡和第一剧情气泡间的显示位置关系。对第二剧情气泡的调整操作,可以为对第二剧情气泡的拖动操作,也可以为针对第二剧情气泡的位置调整控件的触发操作,位置调整控件可以包括位置上移控件或位置下移操作,例如通过对第二剧情气泡的位置上移控件的触发操作而控制第二剧情气泡的显示位置向上移动,通过对第二剧情气泡的位置下移控件的触发操作而控制第二剧情气泡的显示位置向下移动。
79.参见图7,为本技术实施例提供的又一种剧情会话区的示意图,其中可以通过对第二剧情气泡21的向上的拖动操作,对第二剧情气泡21的显示位置进行调整,改变第二剧情气泡21和第一剧情气泡11的显示位置关系,使第二剧情气泡21位于第一剧情气泡11的上方,指示第二剧情气泡21对应的剧情片段可以在第一剧情气泡11对应的剧情片段之前播放,当然,在第二剧情气泡21和第一剧情气泡11的显示位置关系被改变后,第二虚拟对象的对象标识22和第一虚拟对象的对象标识12的显示位置关系也随之改变。
80.在剧情会话区显示第二剧情气泡后,还可以确定出在剧情会话区中与第二剧情气泡的显示位置关系为相邻关系的第三剧情气泡,第三剧情气泡可以为第一剧情气泡,也可以为第一剧情气泡之外的其他剧情气泡,例如第三剧情气泡可以为对应多个剧情片段中的第三片段的剧情气泡,在第三剧情气泡为第一剧情气泡时,第三片段为第一片段。响应于针对第二剧情气泡和第三剧情气泡的播放顺序调整操作,可以将第二剧情气泡和第三剧情气泡分别对应的剧情片段播放顺序设置为同时播放,也可以将第二剧情气泡和第三剧情气泡分别对应的剧情片段播放顺序设置为顺序播放。
81.针对第二剧情气泡和第三剧情气泡的播放顺序调整操作,可以为对播放顺序调整控件的触发操作,也可以为特定手势。播放顺序调整控件可以与第二剧情气泡关联,例如通过对第二剧情气泡的选中操作,可以显示播放顺序调整控件,则该播放顺序调整控件与第二剧情气泡关联,或者播放顺序调整控件可以与第三剧情气泡关联,例如通过对第三剧情气泡的选中操作,可以显示播放顺序调整控件,则该播放顺序调整控件与第三剧情气泡关联。
82.具体的,播放顺序调整控件可以包括同时播放和顺序播放两个选项,通过对同时播放或顺序播放的选择,确定第二剧情气泡和第三剧情气泡的播放顺序。或者,第二剧情气泡和第三剧情气泡的播放顺序默认为顺序播放,则播放顺序调整控件可以包括同时播放的选项,在同时播放的选项被选中时,确定第二剧情气泡和第三剧情气泡分别对应的剧情片段的播放顺序为同时播放,在同时播放的选项未被选中时,确定第二剧情气泡和第三剧情气泡分别对应的剧情片段的播放顺序为顺序播放。
83.其中,顺序播放的选项中,可以指示与该播放顺序调整控件对应的剧情气泡相邻的剧情气泡的标识,以及与该相邻的剧情气泡的播放顺序,例如在该相邻的剧情气泡之前或之后。举例来说,与该播放顺序调整控件对应的剧情气泡为第二剧情气泡,则可以指示第二剧情气泡在第三剧情气泡之前或在第三剧情气泡之后。同理,同时播放的选项中,可以指
示与该播放顺序调整控件对应的剧情气泡同时播放的剧情气泡的标识。
84.参见图8,为本技术实施例提供的又一种剧情会话区的示意图,第一剧情气泡11作为第三剧情气泡,第二剧情气泡位于第三剧情气泡的下方,根据由显示位置关系确定的播放顺序,第二片段可以在第三剧情气泡对应的剧情片段(即第一片段)之后播放,也可以和第三剧情气泡对应的剧情片段(即第一片段)同时播放,通过对第二剧情气泡21的选中操作,可以显示播放顺序调整控件37,播放顺序调整控件37可以包括同时播放和顺序播放两个选项,通过对同时播放的选项的选择操作,可以确定第二剧情气泡21和第三剧情气泡分别对应的剧情片段(即第一片段)播放顺序设置为同时播放。其中剧情会话区还可以显示剧情气泡的唯一标识39,参见图8,第一剧情气泡的唯一标识为2,第二剧情气泡的唯一标识记为3,播放顺序调整控件37中同时播放的选项中指示相邻剧情气泡和播放顺序为“与2一起”,指示第三剧情气泡和第二剧情气泡21分别对应的剧情片段的播放顺序为同时播放,播放顺序调整控件37中顺序播放的选项中指示相邻剧情气泡和播放顺序为“在2之后”,指示第三剧情气泡对应的剧情片段在第二片段之后播放。
85.在剧情会话区显示第二剧情气泡后,还可以响应于对第二剧情气泡的延迟时长调整操作,确定第二片段的播放延迟时长,播放延迟时长用于指示虚拟人视频播放的播放顺序到达第二片段时,在播放延迟时长后播放第二片段。具体的,虚拟人视频播放的播放顺序到达第二片段,表示在第二片段之前的剧情片段播放完毕。
86.其中,第二片段可以单独播放,也可以和其他剧情片段同时播放。在第二片段在第三剧情片段对应的第三片段之后播放的场景下,虚拟人视频播放的播放顺序到达第二片段时,为第三片段结束播放时刻,则播放延迟时长为第二片段的开始播放时刻和第三片段的结束播放时刻之间的时间间隔;相应的,在第二片段和第三片段同时播放的场景下,虚拟人视频播放的播放顺序到达第二片段时,为第三片段开始播放时刻,则播放延迟时长为第二片段的开始播放时刻和第三片段的开始播放时刻之间的时间间隔。
87.对第二剧情气泡的延迟时长调整操作,可以为对延迟时长调整控件的触发操作,也可以为特定手势。延迟时长调整控件与第二剧情气泡关联,例如通过对第二剧情气泡的选中操作,可以显示延迟时长调整控件,则该播放顺序调整控件与第二剧情气泡关联。延迟时长调整控件和播放顺序调整控件可以同时显示,也可以在通过播放顺序调整控件确定播放顺序之后显示,同时显示时可以通过减少界面切换。
88.具体的,延迟时长调整控件可以包括延迟时长增加控件和延迟时长减少控件,还可以显示当前延迟时长,从而使用户根据当前延迟时长对延迟时长增加控件或延迟时长减少控件进行触发操作,作为一种示例,参见图8,延迟时长调整控件38显示在屏幕的右侧,其中,“+”作为延迟时长增加控件,
“‑”
作为延迟时长减少控件,当前延迟时长为0s,在第二剧情气泡在第三剧情气泡之后,且延迟时长为0s时,表示在第三剧情气泡对应的剧情片段结束播放时刻开始第二片段的播放。或者,延迟时长调整控件也可以包括时长输入框,再或者延迟时长调整控件也可以包括延迟时长数轴,通过对延迟时长数轴上的数值进行选择而确定延迟时长。
89.播放顺序调整控件和延迟时长调整控件可以在顺序设置界面中显示,顺序设置界面中显示有第二剧情气泡和第三剧情气泡,通过对顺序设置界面中的第二剧情气泡或第三剧情气泡进行触发,可以显示播放顺序调整控件和延迟时长调整控件,参见图8,顺序设置
界面1004中显示有第二剧情气泡21和作为第三剧情气泡的第一剧情气泡11,还显示有播放顺序调整控件37和延迟时长调整控件38,顺序设置界面1004中还具有顺序设置完成控件103,用于在被触发时取消顺序设置界面1004的显示。具体实施时,顺序设置界面1004可以通过对顺序设置控件102的触发操作而展示,参见图9,为本技术实施例提供的又一种剧情会话区的示意图,顺序设置控件102用于在被触发时展示顺序设置界面,顺序设置界面用于调整播放顺序,以使用户从直观上知晓在顺序设置界面中的可执行操作。当然,在本技术其他实施例中,顺序设置界面也可以不进行展示,则播放顺序调整控件和延迟时长调整控件可以通过对剧情会话区中的第二剧情气泡或第三剧情气泡进行触发而显示。
90.综上,在需要对虚拟人视频进行剧情编辑时,可以从剧情气泡的维度,以类似编辑社交会话的方式实现,例如可以调整剧情片段的播放顺序、播放时机等,降低操作复杂度,通过剧情气泡在剧情会话区中的显示及时清晰的体现虚拟人视频中剧情片段的增加和剧情片段的内容,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
91.s103,响应于视频生成指令,根据剧情会话区所显示的第一剧情气泡和第二剧情气泡生成视频结构参数,视频结构参数用于在被调用时播放虚拟人视频。
92.本技术实施例中,响应于视频生成指令,可以根据剧情会话区所显示的第一剧情气泡和第二剧情气泡生成视频结构参数,视频结构参数用于在被调用时播放虚拟人视频,具体的,视频结构参数包括各个剧情气泡对应的子结构参数,子结构参数为该剧情气泡对应的剧情片段播放所需要的各个参数,子结构参数可以包括虚拟对象的参数和剧情文字的参数,在虚拟人视频的播放状态,调用视频结构参数中的各个子结构参数可以进行虚拟人视频的实时播放。第一剧情气泡对应的子结构参数中,虚拟对象的参数为第一虚拟对象的唯一标识,剧情文字的参数为第一剧情文字,第二剧情气泡对应的子结构参数中,虚拟对象的参数为第二虚拟对象的唯一标识,剧情文字的参数为第二剧情文字。若该剧情气泡对应的剧情片段经过预览,则可以在预览时生成该剧情气泡对应的子结构参数,利用该子结构参数生成视频结构参数即可。例如,参见图1的1c,第一虚拟对象的唯一标识为“小a”,第一剧情文字为“早上好呀,小b”,第二虚拟对象的唯一标识为“小b”,第二剧情文字为“早上好”。
93.响应于视频生成指令,可以展示与视频结构参数关联的虚拟人视频标识,响应于针对虚拟人视频标识的触发操作,可以调用视频结构参数实现虚拟人视频的播放,具体的,可以依次调用各个剧情气泡对应的子结构参数,从而依次播放各个剧情气泡对应的剧情片段。
94.其中,视频生成指令可以通过对视频生成控件的触发操作而生成,也可以根据获取到的特定手势生成。参见图3、图5-图7、图8,视频生成控件101可以位于剧情会话区的右上角,响应于针对视频生成控件101的触发操作,还可以取消剧情会话区1001的显示。
95.具体的,剧情气泡对应的子结构参数还可以包括语音信息,即视频结构参数包括语音信息,语音信息可以根据第二剧情文字和音频参数生成,音频参数可以包括音调和音色,则可以在获取第二剧情文字后,为第二剧情文字确定音频参数,音频参数可以根据目标语音或第二虚拟对象的至少之一确定。其中,目标语音为通过剧情文字输入框获取第二剧情文字时获取的语音,通过对目标语音进行语音识别可以得到识别文字,识别文字显示在剧情文字输入框中,作为剧情文字输入框中的已输入文字。根据第二剧情文字和音频参数
生成语音信息,可以通过ai实现,同一虚拟对象在不同剧情片段中具有相同的音色,可以具有相同的音调,也可以具有不同的音调。通过音调和音色的设置,可以助力用户创造各类个性化视频的产出。
96.在音频参数根据目标语音确定时,可以根据目标语音提取到音调和音色,根据提取到的音调和音色为第二剧情文字生成语音信息,当然,也可以直接将目标语音作为语音信息;在没有获取到目标语音的情况下,或者在获取到目标语音的情况下,音频参数均可以根据第二虚拟对象确定,例如根据第二虚拟对象的性别和性格设定,确定第二剧情文字对应的音频参数;在音频参数根据目标语音和第二虚拟对象确定时,可以先根据第二虚拟对象的性别和性格设定,确定第二剧情文字对应的音频数据,而后将音频数据与从目标语音中提取的音频数据结合,得到第二剧情文字对应的音频参数,音频数据包括音调和音色,使第二虚拟对象的声音与目标语音相关联,提高用户体验。
97.参见图10,为本技术实施例提供的一种视频结构参数的示意图,第一剧情气泡对应的子结构参数还包括语音信息,语音信息具有女性特征,第二剧情气泡对应的子结构参数还包括语音信息,语音信息具有男性特征。
98.具体的,剧情气泡对应的子结构参数还可以包括字幕信息,即视频结构参数包括字幕信息,字幕信息可以根据第二剧情文字和字幕参数生成,字幕参数可以包括字体、字号、显示时间段等,字幕信息的显示时间段与语音信息的播放时间段相关。参见图10,第一剧情气泡和第二剧情气泡分别对应的子结构参数还包括各自对应的字幕信息。
99.具体的,剧情气泡对应的子结构参数还可以包括播放顺序参数,播放顺序参数表征该剧情气泡的相邻剧情气泡,以及该剧情气泡对应的剧情片段在相邻剧情气泡对应的剧情片段之前或之后播放;剧情气泡对应的子结构参数还可以包括播放延迟时长,播放延迟时长表征在播放顺序到达该剧情气泡对应的剧情片段时,在播放延迟时长后播放该剧情片段。参见图10,第一剧情气泡对应的子结构参数还包括播放顺序参数和播放延迟参数,播放顺序参数为在第五片段之后,播放延迟参数为0s,第二剧情气泡对应的子结构参数还包括播放顺序参数和播放延迟参数,播放顺序参数为在第一片段之后,播放延迟参数为0s。
100.此外,还可以增加第一剧情气泡和第二剧情气泡之外的其他剧情片段对应的剧情气泡,以丰富剧情片段的内容。其他剧情片段例如可以为运镜片段,则该剧情片段对应的剧情气泡作为运镜气泡,该剧情片段对应的子结构参数包括虚拟相机参数,虚拟相机参数可以包括运镜时间、运镜点位、运镜曲线等。虚拟相机参数可以通过对运镜气泡进行触发来设置,例如通过对运镜气泡的触发显示虚拟相机设置控件,通过对虚拟相机设置控件进行触发来设置虚拟相机参数。
101.参见图8和图9,剧情会话区还可以显示第四剧情气泡,第四剧情气泡对应多个剧情片段中的第四片段,第四片段涉及第四虚拟对象,第四虚拟对象的对象标识42也显示在剧情会话区,用于指示第四虚拟对象和第四剧情气泡41的关联关系,第四剧情气泡41中具有第四剧情文字“我遇到个开心的事情”,第四虚拟对象和第一虚拟对象为同一虚拟对象,第四剧情气泡的唯一标识可以记为4;剧情会话区还可以显示第五剧情气泡51,第五剧情气泡51对应第五片段,第五片段为运镜片段,第五片段涉及的虚拟对象为第五虚拟对象,第五虚拟对象的对象标识52为虚拟相机,第五剧情气泡51的唯一标识记为1。
102.参见图10,第四剧情气泡对应的子结构参数中,虚拟对象的参数为第四虚拟对象
的唯一标识,例如为“小a”,剧情文字的参数为第四剧情文字,例如为“我遇到个开心的事情”;第四剧情气泡对应的子结构参数中还包括语音信息,语音信息具有女性特征;第四剧情气泡的子结构参数还包括字幕信息;第四剧情气泡对应的子结构参数还包括播放顺序参数和播放延迟参数,播放顺序参数为在第二片段之后,播放延迟参数为0s。第五剧情气泡对应的子结构参数中包括虚拟相机参数,虚拟相机参数可以包括运镜时间、运镜点位、运镜曲线等。
103.综上,将包括多个剧情片段的虚拟人视频,以对话维度进行可视化拆分,使得剧情会话区中的剧情气泡可以和社交会话式用户界面(user interface,ui)一样直观的展示不同虚拟对象的对话内容,通过剧情气泡之间的显示位置关系可以清晰直观的梳理出对话内容在虚拟人视频中的剧情顺序,当需要对虚拟人视频进行剧情编辑时,可以从剧情气泡的维度,以类似编辑社交会话的方式实现,降低操作复杂度,通过剧情气泡在剧情会话区中的显示及时清晰的体现虚拟人视频中剧情片段的增加和剧情片段的内容,减少视频编辑过程中的交互次数,大大降低了视频编辑门槛。
104.本技术实施例中,添加指令还可以包括动作参数,动作参数可以指示第二虚拟对象在第二剧情片段中的目标动作,虚拟对象的动作可以为面部表情动作或肢体动作的至少一个,第二虚拟对象在第二剧情片段中的目标动作可以为目标面部表情动作或目标肢体动作中的至少一个,目标面部表情动作例如笑、哭、难过等,目标肢体动作例如挥手、走路、跳跃等,使剧情对话关联动作,提高剧情对话的自由度和灵活度。在目标动作为目标肢体动作时,动作参数可以包括动作起点、动作终点和动作执行部位等。目标面部表情动作和目标肢体动作通过不同部位执行,因此可以同时被执行,例如笑着挥手,哭着走路等。下面结合包括动作参数的添加指令,对s102进行介绍。
105.在添加指令还可以包括动作参数时,作为一种目标动作的体现方式,可以在第二剧情气泡中体现目标动作,在剧情会话区显示第二片段对应的第二剧情气泡,可以具体为,根据添加指令中的动作参数,确定目标动作标识和目标动作标识在第二剧情文字中的目标位置,根据目标动作标识和目标位置,在剧情会话区显示包括第二剧情文字和目标动作标识的第二剧情气泡。
106.其中,目标动作标识用于指示第二虚拟对象通过目标动作标识对应的目标动作说出第二剧情文字中的目标文字,目标文字根据目标位置确定。目标动作标识可以为一个,也可以为多个。在目标动作标识为一个时,目标文字为第二剧情文字,即第二虚拟对象通过目标动作说出第二剧情文字,目标动作标识可以位于第二剧情文字的开头、末尾或中间;在目标动作标识为多个时,可以根据目标动作标识的目标位置确定目标动作标识对应的目标文字。
107.参见图11,为本技术实施例提供的又一种剧情会话区的示意图,第二剧情气泡21中,可以显示有第二剧情文字“早上好”,以及目标动作标识“(微笑)”,其中目标动作标识位于第二剧情文字的末尾;第一剧情气泡11中,可以显示有第一剧情文字“早上好呀,小b”,以及目标动作标识“(微笑)”和“(挥手)”,目标动作标识分别位于第一剧情文字的中间位置和末尾。在第二剧情文字中具有多个目标动作标识时,可以参考第一剧情文字中设置的多个目标动作标识。
108.在根据添加指令中的动作参数确定目标动作标识后,可以根据目标动作标识确定
目标动作标识对应的目标动作的动作特征点参数和第二虚拟对象的外形特征点间的映射关系,在调用视频结构参数播放虚拟人视频的过程中,通过映射关系指示第二虚拟人做出目标动作,实现动作的复用,无需逐一针对不同的虚拟对象绘制动作,降低实现成本。目标动作的动作特征点参数可以根据目标动作对应的外形特征点位置和外形特征点位置的时序变化确定,外形特征点可以为骨骼特征点,在目标动作为目标面部表情动作时,外形特征点为面部骨骼特征点,在目标动作为目标肢体动作时,外形特征点为动作执行部位的骨骼特征点。
109.具体的,在目标动作标识为多个时,目标动作标识可以包括第一动作标识和第二动作标识,第一动作标识位于第二剧情文字的第一目标位置,第二动作标识位于第二剧情文字的第二目标位置,在第二剧情文字中,第一目标位置处于第二目标位置之前,则第一动作标识对应的第一目标文字是根据第二剧情文字中处于第一目标位置之前的文字确定的,第二动作标识对应的第二目标文字时根据第二剧情文字中处于第一目标位置和第二目标位置之间的文字确定的。也就是说,在第二剧情气泡中包括第一动作标识和第二动作标识时,可以指示第二虚拟对象通过第一动作标识对应的第一动作说出第一目标文字,通过第二动作标识对应的第二动作说出第二目标文字,通过一个剧情气泡指示第二虚拟对象在说出第二剧情文字的过程中进行动作的切换,使第二虚拟对象的设置更为丰富,更能满足实际需求。
110.需要说明的是,若第一动作标识和第二动作标识分别对应目标面部表情动作和目标肢体动作,则第一目标位置和第二目标位置可以为相邻的位置,二者之间可以没有文字,第一动作标识和第二动作标识可以对应相同的目标文字。也就是说,在确定第二目标位置和第二目标位置之间的文字为空时,可以确定第一动作标识和第二动作标识可以对应相同的目标文字,该目标文字根据第二剧情文字中处于第一目标位置之前的文字确定,例如第二剧情气泡中显示“早上好(微笑)(挥手)”,则表示第一动作标识为“(微笑)”,第二动作标识为“(挥手)”,第一动作标识和第二动作标识之间的文字为空,二者对应相同的目标文字,虚拟人视频中第二虚拟对象的动作,体现为第二虚拟对象微笑着挥手,并说出“早上好”。
111.若目标动作包括目标肢体动作,还可以根据第二剧情文字的长度确定目标肢体动作的执行参数,动作参数还包括目标肢体动作的执行参数,执行参数可以包括执行次数或执行速度的至少一个,以使目标肢体动作和第二剧情文字匹配,进而目标肢体动作的执行时长和第二剧情文字对应的语音信息的时长接近,避免动作时长和语音时长不匹配导致视频质量差的问题,例如语音时间短导致的静音状态下的动作、节奏卡顿或动画中断,或者语音时间长导致无动作语音播报问题。
112.其中,在目标肢体动作为首尾相接动作时,执行次数可以和第二剧情文字的长度正相关,在第二剧情文字较长时,目标肢体动作的执行次数较多,在第二剧情文字较短时,目标肢体动作的执行次数较少,则可以较好的匹配第二剧情文字,例如在第二剧情文字较长时,可以设置挥手的次数为多次,从而匹配第二剧情文字;执行速度可以和第二剧情文字的长度反相关,在第二剧情文字较长时,目标肢体动作的执行速度较慢,在第二剧情文字较短时,目标肢体动作的执行速度较快,则也可以较好的匹配第二剧情文字,例如在第二剧情文字较长时,可以设置挥手的速度较慢,从而匹配第二剧情文字。
113.若目标动作包括目标面部表情动作,还可以根据第二剧情文字的长度确定目标面
部表情动作的执行参数,动作参数还包括该执行参数,执行参数可以包括执行次数或维持时长的至少一个,以更好的匹配第二剧情文字,进而目标肢体动作的执行时长和第二剧情文字对应的语音信息的时长接近,避免动作时长和语音时长不匹配导致视频质量差的问题,例如语音时间短导致的静音状态下的动作、节奏卡顿或动画中断,或者语音时间长导致无动作语音播报问题。
114.其中,在目标面部表情动作为首尾相接动作(例如说话等动作)时,执行次数可以和第二剧情文字的长度正相关,在第二剧情文字较长时,目标面部表情动作的执行次数较多,在第二剧情文字较短时,目标面部表情动作的执行次数较少,则可以较好的匹配第二剧情文字;维持时长可以和第二剧情文字的长度正相关,在第二剧情文字较长时,目标肢体动作的维持时长较长,在第二剧情文字较短时,目标肢体动作的维持时长较短,则也可以较好的匹配第二剧情文字,例如在第二剧情文字较长时,可以设置微笑的时长和第二剧情文字对应的语音信息时长一致,从而匹配第二剧情文字。
115.当然,在本技术其他实施例中,目标动作的执行参数可以与第二剧情文字的长度无关,则无论第二剧情文字的长度长或者短,目标动作的执行参数均为定值,例如第二剧情文字较长,仅在第二剧情文字被说出的开始时刻进行一次挥手动作或微笑动作,之后不进行动作。
116.具体的,目标位置可以根据在第二剧情文字中对动作添加位置的选择而确定,动作添加位置的选择可以在第二剧情文字的输入过程中进行,也可以在第二剧情文字输入完成后进行。在确定动作添加位置后,可以从动作选择区展示的动作标识中,根据动作选择操作确定在第二剧情文字中的动作添加位置添加的目标动作标识,而后根据目标动作标识和目标位置生成动作参数,响应于针对第二片段的片段添加操作,根据动作参数生成针对第二片段的添加指令。片段添加操作的相关描述参考s102中的说明,在此不做赘述。这样将对话剧情分为多个片段,通过对每个片段所对应的内容进行单独调控,可以对对话剧情进行控制,使对话剧情具有更高的自由度和可控度。
117.作为一种可能的实施方式,在通过剧情文字输入框确定第二剧情文字时,对动作添加位置的选择可以通过动作添加操作确定,动作添加操作针对剧情文字输入框中的已输入文字的动作添加位置,动作添加操作可以包括位置选择的触发操作和动作添加的触发操作,位置选择的触发操作例如在已输入文字的动作添加位置的单击操作,动作添加的触发操作例如对动作添加控件的触发操作,动作添加操作或者可以包括在动作添加位置的特定手势或触发操作,例如在动作添加位置的双击操作等。响应于动作添加操作,可以展示动作选择区,以便对动作选择区中的动作标识进行选择。
118.参见图12,为本技术实施例提供的又一种剧情会话区的示意图,通过位置选择的触发操作可以确定动作添加位置为“早上好”之后,通过对动作添加控件61的触发操作可以展示动作选择区。参见图13,为本技术实施例提供的又一种剧情会话区的示意图,其中动作选择区62中可以展示多个动作标识,通过对动作标识的触发操作可以确定目标动作标识。其中,动作选择区中的被选中的动作标识,可以进行高亮显示,在获取到第二片段的片段添加操作时,将该选中的动作标识作为目标动作标识,例如微笑对应的动作标识高亮显示,在获取到第二片段的片段添加操作时作为目标动作标识。
119.从用户侧来说,实现第二片段的添加可以通过以下操作:通过对象选择操作呼出
对象设置界面,通过对对象设置界面中的目标对象标识的选择操作确定第二虚拟对象,在剧情文字输入框中输入文字作为已输入文字,在已输入文字中的动作添加位置的选定操作以确定动作添加位置后,可以进行动作添加的触发操作,从而呼出动作选择区,通过对动作选择区的动作标识中的目标动作标识的选定操作,实现目标动作的选择,而后进行片段添加操作,以生成第二片段的添加指令,添加指令包括第二虚拟对象的唯一标识、第二剧情文字和动作参数,已输入文字作为第二剧情文字,根据动作添加位置和目标动作标识可以确定动作参数。这种操作类似聊天或玩游戏,大大降低视频编辑门槛。
120.作为另一种可能的实施方式,在通过剧情文字输入框确定第二剧情文字时,动作添加位置可以通过如下方式确定:对剧情文字输入框中的已输入文字中的目标文字片段进行语义分析得到目标语义,确定目标语义对应的推荐动作,并确定推荐动作的动作标识对应的动作添加位置为目标文字片段之后的位置。在确定出推荐动作后,可以在动作选择区显示推荐动作的动作标识,以便对动作选择区中的动作标识进行选择。其中,推荐动作可以为一个,也可以为多个,动作选择区可以位于剧情文字输入框的上方,也可以位于剧情文字输入框的下方。
121.参见图14,为本技术实施例提供的又一种剧情会话区的示意图,通过已输入文字中的目标文字片段“早上好”进行语义分析得到目标语义,确定目标语义对应的推荐动作为微笑,确定动作添加位置为“早上好”之后,在动作选择区显示推荐动作的动作标识,在获取到对该动作标识的选定操作时,可以将该动作标识作为目标动作标识。其中,动作选择区62位于剧情文字输入框32的上方。
122.从用户侧来说,实现第二片段的添加可以通过以下操作:通过对象选择操作呼出对象设置界面,通过对对象设置界面中的目标对象标识的选择操作确定第二虚拟对象,在剧情文字输入框中输入文字作为已输入文字,在剧情文字输入框中输入文字作为已输入文字,在对已输入文字中的目标文字片段进行语义分析而展示推荐动作的动作标识后,可以通过对推荐动作的动作标识进行选择确定目标动作,而后进行片段添加操作,以生成第二片段的添加指令,添加指令包括第二虚拟对象的唯一标识、第二剧情文字和动作参数,已输入文字作为第二剧情文字,根据动作添加位置和目标动作标识可以确定动作参数。这种操作类似聊天或玩游戏,大大降低视频编辑门槛。
123.动作选择区展示的动作标识为可选的动作标识,动作选择区展示的动作标识根据动作库生成,此外还可以通过自定义的形式丰富动作库,以满足更多用户需求。具体的,可以通过对做出自定义动作的实体对象进行采集,得到动作视频,根据动作视频中实体对象的外形特征点位置和外形特征点位置的时序变化,提取自定义动作的动作特征点参数,根据动作特征点参数在动作选择区中显示自定义动作的动作标识。其中,在目标动作为目标面部表情动作时,外形特征点为面部骨骼特征点,在目标动作为目标肢体动作时,外形特征点为动作执行部位的骨骼特征点。外形特征点可以通过ai技术识别得到,外形特征点的偏移可以体现为实体对象的骨骼偏移或形变,相应的可用于体现虚拟对象的骨骼偏移或形变。
124.对实体对象的采集,可以通过动作新建操作来触发,动作新建操作可以为对动作新建控件的触发操作,也可以为特定的手势。动作新建控件可以显示在动作选择区中,这样通过对动作选择区中的动作新建控件的触发操作,将新建的动作标识展示在动作选择区
中,利于对动作标识进行选择,对实体对象的采集,可以通过动作采集界面来控制。参见图13,动作新建控件63位于动作选择区62中。
125.具体的,在采集开始之前,动作采集界面可以包括采集开始控件和动作展示区,采集开始控件用于在被触发时开始进行实体对象的采集,动作展示区用于展示采集的实体对象的自定义动作,此外,动作采集界面还可以显示动作预览区,动作预览区用于展示根据实际对象的自定义动作实时生成的虚拟对象的自定义动作,以便通过动作预览区获知自定义动作的复用效果,该虚拟对象可以为第二虚拟对象,也可以为动作库的通用虚拟对象。动作采集界面还包括完成控件和取消控件,完成控件用于在被触发时根据已经采集到的自定义动作生成动作标识,取消控件用于在被触发时取消动作采集以及取消动作采集界面的展示。
126.参见图15,为本技术实施例提供的一种动作采集界面的示意图,动作采集界面1005包括采集开始控件73和动作展示区74,动作采集界面还可以包括动作预览区79,动作展示区74展示实体对象的自定义动作,例如微笑动作,动作预览区79展示根据实体对象的动作实时生成的虚拟对象的自定义动作,例如第一虚拟对象的微笑动作,完成控件72和取消控件71位于动作采集界面1005的上方。
127.在对实体对象的采集过程中,动作采集界面可以显示采集停止控件和动作展示区,采集停止控件用于在被触发时停止进行实体对象的采集并得到动作视频,此外,动作采集界面还可以显示动作预览区。参见图16,为本技术实施例提供的另一种动作采集界面的示意图,动作采集界面1005包括采集停止控件75和动作展示区74,动作采集界面还可以包括动作预览区79,动作展示区74展示实体对象的自定义动作,例如微笑动作和剪刀手动作,动作预览区79展示根据实体对象的动作实时生成的虚拟对象的自定义动作,例如第一虚拟对象的微笑动作和剪刀手动作。
128.在采集停止之后,动作采集界面可以显示采集预览控件,用于在被触发时进行动作视频的预览,动作采集界面还可以显示动作预览区,参见图17,为本技术实施例提供的又一种动作采集界面的示意图,动作采集界面包括预览控件76和动作预览区79,动作预览区79展示动作视频。当然,在动作采集界面中,还可以包括对录制的视频进行片段截取得到动作视频的视频截取控件,具体的,可以显示录制的视频的时间轴,通过时间轴可以任意选择其中一个视频片段作为动作视频,保证了动作视频的准确率,具体实施时,可以通过时间轴确定动作视频在录制的视频中的起止时刻,从而从录制的视频中确定动作视频。参见图17,通过时间轴77上的两个时刻的选择,可以将这两个时刻之间的视频作为动作视频。
129.动作采集界面还包括完成控件和取消控件,完成控件用于在被触发时根据已经采集到的自定义动作生成动作标识,取消控件用于在被触发时取消动作采集以及取消动作采集界面的展示。参见图17,完成控件72和取消控件71位于动作采集界面1005的上方。
130.若确定出的目标动作标识为自定义动作的动作标识,则可以根据动作特征点参数和第二虚拟对象的外形特征点间的映射关系,其中自定义动作的动作特征点参数根据动作视频中实体对象的外形特征点位置和外形特征点位置的时序变化提取得到,在调用视频结构参数播放虚拟人视频的过程中,通过映射关系指示第二虚拟对象做出该自定义动作,这样可以实现自定义动作的复用,提高动作视频的复用率,无需逐一针对不同的虚拟对象绘制动作,有效扩宽动作库,降低实现成本,提高对动作选择的自由度。
131.在添加指令还可以包括动作参数时,作为另一种目标动作的体现方式,可以显示第二虚拟对象的对象标识,并通过该对象标识体现目标动作,具体的,响应于第二片段的添加指令,可以根据动作参数确定目标动作标识,目标动作标识用于指示第二虚拟对象通过目标动作标识对应的目标动作说出第二剧情文字,为第二虚拟对象的对象标识配置目标动作标识所指示的目标动作后,在剧情会话区显示第二虚拟对象的对象标识,第二虚拟对象的对象标识和第二剧情气泡通过显示位置关系标识关联关系,第二虚拟对象的对象标识可以和第二剧情气泡在同一行显示,以标识二者的关联关系。
132.目标动作标识可以为一个,也可以为2个。在目标动作标识为一个时,第二虚拟对象通过目标动作说出第二剧情文字;在目标动作标识为2个时,2个目标动作标识分别对应目标面部表情动作和目标肢体动作,第二虚拟对象通过目标面部表情动作和目标肢体动作说出第二剧情文字。举例来说,参见图18,为本技术实施例提供的又一种剧情会话区的示意图,第一剧情气泡11可以对应微笑动作,则第一虚拟对象的对象标识12体现微笑动作,第二剧情气泡21可以对应微笑动作,则第二虚拟对象的对象标识22体现微笑动作,第四剧情气泡41可以对应微笑动作和剪刀手动作,则第四虚拟对象的对象标识42体现微笑着做出剪刀手动作。
133.在根据添加指令中的动作参数,确定目标动作标识后,可以根据目标动作标识确定目标动作标识对应的目标动作的动作特征点参数和第二虚拟对象的外形特征点间的映射关系,在调用视频结构参数播放虚拟人视频的过程中,通过映射关系指示第二虚拟人做出自定义动作。目标动作的动作特征点参数可以根据目标动作对应的外形特征点位置和外形特征点位置的时序变化确定,外形特征点可以为骨骼特征点,在目标动作为目标面部表情动作时,外形特征点为面部骨骼特征点,在目标动作为目标肢体动作时,外形特征点为动作执行部位的骨骼特征点。
134.具体的,可以从动作选择区展示的动作标识中,根据动作选择操作确定目标动作标识,而后根据目标动作标识动作参数,响应于针对第二片段的片段添加操作,根据动作参数生成针对第二片段的添加指令。片段添加操作的相关描述参考s102中的说明,在此不做赘述。动作选择区可以在对象设置界面中,这样可以在同一界面中显示对象标识和动作标识,减少界面的刷新次数,提高用户体验,其中对象设置界面可以通过对对象设置控件的触发操作而展示。此外还可以通过自定义的形式丰富动作库,可参考前述说明,在此不做赘述。
135.参见图19,为本技术实施例提供的又一种剧情会话区的示意图,通过对对象设置控件31的触发操作展示对象设置界面,对象设置界面显示对象标识64,且对象设置界面可以包括动作选择区62,对象标识64用于在被选择时作为第二虚拟对象对应的目标对象标识,动作选择区62中的动作标识用于在被选择时作为目标动作标识。利用剧情文字输入框32可以获取第二剧情文字,在确定第二虚拟对象对应的目标对象标识和目标动作标识后,可以通过对片段添加控件33的触发操作生成第二片段的添加指令,添加指令中包括第二虚拟对象的唯一标识、第二文字和动作参数。
136.从用户侧来说,实现第二片段的添加可以通过以下操作:通过对象选择操作呼出对象设置界面,对象设置界面显示有对象标识和动作选择区中的动作标识,通过对象标识的选择操作可以选中第二虚拟对象,并通过动作标识的选择操作可以选中目标动作标识,
通过剧情文字输入框输入已输入文字,而后进行片段添加操作,以生成第二片段的添加指令,添加指令包括第二虚拟对象的唯一标识、第二剧情文字和动作参数,已输入文字作为第二剧情文字,根据目标动作标识确定动作参数。这种操作类似聊天或玩游戏,大大降低视频编辑门槛。
137.若目标动作包括目标肢体动作,还可以根据第二剧情文字的长度确定目标肢体动作的执行参数,动作参数还包括目标肢体动作的执行参数,执行参数可以包括执行次数或执行速度的至少一个,以使目标肢体动作和第二剧情文字匹配,进而目标肢体动作的执行时长和第二剧情文字对应的语音信息的时长接近,避免动作时长和语音时长不匹配导致视频质量差的问题。若目标动作包括目标面部表情动作,还可以根据第二剧情文字的长度确定目标面部表情动作的执行参数,动作参数还包括该执行参数,执行参数可以包括执行次数或维持时长的至少一个,以更好的匹配第二剧情文字,进而目标肢体动作的执行时长和第二剧情文字对应的语音信息的时长接近,避免动作时长和语音时长不匹配导致视频质量差的问题。当然,在本技术其他实施例中,目标动作的执行参数可以与第二剧情文字的长度无关,则无论第二剧情文字的长度长或者短,目标动作的执行参数均为定值。
138.综上,第二剧情气泡对应的子结构参数可以包括第二虚拟对象的唯一标识、第二剧情文字,此外还可以包括语音信息、字幕信息、动作参数、播放顺序、播放延迟时长等中的至少一种。通过编辑状态下对各个子结构参数的编辑,实现对整个子结构参数的编辑,也实现了对视频结构参数的编辑。
139.参见图20,为本技术实施例提供的一种剧情会话区的功能示意图,通过剧情会话区可以进行虚拟对象设置以实现对话气泡对应的剧情片段的设置,例如确定虚拟对象的唯一标识、虚拟对象对应的剧情文字、虚拟对象对应的目标动作等,目标动作为目标肢体动作时,还可以确定目标肢体动作的动作起点、动作终点和动作执行部位等;通过剧情会话区还可以进行虚拟相机参数设置以实现运镜气泡对应的剧情片段的设置,例如确定运镜时间、运镜点位、运镜曲线等;通过剧情会话区还可以设置各个剧情气泡对应的剧情片段额播放顺序和播放延迟时长;通过剧情会话区还可以触发剧情片段的预览,剧情片段的预览可以通过剧情预览区展示。
140.参见图21,为本技术实施例提供的一种信息处理的示意图,在文字处理的方面,根据输入的剧情文字,可以结合音频参数得到语音信息,并结合字幕参数得到字幕信息,字幕信息的展示时长根据剧情文字的长度确定。在虚拟对象的方面,可以确定虚拟对象以及虚拟对象的动作,动作可以包括面部表情动作或肢体动作的至少一个,从而使虚拟对象执行该动作,该动作的执行参数可以根据剧情文字的长度确定。
141.参见图22,为本技术实施例提供的另一种信息处理的示意图,根据获取的文字和虚拟对象的信息,可以对应得到各个剧情气泡的子结构参数,例如对于第一片段对应的第一剧情气泡,子结构参数包括第一虚拟对象的唯一标识、第一剧情文字、目标动作、语音信息、音频参数等,其中第一虚拟对象的唯一标识为“小a”,第一剧情文字为“早上好呀,小b”,目标动作为微笑,语音信息的内容与第一剧情文字相同,语音信息根据音频参数生成,音频参数具有女性音色特征;对于第二片段对应的第二剧情气泡,子结构参数包括第二虚拟对象的唯一标识、第二剧情文字、目标动作、语音信息、音频参数等,其中第二虚拟对象的唯一标识为“小b”,第二剧情文字为“早上好”,目标动作为微笑,语音信息的内容与第二剧情文
字相同,语音信息根据音频参数生成,音频参数具有男性音色特征;对于第四片段对应的第四剧情气泡,子结构参数包括第四虚拟对象的唯一标识、第四剧情文字、目标动作、语音信息、音频参数等,其中第四虚拟对象的唯一标识为“小a”,第四剧情文字为“我遇到个开心的事情”,目标动作为微笑动作和剪刀手动作,语音信息的内容与第四剧情文字相同,语音信息根据音频参数生成,音频参数具有女性音色特征。
142.参见图23,为本技术实施例提供的另一种视频结构参数的示意图,第五剧情气泡对应的子结构参数中包括虚拟相机参数,虚拟相机参数可以包括运镜时间、运镜点位、运镜曲线等;第一剧情气泡对应的子结构参数中包括第一虚拟对象的唯一标识为“小a”、第一剧情文字为“早上好呀,小b”、目标动作、语音信息、字幕信息、播放顺序和播放延迟时长等;第二剧情气泡对应的子结构参数中包括第二虚拟对象的唯一标识为“小b”、第二剧情文字为“早上好”、目标动作、语音信息、字幕信息、播放顺序和播放延迟时长等;第四剧情气泡对应的子结构参数中包括第四虚拟对象的唯一标识为“小a”、第四剧情文字为“我遇到个开心的事情”、目标动作、语音信息、字幕信息、播放顺序和播放延迟时长等。
143.基于上述实施例提供的一种对话视频创建方法,本技术实施例还提供了一种对话视频创建装置,参见图24,图24为本技术实施例提供的一种对话视频创建装置的结构框图,该对话视频创建装置1300包括:
144.剧情会话区展示单元1301,用于展示对虚拟人视频进行编辑的剧情会话区,待编辑的所述虚拟人视频包括多个剧情片段,所述剧情会话区显示所述多个剧情片段中第一片段对应的第一剧情气泡,所述第一剧情气泡与所述第一片段涉及的第一虚拟对象具有关联关系,所述第一剧情气泡中包括所述第一虚拟对象在所述第一片段中的第一剧情文字;
145.剧情气泡显示单元1302,用于响应于所述多个剧情片段中第二片段的添加指令,在所述剧情会话区显示所述第二片段对应的第二剧情气泡,所述第二剧情气泡与所述第二片段涉及的第二虚拟对象具有关联关系,所述第二剧情气泡中包括所述第二虚拟对象在所述第二片段中的第二剧情文字,所述第一剧情气泡和所述第二剧情气泡在所述剧情会话区中具有显示位置关系,所述显示位置关系用于标识所述第一片段和所述第二片段在所述虚拟人视频中的剧情顺序;
146.视频结构参数生成单元1303,用于响应于视频生成指令,根据所述剧情会话区所显示的第一剧情气泡和第二剧情气泡生成视频结构参数,所述视频结构参数用于在被调用时播放所述虚拟人视频。
147.可选的,所述添加指令中包括动作参数,所述剧情气泡显示单元1302,包括:
148.显示参数确定单元,用于响应于所述多个剧情片段中第二片段的添加指令,根据所述动作参数确定目标动作标识和所述目标动作标识在所述第二剧情文字中的目标位置,所述目标动作标识用于指示所述第二虚拟对象通过所述目标动作标识对应的目标动作说出所述第二剧情文字中的目标文字,所述目标文字根据所述目标位置确定;
149.剧情气泡显示子单元,用于根据所述目标动作标识和所述目标位置,在所述剧情会话区显示包括所述第二剧情文字和所述目标动作标识的第二剧情气泡。
150.可选的,所述目标动作标识包括第一动作标识和第二动作标识,所述第一动作标识位于所述第二剧情文字的第一目标位置,所述第二动作标识位于所述第二剧情文字的第二目标位置,在所述第二剧情文字中,所述第一目标位置处于所述第二目标位置之前;
151.所述第一动作标识对应的第一目标文字是根据所述第二剧情文字中处于所述第一目标位置之前的文字确定的,所述第二动作标识对应的第二目标文字是根据所述第二剧情文字中处于所述第一目标位置和所述第二目标位置之间的文字确定的。
152.可选的,所述装置还包括:
153.位置确定单元,用于根据在所述第二剧情文字中对动作添加位置的选择,确定所述目标位置;
154.动作标识确定单元,用于从动作选择区展示的动作标识中,根据动作选择操作确定在所述第二剧情文字中的动作添加位置处添加的目标动作标识;
155.动作参数生成单元,用于根据所述目标动作标识和所述目标位置生成所述动作参数;
156.添加指令生成单元,用于响应于针对所述第二片段的片段添加操作,根据所述动作参数生成针对所述第二片段的添加指令。
157.可选的,所述位置确定单元具体用于:
158.根据针对剧情文字输入框的动作添加操作,确定所述目标位置,其中,所述剧情文字输入框用于获取所述第二剧情文字,所述第二剧情文字为获取到所述片段添加操作时所述剧情文字输入框中的文字,所述动作添加操作针对所述剧情文字输入框中的已输入文字中的动作添加位置;
159.所述装置还包括:
160.动作选择区展示单元,用于响应于所述动作添加操作,展示所述动作选择区。
161.可选的,所述位置确定单元,包括:
162.语义分析单元,用于对剧情文字输入框中的已输入文字中的目标文字片段进行语义分析得到目标语义,所述剧情文字输入框用于获取所述第二剧情文字,所述第二剧情文字为获取到所述片段添加操作时所述剧情文字输入框中的文字;
163.位置确定子单元,用于确定所述目标语义对应的推荐动作,并确定所述推荐动作的动作标识对应的动作添加位置为所述目标文字片段之后的位置;
164.根据所述推荐动作的动作标识对应的动作添加位置,确定所述目标位置;
165.所述装置还包括:
166.动作选择区展示单元,用于在所述动作选择区显示所述推荐动作的动作标识。
167.可选的,所述装置还包括:
168.视频采集单元,用于通过对做出自定义动作的实体对象进行采集,得到动作视频;
169.动作特征点参数提取单元,用于根据所述动作视频中所述实体对象的外形特征点位置和所述外形特征点位置的时序变化,提取所述自定义动作的动作特征点参数;
170.动作标识显示单元,用于根据所述动作特征点参数在所述动作选择区中显示所述自定义动作的动作标识。
171.可选的,所述装置还包括:
172.映射关系确定单元,用于若所述目标动作标识为所述自定义动作的动作标识,确定所述动作特征点参数和所述第二虚拟对象的外形特征点间的映射关系;
173.指示单元,用于在调用所述视频结构参数播放所述虚拟人视频的过程中,通过所述映射关系指示所述第二虚拟对象做出所述自定义动作。
174.可选的,所述添加指令中包括动作参数,所述装置还包括:
175.动作标识确定单元,用于响应于所述第二片段的添加指令,根据所述动作参数确定目标动作标识,所述目标动作标识用于指示所述第二虚拟对象通过所述目标动作标识对应的目标动作说出所述第二剧情文字;
176.对象标识显示单元,用于为所述第二虚拟对象的对象标识配置所述目标动作标识所指示的目标动作后,在所述剧情会话区显示所述第二虚拟对象的对象标识,所述第二虚拟对象的对象标识和所述第二剧情气泡通过显示位置关系标识关联关系。
177.可选的,所述添加指令中包括第二虚拟对象的唯一标识,所述装置还包括:
178.对象设置界面显示单元,用于响应于对象选择操作,显示对象设置界面,所述对象设置界面中显示有对象标识,所述对象设置界面包括动作选择区;
179.唯一标识确定单元,用于响应于对对象标识中的目标对象标识的选择操作,将所述目标对象标识对应的对象作为第二虚拟对象,获取所述第二虚拟对象的唯一标识;
180.目标动作标识确定单元,用于从所述动作选择区展示的动作标识中,根据动作选择操作确定所述目标动作标识;
181.动作参数生成单元,用于根据所述目标动作标识生成所述动作参数。
182.可选的,所述目标动作包括目标面部表情动作或目标肢体动作中的至少一个,所述目标动作为所述目标肢体动作时,所述动作参数包括动作起点、动作终点和动作执行部位。
183.可选的,若所述目标动作包括目标肢体动作,所述装置还包括:
184.执行参数确定单元,用于根据所述第二剧情文字的长度确定所述目标肢体动作的执行参数,所述动作参数还包括所述目标肢体动作的执行参数,所述执行参数包括执行次数或执行速度的至少一个。
185.可选的,所述装置还包括:
186.识别文字输入单元,用于在所述剧情文字输入框中输入对目标语音进行语音识别得到的识别文字,所述识别文字作为所述剧情文字输入框中的已输入文字;
187.音频参数确定单元,用于在获取所述第二剧情文字后,为所述第二剧情文字确定音频参数,所述音频参数根据所述目标语音或所述第二虚拟对象的至少之一确定,所述音频参数包括音调和音色;
188.语音信息生成单元,用于根据所述第二剧情文字和所述音频参数生成语音信息,所述视频结构参数还包括所述语音信息。
189.可选的,所述装置还包括:
190.第二片段生成单元,用于在所述剧情会话区显示所述第二片段对应的第二剧情气泡之后,响应于对所述第二剧情气泡的预览操作,根据所述第二虚拟对象和所述第二剧情文字生成第二片段;
191.第二片段显示单元,用于在所述剧情会话区之外的剧情预览区显示所述第二片段。
192.可选的,所述装置还包括:
193.位置调整单元,用于响应于对所述第二剧情气泡的位置调整操作,改变所述第二剧情气泡和所述第一剧情气泡间的显示位置关系。
194.可选的,在所述剧情会话区中,所述多个剧情片段中第三片段对应的第三剧情气泡和所述第二剧情气泡的显示位置关系为相邻关系,所述装置还包括:
195.播放顺序调整单元,用于响应于针对所述第二剧情气泡和所述第三剧情气泡的播放顺序调整操作,将所述第二剧情气泡和所述第三剧情气泡分别对应的剧情片段的播放顺序设置为同时播放。
196.可选的,所述装置还包括:
197.延迟时长调整单元,用于响应于对所述第二剧情气泡的延迟时长调整操作,确定所述第二片段的播放延迟时长,所述播放延迟时长用于指示在所述虚拟人视频播放的播放顺序到达所述第二片段时,在所述播放延迟时长后播放所述第二片段。
198.本技术实施例还提供了一种计算机设备,该计算机设备为前述介绍的计算机设备,可以包括终端设备或服务器,前述的对话视频创建装置可以配置在该计算机设备中。计算机设备包括处理器以及存储器,存储器用于存储计算机程序,并将计算机程序传输给处理器,处理器用于根据计算机程序中的指令执行所述的对话视频创建方法。下面结合附图对该计算机设备进行介绍。
199.若该计算机设备为终端设备,请参见图25所示,本技术实施例提供了一种终端设备,以终端设备为手机为例:
200.图25示出的是与本技术实施例提供的终端设备相关的手机的部分结构的框图。参考图25,手机包括:射频(radio frequency,简称rf)电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真(简称wifi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解,图25中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
201.下面结合图25对手机的各个构成部件进行具体的介绍:
202.rf电路1410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1480处理;另外,将设计上行的数据发送给基站。
203.存储器1420可用于存储软件程序以及模块,处理器1480通过运行存储在存储器1420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
204.输入单元1430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1430可包括触控面板1431以及其他输入设备1432。
205.显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441。
206.手机还可包括至少一种传感器1450,比如光传感器、运动传感器以及其他传感器。
207.音频电路1460、扬声器1461,传声器1462可提供用户与手机之间的音频接口。
208.wifi属于短距离无线传输技术,手机通过wifi模块1470可以帮助用户收发电子邮
件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。
209.处理器1480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1420内的软件程序和/或模块,以及调用存储在存储器1420内的数据,执行手机的各种功能和处理数据。
210.手机还包括给各个部件供电的电源1490(比如电池)。
211.在本实施例中,该终端设备所包括的处理器1480还具有以下功能:
212.展示对虚拟人视频进行编辑的剧情会话区,待编辑的所述虚拟人视频包括多个剧情片段,所述剧情会话区显示所述多个剧情片段中第一片段对应的第一剧情气泡,所述第一剧情气泡与所述第一片段涉及的第一虚拟对象具有关联关系,所述第一剧情气泡中包括所述第一虚拟对象在所述第一片段中的第一剧情文字;
213.响应于所述多个剧情片段中第二片段的添加指令,在所述剧情会话区显示所述第二片段对应的第二剧情气泡,所述第二剧情气泡与所述第二片段涉及的第二虚拟对象具有关联关系,所述第二剧情气泡中包括所述第二虚拟对象在所述第二片段中的第二剧情文字,所述第一剧情气泡和所述第二剧情气泡在所述剧情会话区中具有显示位置关系,所述显示位置关系用于标识所述第一片段和所述第二片段在所述虚拟人视频中的剧情顺序;
214.响应于视频生成指令,根据所述剧情会话区所显示的所述第一剧情气泡和所述第二剧情气泡生成视频结构参数,所述视频结构参数用于在被调用时播放所述虚拟人视频。
215.若计算机设备为服务器,本技术实施例还提供一种服务器,请参见图26所示,图26为本技术实施例提供的服务器1500的结构图,服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器1522,如中央处理器(central processing units,简称cpu),存储器1532,一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中,存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,处理器1522可以设置为与存储介质1530通信,在服务器1500上执行存储介质1530中的一系列指令操作。
216.服务器1500还可以包括一个或一个以上电源1526,一个或一个以上有线或无线网络接口1550,一个或一个以上输入输出接口1558,和/或,一个或一个以上操作系统1541,例如windows server
tm
,mac os x
tm
,unix
tm
,linux
tm
,freebsd
tm
等等。
217.上述实施例中由服务器所执行的步骤可以基于图26所示的服务器结构。
218.另外,本技术实施例还提供了一种存储介质,所述存储介质用于存储计算机程序,所述计算机程序用于执行上述实施例提供的方法。
219.本技术实施例还提供了一种包括计算机程序的计算机程序产品,当其在计算机设备上运行时,使得计算机设备执行上述实施例提供的方法。
220.本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成,前述计算机程序可以存储于一计算机可读取存储介质中,该计算机程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质可以是下述介质中的至少一种:只读存储器(英文:read-only memory,缩写:rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
221.需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之
间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
222.以上所述,仅为本技术的一种具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本技术的保护范围之内。而且本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。因此,本技术的保护范围应该以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1