动画生成方法和装置、存储介质及电子设备与流程

文档序号:29624485发布日期:2022-04-13 14:05阅读:74来源:国知局
动画生成方法和装置、存储介质及电子设备与流程

1.本发明涉及计算机领域,具体而言,涉及一种动画生成方法和装置、存储介质及电子设备。


背景技术:

2.目前,在聊天、直播等实时交互的领域中,通常可以增加特效以增加显示画面的多样性。
3.但是特效图像和特效动画都是将系统设定好的图像或动画直接贴在显示画面上,同一特效对于不同的直播间都是相同的,缺乏个性化的同时,使得特效与直播间并没有任何关联,与直播间适配度较低。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本发明实施例提供了一种动画生成方法和装置、存储介质及电子设备,以至少解决特效动画与直播间适配度低的技术问题。
6.根据本发明实施例的一个方面,提供了一种动画生成方法,包括:响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像,其中,上述第一图像和上述第二图像为从不同角度下对上述直播场景进行采集得到的画面图像,上述第一图像与上述第二图像二者之间的图像相似度满足图像相似度条件,上述第一图像和上述第二图像中均识别出目标物体对象,上述深度信息图像用于指示包含上述目标物体对象的区域图像所在区域在上述第一图像与上述第二图像之间的距离;利用上述深度信息图像,以及上述第一图像和上述第二图像,生成上述目标物体对象对应的目标特效图像;在从上述目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用上述目标动作的动作参数与上述目标特效图像,生成与上述目标物体对象匹配的目标特效动画。
7.根据本发明实施例的另一方面,还提供了一种动画生成装置,包括:获取单元,用于响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像,其中,上述第一图像和上述第二图像为从不同角度下对上述直播场景进行采集得到的画面图像,上述第一图像与上述第二图像二者之间的图像相似度满足图像相似度条件,上述第一图像和上述第二图像中均识别出目标物体对象,上述深度信息图像用于指示包含上述目标物体对象的区域图像所在区域在上述第一图像与上述第二图像之间的距离;图像生成单元,用于利用上述深度信息图像,以及上述第一图像和上述第二图像,生成上述目标物体对象对应的目标特效图像;动画生成单元,用于在从上述目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用上述目标动作的动作参数与上述目标特效图像,生成与上述目标物体对象匹配的目标特效动画。
8.根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机
可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述动画生成方法。
9.根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的动画生成方法。
10.在本发明实施例中,采用响应于对直播场景触发的高特效生成指令,利用在不同角度下对直播场景采集到的第一图像和第二图像计算深度信息图像,并基于第一图像、第二图像和深度信息图像生成目标物体对象对应的目标特效图像,基于从与目标物体对象对应的目标动作模板中确定出的目标动作和目标特效图像,生成与目标物体对象匹配的目标特效动画的方式,通过响应特效生成指令,而生成与直播场景中的目标物体对象对应的、具备深度信息的目标特效图像,从而基于目标特效图像和目标动作生成与目标物体对象对应的目标特效动画,达到了在直播间中显示的目标特效动画与直播场景中的目标物体对象对应的目的,从而实现了特效动画与直播间的直播场景匹配,提高特效动画与直播间的适配度的技术效果,进而解决了特效动画与直播间适配度低的技术问题。
附图说明
11.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
12.图1是根据本发明实施例的一种可选的动画生成方法的应用环境的示意图;
13.图2是根据本发明实施例的一种可选的动画生成方法的流程示意图;
14.图3是根据本发明实施例的一种可选的动画生成方法的流程示意图;
15.图4是根据本发明实施例的一种可选的动画生成方法的流程示意图;
16.图5是根据本发明实施例的一种可选的动画生成方法的流程示意图;
17.图6是根据本发明实施例的一种可选的动画生成方法的流程示意图;
18.图7是根据本发明实施例的一种可选的动画生成方法的流程示意图;
19.图8是根据本发明实施例的一种可选的动画生成装置的结构示意图;
20.图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
21.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
22.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.根据本发明实施例的一个方面,提供了一种动画生成方法,可选地,上述动画生成方法可以但不限于应用于如图1所示的环境中。终端设备102通过网络110与服务器112进行数据交互。终端设备102不限于是包括通过直播场景的画面采集而具备直播功能的客户端,在基于终端设备102中的客户端而发起特效生成请求的情况下,终端设备102将特效生成指令通过网络110发送给服务器112,服务器112基于特效生成指令生成目标特效动画,并通过网络110将目标特效动画返回给终端设备102,以通过播放目标特效动画实现在客户端中实现特效生成。
24.服务器112中运行有数据库114和处理引擎116,数据库114不限于存储特效生成指令和目标特效动画等数据,处理引擎116不限于通过依次执行s102至s106以实现目标特效动画的生成。s102,计算深度信息图像。响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用从不同角度下对直播场景进行采集得到的第一图像和第二图像计算深度信息图像,第一图像与第二图像二者之间的图像相似度满足图像相似度条件,第一图像和第二图像中均识别出目标物体对象,深度信息图像用于指示包含目标物体对象的区域图像所在区域在第一图像与第二图像之间的距离。s104,生成目标特效图像。利用深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像。s106,生成目标特效动画。在从目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画。
25.可选地,在本实施例中,上述终端设备102可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices,移动互联网设备)、pad、台式电脑、智能家居设备等。目标客户端可以是音频客户端、视频客户端、即时通信客户端、浏览器客户端等。上述网络110可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、wifi及其他实现无线通信的网络。上述服务器112可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
26.作为一种可选的实施方式,如图2所示,上述动画生成方法包括:
27.s202,响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像。
28.在s202中,第一图像和第二图像为从不同角度下对直播场景进行采集得到的画面图像,第一图像与第二图像二者之间的图像相似度满足图像相似度条件,第一图像和第二图像中均识别出目标物体对象,深度信息图像用于指示包含目标物体对象的区域图像所在区域在第一图像与第二图像之间的距离。
29.特效生成指令用于指示对直播场景进行特效动画的生成,使得直播场景中原本处于静态的物体具有动起来的特效动画。基于特效生成指令生成的特效动画针对除位于直播场景中的直播对象以外的实体或虚拟物体。直播场景为当前直播对象所处的场景,包括直播对象和直播背景。特效动画不针对直播对象本身,但是可以针对直播对象所穿着的衣物上显示的图案、佩戴的装饰物等实体或虚拟物体。虚拟物体为承载在实体物体上有内容的
二维图像/图案,实体物体为本身具备厚度的立体物体,例如玩偶、装饰物。
30.在直播背景包括直播对象所处的真实背景时,直播背景包括处于被采集范围内的各个实体对象以及各个实体对象上的图案。例如,沙发、挂画,抱枕,玩偶、话筒等对象,以及抱枕上的图案、挂画上的图案等。在直播背景为直播对象所设置的虚拟背景的情况下,直播背景包括虚拟背景所展示的图案,例如虚拟风景背景中的山河草木,虚拟卡通背景中的各个卡通图案。
31.在第一图像和第二图像为从不同角度下对直播场景进行画面采集得到的图像的情况下,第一图像对应的第一采集角度与第二图像对应的第二采集角度不同。采集第一图像和第二图像的不限于是正在实现直播功能的的终端设备,不限于通过调整终端设备拍摄直播场景的拍摄角度以实现不同角度下对直播场景进行画面采集。拍摄角度的调整不限于包括以下至少之一:移动终端设备的位置,转动终端设备。移动终端设备的位置是指改变终端设备相对于直播场景的位置,更改终端设备对直播场景的拍摄位置。转动终端设备是指在不改变终端设备的位置的情况下,转动终端设备以更改终端设备对直播场景的拍摄角度。
32.由于采集直播场景画面的移动终端的移动和/或转动,使得第一图像与第二图像的图像内容有所差异,但是第一图像和第二图像的图像内容相似度满足图像相似度条件,在第一图像和第二图像的图像内容相似度图像满足相似度条件的情况下,第一图像和第二图像中至少包括一个相同物体对象。
33.从第一图像和第二图像中均识别出的目标物体对象可以是实体对象,也可以是虚拟对象,例如实体对象上的图案。目标物体对象的识别不限于是通过在第一图像和第二图像中的一张图像上进行物体识别,在识别到物体的情况下,在另一张图像上进行物体查找,将在另一张图像上查找到的物体确定为目标物体对象。例如,先对第一图像进行物体识别,用于识别出预设特征的物体,得到在第一图像上识别出的特征物体。在第二图像上进行特征物体的查找。在特征物体数量大于一的情况下,依次查找每一个特征物体,将从第二图像中查找到的特征物体确定为目标物体对象。
34.这里对第一图像和第二图像上的物体识别不限于利用目标监测算法进行特征物体的检测和识别。特征物体具备的预设特征不限于是拟人化特征。对于具备拟人化特征的物体进行特效动画的生成使得特效动画更加合理和生动。具备拟人化特征不限于指示物体包括五官、四肢等相似部件。例如玩偶、衣服上的卡通形象、抱枕上的动物形象、人性摆件等。
35.深度信息图像用于为目标特效图像提供深度信息,以使二维的目标特效图像具备三维效果,从而使得基于目标特效图像生成的特效动画更加生动。深度信息图像不限于是专注于目标物体对象所在区域的深度图。
36.s204,利用深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像。
37.利用深度信息图像、第一图像和第二图像生成目标特效图像,不限于是利用图像生成模型,将深度信息图像、第一图像和第二图像输入图像生成模型中,以获取到图像生成模型输出的目标特效图像。图像生成模型不限于是利用样本图像训练得到的特效图像生成模型。
38.利用深度信息图像、第一图像和第二图像生成目标特效图像还可以是基于深度信息图像、第一图像和第二图像对匹配到的预设模型进行调整,从而根据预设模型生成目标特效图像。预设模型不限于是从预设的多个候选模型中确定出与目标物体对象匹配的3d模型,与目标物体对象匹配的3d模型不限于是预设的多个候选模型中与目标物体对象相似度最高的模型。在确定出3d模型的情况下,不限于将深度信息图像、第一图像和第二图像指示的目标物体对象的对象特征融合至3d模型中,从而基于融合了目标物体对象的对象特征的3d模型获取目标物体对象对应的目标特效图像。深度信息图像、第一图像和第二图像指示的目标物体对象的对象特征至少包括目标物体对象的对象轮廓特征。基于融合了目标物体对象的对象特征的3d模型获取目标物体对象对应的目标特效图像不限于采用模型映射的方法,利用3d模型在目标角度的映射获取到目标特效图像。
39.目标特效图像与目标物体对象一一对应,在目标物体对象的数量大于一的情况下,目标特效图像的数量与目标物体对象的数量相同。在生成目标特效图像的情况下,不限于对目标特效图像进行调整,调整的范围不限于包括颜色、纹理、透明度、清晰度等参数。基于调整后的目标特效图像生成特效动画。
40.s206,在从目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画。
41.目标动作模板是基于目标物体对象确定出的动作模板,不限于是根据目标物体对象所属对象类型、所包括的部件类型确定出的动作模板,动作模板中在各个类型下的动作数量大于等于一。
42.利用目标动作和目标特效图像生成目标特效动画不限于是将目标特效图像按照目标动作变化,生成多张在动作幅度上有差异的特效图像,从而按照预设帧率进行排列和组合,以构成目标特效动画。
43.在本技术实施例中,采用响应于对直播场景触发的高特效生成指令,利用在不同角度下对直播场景进行采集得到的第一图像和第二图像计算深度信息图像,并基于第一图像、第二图像和深度信息图像生成目标物体对象对应的目标特效图像,基于从与目标物体对象对应的目标动作模板中确定出的目标动作和目标特效图像,生成与目标物体对象匹配的目标特效动画的方式,通过响应特效生成指令,而生成与直播场景中的目标物体对象对应的、具备深度信息的目标特效图像,从而基于目标特效图像和目标动作生成与目标物体对象对应的目标特效动画,达到了在直播间中显示的目标特效动画与直播场景中的目标物体对象对应的目的,从而实现了特效动画与直播间的直播场景匹配,提高特效动画与直播间的适配度的技术效果,进而解决了特效动画与直播间适配度低的技术问题。
44.作为一种可选的实施方式,如图3所示,在利用第一图像和第二图像计算得到深度信息图像之前,还包括:
45.s302,将在第一角度下对直播场景采集到的画面作为第一图像;
46.s304,获取在候选角度下对直播场景进行画面采集得到候选图像集合,其中,候选图像集合包括在候选角度下采集到的至少两张连续的候选图像;
47.s306,计算每一张候选图像与第一图像之间的图像相似度,得到候选图像集合对应的候选相似度;
48.s308,在候选相似度满足图像相似度条件的情况下,从候选图像集合中确定出目
标候选图像作为第二图像,其中,目标候选图像与第一图像之间的图像相似度满足图像相似度条件。
49.在计算深度信息图像之前,不限于先获取第一图像和第二图像。第一角度不限于是对直播场景进行画面采集的初始角度,在未通过终端设备发起特效生成请求的情况下,直播对象不限于采用初始角度进行直播。第一角度还可以是在发起特效生成请求时,终端设备在初始角度下采集直播场景生成的图像。
50.不限于响应特效生成指令,发送角度调整提示信息给终端设备,以通知使用终端设备的直播对象调整终端设备采集直播场景的角度,以获取第二图像。在终端设备是可以被远程控制的终端设备的情况下,不限于发送角度调整指令给终端设备,以使终端设备调整采集直播场景的角度。角度调整指令中不限于携带有参考角度,以指示终端设备按照参考角度调整采集角度。
51.在检测到角度由第一角度调整至候选角度的情况下,获取在候选角度下的候选图像集合,候选图像集合中包括多张在候选角度下连续采集的多张图像。计算每一张候选图像与第一图像的相似度,不限于是通过尺度不变特征转换(scale invariant feature transform,sift)描述子进行相似度计算。通过对候选图像和第一图像进行sifi描述子匹配,确定候选图像与第一图像的图像相似度。
52.通过每一张候选图像和第一图像的图像相似度确定候选图像集合的候选相似度,不限于是对每一张候选图像对应的图像相似度进行统计,将统计结果作为候选图像集合的候选相似度。对图像相似度的统计的具体形式在此不做限定,例如,平均值统计,中位数统计,方差、均方差统计等。
53.从候选图像集合中确定出作为第二图像的目标候选图像,不限于是从候选图像集合中与第一图像之间的图像相似度满足图像相似度条件的候选图像相似度中确定。目标候选图像可以是与第一图像在图像相似度最高的候选图像,也可以是与第一图像相似度在满足图像相似度条件基础上相似度最低的候选图像,还可以是候选图像集合中任意一张满足图像相似度条件的候选图像。
54.作为一种可选的实施方式,上述在得到候选图像集合对应的候选相似度之后,还包括:
55.s1,在候选相似度未满足图像相似度条件的情况下,发送角度提示信息给采集直播场景画面的终端设备,其中,角度提示信息用于指示终端设备继续调整采集角度;
56.s2,在确定终端设备的采集角度调整完成的情况下,获取在调整后的采集角度下,对直播场景进行画面采集得到的调整图像集合。
57.在候选相似度集合的候选相似度不能满足图像相似度条件的情况下,提示终端设备继续进行调整,以获取到满足图像相似度条件的图像集合,并从图像集合中确定出第二图像。基于图像集合确定其与第一图像是否满足图像相似度条件的方法与候选图像集合的确定方法相同。
58.在本技术实施例中,通过调整终端设备对直播场景的采集角度以获取角度不同的第一图像和第二图像,从而通过第一图像和第二图像在内容上的相似度以及角度的不同,以确定图像深度信息,从而使得生成的特效图像具备深度信息,在视觉上拥有三维立体效果,进而使得基于特效图像生成的特效动画更加生动形象。
59.作为一种可选的实施方式,如图4所示,上述利用基于第一图像和第二图像计算得到的深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像包括:
60.s402,确定第一图像中目标物体对象所在的第一区域图像,以及第二图像中目标物体对象所在的第二区域图像;
61.s404,将第一区域图像、第二区域图像以及深度信息图像,输入图像生成模型中,以生成目标特效图像,其中,图像生成模型为采用自监督学习算法的三维图像生成模型。
62.第一区域图像为目标物体对象所在的区域图像,不限于是从第一图像中截取包括目标物体对象的区域图像作为第一区域图像。同样,第二区域图像为目标物体对象在第二图像上所在的区域图像。
63.第一区域图像和第二区域图像不限于作为第一图像和第二图像的关注区域,输入图像生成模型。图像生成模型采用自监督学习算法,通过深度信息图像拟合出目标物体对象在图像上的第三维轴位置,基于第一区域图像和第二区域图像生成与目标物体对象对应的目标特效图像。目标特效图像为三维效果的图像。
64.作为一种可选的实施方式,上述在确定第一图像中目标物体对象所在的第一区域图像,以及第二图像中目标物体对象所在的第二区域图像之后,还包括:
65.s1,计算第一区域图像中各个像素各自与第二区域图像中各个像素之间的图像距离,得到图像距离集合;
66.s2,利用图像距离集合生成深度信息图像。
67.在生成深度信息图像时,将第一区域作为第一图像的关注区域,将第二区域作为第二图像的关注区域,从而通过计算第一区域图像与第二区域图像在像素的图像距离,生成深度信息图像
68.在本技术实施例中,利用不同角度下的第一图像和第二图像以从第一图像和第二图像中确定出深度信息,并利用深度信息生成具备三维效果的目标特效图像,以使得生成的与直播间关联的特效动画更加生动形象。
69.作为一种可选的实施方式,如图5所示,上述在利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画之前,还包括:
70.s502,根据预设类型列表中包括的候选部件,确定目标特效图像中的目标形象包含的至少一个目标部件;
71.s504,从动作数据库中依次获取与目标部件对应的类型动作集合,其中,类型动作集合中包括至少一个与目标部件对应的候选动作;
72.s506,利用类型动作集合生成与目标物体对象对应的目标动作模板。
73.在目标物体对象为具备拟人化特征的物体对象的情况下,目标特效图像中的目标形象是具备拟人化特征的形象,目标部件不限于是位于预设类型列表中的拟人化部位。例如,头发,五官,四肢等。根据预设类型列表与类型动作集合对应,存储有候选动作的候选部件记载在预设类型列表中。未记载在预设类型列表中的部件不作为可生成特效动画的候选部件。
74.目标特效图像中的目标形象是与目标物体对象匹配的图像,不同的目标物体对象对应的目标特效图像不同,每个目标特效图像中的目标形象所对应的目标部件也可以不
同。例如,目标形象指示的是耳朵隐藏的卡通人物,目标形象指示的是四肢隐藏的动物(趴卧状态),目标形象指示的是只有五官的大头娃娃。
75.在确定目标部位的情况下,从动作数据库中依次获取与目标部件对应的类型动作集合,将类型动作集合添加至动作模板中,以生成与目标物体对象对应的目标动作模板。在目标动作模板中的候选动作都是可以配置给目标特效图像的动作。可以为目标特效图像中的多个目标部件确定各自对应的目标动作。每个目标动作独立生成目标特效动画。与多个目标部件各自对应的目标特效动画的显示不限于通过显示参数控制,既可以同时显示,也可以按照配置顺序依次显示,还可以是将包括的目标特效动画形成组合,按照组合确定显示方式。
76.在本技术实施例中,基于目标特效图像中的目标部件确定目标物体对象对应的目标动作模板,从而基于目标部件确定目标动作而生成目标特效动画,将特效动画细化至目标特效图像中的部件,通过部件的多样性增加了目标特效动画的多样性,丰富了目标特效动画的动画内容。
77.作为一种可选的实施方式,如图6所示,上述利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画包括:
78.s602,根据动作参数确定目标部件在执行目标动作的过程中的多个部位状态;
79.s604,分别按照多个部位状态调整目标特效图像中的目标部件,生成多个目标动画图像;
80.s606,按照多个部位状态在目标动作中的执行顺序,排列多个目标动画图像,以生成目标特效动画。
81.利用目标动作和目标特效图像生成目标特效动画不限于是根据目标动作的动作参数确定目标动作所指示的各个动作状态,根据每个动作状态确目标部件在每个动作状态对应的部位状态。分别按照各个部位状态调整目标特效图像中的目标部位,得到多个目标动画图像。按照预定帧率和多个动作状态在目标动作的执行顺序,生成目标特效动画。
82.目标部件在每个动作状态对应的部件状态不限于是目标部件调整至动作状态对应的状态。以目标部件为眼睛,目标动作为眨眼,那么目标部件执行目标动作的多个部位状态,不限于是眼睛在不同开合程度的状态。以目标部件为手臂,目标动作为摆动,那么目标部件执行目标动作的多个部位状态,不限于是手臂在不同摆臂程度的状态。
83.在本技术实施例中,基于目标特效图像生成目标部位在执行目标动作过程中的多个部位状态对应的目标动画图像,从而生成与目标物体对象对应的目标特效动画。既实现了基于直播场景中的目标物体对象生成目标特效动画,还简化了特效动画的生成,通过动画图像的生成以避免了动态模型的建立,提高特效动画的生成效率。
84.作为一种可选的实施方式,上述在生成目标物体对象对应的目标特效图像之后,还包括:
85.s1,在接收到对目标特效图像的显示参数进行调整的调整指令的情况下,调整目标特效图像的目标显示参数,得到目标调整图像;
86.s2,在从目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标调整图像,生成与目标物体对象匹配的目标特效动画。
87.调整指令不限于是终端设备接收到的显示参数调整操作而生成的指令。显示参数
不限于至少包括目标特效图像的颜色、透明度、纹理、亮度。显示参数的调整还可以是对目标特效图像中部分区域的显示参数的调整。例如,在目标特效图像中目标形象的身体区域添加纹路。可调整的参数不限于与目标动作模板同时显示,在调整目标特效图像为目标调整图像之后,基于目标调整图像与目标动作生成特效动画。基于目标调整图像与目标动作生成特效动画的方法步骤与基于目标特效图像与目标动作生成特效动画相同。
88.在本技术实施例中,在生成目标特效图像的情况下,不限于通过调整指令以对目特效图像的显示参数进行调整,从而基于调整后的目标调整图像生成目标特效动画。在生成与直播场景匹配的目标物体对象的目标特效动画的过程中,接收使用终端设备的直播对象对于生成的目标特效图像的调整,使得目标特效动画的生成更加具备灵活性。
89.作为一种可选的实施方式,如图7所示,上述在生成目标物体对象对应的目标特效图像之后,还包括:
90.s702,在接收到按照候选动画模板进行特效生成的模板特效指令的情况下,确定候选动画模板中候选形象的候选部件、候选部件对应的候选动作和候选形象的候选图像参数,其中,候选形象与目标特效图像中的目标形象的形象类别相同;
91.s704,在至少一个目标部件中查找到与候选部件对应的目标候选部位的情况下,将候选动作确定为目标形象中目标候选部位的动画动作;
92.s706,利用候选形象的候选图像参数调整目标特效图像,得到目标候选图像;
93.s708,利用候选动作的动作参数与目标候选图像,生成与目标物体对象匹配的目标特效动画。
94.候选动画模板不限于是终端设备上传的候选动画而生成的动画模板。在确定终端设备发送候选动画模板时,按照候选动画模板指示的动作和显示参数生成目标特效动画。
95.例如目标特效动画为招财猫摆手动画,那么基于候选动画模板提取到的候选部件为手臂,候选动作为摆手。同时提取招财猫的颜色参数用于渲染目标特效图像,得到目标特效图像,从而基于目标特效图像生成目标特效动画。
96.在本技术实施例中,在生成目标特效图像的情况下,不限于通过上传的候选动画模板确定特效动画对应的目标部件以及目标部件对应的目标动作,并基于候选动画模板对目特效图像的显示参数进行调整,从而基于调整后的目标特效图像生成目标特效动画。在生成与直播场景匹配的目标物体对象的目标特效动画的过程中,接收使用终端设备的直播对象确定出的候选动画模板,使得目标特效动画的生成更加具备灵活性。
97.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
98.根据本发明实施例的另一个方面,还提供了一种用于实施上述动画生成方法的动画生成装置。如图8所示,该装置包括:
99.计算单元802,用于响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像,其中,第一图像和第二图像为从不同角度下对直播场景进行采集得到的画面图像,第一图像与第二图像二者之间的图像相似
度满足图像相似度条件,第一图像和第二图像中均识别出目标物体对象,深度信息图像用于指示包含目标物体对象的区域图像所在区域在第一图像与第二图像之间的距离;
100.图像生成单元804,用于利用深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像;
101.动画生成单元806,用于在从目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画。
102.可选地,上述动画生成装置还包括获取单元,用于在利用第一图像和第二图像计算得到深度信息图像之前,包括:
103.第一模块,用于将在第一角度下对直播场景采集到的画面作为第一图像;
104.候选模块,用于获取在候选角度下对直播场景进行画面采集得到候选图像集合,其中,候选图像集合包括在候选角度下采集到的至少两张连续的候选图像;
105.计算模块,用于计算每一张候选图像与第一图像之间的图像相似度,得到候选图像集合对应的候选相似度;
106.第二模块,用于在候选相似度满足图像相似度条件的情况下,从候选图像集合中确定出目标候选图像作为第二图像,其中,目标候选图像与第一图像之间的图像相似度满足图像相似度条件。
107.可选地,上述动画生成装置还包括:
108.发送模块,用于在得到候选图像集合对应的候选相似度之后,在候选相似度未满足图像相似度条件的情况下,发送角度提示信息给采集直播场景画面的终端设备,其中,角度提示信息用于指示终端设备继续调整采集角度;
109.采集模块,用于在确定终端设备的采集角度调整完成的情况下,获取在调整后的采集角度下,对直播场景进行画面采集得到的调整图像集合。
110.可选地,上述图像生成单元804包括:
111.区域确定模块,用于确定第一图像中目标物体对象所在的第一区域图像,以及第二图像中目标物体对象所在的第二区域图像;
112.图像生成模块,用于将第一区域图像、第二区域图像以及深度信息图像,输入图像生成模型中,以生成目标特效图像,其中,图像生成模型为采用自监督学习算法的三维图像生成模型。
113.可选地,上述图像生成单元804还包括:
114.距离模块,用于在确定第一图像中目标物体对象所在的第一区域图像,以及第二图像中目标物体对象所在的第二区域图像之后,计算第一区域图像中各个像素各自与第二区域图像中各个像素之间的图像距离,得到图像距离集合;
115.深度生成模块,用于利用图像距离集合生成深度信息图像。
116.可选地,上述动画生成装置还包括模板生成单元,用于在利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画之前,包括:
117.部件确定模块,根据预设类型列表中包括的候选部件,确定目标特效图像中的目标形象包含的至少一个目标部件;
118.动作获取模块,用于从动作数据库中依次获取与目标部件对应的类型动作集合,
其中,类型动作集合中包括至少一个与目标部件对应的候选动作;
119.模板生成模块,用于利用类型动作集合生成与目标物体对象对应的目标动作模板。
120.可选地,上述动画生成单元806包括:
121.状态模块,用于根据动作参数确定目标部件在执行目标动作的过程中的多个部位状态;
122.动画图像模块,用于分别按照多个部位状态调整目标特效图像中的目标部件,生成多个目标动画图像;
123.动画生成模块,用于按照多个部位状态在目标动作中的执行顺序,排列多个目标动画图像,以生成目标特效动画。
124.可选地,上述动画生成装置还包括:
125.调整单元,用于在生成目标物体对象对应的目标特效图像之后,在接收到对目标特效图像的显示参数进行调整的调整指令的情况下,调整目标特效图像的目标显示参数,得到目标调整图像;在从目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标调整图像,生成与目标物体对象匹配的目标特效动画。
126.可选地,上述动画生成装置还包括:
127.模板特效单元,用于在生成目标物体对象对应的目标特效图像之后,在接收到按照候选动画模板进行特效生成的模板特效指令的情况下,确定候选动画模板中候选形象的候选部件、候选部件对应的候选动作和候选形象的候选图像参数,其中,候选形象与目标特效图像中的目标形象的形象类别相同;在至少一个目标部件中查找到与候选部件对应的目标候选部位的情况下,将候选动作确定为目标形象中目标候选部位的动画动作;利用候选形象的候选图像参数调整目标特效图像,得到目标候选图像;利用候选动作的动作参数与目标候选图像,生成与目标物体对象匹配的目标特效动画。
128.在本技术实施例中,采用响应于对直播场景触发的高特效生成指令,利用在不同角度下对直播场景进行采集得到的第一图像和第二图像计算深度信息图像,并基于第一图像、第二图像和深度信息图像生成目标物体对象对应的目标特效图像,基于从与目标物体对象对应的目标动作模板中确定出的目标动作和目标特效图像,生成与目标物体对象匹配的目标特效动画的方式,通过响应特效生成指令,而生成与直播场景中的目标物体对象对应的、具备深度信息的目标特效图像,从而基于目标特效图像和目标动作生成与目标物体对象对应的目标特效动画,达到了在直播间中显示的目标特效动画与直播场景中的目标物体对象对应的目的,从而实现了特效动画与直播间的直播场景匹配,提高特效动画与直播间的适配度的技术效果,进而解决了特效动画与直播间适配度低的技术问题。
129.根据本发明实施例的又一个方面,还提供了一种用于实施上述动画生成方法的电子设备,该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图9所示,该电子设备包括存储器902和处理器904,该存储器902中存储有计算机程序,该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
130.可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
131.可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
132.s1,响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像,其中,第一图像和第二图像为从不同角度下对直播场景进行采集到的画面图像,第一图像与第二图像二者之间的图像相似度满足图像相似度条件,第一图像和第二图像中均识别出目标物体对象,深度信息图像用于指示包含目标物体对象的区域图像所在区域在第一图像与第二图像之间的距离;
133.s2,利用深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像;
134.s3,在从目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画。
135.可选地,本领域普通技术人员可以理解,图9所示的结构仅为示意,电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图9其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等),或者具有与图9所示不同的配置。
136.其中,存储器902可用于存储软件程序以及模块,如本发明实施例中的动画生成方法和装置对应的程序指令/模块,处理器904通过运行存储在存储器902内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的动画生成方法。存储器902可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器902可进一步包括相对于处理器904远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器902具体可以但不限于用于存储目标特效图像、目标特效动画等信息。作为一种示例,如图9所示,上述存储器902中可以但不限于包括上述动画生成装置中的计算单元802,图像生成单元804和动画生成单元806。此外,还可以包括但不限于上述动画生成装置中的其他模块单元,本示例中不再赘述。
137.可选地,上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置906包括一个网络适配器(network interface controller,nic),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置906为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
138.此外,上述电子设备还包括:显示器908,用于显示上述目标特效图像和目标特效动画;和连接总线910,用于连接上述电子设备中的各个模块部件。
139.在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(p2p,peer to peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
140.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算
机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述动画生成方面的各种可选实现方式中提供的方法。其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
141.可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
142.s1,响应于对当前正在进行画面采集的直播场景触发的特效生成指令,利用第一图像和第二图像计算得到深度信息图像,其中,第一图像和第二图像为从不同角度下对直播场景进行采集得到的画面图像,第一图像与第二图像二者之间的图像相似度满足图像相似度条件,第一图像和第二图像中均识别出目标物体对象,深度信息图像用于指示包含目标物体对象的区域图像所在区域在第一图像与第二图像之间的距离;
143.s2,利用深度信息图像,以及第一图像和第二图像,生成目标物体对象对应的目标特效图像;
144.s3,在从目标物体对象对应的目标动作模板中确定出目标动作的情况下,利用目标动作的动作参数与目标特效图像,生成与目标物体对象匹配的目标特效动画。
145.可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
146.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
147.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
148.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
149.在本技术所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
150.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
151.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
152.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1