直播背景的切换方法和装置、存储介质及电子设备与流程

文档序号:30068653发布日期:2022-05-18 01:33阅读:197来源:国知局
直播背景的切换方法和装置、存储介质及电子设备与流程

1.本发明涉及图像处理领域,具体而言,涉及一种直播背景的切换方法和装置、存储介质及电子设备。


背景技术:

2.目前,直播间的背景图像主要通过主播自主设置背景图,还可以是服务器在推流时,通过人像抠图利用虚拟背景替换主播使用的背景图。
3.但无论是主播自主设置的背景图还是服务器用于替换的虚拟背景,都是静态的二维图像,并不能自动跟随主播直播过程的改变,例如动作的改变、风格的改变,而进行变化。由此会使得在主播在直播过程中发生改变时,由于背景不能动态变换导致直播背景与主播并不匹配,使得直播效果欠佳。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本发明实施例提供了一种直播背景的切换方法和装置、存储介质及电子设备,以至少解决直播背景不能动态变化而导致的直播效果欠佳的技术问题。
6.根据本发明实施例的一个方面,提供了一种直播背景的切换方法,包括:在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定上述目标对象的目标行为动作的动作特征、上述直播数据流的音频特征和上述目标对象的对象特征,其中,上述目标行为动作为上述目标对象处于上述目标行为状态的行为动作;利用上述动作特征、上述音频特征和上述对象特征,计算目标背景特征,其中,上述目标背景特征用于指示与上述目标对象的上述目标行为状态匹配的直播背景;在从背景数据库中确定出与上述目标背景特征匹配的目标直播背景的情况下,将直播背景切换为上述目标直播背景。
7.根据本发明实施例的另一方面,还提供了一种直播背景的切换装置,包括:确定单元,用于在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定上述目标对象的目标行为动作的动作特征、上述直播数据流的音频特征和上述目标对象的对象特征,其中,上述目标行为动作为上述目标对象处于上述目标行为状态的行为动作;计算单元,用于利用上述动作特征、上述音频特征和上述对象特征,计算目标背景特征,其中,上述目标背景特征用于指示与上述目标对象的上述目标行为状态匹配的直播背景;切换单元,用于在从背景数据库中确定出与上述目标背景特征匹配的目标直播背景的情况下,将直播背景切换为上述目标直播背景。
8.根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述直播背景的切换方法。
9.根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过所述计算机程序执行上述的直播
背景的切换方法。
10.在本发明实施例中,采用在检测到直播数据流中的目标对象处于目标行为状态的情况下,利用目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征计算得到目标背景特征,从背景数据库中确定出与目标背景特征匹配的目标直播背景,从而将直播背景切换为目标直播背景的方式,通过检测直播数据流中目标对象的行为状态,在目标对象处于目标行为状态时,基于动作特征、音频特征和对象特征确定出当前匹配的目标直播背景并进行背景切换,达到了基于目标对在目标行为状态下的动作特征、直播音频特征和对象特征动态确定匹配的直播背景的目的,从而实现了基于直播动态进行直播背景切换的技术效果,进而解决了直播背景不能动态变化而导致的直播效果欠佳的技术问题。
附图说明
11.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
12.图1是根据本发明实施例的一种可选的直播背景的切换方法的应用环境的示意图;
13.图2是根据本发明实施例的一种可选的直播背景的切换方法的流程示意图;
14.图3是根据本发明实施例的一种可选的直播背景的切换方法的流程示意图;
15.图4是根据本发明实施例的一种可选的直播背景的切换方法的流程示意图;
16.图5是根据本发明实施例的一种可选的直播背景的切换方法的流程示意图;
17.图6是根据本发明实施例的一种可选的直播背景的切换方法的流程示意图;
18.图7是根据本发明实施例的一种可选的直播背景的切换装置的结构示意图;
19.图8是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
21.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.根据本发明实施例的一个方面,提供了一种直播背景的切换方法,可选地,上述直播背景的切换方法可以但不限于应用于如图1所示的环境中。推流终端100为直播数据流的产生端,观看终端130为请求观看直播数据流的观看端,推送终端100通过网络110将直播数
据流发送给服务器120,以使服务器120将直播数据流推送至观看终端130。服务器120不限于可以对直播数据流中的直播背景进行切换调整,以使直播背景与目标对象的行为状态相匹配。服务器120通过网络110接收推流终端100发送的原始直播流数据,对原始直播流中的直播背景进行切换得到目标直播流,并将目标直播流通过网络110推送观看终端130,以实现直播背景的切换。
23.服务器120中运行有数据库122和处理引擎124,数据库122用于存储接收到的原始直播流和切换直播背景得到的目标直播流,处理引擎124用于对原始直播流中的原始帧进行直播背景的切换,得到包括目标直播背景的目标直播流。服务器120进行直播背景的切换不限于通过依次执行s102至s106。s102,确定动作特征、音频特征和对象特征。在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征,其中,目标行为动作为目标对象处于目标行为状态的行为动作。s104,计算目标背景特征。利用动作特征、音频特征和对象特征,计算目标背景特征,目标背景特征用于指示与目标对象的目标行为状态匹配的直播背景。s106,切换为目标直播背景。在从背景数据库中确定出与目标背景特征匹配的目标直播背景的情况下,将直播背景切换为目标直播背景。
24.可选地,在本实施例中,上述推流终端100和观看终端130可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices,移动互联网设备)、pad、台式电脑、智能电视等。目标客户端是具备直播功能的客户端,不限于是音频客户端、视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络110可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、wifi及其他实现无线通信的网络。上述服务器120可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
25.作为一种可选的实施方式,如图2所示,上述直播背景的切换方法包括:
26.s202,在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征。
27.在上述s202中,目标行为动作为目标对象处于目标行为状态的行为动作。目标行为动作不限于是检测出目标对象处于目标行为状态的行为动作,目标行为状态不限于指示目标对象的行为状态的规范性以及所属规范的类型。例如在目标对象的行为动作不存在任何行为规范的情况下,确定目标对象处于自由状态;在目标对象的行为动作符合体操行为规范的情况下,确定目标对象处于体操状态;在目标对象的行为动作符合舞蹈行为规范的情况下,确定目标对象处于舞蹈状态。上述行为状态仅为示例,不用于对行为状态的限定。
28.目标行为动作的动作特征不限于是对目标行为动作的进一步分类的动作类型的特征。在目标行为动作属于目标对象在目标行为状态下的行为动作的情况下,对目标行为动作进行进一步的动作类型确定,从而得到目标行为动作的动作特征。
29.音频特征不限于是直播数据流中包括的音频的音频特征,音频特征不限于包括音频类型和音频的多种参数。音频是直播过程中氛围营造的重要因素,在目标对象的行为动作符合一定行为规范的情况下,行为动作与音频相匹配,从而基于音频特征辅助确定行为
动作的类型,并确定直播所处的氛围,从而使得切换的直播背景与音频相匹配。
30.对象特征用于标识目标对象,不限于包括目标对象的外表特征、装饰特征等。外表特征不限于包括体貌特征、发型特征,装饰特征不限于包括衣着特征、饰品特征。通过对象特征提取出目标对象的对象风格,从而使得直播背景与处于目标行为状态的目标对象相匹配。
31.s204,利用动作特征、音频特征和对象特征,计算目标背景特征。
32.在上述s204中,目标背景特征用于指示与目标对象的目标行为状态匹配的直播背景。目标背景特征是根据动作特征、音频特征和对象特征综合确定出的特征,从而使得目标背景特征与目标对象的目标行为动作、直播中的音频以及目标对象都相匹配。目标背景特征不限于是计算得到的特征数据。
33.利用动作特征、音频特征和对象特征计算目标背景特征不限于是利用动作特征、音频特征、对象特征中的至少一个特征计算得到目标背景特征。至少一个特征包括动作特征、音频特征、对象特征中的任意一个特征、任意两个特征的组合以及三个特征的组合。例如,利用动作特征计算目标背景特征,利用音乐特征和对象特征计算目标背景特征,利用动作特征和音频特征计算目标背景特征,利用动作特征和音频特征以及对象特征计算目标背景特征。
34.在利用动作特征、音频特征、对象特征中的中任意一个特征计算目标背景特征时,则被选中特征发生变化时计算得到的目标背景特征也会变化。在利用动作特征、音频特征、对象特征中的任意两个特征计算目标背景特征时,被选中的两个特征中的任意一个特征发生变化,则计算得到的目标背景特征就有可能会变化。在目标背景特征基于动作特征、音频特征和对象特征综合确定的情况下,在动作特征、音频特征和对象特征其中任意一个或多个特征发生变化的情况下,计算得到的目标背景特征也会不相同。
35.目标背景特征的计算不限于是对直播数据流中按照预设数据划分条件,对直播视频流划分成的视频帧组进行计算。直播视频流中的不同视频帧组对应的目标背景特征基于各自视频帧组的动作特征、音频特征和对象特征确定。
36.s206,在从背景数据库中确定出与目标背景特征匹配的目标直播背景的情况下,将直播背景切换为目标直播背景。
37.背景数据库中存储有多种直播背景,多种直播背景不限于预先生成的多种不同风格类型的背景图像和/动画。背景动画不限于是多张背景图像构建的动态背景。动态背景不限于是使用建模方法生成的动态背景。在生成直播背景后,确定直播背景的背景特征,从而直播背景按照背景特征存储在背景图库中。
38.直播背景的切换不限于是将直播数据流中的视频帧中除目标对象以外的区域图像切换为目标直播背景对应的背景图像。将直播背景切换为目标直播背景并不影响原视频帧中目标对象的显示,也不对目标对象的行为动作进行更改调整。
39.在将直播背景切换为目标直播背景的情况下,不限于将包括目标直播背景的数据流推送给观看终端,以在观看终端形成直播背景跟随目标对象的行为状态的改变而改变。
40.在目标背景特征是视频帧组对应的背景特征的情况下,在连续的视频帧组确定出目标对象均处于目标行为状态,但确定出的背景特征的并不一致的情况下,直播背景的切换既可以根据背景特征确定出的背景特征进行切换,也可以在确定出目标对象仍旧处于目
标行为状态的情况下,不再进行背景特征的计算,沿用目标直播背景。在目标对象处于目标行为状态的情况下,根据视频帧组的目标背景特征确定出的目标直播背景进行背景切换,实现了直播背景更加动态化的实时切换。
41.作为一种可选的实施方式,在将直播背景切换为目标直播背景之后,还包括:在检测到直播数据流中的目标对象切换至非目标行为状态的情况下,将目标直播背景切换为原始直播背景,其中,原始直播背景为直播数据流中携带的直播背景。
42.在基于直播数据流确定出目标对象处于非目标行为状态的情况下,服务器不对直播背景进行调整,使用直播数据流中携带的原始直播背景,也就是原始直播数据流进行直播推流。
43.在本技术实施例中,采用在检测到直播数据流中的目标对象处于目标行为状态的情况下,利用目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征计算得到目标背景特征,从背景数据库中确定出与目标背景特征匹配的目标直播背景,从而将直播背景切换为目标直播背景的方式,通过检测直播数据流中目标对象的行为状态,在目标对象处于目标行为状态时,基于动作特征、音频特征和对象特征确定出当前匹配的目标直播背景并进行背景切换,达到了基于目标对在目标行为状态下的动作特征、直播音频特征和对象特征动态确定匹配的直播背景的目的,从而实现了基于直播动态进行直播背景切换的技术效果,进而解决了直播背景不能动态变化而导致的直播效果欠佳的技术问题。
44.作为一种可选的实施方式,如图3所示,在确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征之前,还包括:
45.s302,从直播数据流中获取当前视频帧组;
46.s304,利用视频识别算法,对当前视频帧组中目标对象的行为动作进行行为类型识别;
47.s306,在识别结果指示目标对象的行为动作的行为类型属于目标行为类型的情况下,确定直播数据流中的目标对象当前处于目标行为状态。
48.从直播数据流的待推流数据中确定当前视频帧组。视频帧组不限于是包括预设帧数的视频序列。预设帧数可以是预设帧数量或预设时长的帧数量。
49.视频识别算法不限于是行为动作分类算法,用于确定出连续视频帧中的目标对象的行为类型。例如基于视频识别算法(temporal shift module for efficient video understanding)对10s视频进行识别,确定主播是否在舞蹈状态。
50.作为一种可选的实施方式,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征包括:
51.s1,利用视频识别算法对当前视频帧组的识别结果,确定目标行为动作在目标行为类型中的目标动作类型;
52.s2,将目标动作类型的特征向量确定为动作特征。
53.视频识别算法不限于还用于识别出视频帧组在目标行为状态下的目标动作类型。例如,识别出具体的舞蹈种类:民族舞、爵士舞、拉丁舞、芭蕾舞、街舞、现代舞。
54.在确定目标动作类型的情况下,不限于利用预设编码方式,对目标动作类型进行特征向量编码,构成目标维度的动作特征向量,从而将目标维度的动作特征向量作为动作特征。
55.作为一种可选的实施方式,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征包括:
56.s1,提取当前视频帧组的背景音频特征,将背景音频特征的特征向量确定为音频特征,其中,背景音频特征包括以下至少之一:当前视频帧组的背景音频的类型特征、频率特征、响度特征;
57.s2,提取当前视频帧组的主播对象特征,将主播对象特征的特征向量确定为对象特征,其中,主播对象特征包括以下至少之一:主播对象的发型特征、衣着特征、面部表情特征。
58.背景音频特征和主播对象特征不限于是对视频帧组的内容进行特征提取。背景音频特征不限于包括视频帧组的背景音频的音频类型、基音频率、音频响度、音频失谐度、音频尖锐度等音频特征。在得到综合的背景音频特征后,利用预设编码方式,对背景音频特征进行特征向量编码,构成目标维度的音频特征向量,从而将目标维度的音频特征向量作为音频特征。
59.主播对象特征不限于包括主播对象的发型特征、衣着特征、面部表情特征等指示主播对象的特征。在得到综合的主播对象特征后,利用预设编码方式,对主播对象特征进行特征向量编码,构成目标维度的对象特征向量,从而将目标维度的对象特征向量作为音频特征。
60.目标维度用于指示提取出的动作特征向量、音频特征向量和对象特征向量均是同样数据量的向量,有利于通过向量计算得到目标背景特征。目标维度可指示的特征向量所包含的数据量,例如(1,1024)指示特征向量均是1024个数据构建的向量数据。以上示例不用于对目标维度的数据量的限定。
61.在本技术实施例中,通过视频识别确定动作特征,通过内容提取获取音频特征和对象特征,并将动作特征、音频特征和对象特征进行数字化的特征向量编码,从而便于背景特征的计算。
62.作为一种可选的实施方式,如图4所示,利用动作特征、音频特征和对象特征,计算目标背景特征包括:
63.s402,按照动作特征、音频特征和对象特征各自对应的特征加权参数,对动作特征、音频特征和对象特征进行加权计算,得到目标特征向量;
64.s404,利用目标映射函数将目标特征向量转换为目标数据格式的目标背景特征。
65.对动作特征、音频特征和对象特征按照加权参数进行加权计算,得到目标特征向量。动作特征、音频特征和对象特征的各自加权参数在此不做限定,需要说明的是,动作特征、音频特征和对象特征的加权参数的参数和为1。
66.目标数据格式不限于是背景数据库中直播背景的背景特征的数据格式,从而利用目标数据格式的目标背景特征在背景数据库中进行直播背景的查找。目标数据格式不限于与背景数据库中用于表示背景的标签相关。例如,设定背景数据库中预设的标签有100种,那目标数据格式不限于为(1,100),以将目标特征向量映射为标签数据,从而基于标签数据在背景数据库中进行背景查找。以上示例仅用于解释说明,不用于对目标数据格式的具体限定。
67.作为一种可选的实施方式,如图5所示,将直播背景切换为目标直播背景包括:
68.s502,对当前视频帧组中的每一帧原始帧依次进行以下操作,直至获取到当前视频帧组中的全部原始帧各自对应的目标帧:
69.s504,利用图像处理网络提取原始帧中包括目标对象的对象区域图像;
70.s506,利用对象区域图像和目标直播背景生成目标帧。
71.在确定出视频帧组的目标直播背景的情况下,进行直播背景的切换不限于是将视频帧组中的每一个视频帧的直播背景进行背景替换。从视频帧组包括的原始帧中提取目标对象的对象区域图像,从而利用对象区域图像和目标直播背景生成用于替换原始帧的目标帧。
72.用于提取对象区域图像的图像处理网络不限于使用轻量级modnet网络,使用modnet网络对原始帧进行人像抠图,以提取出对象区域图像。
73.直播背景的切换流程不限于是如图6所示。s602,从直播视频流中确定当前视频帧组。例如获取10s的视频帧组。s604,对当前视频帧组进行视频识别,确定目标对象是否处于目标行为状态。例如识别出与主播是否处于舞蹈状态。在确定主播处于舞蹈状态的情况下,继续执行切换流程;在确定主播未处于舞蹈状态的情况下,终止该切换流程,直接利用原始直播数据流进行直播推流。
74.s606,视频舞蹈特征,基于视频识别结果确定视频舞蹈特征,例如舞蹈类型特征。s608,直播内容属性特征提取。对视频帧组进行内容属性特征提取,得到音频特征和对象特征。s610,特征融合得到背景特征,并确定目标直播背景。在通过视频舞蹈特征、音频特征和对象特征进行特征融合得到背景特征的情况下,基于背景数据库生成的背景,进行背景查找以获取到目标直播背景。
75.s612,人像抠图。对视频帧组中的视频帧进行人像抠图,获取到主播所在的区域图像。s614,目标直播背景切换。利用区域图像和目标直播背景进行目标帧生成,利用目标帧进行直播推流,从而实现了直播背景的切换。
76.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
77.根据本发明实施例的另一个方面,还提供了一种用于实施上述直播背景的切换方法的直播背景的切换装置。如图7所示,该装置包括:
78.确定单元702,用于在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征,其中,目标行为动作为目标对象处于目标行为状态的行为动作;
79.计算单元704,用于利用动作特征、音频特征和对象特征,计算目标背景特征,其中,目标背景特征用于指示与目标对象的目标行为状态匹配的直播背景;
80.切换单元706,用于在从背景数据库中确定出与目标背景特征匹配的目标直播背景的情况下,将直播背景切换为目标直播背景。
81.可选地,上述直播背景的切换装置还包括识别单元,用于在确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征之前,从直播数据流
中获取当前视频帧组;利用视频识别算法,对当前视频帧组中目标对象的行为动作进行行为类型识别;在识别结果指示目标对象的行为动作的行为类型属于目标行为类型的情况下,确定直播数据流中的目标对象当前处于目标行为状态。
82.可选地,上述确定单元702包括:
83.第一确定模块,用于利用视频识别算法对当前视频帧组的识别结果,确定目标行为动作在目标行为类型中的目标动作类型;将目标动作类型的特征向量确定为动作特征。
84.可选地,上述确定单元702包括:
85.第二确定模块,用于提取当前视频帧组的背景音频特征,将背景音频特征的特征向量确定为音频特征,其中,背景音频特征包括以下至少之一:当前视频帧组的背景音频的类型特征、频率特征、响度特征;
86.第三确定模块,用于提取当前视频帧组的主播对象特征,将主播对象特征的特征向量确定为对象特征,其中,主播对象特征包括以下至少之一:主播对象的发型特征、衣着特征、面部表情特征。
87.可选地,上述计算单元704还用于按照动作特征、音频特征和对象特征各自对应的特征加权参数,对动作特征、音频特征和对象特征进行加权计算,得到目标特征向量;利用目标映射函数将目标特征向量转换为目标数据格式的目标背景特征。
88.可选地,上述切换单元706包括:
89.切换模块,用于对当前视频帧组中的每一帧原始帧依次进行以下操作,直至获取到当前视频帧组中的全部原始帧各自对应的目标帧:利用图像处理网络提取原始帧中包括目标对象的对象区域图像;利用对象区域图像和目标直播背景生成目标帧。
90.可选地,上述直播背景的切换装置还包括更新单元,用于在将直播背景切换为目标直播背景之后,在检测到直播数据流中的目标对象切换至非目标行为状态的情况下,将目标直播背景切换为原始直播背景,其中,原始直播背景为直播数据流中携带的直播背景。
91.在本技术实施例中,采用在检测到直播数据流中的目标对象处于目标行为状态的情况下,利用目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征计算得到目标背景特征,从背景数据库中确定出与目标背景特征匹配的目标直播背景,从而将直播背景切换为目标直播背景的方式,通过检测直播数据流中目标对象的行为状态,在目标对象处于目标行为状态时,基于动作特征、音频特征和对象特征确定出当前匹配的目标直播背景并进行背景切换,达到了基于目标对在目标行为状态下的动作特征、直播音频特征和对象特征动态确定匹配的直播背景的目的,从而实现了基于直播动态进行直播背景切换的技术效果,进而解决了直播背景不能动态变化而导致的直播效果欠佳的技术问题。
92.根据本发明实施例的又一个方面,还提供了一种用于实施上述直播背景的切换方法的电子设备,该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图8所示,该电子设备包括存储器802和处理器804,该存储器802中存储有计算机程序,该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
93.可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
94.可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
95.s1,在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征,其中,目标行为动作为目标对象处于目标行为状态的行为动作;
96.s2,利用动作特征、音频特征和对象特征,计算目标背景特征,其中,目标背景特征用于指示与目标对象的目标行为状态匹配的直播背景;
97.s3,在从背景数据库中确定出与目标背景特征匹配的目标直播背景的情况下,将直播背景切换为目标直播背景。
98.可选地,本领域普通技术人员可以理解,图8所示的结构仅为示意,电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图8其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等),或者具有与图8所示不同的配置。
99.其中,存储器802可用于存储软件程序以及模块,如本发明实施例中的直播背景的切换方法和装置对应的程序指令/模块,处理器804通过运行存储在存储器802内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的直播背景的切换方法。存储器802可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器802可进一步包括相对于处理器804远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器802具体可以但不限于用于存储动作特征、音频特征、对象特征、目标背景特征、背景数据库、目标直播背景等信息。作为一种示例,如图8所示,上述存储器802中可以但不限于包括上述直播背景的切换装置中的确定单元702、计算单元704和切换单元706。此外,还可以包括但不限于上述直播背景的切换装置中的其他模块单元,本示例中不再赘述。
100.可选地,上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置806包括一个网络适配器(network interface controller,nic),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置806为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
101.此外,上述电子设备还包括:显示器808,用于显示上述直播数据流、目标直播背景;和连接总线810,用于连接上述电子设备中的各个模块部件。
102.在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(p2p,peer to peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
103.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述直播背景的切换方面的各种可选实现方式中提供的方法。其中,
该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
104.可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
105.s1,在检测到直播数据流中的目标对象当前处于目标行为状态的情况下,确定目标对象的目标行为动作的动作特征、直播数据流的音频特征和目标对象的对象特征,其中,目标行为动作为目标对象处于目标行为状态的行为动作;
106.s2,利用动作特征、音频特征和对象特征,计算目标背景特征,其中,目标背景特征用于指示与目标对象的目标行为状态匹配的直播背景;
107.s3,在从背景数据库中确定出与目标背景特征匹配的目标直播背景的情况下,将直播背景切换为目标直播背景。
108.可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
109.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
110.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
111.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
112.在本技术所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
113.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
114.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
115.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1