视频图像处理方法、装置和终端设备与流程

本发明实施例涉及数据处理技术领域，尤其涉及一种视频图像处理方法、装置和终端设备。

背景技术：

随着互联网技术的发展，广告的展示方式越来越多元化，由传统的广告牌的方式转换为现在的互联网展示。服务商通过将广告携带于平台、网页、视频中，如在视频播放过程中插入广告，使得用户在观看视频的同时，能有效地浏览广告，达到更好的广告投放效果。

但是，现有互联网中投放的广告往往造价较高，还会带来一定的资源浪费，如在某视频开始播放前插入60s的广告视频、以及在播放过程中插入20s的广告视频，这样的方式不仅在传输过程中占有过多的网络资源，投入成本也较高，并且在广告展示期间还没有相应的广告展示数据统计，导致无法直观地反映该广告的展示效果，互动性不好。

技术实现要素：

本发明实施例提供一种视频图像处理技术方案。

根据本发明实施例的一方面，提供了一种视频图像处理方法，包括：采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象；获取对所述视频中所述至少一业务对象的触发操作累计信息；根据所述触发操作累计信息更新所述信息展示对象的信息，以使所述信息展示对象更新后的信息与所述至少一业务对象的触发操作累计信息对应。

可选地，结合本发明实施例提供的任一种方法，获取对所述视频中所述至少一业务对象的触发操作累计信息，包括：获取一时间段内对所述视频中所述至少一业务对象的点击累计次数；至少根据所述点击累计次数确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种方法，获取对所述视频中所述至少一业务对象的触发操作累计信息，包括：通过动作检测获取所述视频中主播的触发动作累计信息；至少根据所述触发动作累计信息确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种方法，获取对所述视频中所述至少一业务对象的触发操作累计信息，包括：获取所述视频的当前访问人数；至少根据所述当前访问人数确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种方法，还包括：根据所述信息展示对象的信息的历史数据，对所述视频中待展示的所述业务对象进行调整。

可选地，结合本发明实施例提供的任一种方法，所述对直播视频中待展示的所述业务对象进行调整，包括：调整在所述视频中待展示的所述业务对象的展示时长和/或展示位置。

可选地，结合本发明实施例提供的任一种方法，所述采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象，包括：分别确定信息展示对象和至少一业务对象在视频中对应的绘制位置信息；根据所述绘制位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象。

可选地，结合本发明实施例提供的任一种方法，所述确定信息展示对象和至少一业务对象在视频中对应的绘制位置信息，包括：从所述视频中确定目标对象的特征点，根据目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型，确定待绘制的业务对象在所述视频图像中的绘制位置信息；或，从所述视频中确定目标对象的类型，根据目标对象的类型，确定待绘制的业务对象的绘制位置信息。

可选地，结合本发明实施例提供的任一种方法，所述根据目标对象的类型，确定待绘制的业务对象的绘制位置信息，包括：当所述目标对象的类型为人脸类型时，确定待绘制的业务对象的绘制位置信息包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，当所述目标对象的类型为背景类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中的背景区域；和/或，当所述目标对象的类型为手部类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，当所述目标对象的类型为动作类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中预先设定的区域。

可选地，结合本发明实施例提供的任一种方法，所述信息展示对象的绘制位置包括视频图像中人物之外的任一区域。

可选地，结合本发明实施例提供的任一种方法，所述业务对象包括：包含有语义信息的特效，所述视频直播包括直播平台中的视频直播。

可选地，结合本发明实施例提供的任一种方法，所述业务对象包括：包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

根据本发明实施例的另一方面，提供了一种视频图像处理装置，包括：绘制模块，用于采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象；获取模块，用于获取对所述视频中所述至少一业务对象的触发操作累计信息；更新模块，用于根据所述触发操作累计信息更新所述信息展示对象的信息，以使所述信息展示对象更新后的信息与所述至少一业务对象的触发操作累计信息对应。

可选地，结合本发明实施例提供的任一种装置，所述获取模块包括：第一获取子模块，用于获取一时间段内对所述视频中所述业务对象的点击累计次数；至少根据所述点击累计次数确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种装置，所述获取模块还包括：第二获取子模块，用于通过动作检测获取所述视频中主播的触发动作累计信息；至少根据所述触发动作累计信息确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种装置，所述获取模块还包括：第三获取子模块，用于获取所述视频的当前访问人数；至少根据所述当前访问人数确定对所述视频中所述至少一业务对象的触发操作累计信息。

可选地，结合本发明实施例提供的任一种装置，所述装置还包括：调整模块，用于根据所述信息展示对象的信息的历史数据，对所述视频中待展示的所述至少一业务对象进行调整。

可选地，结合本发明实施例提供的任一种装置，所述调整模块，用于调整在视频中待展示的所述业务对象的展示时长和/或展示位置。

可选地，结合本发明实施例提供的任一种装置，所述绘制模块，用于确定至少一业务对象和信息展示对象在视频中对应的绘制位置信息；根据所述绘制位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象。

可选地，结合本发明实施例提供的任一种装置，所述绘制模块，用于从所述视频中确定目标对象的特征点，根据目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型，确定待绘制的业务对象在所述视频图像中的绘制位置信息；或，从所述视频中确定目标对象的类型，根据目标对象的类型，确定待绘制的业务对象的绘制位置信息。

可选地，结合本发明实施例提供的任一种装置，所述绘制模块，用于当所述目标对象的类型为人脸类型时，确定待绘制的业务对象的绘制位置信息包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，当所述目标对象的类型为背景类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中的背景区域；和/或，当所述目标对象的类型为手部类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，当所述目标对象的类型为动作类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中预先设定的区域。

可选地，结合本发明实施例提供的任一种装置，所述信息展示对象的绘制位置包括视频图像中人物之外的任一区域。

可选地，结合本发明实施例提供的任一种装置，所述业务对象包括：包含有语义信息的特效，所述视频直播包括直播平台中的视频直播。

可选地，结合本发明实施例提供的任一种装置，所述业务对象包括：包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象的可执行指令；用于获取对所述视频中所述至少一业务对象的触发操作累计信息的可执行指令；用于根据所述触发操作累计信息更新所述信息展示对象的信息，以使所述信息展示对象更新后的信息与所述至少一业务对象的触发操作累计信息对应的可执行指令。

根据本发明实施例的又一方面，还提供了一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述任一项所述视频图像处理方法。

本发明实施例采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象，获取对所述视频中所述业务对象的触发操作累计信息，根据所述触发操作累计信息更新所述信息展示对象的信息，以使所述信息展示对象更新后的信息与所述业务对象的触发操作累计信息对应。为清楚的反映当前直播视频中业务对象的展示情况，本发明实施例通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况，信息展示对象的信息可以指引主播或广告商对该业务对象的展示进行相应调整。

附图说明

图1是本发明实施例一提供的一种视频图像处理方法的步骤流程图；

图2是本发明实施例二提供的一种视频图像处理方法的步骤流程图；

图3是本发明实施例三提供的一种视频图像处理装置的结构框图；

图4是本发明实施例四提供的一种视频图像处理装置的结构框图；

图5是本发明实施例五提供的一种视频图像处理设备的结构框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

参照图1，示出了本发明实施例一提供的一种视频图像处理方法的步骤流程图。

本发明实施例以直播平台中的后台服务器对直播时的视频图像处理为例对本发明实施例提供的视频图像处理方法进行介绍说明，但不限于此，本发明实施例提供的视频图像处理方法，还可应用于网站中视频图像处理或视频播放中展示视频图像处理等，对此本发明不作具体限定。

本实施例的视频图像处理方法具体可以包括如下步骤：

步骤102、采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象。

当主播端通过直播应用或直播平台进直播时(如斗鱼、花椒、yy等直播应用)，会伴随业务对象的展示以及有相应的信息展示对象进行显示，其中，业务对象包括但不限于：包含语义信息的特效，如包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效，如使用贴纸形式展示的广告(即广告贴纸)；或者，用于展示广告的特效，如3d广告特效。但不限于此，其它形式的业务对象也同样适用本发明实施例提供的视频图像处理方案，如app或其它应用的文字说明或介绍，或者一定形式的与视频观众交互的对象(如电子宠物)等。其中，信息展示对象用于指示对直播视频中的业务对象进行的触发操作的信息，如反映当前业务对象的观看信息、点击信息等，可以采用的形式包括但不限于展示币的形式。

在直播视频的画面中业务对象和信息展示对象均以特效的形式进行展示，在进行绘制前确定业务对象和信息展示对象对应的特效序列帧，根据视频数据帧和特效序列帧对应的时间关系，在直播视频中的相应位置采用计算机绘图方式在视频中分别绘制至少一业务对象和信息展示对象。其中，业务对象和信息展示对象的位置可以预先设定，还可以通过神经网络确定。

步骤104、获取对视频中至少一业务对象的触发操作累计信息。

本发明实施例的平台可以包括但不限于直播平台，主播在其直播间进行视频直播，当业务对象开始在直播节目展示时，对直播视频中业务对象的触发操作累计信息，其中，触发操作为粉丝或主播对业务对象触发的操作，如通过访问当前视频直播间即为访问当前展示的业务对象，又如粉丝点击业务对象的操作或主播通过行为动作触发业务对象的操作。上述三种数据的获取可以包括多种方式，如通过系统接口获取当前直播平台的直播间的访问人次(直到该业务对象展示完后)，以及在展示时间段内，通过sdk(softwaredevelopmentkit，软件开发工具包)获取业务对象的点击累计次数。对于如何获取直播视频的访问人次、主播的触发动作次数或业务对象点击累计次数，本发明不作具体限定。

在本发明实施例的一种可选实施例中，可以统计当前业务对象或从直播开始时的所有业务对象的触发操作累计信息；还可以统计某一类业务对象的在直播过程中的触发操作累计信息，如在直播期间所有耐克的广告。

步骤106、根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与至少一业务对象的触发操作累计信息对应。

将获取到业务对象的触发操作累计信息进行分析，基于设定的转换规则将触发操作累计信息转换为对应的反映业务对象被操作的信息展示对象的信息。

需要说明的是，根据步骤104的统计标准，确定对应的信息展示对象的信息，如，在步骤104中统计的是当前业务对象的触发操作累计信息，则信息展示对象显示的是反映当前业务对象的信息；若在步骤104中统计的是从直播开始时主播启用的所有业务对象的触发操作累计信息，则信息展示对象显示的是反映所有业务对象的信息；若在步骤104中统计的是某一类业务对象的在直播过程中的触发操作累计信息，则信息展示对象显示的是反映该类业务对象的信息。

将信息展示对象的信息更新为确定后的信息展示对象的信息，在信息展示对象的信息更新后，更新后的信息和业务对象的当前触发操作累计信息相对应。即更新后的信息为业务对象的当前触发操作累计信息实质相同，也即当前触发操作累计信息根据设定的转换规则可以转换为跟新后的信息展示对象的信息。

在本发明实施例中信息展示对象可以包括但不限于：被统计的业务对象的收益，如展示币(或广告币等)，该展示币(或广告币等)的信息可以反映业务对象在展示期间的收益。

本发明实施例通过获取直播视频中的信息展示对象的信息，采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象，获取对视频中业务对象的触发操作累计信息，根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。在视频中绘制业务对象可以有效地节约网络资源，为清楚的反映当前直播视频中业务对象的展示情况，本发明实施例通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况，信息展示对象的信息可以指引主播或广告商对该业务对象的展示进行相应调整。

实施例二

参照图2，示出了本发明实施例二提供的一种视频图像处理方法的步骤流程图。

本发明实施例以直播平台中的后台服务器对直播时的视频图像处理为例对本发明实施例提供的视频图像处理方法进行介绍说明。

本发明实施例提供的视频图像处理，具体可以包括如下步骤：

步骤202、确定信息展示对象和至少一业务对象在视频中对应的绘制位置信息。

在本发明实施例中，当主播通过直播平台或直播应用在其直播间开启直播视频时，按照设定规则在直播视频对应的视频图像中确定至少一业务对象和信息展示对象的绘制位置信息。

需要说明的是，在本发明实施例中通过主播的点击操作，将至少一个业务对象在直播视频中进行展示，本方案可以针对某一种特定业务对象进行统计，如只统计直播期间耐克的广告的触发操作累计信息，还可以统计主播在直播视频期间启用的所有业务对象，可以根据实际需要进行设定，本发明实施例不作具体限定。

为使描述一致，本发明以主播在直播视频期间启用的所有业务对象为例进行介绍，对于某一种特定业务对象的处理过程可参照本实施例。

在本发明实施例中，业务对象和信息展示对象的绘制位置信息可以至少由以下两种方式确定：方式一，从视频中确定目标对象的特征点根据目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型，确定待绘制的业务对象在视频图像中的绘制位置信息；方式二，从视频中确定目标对象的类型，根据目标对象的特征点，确定目标对象的类型；根据目标对象的类型，确定待绘制的业务对象的绘制位置信息；根据绘制位置信息，确定待绘制的业务对象在视频图像中的绘制位置。

以下，分别对上述两种方式进行详细说明。

方式一

在使用方式一确定待绘制的业务对象在视频图像中的绘制位置时，需要预先训练一个卷积网络模型，训练完成的该卷积网络模型具有确定业务对象在视频图像中的绘制位置的功能；或者，也可以直接使用第三方已训练完成的、具有确定业务对象在视频图像中的绘制位置的功能的卷积网络模型。

需要说明的是，本实施例中，着重对业务对象的训练进行说明对目标对象部分的训练可以参照相关技术实现，本发明实施例对此仅做简要说明。

当需要预先训练卷积网络模型时，一种可行的训练方式包括以下过程：

(1)获取待训练的业务对象样本图像的特征向量。

其中，特征向量中包含有业务对象样本图像中的目标对象的信息，以及，业务对象的位置信息和/或置信度信息。其中，目标对象的信息指示了目标对象的图像信息；业务对象的位置信息指示了业务对象的位置，可以是业务对象中心点的位置信息，也可以是业务对象所在区域的位置信息；业务对象的置信度信息指示了业务对象展示在当前位置时，能够达到的效果(如被关注或被点击或被观看)的概率，该概率可以根据对历史数据的统计分析结果设定，也可以根据仿真实验的结果设定，还可以根据人工经验进行设定。在实际应用中，在对目标对象进行训练的同时，可以根据实际需要，仅对业务对象的位置信息进行训练，也可以仅对业务对象的置信度信息进行训练，还可以对二者均进行训练。对二者均进行训练，能够使得训练后的卷积网络模型更为有效和精准地确定业务对象的位置信息和置信度信息，以便为业务对象的展示提供依据。

卷积网络模型通过大量的样本图像进行训练，本发明实施例中的业务对象样本图像中的业务对象可以被预先标注位置信息，或者置信度信息，或者二种信息都有。当然，在实际应用中，这些信息也可以通过其它途径获取。而通过预先在对业务对象进行相应信息的标注，可以有效节约数据处理的数据和交互次数，提高数据处理效率。

将具有目标对象信息，以及，业务对象的位置信息和/或置信度信息的业务对象样本图像作为训练样本，对其进行特征向量提取，获得包含有目标对象信息，以及业务对象的位置信息和/或置信度信息的特征向量。

其中，对特征向量的提取可以采用相关技术中的适当方式实现，本发明实施例在此不再赘述。

(2)对所述特征向量进行卷积处理，获取特征向量卷积结果。

获取的特征向量卷积结果中包含有目标对象的信息，以及，业务对象的位置信息和/或置信度信息。

对特征向量的卷积处理次数可以根据实际需要进行设定，也即，卷积网络模型中，卷积层的层数根据实际需要进行设置，最终的特征向量卷积结果满足误差在一定范围内(如为图像长或宽的1/20～1/5，优选地，可以为图像长或宽的1/10)的标准即可。

卷积结果是对特征向量进行了特征提取后的结果，该结果能够有效表征视频图像中各相关对象的特征和分类。

本发明实施例中，当特征向量中既包含业务对象的位置信息，又包含业务对象的置信度信息时，也即，对业务对象的位置信息和置信度信息均进行了训练的情况下，该特征向量卷积结果在后续分别进行收敛条件判断时共享，无须进行重复处理和计算，减少了由数据处理引起的资源损耗，提高了数据处理速度和效率。

(3)分别判断特征向量卷积结果中对应的目标对象的信息，以及，业务对象的位置信息和/或置信度信息是否满足收敛条件。

其中，收敛条件由本领域技术人员根据实际需求适当设定。当信息满足收敛条件时，可以认为卷积网络模型中的参数设置适当；当信息不能满足收敛条件时，可以认为卷积网络模型中的参数设置不适当，需要对其进行调整，该调整是一个迭代的过程，直至使用调整后的参数对特征向量进行卷积处理的结果满足收敛条件。

一种可行方式中，收敛条件可以根据预设的标准位置和/或预设的标准置信度进行设定，如，将特征向量卷积结果中业务对象的位置信息指示的位置与该预设的标准位置之间的距离是否满足一定阈值作为业务对象的位置信息的收敛条件；将特征向量卷积结果中业务对象的置信度信息指示的置信度与该预设的标准置信度之间的差别是否满足一定阈值作为业务对象的置信度信息的收敛条件等。

其中，优选地，预设的标准位置可以是对待训练的业务对象样本图像中的业务对象的位置进行平均处理后获得的平均位置；预设的标准置信度可以是对待训练的业务对象样本图像中的业务对象的置信度进行平均处理后获取的平均置信度。依据待训练的业务对象样本图像中的业务对象的位置和/或置信度设定标准位置和/或标准置信度，因样本图像为待训练样本且数据量庞大，因而设定的标准位置和标准置信度也更为客观和精确。

在具体进行特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足收敛条件的判断时，一种可行的方式包括：

获取特征向量卷积结果中对应的业务对象的位置信息；使用第一损失函数，计算对应的业务对象的位置信息指示的位置与预设的标准位置之间的第一距离；根据第一距离判断对应的业务对象的位置信息是否满足收敛条件；

和/或，

获取特征向量卷积结果中对应的业务对象的置信度信息；使用第二损失函数，计算对应的业务对象的置信度信息指示的置信度与预设的标准置信度之间的第二距离；根据第二距离判断对应的业务对象的置信度信息是否满足收敛条件。

在一种可选的实施方式中，第一损失函数可以为计算对应的业务对象的位置信息指示的位置与预设的标准位置之间的欧式距离的函数；和/或，第二损失函数可以为计算对应的业务对象的置信度信息指示的置信度与预设的标准置信度之间的欧式距离的函数。采用欧式距离的方式，实现简单且能够有效指示收敛条件是否被满足。但不限于此，其它方式，如马式距离，巴式距离等也同样适用。

优选地，如前所述，预设的标准位置为对待训练的业务对象样本图像中的业务对象的位置进行平均处理后获得的平均位置；和/或，预设的标准置信度为对待训练的业务对象样本图像中的业务对象的置信度进行平均处理后获取的平均置信度。

对于特征向量卷积结果中的目标对象的信息，对目标对象的信息是否收敛的判断可以参照相关使用卷积网络模型的收敛条件进行判断，在此不再赘述。若目标对象的信息满足收敛条件，则可对目标对象进行分类，明确目标对象的所属类别，以为后续业务对象的绘制位置确定提供参考和依据。

(4)若满足收敛条件，则完成对卷积网络模型的训练；若不满足收敛条件，则根据特征向量卷积结果，调整卷积网络模型的参数并根据调整后的卷积网络模型的参数对卷积网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足收敛条件。

通过对卷积网络模型进行上述训练，卷积网络模型可以对基于目标对象进行展示的业务对象的绘制位置进行特征提取和分类，从而具有确定业务对象在视频图像中的绘制位置的功能。其中，当绘制位置包括多个时，通过上述业务对象置信度的训练，卷积网络模型还可以确定出多个绘制位置中的展示效果的优劣顺序，从而确定最优的绘制位置。在后续应用中，当需要展示业务对象时，根据视频中的当前图像即可确定出有效的绘制位置。

此外，在对卷积网络模型进行上述训练之前，还可以预先对业务对象样本图像进行预处理，包括：获取多个业务对象样本图像，其中，每个业务对象样本图像中包含有业务对象的标注信息；根据标注信息确定业务对象的位置，判断确定的业务对象的位置与预设位置的距离是否小于或等于设定阈值；将小于或等于设定阈值的业务对象对应的业务对象样本图像，确定为待训练的业务对象样本图像。其中，预设位置和设定阈值均可以由本领域技术人员采用任意适当方式进行适当设置，如根据数据统计分析结果或者相关距离计算公式或者人工经验等，本发明实施例对此不作限制。

在一种可行方式中，根据标注信息确定的业务对象的位置可以是业务对象的中心位置。在根据标注信息确定业务对象的位置，判断确定的业务对象的位置与预设位置的距离是否小于或等于设定阈值时，可以根据标注信息确定业务对象的中心位置；进而判断该中心位置与预设位置的方差是否小于或等于设定阈值。

通过预先对业务对象样本图像进行预处理，可以过滤掉不符合条件的样本图像，以保证训练结果的准确性。

通过上述过程实现了卷积网络模型的训练，训练完成的该卷积网络模型可以用来确定业务对象在视频图像中的绘制位置。例如，在视频直播过程中，若主播点击业务对象指示进行业务对象展示时，在卷积网络模型获得了直播的视频图像中主播的面部特征点后，可以指示出展示业务对象的最优位置如主播的额头位置，进而移动终端控制直播应用在该位置展示业务对象；或者，在视频直播过程中，若主播点击业务对象指示进行业务对象展示时，卷积网络模型可以直接根据直播的视频图像确定业务对象的绘制位置。

方式二

在方式二中，首先需要根据目标对象的特征点，确定目标对象的类型；再根据目标对象的类型，确定待绘制的业务对象的绘制位置信息；然后根据绘制位置信息，确定待绘制的业务对象在视频图像中的绘制位置。

其中，目标对象的类型包括但不限于：人脸类型、背景类型、手部类型和动作类型。其中，人脸类型用于指示人脸在视频图像中占据主要部分，背景类型用于指示背景在视频图像中占据较大部分，手部类型用于指示手部在视频图像中占据主要部分，而动作类型则用于指示人物进行了某种动作。

其中，在获取了目标对象的特征点之后，可以采用已有的相关检测、分类或学习方法确定目标对象的类型。在确定了目标对象的类型之后，可以按照设定的规则确定待绘制的业务对象的绘制位置信息，包括：

当目标对象的类型为人脸类型时，确定待绘制的业务对象的绘制位置信息包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，

当目标对象的类型为背景类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中的背景区域；和/或，

当目标对象的类型为手部类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，

当目标对象的类型为动作类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中预先设定的区域。

其中，视频图像中预先设定的区域可以包括：视频图像中人物之外的任一区域，对于预先设定的区域可以由本领域技术人员根据实际情况适当设置，如，以动作生成部位为中心的设定范围内的区域，或者，动作生成部位以外的设定范围内的区域，或者背景区域等等，本发明实施例对此不作限制。

在一种可选的实施方式中，所述动作类型对应的动作包括以下至少之一：眨眼、张嘴、点头、摇头、亲吻、微笑、挥手、剪刀手、握拳、托手、竖大拇指、摆手枪姿势、摆v字手、摆ok手。

在确定了绘制位置信息后，可以进一步确定待绘制的业务对象在视频图像中的绘制位置。例如，以绘制位置信息的中心点为业务对象的绘制位置中心点进行业务对象的绘制；再例如，将绘制位置信息中的某一坐标位置确定为绘制位置的中心点等，本发明实施例对此不作限制。在本发明实施例中视频图像中预先设定的区域可以包括：视频图像中人物的区域或视频图像中人物之外的任一区域，如将信息展示对象设置于直播视频界面的左上角、左下角、右上角或右下角等位置，还可以将信息展示对象设置为可移动的，主播可以根据自己直播的需要将信息展示对象移动到合适的位置。因此，在本发明实施例中，并不对信息展示对象的位置信息作具体限定。

步骤204、根据绘制位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象。

在本发明实施例中在进行绘制前，先确定业务对象和信息展示对象对应的特效序列帧，根据视频数据帧和特效序列帧对应的时间关系，在直播视频的画面中基于确定的位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象。具体可采用计算机绘图方式绘制信息展示对象，如可以通过适当的图形图像绘制或渲染等方式实现，包括但不限于：基于opengl图形绘制引擎进行绘制等。opengl定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，其与硬件无关，可以方便地进行2d或3d图形图像的绘制。通过opengl，不仅可以实现2d效果如2d贴纸的绘制，还可以实现3d特效的绘制及粒子特效的绘制等等。

步骤206、获取一时间段内对视频中业务对象的点击累计次数；根据点击累计次数确定对视频中至少一业务对象的触发操作累计信息。

本发明实施例的平台可以包括但不限于直播平台，主播在其直播间进行视频直播，当至少一业务对象开始在直播节目展示后，在展示时间段内通过sdk获取业务对象点击累计次数。

在本发明实施例中，业务对象有对应的链接信息，通过粉丝用户对业务对象的点击操作，根据链接信息跳转对应的界面。其中，链接信息对应业务对象淘宝店铺、官方网站等的网址。

在本发明实施例的一种可选方案中，sdk获取通过平台访问链接信息对应的地址的次数，将获取的次数确定为业务对象点击累计次数。

其中，业务对象包括：包含有语义信息的特效，视频直播包括直播平台中的视频直播。具体的业务对象包括：包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。如使用贴纸形式展示的广告(即广告贴纸)；或者，用于展示广告的特效，如3d广告特效。但不限于此，其它形式的业务对象也同样适用本发明实施例提供的业务统计方案，如app或其它应用的文字说明或介绍，或者一定形式的与视频观众交互的对象(如电子宠物)等。在展示时间段内，将获取到的业务对象的点击累计次数确定为业务对象的触发操作累计信息。

在本发明实施例中的一种可选方案中，业务对象的触发操作累计信息不仅可以包括业务对象的点击累计次数，还可以包括视频的当前访问人数或主播的触发动作累计信息。具体可参照步骤208和步骤210。

其中，在本发明实施例中，步骤208和步骤210均可作为可选步骤。

步骤208、获取视频的当前访问人数；根据当前访问人数确定对视频中至少一业务对象的触发操作累计信息。

本发明实施例的平台可以包括但不限于直播平台，主播在其直播间进行视频直播，当至少一业务对象开始在直播节目展示时，通过系统接口获取直播平台的直播间视频的当前访问人数(直到该业务对象展示完后)。

在展示时间段内，将获取到的直播间视频的当前访问人数确定为业务对象的触发操作累计信息。

步骤210、通过动作检测获取视频中主播的触发动作累计信息；根据触发动作累计信息确定对视频中至少一业务对象的触发操作累计信息。

在本发明实施例中还可以将主播的触发动作和展示的至少一业务对象进行联系，通过主播的触发动作增加业务对象的展示效果，即将主播的触发动作也作为确定业务对象展示效果的一部分。

在展示时间段内，实时监测主播的触发动作，统计主播的触发动作累计信息，如业务对象为美团外卖的广告，在进行广告展示时，主播的触发动作会触发一定的奖励，又如在进行广告展示的同时，随机发放优惠券，在本发明中主播的触发动作累计越多，累计的发放的优惠券就越多；譬如主播蹦蹦跳跳的动作。

在展示时间段内，将获取到的主播的触发动作累计信息确定为业务对象的触发操作累计信息。

需要说明的是，在本发明实施例中的步骤206、208和210均为可选步骤，步骤206、208和210可以进行任意组合，可根据实际方案需求任意选择步骤206、208和210中的一个、两个或三个步骤执行本方案。

步骤212、根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。

服务器根据预先设定的转换规则，将触发操作累计信息转换为展示对象的信息，其中，触发操作累计信息至少包括以下之一：业务对象的点击累计次数、主播的触发动作累计信息或视频的当前访问人数。

根据设定规则将触发操作累计信息转换为对应的信息展示对象的信息。其中，设定的转换规则可以由直播平台运营商和广告协定，还可以由直播平台运行商自己设定，如在业务对象在展示时间内，根据用户id确定期间进入该直播间的人次(访问人次)，将访问人次确定为业务对象被观看的人次，当新增一人次进入该直播间时，业务对象收益加1；再确定业务对象的当前被点击次数，当业务对象被点击一次时，业务对象收益加1，将访问人次和当前被点击次数进行累加，依此类推，确定反映业务对象收益的当前信息。在本发明实施例的一种可选方案中，实时或每隔设定时间段(如2s)，分别获取当前访问直播视频的访问人数、展示的业务对象的点击累计次数和主播的触发动作累计信息，并根据设定规则将其转换为对应的反映业务对象当前展示效果的信息，将当前展示效果的信息确定为待更新的信息展示对象的信息。

在本发明实施例中，信息展示对象可以包括但不限于业务对象的收益信息，如以展示币的形式表示业务对象收益的当前信息，展示币类似于直播应用中的虚拟货币，但其实质不是具有消费功能的货币，只是反映业务对象(广告)的收益，所谓的收益并不是广告的计费，而是在展示期间业务对象的展示效果。

在本发明实施例中，每个业务对象的展示次数至少为一次，并且每个业务对象展示完后，会相应保存每个业务对象的id信息和对应的展示信息(信息展示对象的信息)，上述信息作为历史数据用于对该业务对象下次展示的调整依据。

步骤214、根据信息展示对象的信息的历史数据，对直播视频中待展示的业务对象进行调整。

主播或广告商可以通过调用业务对象的历史展示数据，获取展示对象的信息的历史数据，并对将要在直播视频中待展示的业务对象进行调整，如通过触发修改指令，对业务对象进行调整；具体调整可以包括：调整在直播视频中待展示的业务对象的展示时长、调整业务对象的展示位置、调整在视频直播中待展示的业务对象的展示时间段、或调整在视频直播中待展示的业务对象的类型等。

如，以视频直播为例，在主播端的界面中设置一个信息展示对象，具体可以以展示币的形式显示，当广告a开始展示后，实时获取访问当前广告的访问人次和当前被点击次数，并将其转换为对应的展示币，每隔20秒更新一次展示币的数量，如在广告a展示结束后，对应的展示币金额为1000，而当前直播间的访问人次为900，即只有大约100人点击了广告a，对于点击量少的广告可以增加广告的展示时间，如在直播视频中增加广告的展示次数，当然，也可以决定立即更换广告。根据信息展示对象显示的信息，主播或广告商可以确定相应业务对象的调整策略，并根据调整策略调整相应的业务对象的投放。

本发明实施例按照设定规则分别确定业务对象和信息展示对象在视频中对应的位置信息，根据位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象；获取一时间段内对视频中业务对象的点击累计次数；至少根据点击累计次数确定对视频中业务对象的触发操作累计信息，还可以通过动作检测获取视频中主播的触发动作累计信息；至少根据触发动作累计信息确定对视频中业务对象的触发操作累计信息，还可以获取视频的当前访问人数；至少根据当前访问人数确定对视频中业务对象的触发操作累计信息，根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。本发明实施例的业务对象以特效的形式附加到直播视频画面中，减少了广告成本的投入，通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况。还可以根据信息展示对象的信息的历史数据，对直播视频中待展示的业务对象进行调整，确定对业务对象的调整策略，可以有效的利用视频直播展示业务对象。

本领域技术人员可以理解，在本发明实施例具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例具体实施方式的实施过程构成任何限定。

实施例三

参照图3，示出了本发明实施例三提供的一种视频图像处理装置的结构框图；具体可以包括如下模块：

绘制模块302，用于采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象。

获取模块304，用于获取对视频中至少一业务对象的触发操作累计信息。

更新模块306，用于根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与至少一业务对象的触发操作累计信息对应。

本发明实施例通过获取直播视频中的信息展示对象的信息，采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象，获取对视频中业务对象的触发操作累计信息，根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。在视频中绘制业务对象可以有效地节约网络资源，为清楚的反映当前直播视频中业务对象的展示情况，本发明实施例通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况，信息展示对象的信息可以指引主播或广告商对该业务对象的展示进行相应调整。

实施例四

参照图4，示出了本发明实施例四提供的一种视频图像处理装置的结构框图，具体可以包括如下模块：

绘制模块302，用于确定至少一业务对象和信息展示对象在视频中对应的位置信息；根据位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象。

作为改进，绘制模块，用于从所述视频中确定目标对象的特征点，根据目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型，确定待绘制的业务对象在视频图像中的绘制位置信息；/或，从所述视频中确定目标对象的类型，根据目标对象的类型，确定待绘制的业务对象的绘制位置信息。

其中，当目标对象的类型为人脸类型时，确定待绘制的业务对象的绘制位置信息包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，当目标对象的类型为背景类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中的背景区域；和/或，当目标对象的类型为手部类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，当目标对象的类型为动作类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中预先设定的区域。信息展示对象的绘制位置包括视频图像中人物之外的任一区域。

获取模块304包括：第一获取子模块3042，用于获取一时间段内对视频中至少一业务对象的点击累计次数；至少根据点击累计次数确定对视频中至少一业务对象的触发操作累计信息。第二获取子模块3044，用于通过动作检测获取视频中主播的触发动作累计信息；至少根据触发动作累计信息确定对视频中至少一业务对象的触发操作累计信息。第三获取子模块3046，用于获取视频的当前访问人数；至少根据当前访问人数确定对视频中至少一业务对象的触发操作累计信息。

更新模块306，用于根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与至少一业务对象的触发操作累计信息对应。

调整模块308，用于根据信息展示对象的信息的历史数据，对视频中待展示的业务对象进行调整。

作为改进，调整模块308，用于调整在视频中待展示的业务对象的展示时长和/或展示位置。

其中，业务对象包括：包含有语义信息的特效，视频直播包括直播平台中的视频直播。

其中，业务对象包括：包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

本发明实施例按照设定规则分别确定业务对象和信息展示对象在视频中对应的位置信息，根据位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象；获取一时间段内对视频中业务对象的点击累计次数；至少根据点击累计次数确定对视频中业务对象的触发操作累计信息，还可以通过动作检测获取视频中主播的触发动作累计信息；至少根据触发动作累计信息确定对视频中业务对象的触发操作累计信息，还可以获取视频的当前访问人数；至少根据当前访问人数确定对视频中业务对象的触发操作累计信息，根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。本发明实施例的业务对象以特效的形式附加到直播视频画面中，减少了广告成本的投入，通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况。还可以根据信息展示对象的信息的历史数据，对直播视频中待展示的业务对象进行调整，确定对业务对象的调整策略，可以有效的利用视频直播展示业务对象。

实施例五

参照图5，示出了根据本发明实施例五的一种终端设备的结构示意图，本发明具体实施例并不对终端设备的具体实现做限定。

如图5所示，该终端设备500可以包括：

处理器(processor)502、通信接口(communicationsinterface)504、存储器(memory)506、以及通信总线508。其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于服务器和客户端之间的通信。

处理器502，用于执行程序510，具体可以执行上述方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，程序代码包括计算机操作指令。

处理器502可能是一个中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。程序510具体可以用于使得处理器502执行以下操作：采用计算机绘图方式在视频中分别绘制信息展示对象和至少一业务对象；获取对视频中业务对象的触发操作累计信息；根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。

在一种可选的实施方式中，程序510还用于使得处理器502获取一时间段内对视频中至少一业务对象的点击累计次数；至少根据点击累计次数确定对视频中业务对象的触发操作累计信息。

在一种可选的实施方式中，程序510还用于使得处理器502通过动作检测获取视频中主播的触发动作累计信息；至少根据触发动作累计信息确定对视频中至少一业务对象的触发操作累计信息。

在一种可选的实施方式中，程序510还用于使得处理器502获取视频的当前访问人数；至少根据当前访问人数确定对视频中至少一业务对象的触发操作累计信息。

在一种可选的实施方式中，程序510还用于使得处理器502根据信息展示对象的信息的历史数据，对视频中待展示的至少一业务对象进行调整。

在一种可选的实施方式中，程序510还用于使得处理器502调整在视频中待展示的业务对象的展示时长和/或展示位置。

在一种可选的实施方式中，程序510还用于使得处理器502从所述视频中确定目标对象的特征点，根据目标对象的特征点，使用预先训练的、用于确定业务对象在视频图像中的绘制位置的卷积网络模型，确定待绘制的业务对象在视频图像中的绘制位置信息；或，从所述视频中确定目标对象的类型，根据目标对象的类型，确定待绘制的业务对象的绘制位置信息。

在一种可选的实施方式中，程序510还用于使得处理器502当目标对象的类型为人脸类型时，确定待绘制的业务对象的绘制位置信息包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域；和/或，当目标对象的类型为背景类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中的背景区域；和/或，当目标对象的类型为手部类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中以手部所在的区域为中心的、设定范围内的区域；和/或，当目标对象的类型为动作类型时，确定待绘制的业务对象的绘制位置信息包括：视频图像中预先设定的区域。

在一种可选的实施方式中，程序510还用于使得处理器502配置信息展示对象的绘制位置包括视频图像中人物之外的任一区域。

在一种可选的实施方式中，程序510还用于使得处理器502配置业务对象包括：包含有语义信息的特效，视频直播包括直播平台中的视频直播。

在一种可选的实施方式中，程序510还用于使得处理器502配置业务对象包括：包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

本发明实施例按照设定规则分别确定业务对象和信息展示对象在视频中对应的位置信息，根据位置信息采用计算机绘图方式在视频中分别绘制业务对象和信息展示对象；获取一时间段内对视频中业务对象的点击累计次数；至少根据点击累计次数确定对视频中业务对象的触发操作累计信息，还可以通过动作检测获取视频中主播的触发动作累计信息；至少根据触发动作累计信息确定对视频中业务对象的触发操作累计信息，还可以获取视频的当前访问人数；至少根据当前访问人数确定对视频中业务对象的触发操作累计信息，根据触发操作累计信息更新信息展示对象的信息，以使信息展示对象更新后的信息与业务对象的触发操作累计信息对应。本发明实施例的业务对象以特效的形式附加到直播视频画面中，减少了广告成本的投入，通过设置信息展示对象可以清楚的反映出业务对象在直播过程中的展示情况，对业务对象的触发操作进行累计统计并得到相应的累计信息，再根据累计信息确定信息展示对象的信息。基于信息展示对象的信息可以有效地反映当前业务对象的展示情况。还可以根据信息展示对象的信息的历史数据，对直播视频中待展示的业务对象进行调整，确定对业务对象的调整策略，可以有效的利用视频直播展示业务对象。需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。