一种特效礼物动态展示方法及装置与流程

本发明涉及直播领域，尤其涉及一种特效礼物动态展示方法及装置。

背景技术：

随着网络通讯的发展，越来越多的用户选择通过网络平台来交友和娱乐，这些网络平台包括一对一聊天交友平台、主播聊天室平台、论坛交友平台等，其中，一对一聊天交友平台和主播聊天室平台由于可实时视频交流，更受用户青睐。

为了增加平台用户的使用黏性，各直播视频平台往往会提供丰富的可以赠送的礼物，从而在直播视频时增加用户之间互动，但是，现有的赠送礼物均是在公屏上显示赠送礼物然后消失，与直播视频的画面无关，导致直播视频过程中赠送礼物的呈现效果单一、呈现时间短。

技术实现要素：

鉴于上述问题，本发明实施例提供了一种特效礼物动态展示方法及装置，使目标特效礼物追踪直播视频中的面部特征区进行动态、持续呈现，实现特效礼物的显示效果更生动。

第一方面，本发明实施例提供了一种特效礼物动态展示方法，应用于第一直播客户端，所述特效礼物动态展示方法包括：

接收来自直播服务器的特效礼物标识时，从所述第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取所述特效礼物标识所标示的目标特效礼物；

从所述第一视频图片中识别出第一目标面部特征区；

在所述第一直播客户端处于当前所在直播间的直播视频过程，在所述第一目标面部特征区上添加所述目标特效礼物。

优选的，所述在所述接收来自直播服务器的特效礼物标识之前，所述方法还包括：

检测所述第一直播客户端上的观看用户针对所述目标特效礼物执行的赠送操作；

如果检测到所述赠送操作，发送所述特效礼物标识和所述第一直播客户端当前所在直播间的直播间标识给所述直播服务器，使得所述直播服务器根据所述直播间标识，向所述第一直播客户端当前所在直播间发送所述特效礼物标识。

优选的，在所述发送所述特效礼物标识和所述第一直播客户端当前所在直播间的直播间标识给所述直播服务器之前，所述方法还包括：

检测所述观看用户针对所述目标特效礼物的选择操作，所述选择操作用于从多个特效礼物中确定出所述目标特效礼物；

如果检测到所述选择操作，从所述第一直播客户端当前所在直播间的直播视频中获取第二视频图片；

从所述第二视频图片中识别出第二目标面部特征区；

在直播视频过程中，在预设时间段内添加所述目标特效礼物在所述第二目标面部特征区上。

优选的，所述从所述第一视频图片中识别出第一目标面部特征区，包括：

初始化图片识别器；

通过所述图片识别器从所述第一视频图片识别出面部特征区数组；

从所述面部特征区数组中遍历出最大区域的面部特征区；

将所述最大区域的面部特征区调整尺寸至与所述第一视频图片的原始尺寸匹配后，作为所述第一目标面部特征区。

优选的，所述面部特征区数组包括M个面部特征区，所述从所述面部特征区数组中遍历出最大区域的面部特征区，包括：

S1：从所述面部特征区数组提取第一面部特征区定义为当前矩形周长值最大的面部特征区；

S2：从所述面部特征区数组提取第m面部特征区，计算出所述第m面部特征区的矩形周长值，m依次取2至M；

S3：判断所述第m面部特征区的矩形周长值是否大于所述当前矩形周长值最大的面部特征区的矩形周长值，如果是，执行S4，否则执行S5；

S4：将所述第m面部特征区赋给所述当前矩形周长值最大的面部特征区；

S5：判断是否遍历结束，如果是，确定所述当前矩形周长值最大的面部特征区为所述最大区域的面部特征区，否则返回步骤S2。

优选的，所述在所述面部特征区上添加所述目标特效礼物，包括：

初始化UI图像视图；

在所述UI图像视图加载所述目标特效礼物；

判断所述第一目标面部特征区是否与所述目标特效礼物匹配；

如果匹配，在所述第一目标面部特征区上添加所述目标特效礼物。

第二方面，本发明实施例提供了一种特效礼物动态展示装置，应用于第一直播客户端，所述装置包括：

第一图片获取单元，用于接收来自直播服务器的特效礼物标识时，从所述第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取所述特效礼物标识所标示的目标特效礼物；

第一面部识别单元，用于从所述第一视频图片中识别出第一目标面部特征区；

特效添加单元，用于在所述第一直播客户端处于当前所在直播间的直播视频过程，在所述第一目标面部特征区上添加所述目标特效礼物。

优选的，所述装置还包括：

赠送操作检测单元，用于检测所述第一直播客户端上的观看用户针对所述目标特效礼物执行的赠送操作；

标识发送单元，用于如果检测到所述赠送操作，发送所述特效礼物标识和所述第一直播客户端当前所在直播间的直播间标识给所述直播服务器，使得所述直播服务器根据所述直播间标识，向所述第一直播客户端当前所在直播间发送所述特效礼物标识。

优选的，所述装置还包括：

选择操作检测单元，用于检测所述观看用户针对所述目标特效礼物的选择操作，所述选择操作用于从多个特效礼物中确定出所述目标特效礼物；

第二图片获取单元，用于如果检测到所述选择操作，从所述第一直播客户端当前所在直播间的直播视频中获取第二视频图片；

第二面部识别单元，用于从所述第二视频图片中识别出第二目标面部特征区；

特效预览单元，用于在直播视频过程中，在预设时间段内添加所述目标特效礼物在所述第二目标面部特征区上。

优选的，所述从第一面部识别单元，包括：

初始化子单元，用于初始化图片识别器；

特征数组识别子单元，通过所述图片识别器从所述第一视频图片识别出面部特征区数组；

遍历子单元，用于从所述面部特征区数组中遍历出最大区域的面部特征区；

调整单元，用于将所述最大区域的面部特征区调整尺寸至与所述第一视频图片的原始尺寸匹配后，作为所述第一目标面部特征区。

优选的，所述面部特征区数组包括M个面部特征区，所述遍历子单元，具体用于执行如下步骤：

S1：从所述面部特征区数组提取第一面部特征区定义为当前矩形周长值最大的面部特征区；

S2：从所述面部特征区数组提取第m面部特征区，计算出所述第m面部特征区的矩形周长值，m依次取2至M；

S3：判断所述第m面部特征区的矩形周长值是否大于所述当前矩形周长值最大的面部特征区的矩形周长值，如果是，执行S4，否则执行S5；

S4：将所述第m面部特征区赋给所述当前矩形周长值最大的面部特征区；

S5：判断是否遍历结束，如果是，确定所述当前矩形周长值最大的面部特征区为所述最大区域的面部特征区，否则返回步骤S2。

优选的，所述特效添加单元，具体用于：

初始化UI图像视图；

在所述UI图像视图加载所述目标特效礼物；

判断所述第一目标面部特征区是否与所述目标特效礼物匹配；

如果匹配，在所述第一目标面部特征区上添加所述目标特效礼物。

本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或优点：

通过接收来自直播服务器的特效礼物标识时，从第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取特效礼物标识所标示的目标特效礼物；从第一视频图片中识别出第一目标面部特征区；在第一直播客户端处于当前所在直播间的直播视频过程，在第一目标面部特征区上添加目标特效礼物。能动态追踪直播视频中的面部特征区进行改变位置，使目标特效礼物追踪直播视频中的面部特征区进行动态、持续呈现，实现特效礼物的显示效果更生动，进而使用户与主播间的互动性更强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的特效礼物动态展示方法的流程图；

图2为本发明实施例中识别出第一目标面部特征区的流程图；

图3为本发明实施例中遍历出最大区域的面部特征区的流程图；

图4为本发明实施例中在第一目标面部特征区上添加目标特效礼物的流程图；

图5为本发明实施例中特效礼物动态展示方法的功能单元图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种特效礼物动态展示方法，应用于第一直播客户端，第一直播客户端具体可以是个人计算机、移动终端、Pad(平板电脑)，第一直播客户端与直播服务器处于网络连接，第一直播客户端为在直播间中的多个直播客户端中的一个。

参考图1所示，本发明实施例提供的特效礼物动态展示方法，包括：

S101、接收来自直播服务器的特效礼物标识时，从第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取特效礼物标识所标示的目标特效礼物；

S102、从第一视频图片中识别出第一目标面部特征区；

S103、在第一直播客户端处于当前所在直播间的直播视频过程，在第一目标面部特征区上添加目标特效礼物。

在本发明实施例中，目标特效礼物可以为动态特效图片，也可以为静态特效图片。

下面结合图1，对本发明实施例提供的特效礼物动态展示方法的各个步骤进行详细描述：

首先，执行S101：接收来自直播服务器的特效礼物标识时，从第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取特效礼物标识所标示的目标特效礼物。

在一实施例中，直播服务器的特效礼物标识为第一直播客户端当前所在直播间的直播客户端发送给直播服务器的。

本发明实施例以第一直播客户端发送给直播服务器进行描述，过程如下：检测第一直播客户端上的观看用户针对目标特效礼物执行的赠送操作，如果检测到赠送操作，发送目标特效礼物的特效礼物标识和第一直播客户端当前所在直播间的直播间标识给直播服务器，使得直播服务器根据直播间标识，向第一直播客户端当前所在直播间发送特效礼物标识。具体的，使得直播服务器根据直播间标识确定第一直播客户端当前所在直播间，进而向第一直播客户端当前所在直播间的所有直播客户端发送目标特效礼物的特效礼物标识。

在本发明另一实施例中：结合前一实施例，如果检测到赠送操作，还发送执行赠送操作的观看用户的用户ID给直播服务器，使得直播服务器向第一直播客户端当前所在直播间的所有直播客户端发送表征观看用户赠送目标特效礼物的消息。

进一步的，本发明实施例还提供了对目标特效礼物进行预览的技术方案。具体的实施方式如下：

检测观看用户针对目标特效礼物的选择操作，选择操作用于从多个特效礼物中确定出目标特效礼物；如果检测到选择操作，从第一直播客户端当前所在直播间的直播视频中获取第二视频图片；从第二视频图片中识别出第二目标面部特征区；在直播视频过程中，在预设时间段的直播视频过程中，添加目标特效礼物在第二目标面部特征区上。具体的，预设时间段可以设置为1～60秒，比如，预设时间段设置为1秒、2秒、3秒、4秒、5秒。从而能够短时间对目标特效礼物的预览动态效果。

在一实施例中，选择操作分解为先后执行的展开操作与选中操作，则对应的，具体从多个特效礼物中确定出目标特效礼物的实施方式如下：

检测到观看用户在第一直播客户端上针对特效礼物按钮的展开操作时，展开特效礼物面板。接着，向直播服务器请求各个特效礼物的图片地址，或者向直播服务器请求各个特效图片的地址和各个特效图片对应的缩略图的地址。再初始化特效图片面板，基于直播服务器返回的各个特效图片，或者直播服务器返回的特效图片的地址和特效图片对应的缩略图的地址，在中特效图片面板展示多个特效礼物中按钮。

在一实施例中，向直播服务器请求各个特效礼物的图片地址，或者向直播服务器请求各个特效图片的地址和各个特效图片对应的缩略图的地址的时间段，显示加载动画。

检测到观看用户在第一直播客户端上针对多个特效礼物按钮中的目标特效礼物按钮的选中操作时，在第一直播客户端的礼物列表数据中查询是否存在目标特效礼物，如果没有，向直播服务器请求下载目标特效礼物到本地，如果存在，从第一直播客户端中直接确定出目标特效礼物。

S102、从第一视频图片中识别出第一目标面部特征区。

在具体实施过程中，通过图片识别器从第一视频图片中识别出第一目标面部特征区。具体的，参考图2所示，通过图片识别器从第一视频图片中识别出第一目标面部特征区的实施过程包括S1021～S1024。

S1021、初始化图片识别器。

创建一个包括人脸识别模块的图片识别器：CIDetector，使用人脸识别类型CIDetectorTypeFace初始化图片识别器。

S1022、通过图片识别器从第一视频图片识别出面部特征区数组。

具体的，从第一直播客户端当前所在直播间的直播视频中获取第一视频图片传入图片识别器，在图片识别器中对第一视频图片进行识别后，返回识别出的面部特征数组：CIFaceFeatureArray。

在一实施例中，采用异步方式在人脸识别模块中执行识别出面部特征区数组的操作，避免了执行识别面部特征区数组的操作会卡住主线程的情况，因此不会影响直播。具体的实现过程为：

将识别面部特征区数组的操作添加到一个多线程队列中进行，多线程队列中依次返回执行结果。在返回执行结果过程中，如果当前的执行结果的序号小于上一个返回的执行结果的序号，就丢弃当前的执行结果。否则作为有效的执行结果返回，返回的各个有效的执行结果组成了面部特征区数组。

S1023、从面部特征区数组中遍历出最大区域的面部特征区。

在一实施例中，通过遍历出矩形周长值最大的面部特征区作为最大区域的面部特征区。下面，针对面部特征区数组包括M个面部特征区，结合图3给出从面部特征区数组中遍历出最大区域的面部特征区的实施方式：

S1：从面部特征区数组提取第一面部特征区定义为当前矩形周长值最大的面部特征区。

具体的，在S1中，当前矩形周长值最大的面部特征区标记为chooseFacePerimeter，获取第一面部特征区的矩形区域界限，计算第一面部特征区的矩形区域界限的矩形周长值：初始时，当前矩形周长值最大的面部特征区的矩形周长值＝第一面部特征区的面部特征宽度CGRectGetWidth(chooseBounds)*第一面部特征区的面部特征高度CGRectGetHeight(chooseBounds)，接着执行S2。

S2：从面部特征区数组提取第m面部特征区，计算出第m面部特征区的矩形周长值，m依次取2至M。

具体的，第m面部特征区标记为currentFaceFeature，获取第m面部特征区的矩形区域界限，计算第m面部特征的矩形区域界限的矩形周长值：第m面部特征区的矩形周长值CGFloat currentFacePerimeter＝第m面部特征区的面部特征宽度ectGetWidth(bounds)*第m面部特征区的面部特征高度CGRectGetHeight(bounds)。

S3：判断第m面部特征区的矩形周长值是否大于当前矩形周长值最大的面部特征区的矩形周长值，如果是，执行S4，否则执行S5。

S4：将第m面部特征区赋给当前矩形周长值最大的面部特征区。具体的，chooseFaceFeature＝currentFacePerimeter。

S5：判断是否遍历结束，如果是，执行S6：确定当前矩形周长值最大的面部特征区为最大区域的面部特征区，否则返回步骤S2继续取出下一个面部特征区，直至遍历结束。

S1024、将最大区域的面部特征区进行尺寸调整至与第一视频图片的原始尺寸匹配后，作为第一目标面部特征区。

具体的，根据第一视频图片传入图片识别器时的缩放尺寸，对识别出的最大区域的面部特征区进行同比例缩放。具体来讲，第一视频图片传入图片识别器时缩小N倍，N为整数，则对识别出的最大区域的面部特征区放大N倍。第一视频图片传入图片时放大N倍，则对识别出的最大区域的面部特征区缩小N倍。从而使得返回识别出的最大区域的面部特征区符合原始比例。

需要说明的是，从第二视频图片中识别出第二目标面部特征区的实施方式与从第一视频图片中识别出第一目标面部特征区的实施方式相似，为了说明书的简洁，不再赘述。

在S102之后，接着执行S103：在第一直播客户端处于当前所在直播间的直播视频过程，在第一目标面部特征区上添加目标特效礼物。

具体的，参考图4所示，通过如下步骤在第一目标面部特征区上添加目标特效礼物：

S1031、初始化UI图像视图；

S1032、在UI图像视图加载目标特效礼物；

S1033、判断第一目标面部特征区是否与目标特效礼物匹配，如果匹配，执行S1034，否则结束；

S1034：在第一目标面部特征区上添加目标特效礼物。

需要说明的是，在第二目标面部特征区上添加目标特效礼物的实施方式与在第一目标面部特征区上添加目标特效礼物的实施方式相似，为了说明书的简洁，本文不再赘述。

基于同一发明构思，本发明实施例提供了一种特效礼物动态展示装置，应用于第一直播客户端，参考图5所示，本发明实施例提供的特效礼物动态展示装置包括：

第一图片获取单元201，用于接收来自直播服务器的特效礼物标识时，从所述第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取所述特效礼物标识所标示的目标特效礼物；

第一面部识别单元202，用于从所述第一视频图片中识别出第一目标面部特征区；

特效添加单元203，用于在所述第一直播客户端处于当前所在直播间的直播视频过程，在所述第一目标面部特征区上添加所述目标特效礼物。

优选的，所述装置还包括：

赠送操作检测单元，用于检测所述第一直播客户端上的观看用户针对所述目标特效礼物执行的赠送操作；

标识发送单元，用于如果检测到所述赠送操作，发送所述特效礼物标识和所述第一直播客户端当前所在直播间的直播间标识给所述直播服务器，使得所述直播服务器根据所述直播间标识，向所述第一直播客户端当前所在直播间发送所述特效礼物标识。

优选的，所述装置还包括：

选择操作检测单元，用于检测所述观看用户针对所述目标特效礼物的选择操作，所述选择操作用于从多个特效礼物中确定出所述目标特效礼物；

第二图片获取单元，用于如果检测到所述选择操作，从所述第一直播客户端当前所在直播间的直播视频中获取第二视频图片；

第二面部识别单元，用于从所述第二视频图片中识别出第二目标面部特征区；

特效预览单元，用于在直播视频过程中，在预设时间段内添加所述目标特效礼物在所述第二目标面部特征区上。

优选的，所述从第一面部识别单元202，包括：

初始化子单元，用于初始化图片识别器；

特征数组识别子单元，通过所述图片识别器从所述第一视频图片识别出面部特征区数组；

遍历子单元，用于从所述面部特征区数组中遍历出最大区域的面部特征区；

调整单元，用于将所述最大区域的面部特征区调整尺寸至与所述第一视频图片的原始尺寸匹配后，作为所述第一目标面部特征区。

优选的，所述面部特征区数组包括M个面部特征区，所述遍历子单元，具体用于执行如下步骤：

S1：从所述面部特征区数组提取第一面部特征区定义为当前矩形周长值最大的面部特征区；

S2：从所述面部特征区数组提取第m面部特征区，计算出所述第m面部特征区的矩形周长值，m依次取2至M；

S3：判断所述第m面部特征区的矩形周长值是否大于所述当前矩形周长值最大的面部特征区的矩形周长值，如果是，执行S4，否则执行S5；

S4：将所述第m面部特征区赋给所述当前矩形周长值最大的面部特征区；

S5：判断是否遍历结束，如果是，确定所述当前矩形周长值最大的面部特征区为所述最大区域的面部特征区，否则返回步骤S2。

优选的，所述特效添加单元203，具体用于：

初始化UI图像视图；

在所述UI图像视图加载所述目标特效礼物；

判断所述第一目标面部特征区是否与所述目标特效礼物匹配；

如果匹配，在所述第一目标面部特征区上添加所述目标特效礼物。

本实施例中的特效礼物动态展示装置为实施前述特效礼物动态展示方法的装置，泵领域技术员人员根据前述特效礼物动态展示方法实施例，知晓本实施例中特效礼物动态展示装置的实施细节及变形，为了说明书的简洁，本文不再赘述。

本发明实施例至少实现了如下技术效果或优点：

通过接收来自直播服务器的特效礼物标识时，从第一直播客户端当前所在直播间的直播视频中获取第一视频图片，以及获取特效礼物标识所标示的目标特效礼物；从第一视频图片中识别出第一目标面部特征区；在第一直播客户端处于当前所在直播间的直播视频过程，在第一目标面部特征区上添加目标特效礼物。能动态追踪直播视频中的面部特征区进行改变位置，更生动的向观看用户展示了礼物，进而使用户与主播间的互动性更强。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的各描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的智能摄像系统以及网络摄像头中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述各实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应该将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序。可将这些单词解释为名称。