直播视频处理方法及相关装置与流程

[0001]
本申请涉及数据处理技术领域，具体涉及一种直播视频处理方法及相关装置。


背景技术：

[0002]
近年来，直播带货成为主流的产品营销方式，主播在直播间介绍产品信息，用户在主播给出的链接购买商品，但是经常会发生用户之前并不了解产品，需要切换到其他界面查询产品信息的情形，直播效果和用户体验有待进一步提高。


技术实现要素：

[0003]
本申请实施例提供一种直播视频处理方法及相关装置。
[0004]
本申请实施例的第一方面，提供了一种直播视频处理方法，所述方法包括：
[0005]
对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息；
[0006]
获取待展示的产品信息；
[0007]
基于所述位置信息，在所述信息展示区域显示所述产品信息，得到第二直播视频；
[0008]
发送所述第二直播视频。
[0009]
本示例中，通过获取第一直播视频的至少一个视频帧中的信息展示区域的位置信息，根据该位置信息，在信息展示区域的显示产品信息，得到第二直播视频，无需切换到其他界面查询产品信息，可以直接从第二直播视频中获取到产品信息，提升了产品信息查看时的便捷性，进而提升了直播效果。
[0010]
结合第一方面，在一个可能的实现方式中，所述获取待展示的产品信息，包括：
[0011]
接收操作指令，所述操作指令包括待展示的产品标识信息；
[0012]
根据所述产品标识信息，确定所述待展示的产品信息。
[0013]
本示例中，通过接收操作指令中的标识信息来确定待展示的产品信息，通过接收指令的方式来确定待展示的产品信息，可以提升待展示的产品信息获取时的效率。
[0014]
结合第一方面，在一个可能的实现方式中，所述获取待展示的产品信息，包括：
[0015]
获取目标用户在直播过程中的音频片段；
[0016]
对所述音频片段进行语音识别，以得到语音识别结果；
[0017]
根据所述语音识别结果，确定所述待展示的产品信息。
[0018]
本示例中，通过采集的目标用户在直播过程中的音频片段，确定出待展示的产品信息，无需目标用户发送指令等，可以提升获取待展示的产品信息时的便捷性。
[0019]
结合第一方面，在一个可能的实现方式中，所述根据所述语音识别结果，确定所述待展示的产品信息，包括：
[0020]
对所述语音识别结果进行关键字提取，以得到第一关键字集合；
[0021]
根据所述第一关键字集合，确定所述待展示的产品信息。
[0022]
本示例中，通过从语音识别结果提取到的第一关键字集合，确定待展示的产品信
息，从而无需对语音文本进行全部解析，以得到待展示的产品信息，从而提升了待展示的产品信息获取时的效率。
[0023]
结合第一方面，在一个可能的实现方式中，所述获取待展示的产品信息，包括：
[0024]
从互联网中获取所述待展示的产品信息。
[0025]
结合第一方面，在一个可能的实现方式中，所述对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息包括：
[0026]
对所述至少一个视频帧中每个视频帧进行前背景分割处理，得到所述每个视频帧的背景区域的位置，其中，所述背景区域内的像素点具有相同的像素值；
[0027]
将所述背景区域的至少一部分确定为所述信息展示区域。
[0028]
本示例中，通过对视频帧进行前背景分割处理，得到背景区域的位置，将背景区域的至少一部分确定为信息展示区域，可以从相同的像素值的区域中确定出信息展示区域，可以快速的确定出信息展示区域。
[0029]
结合第一方面，在一个可能的实现方式中，所述对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息，包括：
[0030]
对所述第一直播视频中的每个视频帧进行区域检测，得到所述每个视频帧的至少一个参考区域的位置信息；
[0031]
获取所述每个视频帧的至少一个参考区域的像素信息；
[0032]
根据所述像素信息，从所述每个视频帧的至少一个参考区域中确定出每个视频帧的信息展示区域。
[0033]
结合第一方面，在一个可能的实现方式中，所述方法还包括：
[0034]
获取至少一个第一用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第一用户；
[0035]
通过对所述至少一个第一用户图像进行处理，得到所述第一用户的关注信息、表情和动作中的至少一种；
[0036]
根据所述关注信息、表情和动作中的至少一种，确定所述第一用户对当前产品的购买概率；
[0037]
根据所述购买概率，确定所述当前产品的模拟销售量。
[0038]
本示例中，通过第一用户的第一用户图像，确定第一用户的关注信息、动作和表情中至少一种，并根据上述信息来确定第一用户对当前产品的购买率，根据购买率来确定模拟销售量，根据用户的关注信息、动作和表情中至少一种来确定模拟销售量，可以提升模拟销售量确定时的准确性。
[0039]
结合第一方面，在一个可能的实现方式中，该方法还包括：
[0040]
获取至少一个第二用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第二用户；
[0041]
通过对所述至少一个第二用户图像进行处理，得到所述第二用户的关注信息；
[0042]
在所述第二用户的关注信息满足放大显示触发条件的情况下，放大显示所述产品信息，或者以弹窗的方式显示所述信息展示区域
[0043]
结合第一方面，在一个可能的实现方式中，所述待展示的产品信息包括至少以下中的一种：产品介绍、产品购买评价、产品试用图片或视频、产品使用心得分享、产品价格、
产品购买链接或二维码。
[0044]
本申请实施例的第二方面提供一种直播视频处理装置，所述装置包括：
[0045]
第一获取单元，用于对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息；
[0046]
第二获取单元，用于获取待展示的产品信息；
[0047]
替换单元，用于基于所述位置信息，在所述信息展示区域显示所述产品信息，得到第二直播视频；
[0048]
发送单元，用于发送所述第二直播视频。
[0049]
结合第二方面，在一个可能的实现方式中，所述第二获取单元用于：
[0050]
接收操作指令，所述操作指令包括待展示的产品标识信息；
[0051]
根据所述产品标识信息，确定所述待展示的产品信息。
[0052]
结合第二方面，在一个可能的实现方式中，所述第二获取单元用于：
[0053]
获取目标用户在直播过程中的音频片段；
[0054]
对所述音频片段进行语音识别，以得到语音识别结果；
[0055]
根据所述语音识别结果，确定所述待展示的产品信息。
[0056]
结合第二方面，在一个可能的实现方式中，在根据所述语音识别结果，确定所述待展示的产品信息方面，所述第二获取单元用于：
[0057]
对所述语音识别结果进行关键字提取，以得到第一关键字集合；
[0058]
根据所述第一关键字集合，确定所述待展示的产品信息。
[0059]
结合第二方面，在一个可能的实现方式中，所述第二获取单元用于：
[0060]
从互联网中获取所述待展示的产品信息。
[0061]
结合第二方面，在一个可能的实现方式中，所述第一获取单元用于：
[0062]
对所述至少一个视频帧中每个视频帧进行前背景分割处理，得到所述每个视频帧的背景区域的位置，其中，所述背景区域内的像素点具有相同的像素值；
[0063]
将所述背景区域的至少一部分确定为所述信息展示区域。
[0064]
结合第二方面，在一个可能的实现方式中，所述第一获取单元用于：
[0065]
对所述第一直播视频中的每个视频帧进行区域检测，得到所述每个视频帧的至少一个参考区域的位置信息；
[0066]
获取所述每个视频帧的至少一个参考区域的像素信息；
[0067]
根据所述像素信息，从所述每个视频帧的至少一个参考区域中确定出每个视频帧的信息展示区域。
[0068]
结合第二方面，在一个可能的实现方式中，所述装置还用于：
[0069]
获取至少一个第一用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第一用户；
[0070]
通过对所述至少一个第一用户图像进行处理，得到所述第一用户的关注信息、表情和动作中的至少一种；
[0071]
根据所述关注信息、表情和动作中的至少一种，确定所述第一用户对当前产品的购买概率；
[0072]
根据所述购买概率，确定所述当前产品的模拟销售量。
[0073]
结合第二方面，在一个可能的实现方式中，所述装置还用于：
[0074]
获取至少一个第二用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第二用户；
[0075]
通过对所述至少一个第二用户图像进行处理，得到所述第二用户的关注信息；
[0076]
在所述第二用户的关注信息满足放大显示触发条件的情况下，放大显示所述产品信息，或者以弹窗的方式显示所述信息展示区域。
[0077]
结合第二方面，在一个可能的实现方式中，所述待展示的产品信息包括至少以下中的一种：产品介绍、产品购买评价、产品试用图片或视频、产品使用心得分享、产品价格、产品购买链接或二维码。
[0078]
本申请实施例的第三方面提供一种终端，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
[0079]
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
[0080]
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
[0081]
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
[0082]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0083]
图1为本申请实施例提供了一种视频播放的场景示意图；
[0084]
图2为本申请实施例提供了一种直播视频处理方法的流程示意图；
[0085]
图3为本申请实施例提供了一种直播视频处理方法的流程示意图；
[0086]
图4为本申请实施例提供了一种直播视频处理方法的流程示意图；
[0087]
图5为本申请实施例提供的一种终端的结构示意图；
[0088]
图6为本申请实施例提供了一种直播视频处理装置的结构示意图。
具体实施方式
[0089]
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0090]
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别
不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0091]
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
[0092]
为了更好的理解本申请实施例提供的一种直播视频处理方法，下面首先对直播视频处理方法的应用场景进行简要介绍。请参阅图1，图1为本申请实施例提供了一种视频播放的场景示意图。如图1所示，在直播者进行直播带货、直播讲解等场景下，第一直播视频可以是录制直播者的现场视频，该视频中具有信息展示区域，在录制到视频后，对第一直播视频中的视频帧进行信息替换，得到第二视频帧(图1中仅示出了一帧图像)，则可以将第二直播视频发送后，进行直播，可以快速的对视频帧进行处理，以得到新的视频帧，并根据新的视频帧得到直播视频，可以提升直播效果。
[0093]
请参阅图2，图2为本申请实施例提供了一种直播视频处理方法的流程示意图。如图2所示，直播视频处理方法可以应用于直播视频的处理中，例如，在直播带货场景，直播产品讲解场景等，具体可以应用于用于直播的电子设备等，其中，该方法包括：
[0094]
201、对第一直播视频中的至少一个视频帧进行处理，得到至少一个视频帧中的信息展示区域的位置信息。
[0095]
第一直播视频中的信息展示区域的位置信息可以理解为第一直播视频中的每帧图像帧中信息展示区域的位置信息，若获取第一直播视频的摄像头的位置没有发生变化，则该位置信息可以是不变的，若摄像头的位置(摄像头的位置可以理解为空间位置，也可以理解为拍摄角度等)发生改变，则该位置信息可以是变化的。
[0096]
例如，摄像头可以是移动的，信息展示区域可以是预先设定的颜色的幕布等，该幕布设置于目标用户身后的墙壁、屏风等，该幕布在图像帧中的位置信息可以被确定为信息展示区域的位置信息，例如，图1中所示的信息展示区域。
[0097]
获取信息展示区域的位置信息时，可以对视频帧进行区域检测，以得到该位置信息。
[0098]
202、获取待展示的产品信息。
[0099]
待展示的产品信息包括至少以下中的一种：产品介绍、产品购买评价、产品试用图片或视频、产品使用心得分享、产品价格、产品购买链接或二维码等。可以通过接收用户发送的操作指令方式，确定待展示的产品信息；可以通过用户直播过程中的语音信息来确定待展示的产品信息；还可以从互联网等中获取到待展示的产品信息。当然还可以是其他的方式获取到待展示的产品信息，例如，用户手动输入的方式等。
[0100]
203、基于位置信息，在信息展示区域显示产品信息，得到第二直播视频。
[0101]
可以待展示的产品信息覆盖到该信息展示区域中，例如，可以是根据待展示的产品信息，确定待展示信息图像，将该待展示信息图像覆盖到该信息展示区域，以实现将信息展示区域的信息替换为待展示的产品信息。当然还可以是其它的替换方法等。
[0102]
204、发送第二直播视频。
[0103]
可以将第二直播视频向直播观看端进行发送，也可以是将第二直播视频发送到服务器，通过服务器转发等方式发送给直播观看端，直播观看端可以是手机、平板电脑、电脑等设备。
[0104]
本示例中，通过获取第一直播视频的至少一个视频帧中的信息展示区域的位置信息，根据该位置信息，在信息展示区域的显示产品信息，得到第二直播视频，无需切换到其他界面查询产品信息，可以直接从第二直播视频中获取到产品信息，提升了产品信息查看时的便捷性，进而提升了直播效果。
[0105]
在一个可能的实现方式中，一种可能的获取待展示的产品信息的方法包括：
[0106]
a1、接收操作指令，操作指令包括待展示的产品标识信息；
[0107]
a2、根据产品标识信息，确定待展示的产品信息。
[0108]
可以是通过有线或无线的方式接收操作指令，例如，目标用户通过其它的电子设备发送操作指令等。也可以是用户输入的操作指令，例如，用户通过用于直播的电子设备的触摸屏、写字板等输入，也可以是通过语音输入的方式等。待展示的产品标识信息可以理解为待展示的产品的身份标识等。
[0109]
可以根据产品标识信息，从数据库中查找以获取待展示的产品信息，也可以通过在互联网中搜索以得到待展示的产品信息，还可以是根据产品标识信息和待展示的产品之间的映射关系，根据映射表查找得到待展示的产品信息。
[0110]
本示例中，通过接收操作指令中的标识信息来确定待展示的产品信息，通过接收指令的方式来确定待展示的产品信息，可以提升待展示的产品信息获取时的效率。
[0111]
在一个可能的实施例中，另一种获取待展示的产品信息的方法包括：
[0112]
b1、获取目标用户在直播过程中的音频片段；
[0113]
b2、对音频片段进行语音识别，以得到语音识别结果；
[0114]
b3、根据语音识别结果，确定待展示的产品信息。
[0115]
可以通过麦克风、麦克风阵列等采集目标用户在直播过程中的音频，得到音频片段。对音频片段进行语音识别，以得到语音识别结果，可以采用现有的语音识别算法等进行识别，以得到语音识别结果。
[0116]
可以根据语音识别结果中的关键字，确定待展示的产品信息。关键字例如可以是，待展示产品的名称、即将展示的产品为、接下来展示的产品是等。当然还可以是其它相关的关键字。根据关键字与待展示的产品信息之间的对应关系来确定出对应的待展示的产品信息。
[0117]
还可以是根据语音识别结果，提取出语音识别结果的关键信息，关键信息例如可以是对产品进行描述的信息，例如，产品特征等，根据该产品特征从数据库、互联网等中获取到待展示的产品信息。
[0118]
在一个可能的实现方式中，一种可能的根据语音识别结果，确定待展示的产品信息的方法包括：
[0119]
c1、对语音识别结果进行关键字提取，以得到第一关键字集合；
[0120]
c2、根据第一关键字集合，确定待展示的产品信息。
[0121]
根据第一关键字集合，确定待展示的产品信息的方法可以是：根据第一关键字集
合和预设关键字集合，确定出目标关键字，预设关键字集合包括待展示的产品信息对应的关键字；根据目标关键字，确定待展示的产品信息。
[0122]
可以采用关键字匹配的方式进行关键字提取，也可以是采用关键字提取算法等进行关键字提取，第一关键字集合中包括有至少一个关键字。关键字可以是待展示产品的名称、即将展示的产品为、接下来展示的产品是、接下来将要展示的产品是等。
[0123]
预设关键字集合可以是与待展示的产品信息对应的关键字，例如，可以是从数据库中确定即将要展示的产品标识信息，根据标识信息确定出的预设关键字集合。具体可以理解为：可以设定在直播中需要进行展示的产品，根据该设定的需要进行展示的产品，获取与该产品对应的预设关键字集合。因此，可以预先设定预设关键字集合，在确定目标关键字时，可以从该预设关键字集合中进行匹配得到，提升了目标关键字确定时的效率，有利于降低时延。
[0124]
根据目标关键字确定待展示的产品标识信息，根据产品标识信息确定待展示的产品信息，也可以是根据目标关键字与待展示的产品信息之间的映射关系，确定待展示的产品信息，还可以是根据关键字匹配的方式，确定目标关键字对应的待展示的产品信息。
[0125]
本示例中，通过从语音识别结果提取到的第一关键字集合，确定待展示的产品信息，从而无需对语音文本进行全部解析，以得到待展示的产品信息，从而提升了待展示的产品信息获取时的效率。
[0126]
在一个可能的实现方式中，另一种获取待展示的产品信息的方法包括：从互联网中获取待展示的产品信息。具体可以是通过如下方法从互联网中获取待展示的产品信息：
[0127]
d1、获取产品特征信息；
[0128]
d2、根据产品特征信息，从互联网中获取待展示的产品信息。
[0129]
产品特征可以理解为产品具有的特征，例如，产品特征可以是：食品中的蔬菜类、蔬菜类中的新鲜蔬菜、新鲜蔬菜中的含某种元素较多的蔬菜，例如含铁元素较多的蔬菜(菠菜等)。
[0130]
从互联网中获取待展示的产品信息的方法可以是：从蔬菜售卖网站等获取与该产品特征对应的待展示的产品信息，由于产品特征可以对应有多种待展示产品，则可以从蔬菜售卖网站等获取到多个待展示产品新。
[0131]
本示例中，通过从互联网中关联的售卖网站等获取到待展示的产品信息，可以提升待展示的产品信息获取时的便捷性。
[0132]
在一个可能的实现方式中，一种可能的对第一直播视频中的至少一个视频帧进行处理，得到至少一个视频帧中的信息展示区域的位置信息的方法包括：
[0133]
f1、对至少一个视频帧中每个视频帧进行前背景分割处理，得到每个视频帧的背景区域的位置，其中，背景区域内的像素点具有相同的像素值；
[0134]
f2、将背景区域的至少一部分确定为信息展示区域。
[0135]
对视频帧进行前背景分割处理的方法可以是，通过图像分割方法进行分割处理，以得到背景区域。图像分割方法可以从视频帧中分割出前景图像和背景图像，则可以直接提取到背景图像。也可以是通过图像分割模型对视频帧进行分割处理，以得到背景区域的位置，图像分割模型为预先训练好的分割模型，用于对视频帧进行前景、背景分割处理。
[0136]
信息展示区域可以是多个区域，将背景区域中的预设大小的区域，确定为信息展
示区域，预设大小可以理解为具有预设面积和预设形状等。
[0137]
在一个可能的实现方式中，另一种可能的对第一直播视频中的至少一个视频帧进行处理，得到至少一个视频帧中的信息展示区域的位置信息的方法包括：
[0138]
g1、对第一直播视频中的每个视频帧进行区域检测，得到每个视频帧的至少一个参考区域的位置信息；
[0139]
g2、获取每个视频帧的至少一个参考区域的像素信息；
[0140]
g3、根据像素信息，从每个视频帧的至少一个参考区域中确定出每个视频帧的信息展示区域。
[0141]
由于视频帧的背景区域中可能会存在多个不同的颜色区域，例如，干扰的颜色区域和信息展示区域等，则进行区域检测后可能会出现多个参考区域。信息展示区域可以设置有特定的颜色，例如，绿色、蓝色、红色等。可以根据参考区域的像素信息，确定出视频帧的信息展示区域，像素信息例如可以是灰度值、rgb值等。若根据像素信息确定出了多个信息展示区域，则可以根据信息展示区域的大小，从多个信息展示区域中确定出最终的信息展示区域，由于信息展示区域的面积可以是预先设定的大小，则可以根据该预先设定的大小进行匹配，以得到最终的信息展示区域。信息展示区域的大小可以理解为信息展示区域的面积和形状等。
[0142]
位置信息可以是位置坐标等。
[0143]
本申请实施例还可以对待展示产品的模拟销售量进行预测，具体可以通过如下方法进行预测：
[0144]
h1、获取至少一个第一用户图像，至少一个第一用户图像包括观看第二直播视频的第一用户；
[0145]
h2、通过对至少一个第一用户图像进行处理，得到第一用户的关注信息、表情和动作中的至少一种；
[0146]
h3、根据关注信息、表情和动作中的至少一种，确定第一用户对当前产品的购买概率；
[0147]
h4、根据购买概率，确定当前产品的模拟销售量。
[0148]
可以通过观看直播的用户(第一用户)的终端设备获取第一用户图像，然后将第一用户图像发送给直播终端(用于直播的电子设备)。第二直播视频在观看直播的用户的终端设备上进行播放。
[0149]
可以对第一用户图像进行特征提取等方式，得到第一用户的关注信息、表情和动作信息中的至少一种，例如，确定关注信息和表情信息，或关注信息和动作信息，或关注信息、表情和动作信息等。此处仅为举例说明。
[0150]
特征提取时，可以是提取参考图像的灰度值等，通过灰度值等确定出第一用户的关注信息、表情和动作信息，表情可以包括有面部表情和眼部表情等，动作信息包括有躯体动作和手部动作等，关注信息可以是第一用户的关注内容等。
[0151]
关注信息可以是对产品信息的关注度，确定关注信息的方法可以为：获取第一用户的视线方向，根据视线方向与信息展示区域之间的关联度来确定关注度。具体可以为，根据目标用户的面部平面和眼球的位置，来确定出视线方向，例如，可以将面部平面中垂直于眼球的位置向外的方向，确定为视线方向，向外可以理解为与面部朝向一致。视线方向与信
息展示区域之间的关联度可以理解为：视线方向与信息展示区域之间的交点在信息展示区域内的位置，该位置越靠近信息展示区域的中心，则关联度越高，远离信息展示远离该中心，则关联度越低。关联度越高，关注度越高，关联度越低，关注度越低。
[0152]
可以根据关注信息、表情和动作信息中的至少一种确定出具体的购买概率，例如，根据面部表情和眼部表情确定出购买概率，根据躯体动作和手部动作确定购买概率，根据关注度确定购买概率等。
[0153]
可以将购买概率超过预设概率值对应的参考用户，确定为购买待展示的产品的用户，则可以确定出模拟销售数量，预设概率值可以通过经验值或历史数据设定。
[0154]
本示例中，通过第一用户的第一用户图像，确定第一用户的关注信息、动作和表情中至少一种，并根据上述信息来确定第一用户对当前产品的购买率，根据购买率来确定模拟销售量，根据用户的关注信息、动作和表情中至少一种来确定模拟销售量，可以提升模拟销售量确定时的准确性。
[0155]
在一个可能的实现方式中，一种可能的根据关注信息、表情和动作中的至少一种，确定第一用户对当前产品的购买概率的方法包括：
[0156]
j1、根据面部表情、眼部表情，确定第一购买概率；
[0157]
j2、根据躯体动作和手部动作，确定第二购买概率；
[0158]
j3、根据关注信息，确定第三购买概率；
[0159]
j4、根据第一购买率、第二购买率和第三购买概率中的至少一种，确定当前产品的购买概率。
[0160]
可以根据面部表情，确定参考用户的第一心情，以及根据眼部表情确定参考用户的第二心情，根据第一心情和第二信心情，确定第一购买概率。具体可以为:不同的面部表情，对应有不同的第一心情，例如，面部表情可以是微笑、大笑、哭脸等，第一心情可以是愉悦、高兴、不高兴等。眼部表情可以是正常眨眼、连续眨眼、瞪眼(眼睛睁开的幅度较大)、正常观看的眼镜(眼睛睁开的幅度一般)、眯眼(眼睛睁开的幅度较小)等。不同的眼部表情对应有不同的心情，例如，瞪眼，对应的心情可以是惊讶、震惊等。可以将第一心情和第二心情对应的购买概率的均值，确定为第一购买概率，也可以是将第一心情和第二西心情对应的购买概率值中的较低值，确定为第一购买概率等。
[0161]
可以根据手部动作，确定参考用户的购买倾向值；根据躯体动作，确定购买倾向修正值；根据购买倾向值和购买倾向修正值，确定第二购买概率。具体可以为：不同的手部动作对应有不同的购买倾向值，例如，手部动作为手靠近直播终端，则购买倾向值越高，手远离直播终端，则购买概率值越低。手部动作为静止，则可以根据手掌与直播终端之间的距离，来确定购买倾向值，距离越小，购买倾向值越高，距离越大，购买倾向值越小等。
[0162]
躯体动作包括有靠近直播终端和远离直播终端，靠近直播终端则购买倾向修正值越大，远离直播终端，则购买倾向修正值越小。可以将购买倾向值和购买倾向修正值之积，确定为第二购买概率。
[0163]
关注信息为关注度时，关注度越高，则第三购买概率越高，关注度越低，则第三购买概率越低。
[0164]
需要说明的是，上述步骤j4中若出现的第一概率值、第二概率值、第三概率值时，则执行j1-j3中相应的步骤，若未出现，则不执行该动作，例如，若步骤j4中，为根据第一概
率值和第二概率值确定当前产品的购买概率，则无需执行步骤j3。
[0165]
可以将第一购买概率值、第二购买概率值和第三购买概率值的均值，确定为目标购买概率(当前产品的购买概率)。也可以将第一购买概率值、第二购买概率值和第三购买概率值中的最小值，确定为目标购买概率。当然若仅根据第一购买概率值和第二购买概率值确定目标概率值的方法可以参照前述确定目标概率值的方法，以此类推，此处不再赘述。
[0166]
在一个可能的实现方式中，该方法还包括：
[0167]
m1、获取至少一个第二用户图像，至少一个第一用户图像包括观看第二直播视频的第二用户；
[0168]
m2、通过对至少一个第二用户图像进行处理，得到第二用户的关注信息；
[0169]
m3、在第二用户的关注信息满足放大显示触发条件的情况下，放大显示产品信息，或者以弹窗的方式显示信息展示区域。
[0170]
获取第二用户图像的方法可以参照前述实施例中获取第一用户图像的方法，此处不再赘述。
[0171]
关注信息可以理解为用户感兴趣的信息，例如，用户当前视线方向停留的区域的信息。视线方向可以通过前述实施例中的视线获取方法得到。放大显示出发条件可以为：用户观看该关注信息的时长超过预设时长时，满足放大显示出发条件。
[0172]
关注信息也可是某种特定标识，例如，产品标识等，当关注信息为产品标识时，放大显示产品信息，或者以弹窗的方式显示信息展示区域。
[0173]
关注信息还可以是关注度，放大显示的触发条件可以是，关注度高于预设阈值，即关注度高于该预设阈值时，放大显示产品信息，或者以弹窗的方式显示信息展示区域，预设阈值通过经验值或历史数据设定。
[0174]
在一个实施例中，视频处理方法可以是：实时的对直播的视频流行处理，将视频流的每帧进行背景识别(识别出信息展示区域)，获知该帧区域(信息展示区域)后将产品图片/视频替换到该区域，图片/视频从服务器上拉取(也可以从其它地方获取到，例如互联网中等)，替换后的直播视流由直播者在网页后台或应用程序(用于直播的应用程序)上更新。
[0175]
请参阅图3，图3为本申请实施例提供了另一种直播视频处理方法的流程示意图。如图3所示，该方法包括：
[0176]
301、对第一直播视频中的至少一个视频帧进行处理，得到至少一个视频帧中的信息展示区域的位置信息；
[0177]
302、获取目标用户在直播过程中的音频片段；
[0178]
303、对音频片段进行语音识别，以得到语音识别结果；
[0179]
304、根据语音识别结果，确定待展示的产品信息；
[0180]
305、对语音识别结果进行关键字提取，以得到第一关键字集合；
[0181]
预设关键字集合可以是与待展示的产品信息对应的关键字，例如，可以是从数据库中确定即将要展示的产品标识信息，根据标识信息确定出的预设关键字集合。具体可以理解为：可以设定在直播中需要进行展示的产品，根据该设定的需要进行展示的产品，获取与该产品对应的预设关键字集合。
[0182]
306、根据第一关键字集合，确定待展示的产品信息；
[0183]
307、基于位置信息，在信息展示区域显示产品信息，得到第二直播视频；
[0184]
308、发送第二直播视频。
[0185]
本示例中，通过从语音文本中的关键字集合，来确定出目标关键字，通过目标关键字获取待展示的产品信息，从而无需对语音文本进行全部解析，以得到待展示的产品信息，从而提升了待展示信息获取时的效率。
[0186]
请参阅图4，图4为本申请实施例提供了另一种直播视频处理方法的流程示意图。如图4所示，该方法包括：
[0187]
401、对第一直播视频中的至少一个视频帧进行处理，得到至少一个视频帧中的信息展示区域的位置信息；
[0188]
402、获取待展示的产品信息；
[0189]
403、基于位置信息，在信息展示区域显示产品信息，得到第二直播视频；
[0190]
404、发送第二直播视频；
[0191]
405、获取至少一个第一用户图像，至少一个第一用户图像包括观看第二直播视频的第一用户；
[0192]
406、通过对至少一个第一用户图像进行处理，得到第一用户的关注信息、表情和动作中的至少一种；
[0193]
407、根据关注信息、表情和动作中的至少一种，确定第一用户对当前产品的购买概率；
[0194]
408、根据购买概率，确定当前产品的模拟销售量。
[0195]
可以将目标购买概率超过预设概率值对应的参考用户，确定为购买待展示产品的用户，则可以确定出模拟销售数量，预设概率值可以通过经验值或历史数据设定。
[0196]
本示例中，通过参考用户的参考图像获取到的参考用户的表情信息和动作信息，来确定参考用户的目标购买概率，并根据该概率来确定模拟销售量，可以根据用户的动作信息和表情信息来确定模拟销售量，提升了模拟销售量确定时的准确性。
[0197]
与上述实施例一致的，请参阅图5，图5为本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器和存储器，处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；
[0198]
对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息；
[0199]
获取待展示的产品信息；
[0200]
基于所述位置信息，在所述信息展示区域显示所述产品信息，得到第二直播视频；
[0201]
发送所述第二直播视频。
[0202]
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0203]
本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0204]
与上述一致的，请参阅图6，图6为本申请实施例提供了一种直播视频处理装置的结构示意图。如图6所示，该装置包括：
[0205]
第一获取单元601，用于对第一直播视频中的至少一个视频帧进行处理，得到所述至少一个视频帧中的信息展示区域的位置信息；
[0206]
第二获取单元602，用于获取待展示的产品信息；
[0207]
替换单元603，用于基于所述位置信息，在所述信息展示区域显示所述产品信息，得到第二直播视频；
[0208]
发送单元604，用于发送所述第二直播视频。
[0209]
在一个可能的实现方式中，所述第二获取单元602用于：
[0210]
接收操作指令，所述操作指令包括待展示的产品标识信息；
[0211]
根据所述产品标识信息，确定所述待展示的产品信息。
[0212]
在一个可能的实现方式中，所述第二获取单元602用于：
[0213]
获取目标用户在直播过程中的音频片段；
[0214]
对所述音频片段进行语音识别，以得到语音识别结果；
[0215]
根据所述语音识别结果，确定所述待展示的产品信息。
[0216]
在一个可能的实现方式中，在根据所述语音识别结果，确定所述待展示的产品信息方面，所述第二获取单元602用于：
[0217]
对所述语音识别结果进行关键字提取，以得到第一关键字集合；
[0218]
根据所述第一关键字集合，确定所述待展示的产品信息。
[0219]
在一个可能的实现方式中，所述第二获取单元602用于：
[0220]
从互联网中获取所述待展示的产品信息。
[0221]
在一个可能的实现方式中，所述第一获取单元601用于：
[0222]
对所述至少一个视频帧中每个视频帧进行前背景分割处理，得到所述每个视频帧的背景区域的位置，其中，所述背景区域内的像素点具有相同的像素值；
[0223]
将所述背景区域的至少一部分确定为所述信息展示区域。
[0224]
在一个可能的实现方式中，所述第一获取单元601用于：
[0225]
对所述第一直播视频中的每个视频帧进行区域检测，得到所述每个视频帧的至少一个参考区域的位置信息；
[0226]
获取所述每个视频帧的至少一个参考区域的像素信息；
[0227]
根据所述像素信息，从所述每个视频帧的至少一个参考区域中确定出每个视频帧的信息展示区域。
[0228]
在一个可能的实现方式中，所述装置还用于：
[0229]
获取至少一个第一用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第一用户；
[0230]
通过对所述至少一个第一用户图像进行处理，得到所述第一用户的关注信息、表情和动作中的至少一种；
[0231]
根据所述关注信息、表情和动作中的至少一种，确定所述第一用户对当前产品的购买概率；
[0232]
根据所述购买概率，确定所述当前产品的模拟销售量。
[0233]
在一个可能的实现方式中，所述装置还用于：
[0234]
获取至少一个第二用户图像，所述至少一个第一用户图像包括观看所述第二直播视频的第二用户；
[0235]
通过对所述至少一个第二用户图像进行处理，得到所述第二用户的关注信息；
[0236]
在所述第二用户的关注信息满足放大显示触发条件的情况下，放大显示所述产品信息，或者以弹窗的方式显示所述信息展示区域
[0237]
在一个可能的实现方式中，所述待展示的产品信息包括至少以下中的一种：产品介绍、产品购买评价、产品试用图片或视频、产品使用心得分享、产品价格、产品购买链接或二维码。
[0238]
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种直播视频处理方法的部分或全部步骤。
[0239]
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种直播视频处理方法的部分或全部步骤。
[0240]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
[0241]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0242]
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0243]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0244]
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0245]
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0246]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
[0247]
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。