视频处理方法、装置及存储介质与流程

文档序号:19125370发布日期:2019-11-13 02:04阅读:159来源:国知局
视频处理方法、装置及存储介质与流程

本申请涉及计算机技术领域,尤其涉及一种视频处理方法、装置及存储介质。



背景技术:

随着智能终端的普及,观看视频越来越方便,而用户在使用智能终端(比如,视频类客户端)观看影视剧或综艺节目等视频时,往往会遇到有点儿熟悉但又记不起名字的演员或明星,或若未能从头观看视频或视频中的角色信息比较复杂时,往往记不清视频中的某些角色信息。为了满足用户的求知欲,相关技术需要用户暂停视频播放,对相关视频进行截图,再通过搜索引擎对截图中的相关角色进行搜索等,操作流程冗长复杂,给用户带来了不好的观感体验。



技术实现要素:

本发明实施例提供一种视频处理方法、装置及存储介质,能够快速地获取目标对象的角色信息及画像信息,提高用户的观感体验。

本发明实施例提供一种视频处理方法,包括:

通过目标视频的播放界面,接收到对象识别指令,所述对象识别指令用于指示识别所述目标视频中的对象;

基于所述对象识别指令,确定所述目标视频中的目标对象;

发送对应所述目标对象的识别请求,以基于所述识别请求,确定所述目标对象在所述目标视频中的角色信息,以及所述目标对象的画像信息;

接收返回的所述角色信息及所述画像信息;

通过所述目标视频的播放界面,呈现所述角色信息及所述画像信息。

本发明实施例还提供一种视频处理装置,包括:

接收单元,用于通过目标视频的播放界面,接收到对象识别指令,所述对象识别指令用于指示识别所述目标视频中的对象;

确定单元,用于基于所述对象识别指令,确定所述目标视频中的目标对象;

发送单元,用于发送对应所述目标对象的识别请求,以基于所述识别请求,确定所述目标对象在所述目标视频中的角色信息,以及所述目标对象的画像信息;

接收单元,用于接收返回的所述角色信息及所述画像信息;

呈现单元,用于通过所述目标视频的播放界面,呈现所述角色信息及所述画像信息。

上述方案中,所述确定单元,还用于响应于所述对象识别指令,获取所述目标视频当前播放界面所对应的视频帧图像;

对所述视频帧图像进行对象识别,确定所述视频帧图像中包含的对象的数量为一个时,将所述视频帧图像中包含的对象作为所述目标对象。

上述方案中,所述确定单元,还用于确定所述视频帧图像中包含的对象的数量为多个时,呈现对应多个所述对象的对象选择界面;

响应于通过所述对象选择界面接收到的对象选择指令,将所述对象选择指令所指示选择的对象作为所述目标对象。

上述方案中,所述发送单元,还用于发送对应所述目标对象的识别请求,所述识别请求携带所述目标对象的帧图像,以对所述目标对象的帧图像进行特征提取,将提取的特征与视频库中对应所述目标视频的角色特征进行比对,确定所述目标对象在所述目标视频中的角色并返回相应的角色信息;

接收返回的所述角色信息。

上述方案中,所述发送单元,还用于发送对应所述目标对象的识别请求,所述识别请求携带所述目标对象的帧图像,以对所述目标对象的帧图像进行特征提取,将提取的特征与画像信息库中的特征进行比对,确定所述目标对象的画像信息并返回所述画像信息;

获取所述目标视频的角色特征;

发送所述目标视频的角色特征,以基于所述角色特征及所述画像信息,确定所述目标对象在所述目标视频中的角色并返回相应的角色信息;

接收返回的所述角色信息。

上述方案中,所述呈现单元,还用于对所述目标对象的所述角色信息及所述画像信息进行整合处理,得到所述目标对象的信息卡片;

通过所述目标视频的播放界面,呈现所述目标对象的所述信息卡片。

上述方案中,所述信息卡片中设置有关联所述目标对象的至少一个互动按键,所述装置还包括互动单元:

所述互动单元,用于响应于针对所述互动按键的点击操作,确定所述点击操作所指示的对应所述目标对象的互动信息,所述互动信息用于表征对所述目标对象的情感倾向;

发送对应所述目标对象的互动信息,以实现所述互动信息与所述目标对象的关联。

本发明实施例还提供一种视频处理装置,包括:

存储器,用于存储可执行指令;

处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的视频处理方法。

本发明实施例还提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的视频处理方法。

本发明实施例具有以下有益效果:

通过目标视频的播放界面对象识别指令,确定目标视频中的目标对象,并基于对应目标对象的识别请求,确定目标对象在目标视频中的角色信息,以及目标对象的画像信息;通过目标视频的播放界面,呈现角色信息及画像信息;如此,能够通过一键操作、快速地获取目标对象的角色信息及画像信息,且不会中断用户观看视频,从而大幅提升用户的观感体验;并且,对视频播放客户端而言,也能提升用户粘性,减少用户流失。

附图说明

图1a为相关技术提供的视频处理方法流程示意图;

图1b为相关技术提供的视频处理方法流程示意图;

图1c为相关技术提供的视频处理方法流程示意图;

图1d为相关技术提供的视频处理方法流程示意图;

图1e为相关技术提供的视频处理方法流程示意图;

图2为本发明实施例提供的视频处理系统的一个可选的架构示意图;

图3为本发明实施例提供的视频处理装置的硬件结构示意图;

图4为本发明实施例提供的视频处理方法流程示意图;

图5为本发明实施例提供的视频播放客户端呈现的播放界面示意图;

图6为本发明实施例提供的确定目标对象的界面示意图;

图7为本发明实施例提供的确定目标对象的界面示意图;

图8为本发明实施例提供的视频处理方法的显示界面示意图;

图9为本发明实施例提供的视频处理方法的显示界面示意图;

图10为本发明实施例提供的视频处理方法的显示界面示意图;

图11为本发明实施例提供的视频处理方法流程示意图;

图12为本发明实施例提供的视频处理方法流程示意图;

图13为本发明实施例提供的视频处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。

1)客户端,终端中运行的用于提供各种服务的应用程序,例如视频播放客户端。

2)画像信息,即用户画像,包括用户兴趣画像及用户基础画像;其中,

用户兴趣画像,指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型,用于指示用户的兴趣分类;

用户基础画像,根据用户的真实姓名,性别、年龄,收入情况,常驻登录地等用户基础信息抽象出的标签化的用户的信息全貌。

3)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。

参见图1a-图1e,图1a-图1e为相关技术提供的视频处理方法流程示意图,通过视频播放客户端播放目标视频,当用户想要了解目标视频中出现的目标对象的相关信息时,首先,利用视频播放客户端上的截图工具截取目标对象,得到包含目标对象的图片,然后打开如a~h浏览器等中的任意搜索引擎,如g浏览器,将截取的包含目标对象的图片导入搜索引擎中进行搜索,得到目标对象的资料信息,最后将得到的目标对象的资料信息返回给视频播放客户端进行呈现,这样,用户在了解目标对象的资料信息的同时,可继续观看目标视频。

然而,如图1a-图1e所示,上述相关技术中的视频处理方法需要经过如下步骤:

1.截图保存到系统相册;2.打开g浏览器搜索;3.打开以图片进行搜索;4.导入截图进行搜索;5.获得资料信息;6.返回给视频播放客户端继续观看等步骤才能完成,操作流程冗长复杂,给用户带来了不好的观感体验;同时,执行上述方法需要在多个客户端中进行切换,视频播放客户端用户极大可能会在此操作流程中流失。

基于此,本发明的视频播放客户端响应于目标视频的播放界面对象识别指令,确定目标视频中的目标对象,发送对应目标对象的识别请求,以基于识别请求,确定目标对象在目标视频中的角色信息,以及目标对象的画像信息;并通过目标视频的播放界面,呈现角色信息及画像信息;如此,能够通过一键操作、快速地获取目标对象的角色信息及画像信息,且不会中断用户观看视频,从而大幅提升用户的观感体验;并且,对视频播放客户端而言,也能提升用户粘性,减少用户流失。

下面说明实现本发明实施例的装置的示例性应用,本发明实施例提供的装置可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端,也可以实施为台服务器。下面,将说明装置实施为终端时涵盖终端的示例性应用。

参见图2,图2是本发明实施例提供的视频处理系统100的一个可选的架构示意图,为实现支撑一个示例性应用,终端400(示例性示出了终端400-1和终端400-2)通过网络300连接后台服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。

终端400(比如终端400-1)设置有视频播放客户端,可通过视频播放客户端播放目标视频,并设置有对象识别按钮,终端400用于通过目标视频的播放界面,接收到对象识别指令,对象识别指令用于指示识别目标视频中的对象;基于对象识别指令,确定目标视频中的目标对象;并发送对应目标对象的识别请求至后台服务器200;

后台服务器200用于基于识别请求,确定目标对象在所述目标视频中的角色信息,以及目标对象的画像信息;并将确定的角色信息及画像信息返回给终端400;

终端400接收后台服务器200返回的角色信息及所述画像信息,通过目标视频的播放界面,呈现接收到的角色信息及画像信息。

下面对本发明实施例的视频处理装置的硬件结构作详细说明,图3为本发明实施例提供视频处理装置的组成示意图,图3示出的装置组成仅仅是一个示例,不该对本发明实施例的功能和使用范围带来任何限制。

参见图3,图3为本发明实施例提供的视频处理装置30的硬件结构示意图,包括:至少一个处理器301、存储器302、用户接口303和至少一个网络接口304。视频处理装置30中的各个组件通过总线系统305耦合在一起。可以理解,总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3中将各种总线都标为总线系统305。

其中,用户接口303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按键、触感板或者触摸屏等。

可以理解,存储器302可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,readonlymemory)、可编程只读存储器(prom,programmableread-onlymemory)、可擦除可编程只读存储器(eprom,erasableprogrammableread-onlymemory)、闪存(flashmemory)等。易失性存储器可以是随机存取存储器(ram,randomaccessmemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,staticrandomaccessmemory)、同步静态随机存取存储器(ssram,synchronousstaticrandomaccessmemory)。本发明实施例描述的存储器302旨在包括这些和任意其它适合类型的存储器。

本发明实施例中的存储器302能够存储数据以支持终端(如400-1)的操作。这些数据的示例包括:用于在终端(如400-1)上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

作为本发明实施例提供的视频处理装置采用软硬件结合实施的示例,本发明实施例所提供的视频处理装置可以直接体现为由处理器301执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器302,处理器301读取存储器302中软件模块包括的计算机程序,结合必要的硬件(例如,包括处理器301以及连接到总线305的其他组件)完成本发明实施例提供的视频处理方法。

作为示例,处理器301可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(dsp,digitalsignalprocessor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的视频处理装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器301来执行完成,例如,被一个或多个应用专用集成电路(asic,applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld,programmablelogicdevice)、复杂可编程逻辑器件(cpld,complexprogrammablelogicdevice)、现场可编程门阵列(fpga,field-programmablegatearray)或其他电子元件执行实现本发明实施例提供的视频处理方法。

本发明实施例中的存储器302用于存储各种类型的数据以支持视频处理装置30的操作。这些数据的示例包括:用于在视频处理装置30上操作的任何可执行指令,如可执行指令,实现本发明实施例的视频处理方法的程序可以包含在可执行指令中。

将结合前述的实现本发明实施例的装置的示例性应用和实施,说明实现本发明实施例提供的视频处方法。

参见图4,图4为本发明实施例提供的视频处理方法流程示意图,将结合图4示出的步骤进行说明。

步骤401:终端通过目标视频的播放界面,接收到对象识别指令,对象识别指令用于指示识别目标视频中的对象。

在实际应用中,终端上设置有视频播放客户端,通过视频播放客户端实现目标视频的播放,在视频播放界面可设置有对象识别按键,用户在观看目标视频的过程中,可根据自身需要选择是否触发该对象识别按键,当用户想要了解目标对象的具体信息时,可点击对象识别按键而触发相应的对象识别指令,终端通过目标视频的播放界面,接收到对象识别指令进而识别目标视频中的对象。

参见图5,图5为本发明实施例提供的视频播放客户端呈现的播放界面示意图,当用户想要了解当前播放界面上呈现的对象的有关信息时,可点击播放界面上的人脸识别按钮,视频播放客户端通过当前播放界面接收到人脸识别指令,以对目标视频中的对象进行识别。

在实际实施时,终端除了基于对象识别指令对目标视频中的对象进行识别,还可基于接收到的预设语音控制指令对目标视频中的对象进行识别。

步骤402:基于对象识别指令,确定目标视频中的目标对象。

在一些实施例中,终端可通过如下方式确定目标视频中的目标对象:

响应于对象识别指令,获取目标视频当前播放界面所对应的视频帧图像;对视频帧图像进行对象识别,确定视频帧图像中包含的对象的数量为一个时,将视频帧图像中包含的对象作为目标对象。

在实际实施时,当用户点击视频播放界面上设置的对象识别按键时,会触发相应的对象识别指令,终端解析接收到对象识别指令,获取目标视频当前播放界面所对应的视频帧图像,并对获取的视频帧图像进行特征识别,当识别到视频帧图像中包含一个对象时,将该对象确定为目标对象。

参见图6,图6为本发明实施例提供的确定目标对象的界面示意图,目标视频当前播放界面只包含一个对象,终端响应于用户点击的对象识别指令,获取目标视频当前播放界面的视频帧图像,并对获取的视频帧图像进行人脸识别,将识别到的对象确定为目标对象。

在一些实施例中,终端还可以如下方式确定目标对象:

确定视频帧图像中包含的对象的数量为多个时,呈现对应多个对象的对象选择界面;响应于通过对象选择界面接收到的对象选择指令,将对象选择指令所指示选择的对象作为目标对象。

在实际实施时,当终端确定视频帧图像中包含多个对象时,可在播放界面上呈现对应各个对象的对象选择界面,比如,在各个对象的相应位置设置对象选择按键,但用户想要了解某一对象的信息时,可点击该对象对应的对象选择按键,进而触发对象选择指令,终端接收到该对象选择指令,将该对象选择指令所指示选择的对象作为目标对象。

参见图7,图7为本发明实施例提供的确定目标对象的界面示意图,目标视频当前播放界面中包含2个对象,每个对象的旁边呈现有相应的对象选择按键,当用户点击指示选择右侧女生对应的对象选择按键时,则将右侧女生作为目标对象,进而对右侧女生进行特征识别。

在实际应用中,终端还可将获取的视频帧图像发送给后台服务器,后台服务器对视频帧图像进行特征识别处理,当识别到视频帧图像中包含一个对象时,将该对象确定为目标对象;当识别到视频帧图像中包含多个对象时,发送针对各个对象是否进行识别的界面设置指令,终端接收到界面设置指令,生成并在视频播放界面呈现对应对个对象的对象识别按键,用户可通过点击某一对象识别按键而触发相应的对象识别指令,终端将该对象识别指令发送给后台服务器,后台服务器解析接收到的对象识别指令,确定该对象识别指令所指示选择的对象作为目标对象。

步骤403:发送对应目标对象的识别请求,以基于识别请求,确定目标对象在目标视频中的角色信息,以及目标对象的画像信息。

在一些实施例中,终端可通过如下方式确定目标对象在目标视频中的角色信息以及目标对象的画像信息:

发送对应目标对象的识别请求至后台服务器,识别请求携带目标对象的帧图像,以使后台服务器对目标对象的帧图像进行特征提取,将提取的特征与视频库中对应目标视频的角色特征进行比对,确定目标对象在目标视频中的角色并返回相应的角色信息给终端;终端接收返回的角色信息。

在实际实施时,终端将携带有目标对象的帧图像的识别请求发送至后台服务器,后台服务器解析接收到的识别请求,得到目标对象的帧图像,并对目标对象的帧图像进行特征提取,将提取的特征与视频库中的对应目标视频的角色特征进行比对,确定目标对象在目标视频中的角色信息,这里,视频库存储有大量的视频,视频库中至少包括以下信息之一:视频类型、视频名称、视频中的角色信息;可将同一类型的视频存储在同一视频库中,进而将视频库根据其存储的视频类型而分为不同类型的视频库,比如,电视剧视频库、电影视频库、综艺视频库等。

示例性地,目标视频为电视剧,目标对象为电视剧中的人物,终端将携带有该人物的帧图像的识别请求发送至后台服务器,后台服务器解析识别请求,得到人物的帧图像,并对人物的帧图像进行人脸识别提取得到人物特征,后台服务器基于目标视频的电视剧名称,从电视剧视频库中找到相应的电视剧,并将提取的人物特征与该电视剧中的多个演员特征进行比对,当提取到的人物特征与电视剧视频库中存储的演员特征比对成功时,可确定该人物在该电视剧中的角色以及其他角色之间的关系。

示例性地,目标视频为电视剧,目标对象还可为电视剧中动物,终端将携带有该动物的帧图像的识别请求发送至后台服务器,后台服务器解析识别请求,得到动物的帧图像,并对动物的帧图像进行对象识别提取得到动物特征,后台服务器基于目标视频的电视剧名称,从电视剧视频库中找到相应的电视剧,并将提取的动物特征与该电视剧中的动物特征进行比对,当提取到的动物特征与电视剧视频库中存储的动物特征比对成功时,可确定该动物在该电视剧中的角色以及其他角色之间的关系,比如,确定该动物在电视剧中的姓名及其主人是谁等。

在一些实施例中,终端还可通过如下方式确定目标对象在目标视频中的角色信息以及目标对象的画像信息:

发送对应目标对象的识别请求,识别请求携带目标对象的帧图像,以对目标对象的帧图像进行特征提取,将提取的特征与画像信息库中的特征进行比对,确定目标对象的画像信息并返回画像信息;获取目标视频的角色特征;发送目标视频的角色特征,以基于角色特征及画像信息,确定目标对象在目标视频中的角色并返回相应的角色信息;接收返回的角色信息。

在实际实施时,终端将携带有目标对象的帧图像的识别请求发送至后台服务器,后台服务器解析接收到的识别请求,得到目标对象的帧图像,并对目标对象的帧图像进行特征提取,将提取的特征与画像信息库中的特征进行比对,确定目标对象的画像信息,这里,画像信息库存储有多个对象的画像信息,类似于百度百科中对明星或宠物等基本介绍信息,当提取的特征与画像信息库中的特征比对成功时,即可确定目标对象的画像信息,比如,当目标对象为人物角色时,可确定饰演该角色的演员的姓名、籍贯、出生日期、毕业院校、主要代表作等;当目标对象为动物角色时,可确定该动物的品种、性格、习性等。终端还获取了目标视频的角色信息,比如演员表,角色介绍等。

步骤404:接收返回的角色信息及画像信息。

这里,终端接收后台服务器返回的目标对象在目标视频中的角色信息以及其自身的画像信息。

步骤405:通过目标视频的播放界面,呈现角色信息及画像信息。

在实际应用中,终端接收到目标对象在目标视频中的角色信息以及其自身的画像信息之后,可通过目标视频画面进行单独呈现,比如,当用户对目标对象的画像信息已经了如指掌或不想了解目标对象的画像信息、而只关注目标对象在目标视频中的角色信息时,可通过播放界面只呈现目标对象在目标视频中的角色信息,以让用户更好地了解目标视频的剧情;当用户对目标对象在目标视频中的角色信息已经了如指掌,而对目标对象的画像信息不甚了解时,可通过播放界面只呈现目标对象的画像信息。

终端在接收到目标视频中的角色信息以及其自身的画像信息之后,也可通过目标视频的播放界面一起呈现角色信息及画像信息,在一些实施例中,终端可通过如下方式呈现所述角色信息及所述画像信息:

对目标对象的角色信息及画像信息进行整合处理,得到目标对象的信息卡片;通过目标视频的播放界面,呈现目标对象的所述信息卡片。

这里,终端将目标对象的角色信息及画像信息以信息卡片的形式一同呈现,参见图8,图8为本发明实施例提供的视频处理方法的显示界面示意图,在图8所示的目标视频(电视剧:《我们与恶的距离》)当前播放界面中呈现了目标对象的以下信息:在《我们与恶的距离》这一电视剧中的角色信息:张三,饰演应思悦,应思悦为待嫁创业青年,性格乐观、善良积极,应思悦与其他角色的关系为:应思聪的姐姐,李大芝的房东;目标对象的画像信息:张三,1984年10月21日生于台湾省台北市,中国女歌手,演员,2008年曾沛慈得到第二届超级星光大道比赛第六名的成绩…。

参见图9,图9为本发明实施例提供的视频处理方法的显示界面示意图,在图9所示的目标视频(电视剧:《神犬小七第一部》)当前播放界面中呈现了目标对象的以下信息:在《神犬小七第一部》这一电视剧中的角色信息:拉布拉多犬,饰演小七,小七与母亲小米和吕一丹、贾长安夫妇一起生活,因夫妻离婚被迫分开,小七跟随吕一,好友:阿喵、霹雳、逗逗...;目标对象的画像信息:拉布拉多犬,又称寻回犬,是一种中大型犬类,是非常适合被选作经常出入公共场合的导盲犬或地铁犬及搜救犬和其他工作犬的狗品种...。

需要说明的是,由于视频播放界面大小有限,视频播放界面能够直接呈现的可能只是目标对象的部分角色信息或画像信息,如果想要了解更多角色信息或画像信息,可通过如下拉滚动条或其他可行的方式查看隐藏的角色信息或画像信息。

在实际应用中,用于呈现目标对象的角色信息及画像信息的信息卡片上还可增加互动操作,在信息卡片中设置有关联所述目标对象的至少一个互动按键,在一些实施例中,终端可通过如下方式实现互动信息与目标对象的关联:

响应于针对互动按键的点击操作,确定点击操作所指示的对应目标对象的互动信息,所述互动信息用于表征对目标对象的情感倾向;发送对应目标对象的互动信息,以实现互动信息与目标对象的关联。

在实际应用中,情感倾向可分为正向情感(如打榜、点赞等)和负向情感(如点踩等)。以为明星打榜为例,参见图10,图10为本发明实施例提供的视频处理方法的显示界面示意图,在图10所示的目标视频中的播放界面中呈现了以下信息:目标对象在目标视频的演唱歌曲,目标对象的角色信息:李四,英文名veegee,歌手,18岁;目标对象的画像信息:2014年李四参加了由a公司举办的全球征选会上海站,《flip》作为李四的出道单曲,依旧由a公司承包了所有的…,以及呈现了互动按键“为她点赞”,当观看目标视频的用户想为她点赞时,可点击对应的互动按键,此时,终端响应于用户的点击操作,确定对应目标对象的互动信息,发送对应目标对象的互动信息,以实现互动信息与目标对象的关联。

通过上述方法基于目标视频的播放界面对象识别指令,确定目标视频中的目标对象,并基于对应目标对象的识别请求,确定目标对象在目标视频中的角色信息,以及目标对象的画像信息;通过目标视频的播放界面,呈现角色信息及画像信息;如此,能够通过一键操作、快速地获取目标对象的角色信息及画像信息,且能够增加互动功能,不会中断用户观看视频;对视频播放客户端而言,也能提升用户粘性,减少用户流失,并且,在信息卡片上除了展示基本信息外,还可以增加互动功能,如点赞、打榜、分享等,从而大幅提升用户的观感体验。

继续对本发明实施例提供的视频处理方法进行说明,图11为本发明实施例提供的视频处理方法流程示意图,由终端上设置的视频播放客户端及后台服务器执行,包括:

步骤1101:视频播放客户端通过目标视频的播放界面,接收到对象识别指令,对象识别指令用于指示识别目标视频中的对象。

在实际应用中,终端上设置有视频播放客户端,通过视频播放客户端实现目标视频的播放,在视频播放界面可设置有对象识别按键,用户在观看目标视频的过程中,可根据自身需要选择是否触发该对象识别按键,当用户想要了解目标对象的具体信息时,可点击对象识别按键而触发相应的对象识别指令,终端通过目标视频的播放界面,接收到对象识别指令进而识别目标视频中的对象。

在实际实施时,终端除了基于对象识别指令对目标视频中的对象进行识别,还可基于接收到的预设语音控制指令而对目标视频中的对象进行识别。

步骤1102:视频播放客户端基于对象识别指令,确定目标视频中的目标对象。

在实际实施时,视频播放客户端响应于对象识别指令,获取目标视频当前播放界面所对应的视频帧图像;对视频帧图像进行对象识别,当确定视频帧图像中包含的对象的数量为一个时,将视频帧图像中包含的对象作为目标对象;当确定视频帧图像中包含的对象的数量为多个时,呈现对应多个对象的对象选择界面;响应于通过对象选择界面接收到的对象选择指令,将对象选择指令所指示选择的对象作为目标对象。

步骤1103:视频播放客户端发送对应目标对象的识别请求至后台服务器。

这里,识别请求携带目标对象的帧图像。

步骤1104:后台服务器基于目标对象的识别请求,获取目标对象的帧图像。

这里,后台服务器解析接收到的目标对象的识别请求,获取对应的目标对象的帧图像。

步骤1105:后台服务器对目标对象的帧图像进行特征提取,得到目标对象的特征。

在实际实施时,当目标对象为人时,后台服务器对目标对象的帧图像进行人脸识别,得到对应的目标对象特征。

步骤1106:后台服务器将提取得到的目标对象的特征与画像信息库中特征进行比对,确定目标对象的画像信息。

这里,画像信息库存储有多个对象的画像信息,类似于百度百科中对明星或宠物等描述的基本信息,当提取的特征与画像信息库中的特征比对成功时,即可确定目标对象的画像信息,比如,当目标对象为人物角色时,可确定饰演该角色的演员的姓名、籍贯、出生日期、毕业院校、主要代表作等;当目标对象为动物角色时,可确定该动物的品种、性格、习性等。

步骤1107:视频播放客户端获取目标视频的角色特征。

这里,视频播放客户端获取当前播放的目标视频的角色信息,比如演员表,角色介绍等。

步骤1108:视频播放客户端发送目标视频的角色特征至后台服务器。

步骤1109:后台服务器基于目标视频的角色特征及目标对象的画像信息,确定目标对象在目标视频中的角色信息。

这里,后台服务器可基于目标对象的画像信息及目标视频的演员表信息,获得目标对象在目标视频中的角色信息以及与其他角色间的关系信息。

步骤1110:后台服务器将角色信息及画像信息进行整合处理,得到目标对象的信息卡片。

这里,后台服务器将目标对象的角色信息及画像信息整合到一个信息卡片上。

步骤1111:后台服务器发送目标对象的信息卡片至视频播放客户端。

步骤1112:视频播放客户端通过目标视频的播放界面,呈现目标对象的信息卡片。

这里,视频播放客户端通过目标视频的部分界面,以信息卡片的形式一通呈现目标对象的角色信息及画像信息。

步骤1113:视频播放客户端响应于针对互动按键的点击操作,确定点击操作所指示的对应目标对象的互动信息。

在实际应用中,用于呈现目标对象的角色信息及画像信息的信息卡片上还可增加互动操作,在信息卡片中设置有关联目标对象的至少一个互动按键,用户点击互动按键,会触发客户端确定互动信息。

步骤1114:视频播放客户端发送对应目标对象的互动信息至后台服务器。

步骤1115:后台服务器将互动信息与目标对象进行关联。

下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。

本发明实施例提供的视频处理方法,可以由客户端和后台服务器协同执行,在实际实施时,涉及产品侧和技术侧:

1)产品侧;

在实际应用中,客户端可为视频播放客户端,通过视频播放客户端实现目标视频的播放,在视频播放界面可设置有对象识别按键(即识人脸按键),用户在观看目标视频的过程中,可根据自身需要选择是否触发该对象识别按键,当用户想要了解目标对象的具体信息时,可点击对象识别按键而触发相应的对象识别指令,终端通过目标视频的播放界面,接收到对象识别指令进而识别目标视频中的对象。

本发明实施例提供的视频处理方法在产品侧的基本流程为:

首先,用户在观看视频时,定位到目标人物帧,参见图5;

其次,用户点击当前播放界面上的对象识别按键,系统进行识别,参见图6-7;

最后,客户端在当前播放界面呈现人物信息,参见图8-9。

2)技术侧;

参见图12,图12为本发明实施例提供的视频处理方法流程示意图,包括:

步骤1201:客户端通过目标视频的播放界面,接收到对象识别指令。

这里,在实际应用中,用户打开视频播放客户端,选择剧集(即目标视频)进行观看。用户点击视频播放界面上的识人脸按钮(即对象识别按键)后,会触发相应的对象识别指令。

步骤1202:客户端基于对象识别指令,确定目标视频中的目标对象。

这里,在实际实施时,客户端响应于对象识别指令,获取目标视频当前播放界面所对应的关键帧图像(即视频帧图像);对视频帧图像进行人脸识别,当确定视频帧图像中包含的对象(即人脸)的数量为一个时,将视频帧图像中包含的人脸作为目标对象;当确定视频帧图像中包含的人脸的数量为多个时,呈现对应多个人脸的选择界面,用户可点击界面的按键,将按键所指示选择的对象作为目标对象。

步骤1203:客户端发送对应目标对象的识别请求至后台服务器。

步骤1204:后台服务器基于目标对象的识别请求,获取目标对象的帧图像。

这里,后台服务器解析接收到的目标对象的识别请求,获取对应的目标对象的帧图像。

步骤1205:后台服务器对目标对象的帧图像进行人脸检测,得到人脸特征信息。

这里,后台服务器对视频界面上的人脸进行抠像,定位五官区域,进而检测得到人脸特征信息。

步骤1206:后台服务器将检测得到的人脸特征信息与后台数据库中的特征信息进行比对,确定目标对象的真实姓名。

这里,后台数据库中存储了大量的明人或明星的特征信息,通过将检测得到的人脸特征信息与数据库中的特征信息进行比对,进而确定目标对象是谁。

步骤1207:后台服务器基于目标对象的真实姓名通过搜索引擎获得目标对象的画像信息。

这里,画像信息类似于百度百科中对明星的基本介绍信息,包括:姓名、籍贯、出生日期、毕业院校、主要代表作等。

步骤1208:客户端获取目标视频的基本信息并发送至后台服务器。

这里,客户端获取目标视频(即观看的剧集)的基本信息,包括:剧名、演员表、饰演角色、角色基本介绍等。

步骤1209:后台服务器接收客户端发送的目标视频的基本消息。

步骤1210:后台服务器将搜索得到的目标对象的画像信息及目标视频的基本信息进行整合,得到目标对象的信息卡片。

这里,后台服务器将搜索得到的目标对象的画像信息(即百度百科信息)与客户端剧集信息进行整合与处理,得到相应的信息卡片,并将得到的信息卡片发送给客户端。

步骤1211:客户端通过目标视频的播放界面,呈现目标对象的信息卡片。

至此,通过一键操作、快速地获取人物信息,能够让用户在不中断观看视频的情况下,一键满足用户查询和搜索信息的需求,用轻量化的操作满足用户的好奇心与求知欲,用户不需要在多个app客户端中来回切换,体验更加连续;对客户端而言,也能减少视频用户的流失,提升用户粘性,对视频类产品保持用户活跃度有很大意义。并且,本发明实施例提供的视频处理方法中的一键识别的不仅限于人物,也可以是动物等,另外,在信息卡片上除了展示基本信息外,还可以增加互动功能,如点赞、打榜、分享等,从而大幅提升用户的观感体验。

继续对本发明实施例提供的视频处理装置进行说明。图13为本发明实施例提供的视频处理装置的结构示意图,参见图13,本发明实施例提供的视频处理装置13包括:

接收单元131,用于通过目标视频的播放界面,接收到对象识别指令,所述对象识别指令用于指示识别所述目标视频中的对象;

确定单元132,用于基于所述对象识别指令,确定所述目标视频中的目标对象;

发送单元133,用于发送对应所述目标对象的识别请求,以基于所述识别请求,确定所述目标对象在所述目标视频中的角色信息,以及所述目标对象的画像信息;

接收单元134,用于接收返回的所述角色信息及所述画像信息;

呈现单元135,用于通过所述目标视频的播放界面,呈现所述角色信息及所述画像信息。

在一些实施例中,所述确定单元,还用于响应于所述对象识别指令,获取所述目标视频当前播放界面所对应的视频帧图像;

对所述视频帧图像进行对象识别,确定所述视频帧图像中包含的对象的数量为一个时,将所述视频帧图像中包含的对象作为所述目标对象。

在一些实施例中,所述确定单元,还用于确定所述视频帧图像中包含的对象的数量为多个时,呈现对应多个所述对象的对象选择界面;

响应于通过所述对象选择界面接收到的对象选择指令,将所述对象选择指令所指示选择的对象作为所述目标对象。

在一些实施例中,所述发送单元,还用于发送对应所述目标对象的识别请求,所述识别请求携带所述目标对象的帧图像,以对所述目标对象的帧图像进行特征提取,将提取的特征与视频库中对应所述目标视频的角色特征进行比对,确定所述目标对象在所述目标视频中的角色并返回相应的角色信息;

接收返回的所述角色信息。

在一些实施例中,所述发送单元,还用于发送对应所述目标对象的识别请求,所述识别请求携带所述目标对象的帧图像,以对所述目标对象的帧图像进行特征提取,将提取的特征与画像信息库中的特征进行比对,确定所述目标对象的画像信息并返回所述画像信息;

获取所述目标视频的角色特征;

发送所述目标视频的角色特征,以基于所述角色特征及所述画像信息,确定所述目标对象在所述目标视频中的角色并返回相应的角色信息;

接收返回的所述角色信息。

在一些实施例中,所述呈现单元,还用于对所述目标对象的所述角色信息及所述画像信息进行整合处理,得到所述目标对象的信息卡片;

通过所述目标视频的播放界面,呈现所述目标对象的所述信息卡片。

在一些实施例中,所述信息卡片中设置有关联所述目标对象的至少一个互动按键,所述装置还包括互动单元:

所述互动单元,用于响应于针对所述互动按键的点击操作,确定所述点击操作所指示的对应所述目标对象的互动信息,所述互动信息用于表征对所述目标对象的情感倾向;

发送对应所述目标对象的互动信息,以实现所述互动信息与所述目标对象的关联。

本发明实施例还提供一种视频处理装置,包括:

存储器,用于存储可执行指令;

处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的视频处理方法。

本发明实施例还提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的视频处理方法。

实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、随机存取存储器(ram,randomaccessmemory)、只读存储器(rom,read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ram、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1