视频分析的方法和装置与流程

文档序号:19251947发布日期:2019-11-27 20:22阅读:152来源:国知局
视频分析的方法和装置与流程

本申请涉及视频监控技术领域,特别涉及一种视频分析的方法和装置。



背景技术:

随着视频监控技术的发展,监控视频的智能分析得到了广泛应用,包括运动量检测、人脸分析、丢包检测、人员密集检测等。

目前,视频的智能分析方法可以是,将原始视频硬解码得到原始分辨率的yuv(一种彩色图像数据编码方法)格式帧,然后,将原始分辨率的yuv格式帧,编码为低分辨率的视频,再通过cpu软解码,得到低分辨率的yuv格式帧,然后可以基于低分辨率的yuv格式帧进行视频分析。

在实现本申请的过程中,申请人发现相关技术至少存在以下问题:

上述视频分析过程中,过程较为复杂,导致对视频进行智能分析的分析效率较低。

申请内容

本申请实施例提供了一种视频分析的方法和装置。所述技术方案如下:

第一方面,提供了一种视频分析的方法,所述方法包括:

获取待分析的视频数据;

对所述视频数据进行硬件解码,得到原始分辨率的图像帧;

对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;

基于所述目标分辨率的图像帧进行视频分析处理。

可选地,所述基于所述目标分辨率的图像帧进行视频分析处理,包括:

基于所述目标分辨率的图像帧和所述原始分辨率的图像帧进行视频分析处理。

可选地,所述基于所述目标分辨率的图像帧和所述原始分辨率的图像帧进行视频分析处理,包括:

基于获取的目标图像,在所述目标分辨率的图像帧中,确定与所述目标图像相匹配的第一区域图像的第一位置信息;

基于所述目标分辨率和所述原始分辨率,确定与所述目标分辨率的图像帧中的第一位置信息相对应的所述原始分辨率的图像帧中的第二位置信息;

基于所述第二位置信息,在所述原始分辨率的图像帧中,截取并显示与所述目标图像相匹配的第二区域图像。

可选地,所述基于所述第二位置信息,在所述原始分辨率的图像帧中,截取并显示与所述目标图像相匹配的第二区域图像,包括:

基于所述第二位置信息,在所述原始分辨率的图像帧中,确定与所述目标图像相匹配的第二区域图像;

确定所述第二区域图像的信息完整性评分;

当所述信息完整性评分大于预设评分阈值时,截取并显示所述第二区域图像。

可选地,所述确定所述第二区域图像的信息完整性评分,包括:

基于所述位置信息对应的区域图像的清晰度、拍摄目标完整度和拍摄目标拍摄角度,确定所述第二区域图像的信息完整性评分。

第二方面,提供了一种视频分析的装置,所述装置包括:

获取模块,用于获取待分析的视频数据;

第一处理模块,用于对所述视频数据进行硬件解码,得到原始分辨率的图像帧;

第二处理模块,用于对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;

分析模块,用于基于所述目标分辨率的图像帧进行视频分析处理。

可选地,所述分析模块,用于:

基于所述目标分辨率的图像帧和所述原始分辨率的图像帧进行视频分析处理。

可选地,所述分析模块,用于:

基于获取的目标图像,在所述目标分辨率的图像帧中,确定与所述目标图像相匹配的第一区域图像的第一位置信息;

基于所述目标分辨率和所述原始分辨率,确定与所述目标分辨率的图像帧中的第一位置信息相对应的所述原始分辨率的图像帧中的第二位置信息;

基于所述第二位置信息,在所述原始分辨率的图像帧中,截取并显示与所述目标图像相匹配的第二区域图像。

可选地,所述分析模块,用于:

基于所述第二位置信息,在所述原始分辨率的图像帧中,确定与所述目标图像相匹配的第二区域图像;

确定所述第二区域图像的信息完整性评分;

当所述信息完整性评分大于预设评分阈值时,截取并显示所述第二区域图像。

可选地,所述分析模块,用于:

基于所述位置信息对应的区域图像的清晰度、拍摄目标完整度和拍摄目标拍摄角度,确定所述第二区域图像的信息完整性评分。

第三方面,提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的视频分析的方法。

第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述第一方面所述的视频分析的方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

本申请实施例中,获取待分析的视频数据;对所述视频数据进行硬件解码,得到原始分辨率的图像帧;对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;基于所述目标分辨率的图像帧进行视频分析处理。这样,在视频分析过程中,可以简化处理步骤,从而,可以提高对视频进行智能分析的处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视频分析的方法的流程图;

图2是本申请实施例提供的一种视频分析的方法的流程图;

图3是本申请实施例提供的一种视频分析的方法的流程图;

图4是本申请实施例提供的一种视频分析的方法的界面示意图;

图5是本申请实施例提供的一种视频分析的装置的结构示意图;

图6是本申请实施例提供的一种终端结构示意图;

图7是本申请实施例提供的一种服务器结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种视频分析的方法,该方法可以由电子设备实现。其中,电子设备可以是终端或服务器。

终端可以包括处理器、存储器等部件。处理器,可以为cpu(centralprocessingunit,中央处理单元)和gpu(graphicsprocessingunit,图形处理器)等,可以用于对视频数据进行硬件解码、对原始分辨率的图像帧进行硬件降采样处理、基于目标分辨率的图像帧进行视频分析处理等处理。存储器,可以为ram(randomaccessmemory,随机存取存储器),flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如视频数据、原始分辨率的图像帧、目标分辨率的图像帧等。终端还可以包括屏幕、收发器、图像检测部件、音频输出部件和音频输入部件等。屏幕可以用于显示截取到的区域图像等。收发器,可以用于与其它设备进行数据传输,可以包括天线、匹配电路、调制解调器等。图像检测部件可以是摄像头等。音频输出部件可以是音箱、耳机等。音频输入部件可以是麦克风等。

服务器可以包括处理器、存储器、收发器等部件。处理器,可以为cpu(centralprocessingunit,中央处理单元)和gpu(graphicsprocessingunit,图形处理器)等,可以用于对视频数据进行硬件解码、对原始分辨率的图像帧进行硬件降采样处理、基于目标分辨率的图像帧进行视频分析处理等处理。存储器,可以为ram(randomaccessmemory,随机存取存储器),flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如视频数据、原始分辨率的图像帧、目标分辨率的图像帧等。收发器,可以用于与终端或其它服务器(如定位服务器)进行数据传输,例如,向终端发送第二区域图像,收发器可以包括天线、匹配电路、调制解调器等。

如图1所示,该方法的处理流程可以包括如下的步骤:

在步骤101中,获取待分析的视频数据。

在实施中,当用户想要对一段视频进行视频分析时,可以先获取这段视频数据。获取的视频数据可以是监控视频中的一段视频数据,例如,用户想要通过监控视频查找某个拍摄目标等。获取的视频数据也可以是电影视频中的一个视频片段,例如,用户想要对电影中的一个视频片段进行特效处理等。

在步骤102中,对视频数据进行硬件解码,得到原始分辨率的图像帧。

其中,解码是用特定方法把数字编码还原成它所代表的内容或将电脉冲信号转换成它所代表的信息、数据等的过程,硬件解码是一种通过硬件,如gpu(graphicsprocessingunit,图形处理器),解码视频流的一种解码方式。

在实施中,电子设备获取视频数据后,通过gpu对视频数据进行硬件解码,得到原始分辨率的图像帧。其中,硬件解码采用的方法即为现有的硬件解码方法,本申请在此不做赘述。

在步骤103中,对原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,目标分辨率小于原始分辨率。

其中,降采样是使采样点数减少的一种处理方式。举例来说,对于一幅图像来说,如果降采样系数为k,即是在原图中每行每列每隔k个点取一个点组成一幅图像。硬件降采样即为通过硬件实现的一种降采样方式。

在实施中,电子设备通过硬件解码,得到原始分辨率的图像帧后,为了可以在后续某些处理中减少计算量,可以对原始分辨率的图像帧进行降采样处理,为了提高处理效率,减轻cpu的负担,可以按照预设的降采样率,在硬件上对原始分辨率的图像帧直接进行降采样处理,得到预设的目标分辨率的图像帧,该目标分辨率一定小于原始分辨率。

需要说明的是,上述降采样处理,可以是等比例的降采样处理,即得到的目标分辨率的图像帧与原始分辨率的图像帧的宽高比例相同;上述降采样处理也可以是不等比例的降采样处理,即得到的目标分辨率的图像帧与原始分辨率的图像帧的宽高比例不同,本申请对此不做限制。

在步骤104中,基于目标分辨率的图像帧进行视频分析处理。

可选地,根据不同的视频分析算法,在上述得到目标分辨率的图像帧后,可以基于目标分辨率的图像帧和原始分辨率的图像帧进行视频分析处理。

在实施中,由于目标分辨率小于原始分辨率,因此目标分辨率的图像帧的清晰度低于原始分辨率的图像帧,但基于目标分辨率的图像帧进行运算的计算量小于基于原始分辨率的图像帧进行运算的计算量。因此,对速度和效率要求更高的算法模块,可以基于目标分辨率的图像帧进行算法运算;对图像质量要求更高的算法模块,可以基于原始分辨率的图像帧进行算法运算,方案的流程可以如图2所示。

可选地,以人脸识别并抓拍的算法为例,如图3所示,上述步骤的处理可以是:基于获取的目标图像,在目标分辨率的图像帧中,确定与目标图像相匹配的第一区域图像的第一位置信息;基于目标分辨率和原始分辨率,确定与目标分辨率的图像帧中的第一位置信息相对应的原始分辨率的图像帧中的第二位置信息;基于该第二位置信息,在原始分辨率的图像帧中,截取并显示与目标图像相匹配的第二区域图像。

其中,位置信息可以是区域图像的四个顶角的坐标信息。

在实施中,以人脸识别并抓拍的算法为例,当用户想要在一段视频中查找某个人(即抓拍目标),可以将抓拍目标的图像(目标图像)输入到电子设备,将目标图像与目标分辨率的图像帧进行匹配,确定目标分辨率的图像帧与目标图像相匹配的区域图像(即第一区域图像),并确定该第一区域图像的位置信息(即第一位置信息)。

然后,根据目标分辨率、原始分辨率以及第一位置信息,通过换算得到第一位置信息对应的在原始分辨率的图像帧中的第二位置信息。

对于换算过程,对于采用等比例的降采样处理方式的方案,如果比例为1:1,即原始分辨率的图像帧的尺寸与目标分辨率的图像帧的尺寸相同时,第一位置信息与第二位置信息相同,因此,可以在原始分辨率的图像帧中,确定该第二位置信息对应的区域图像(即第二区域图像),该第二区域图像即为与目标图像相匹配的区域图像,截取该第二区域图像并显示给用户。如果比例不为1:1,即原始分辨率的图像帧的尺寸与目标分辨率的图像帧的尺寸不相同时,可以先计算第一位置信息与目标分辨率的图像帧的宽高比例的比例信息,通过该比例信息,在原始分辨率的图像帧中,确定与目标图像相匹配的区域图像(即第二区域图像)。例如,目标分辨率的图像帧的尺寸为180×240个像素,原始分辨率的图像帧的尺寸为720×960个像素,得到的第一位置信息分别是(30,40)、(120,40)、(30,180)、(120,180),则可以得到第一位置信息与目标分辨率的图像帧的宽高比例的比例信息为(1/6,1/6)、(2/3,1/6)、(1/6,3/4)、(2/3,3/4),将该比例信息与原始分辨率的图像帧的尺寸进行运算,得到第二区域图像的第二位置信息,分别为(120,160)、(480,160)、(120,720)、(480,720)。根据得到的第二位置信息,确定第二区域图像,然后截取第二区域图像显示给用户。

对于采用不等比例的降采样处理方式的方案,根据位置信息确定第二区域图像的方法,与上述比例不为1:1的等比例的降采样处理方式相同,举例来说,目标分辨率的图像帧的尺寸为180×240个像素,原始分辨率的图像帧的尺寸为720×720个像素,得到的第一区域图像的第一位置信息分别是(30,40)、(120,40)、(30,180)、(120,180),则可以得到第一位置信息与目标分辨率的图像帧的宽高比例的比例信息为(1/6,1/6)、(2/3,1/6)、(1/6,3/4)、(2/3,3/4),将该比例信息与原始分辨率的图像帧的尺寸进行运算,得到第二区域图像的第二位置信息,分别为(120,120)、(480,120)、(120,540)、(480,540)。根据得到的第二位置信息,确定第二区域图像,然后截取第二区域图像显示给用户。

需要说明的是,上述例举的计算比例信息的方式只是一种方式,除此之外还可以有其他计算方式,例如先计算原始分辨率的图像帧的宽高比例与目标分辨率的图像帧的宽高比例的比例,再根据该比例计算第二区域图像的位置信息,本申请对此不做限制。

其中,将目标图像与目标分辨率的图像帧进行匹配的匹配方法可以是,将目标图像与目标分辨率的图像帧的预设第一区域图像进行匹配,计算得到目标图像与预设第一区域图像的第一匹配度,并将该第一匹配度与预设第一区域图像的四个顶角的坐标对应存储,其中,预设第一区域图像的尺寸与目标图像的尺寸完全相同;然后将预设第一区域图像的四个顶角的横坐标均增加相同的预设第一增量,得到新的预设第一区域图像,将新的预设第一区域图像与目标图像进行匹配,得到新的预设第一区域图像与目标图像的第二匹配度,将第二匹配度与存储的第一匹配度进行对比,将二者中相对较大的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标进行存储,将较小的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标删除;然后,再次将预设第一区域图像的四个顶角的横坐标均增加相同的预设第一增量,得到新的预设第一区域图像,将新的预设第一区域图像与目标图像进行匹配,得到新的预设第一区域图像与目标图像的第三匹配度,将第三匹配度与存储的匹配度进行对比,将二者中相对较大的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标进行存储,将较小的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标删除……以此类推,一直到预设第一区域图像的四个顶点中的两个顶点的横坐标达到最大值或最小值,即预设第一区域图像已经达到目标分辨率的图像帧的边缘时,将四个顶点的纵坐标增加预设第二增量,得到新的预设第一区域图像,将新的预设第一区域图像与目标图像进行匹配,计算得到目标图像与预设第一区域图像的第四匹配度,将第四匹配度与存储的匹配度进行对比,将二者中相对较大的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标进行存储,将较小的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标删除。然后,将预设第一区域图像的四个顶角的横坐标均减少相同的预设第一增量,得到新的预设第一区域图像,将新的预设第一区域图像与目标图像进行匹配,得到新的预设第一区域图像与目标图像的第五匹配度,将第五匹配度与存储的匹配度进行对比,将二者中相对较大的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标进行存储,将较小的匹配度以及该匹配度对应的预设第一区域图像的四个顶角的坐标删除。以此类推,最后可以得到目标图像与所有预设第一区域图像的最大匹配度,以及该匹配度对应的预设第一区域图像的四个顶角的坐标,该坐标即为上述的第一区域图像的位置信息。

除了上述的方法外,将目标图像与目标分辨率的图像帧进行匹配,确定目标分辨率的图像帧与目标图像相匹配的第一区域图像,并确定该第一区域图像的位置信息的方法还可以是,通过样本对图像识别模型进行训练,得到训练好的图像识别模型,将目标图像与目标分辨率的图像帧输入到图像识别模型中,就可以得到目标分辨率的图像帧与目标图像相匹配的第一区域图像以及该第一区域图像的位置信息。

需要说明的是,实现将目标图像与目标分辨率的图像帧进行匹配,确定目标分辨率的图像帧与目标图像相匹配的第一区域图像,并确定该第一区域图像的位置信息的方法还有很多,本申请不在此一一例举,只要能实现将目标图像与目标分辨率的图像帧进行匹配,确定目标分辨率的图像帧与目标图像相匹配的第一区域图像,并确定该第一区域图像的位置信息即可,采用什么样的方法本申请对此不做限制。

可选地,为了用户可以从显示的图像中提取到更多的有用信息,在截取第二区域图像之前,可以对第二区域图像进行信息完整性评分处理,如图3所示,相应的处理可以如下:基于第二位置信息,在原始分辨率的图像帧中,确定与目标图像相匹配的第二区域图像;确定第二区域图像的信息完整性评分;当信息完整性评分大于预设评分阈值时,截取并显示第二区域图像。

在实施中,通过上述步骤确定第一区域图像的位置信息后,根据第一区域图像的第一位置信息、原始分辨率和目标分辨率,确定第二区域图像的第二位置信息,进而确定第二区域图像。例如,第一区域图像的位置信息是第一区域图像的四个顶点的坐标信息,则根据四个坐标信息在原始分辨率的图像帧确定第二区域图像的四个顶点,然后根据四个顶点确定第二区域图像。

确定至少一个第二区域图像后,对至少一个第二区域图像分别进行信息完整性评分处理,得到每个第二区域图像的信息完整性评分,信息完整性评分越高,表示该信息完整性评分对应的第二区域图像的显示的信息更全面,因此,将信息完整性评分与预设评分阈值进行比较,如果某第二区域图像的信息完整性评分大于预设评分阈值,则根据位置信息截取该第二区域图像,并将该第二区域图像显示给用户,如图4所示。

可选地,上述信息完整性评分处理的步骤的依据可以是:基于位置信息对应的区域图像的清晰度、拍摄目标完整度和拍摄目标拍摄角度,确定第二区域图像的信息完整性评分。

在实施中,在对区域图像进行信息完整性评分处理时,可以将区域图像的清晰度、拍摄目标完整度以及拍摄目标拍摄角度中的一个或多个作为信息完整性评分处理的依据。其中,清晰度是指影像上各细部影纹及其边界的清晰程度,清晰度越高,图像质量评分的清晰度评分越高,清晰度越低,信息完整性评分的清晰度评分最高。

拍摄目标完整度是指区域图像作为拍摄目标的各部件的完整度,例如,如果拍摄目标为一只狗,则判断区域图像中是否包含了狗的所有身体部件,如脑袋、耳朵、四肢、尾巴等各身体部件,包含的越多,则该区域图像的拍摄目标完整度越高;再例如,如果拍摄目标为人脸,则判断区域图像中是否包含了人脸的所有器官部件,如头发、耳朵、两只眼睛、嘴巴、下巴等器官部件,包含的器官部件越多,则该区域图像的拍摄目标完整度越高。拍摄目标完整度越高,信息完整性评分的拍摄目标完整度评分最高,拍摄目标完整度越低,信息完整性评分的拍摄目标完整度评分越低。

拍摄目标拍摄角度则是针对拍摄目标为人脸的一个依据,拍摄的人脸为正脸时,截取并显示给用户时,用户可以获取的信息会更加全面,拍摄的人脸侧转的角度越大,用户可以获取的信息越少。因此,可以设定当拍摄的人脸为正脸时,拍摄目标拍摄角度为0度,信息完整性评分的拍摄目标拍摄角度评分最高;侧转的角度越大,拍摄目标拍摄角度越大,信息完整性评分的拍摄目标拍摄角度评分越低。

需要说明的是,上述的清晰度、拍摄目标完整度和拍摄目标拍摄角度仅为本申请对评分依据举的例子,根据实际应用情况,还可以采用其他评分依据对区域图像进行信息完整性评分处理,如区域图像的对比度等,本申请对此不作限定。根据预设的评分依据对区域图像进行信息完整性评分处理,最终得到区域图像的信息完整性评分。

本申请实施例中,获取待分析的视频数据;对所述视频数据进行硬件解码,得到原始分辨率的图像帧;对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;基于所述目标分辨率的图像帧进行视频分析处理。这样,在视频分析过程中,可以简化处理步骤,从而,可以提高对视频进行智能分析的处理效率。

基于相同的技术构思,本申请实施例还提供了一种视频分析的装置,该装置可以为上述实施例中的电子设备,如图5所示,该装置包括:获取模块510、第一处理模块520、第二处理模块530和分析模块540。

该获取模块510,被配置为获取待分析的视频数据;

该第一处理模块520,被配置为对所述视频数据进行硬件解码,得到原始分辨率的图像帧;

该第二处理模块530,被配置为对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;

该分析模块540,被配置为基于所述目标分辨率的图像帧进行视频分析处理。

可选地,所述分析模块540,被配置为:

基于所述目标分辨率的图像帧和所述原始分辨率的图像帧进行视频分析处理。

可选地,所述分析模块540,被配置为:

基于获取的目标图像,在所述目标分辨率的图像帧中,确定与所述目标图像相匹配的第一区域图像的第一位置信息;

基于所述目标分辨率和所述原始分辨率,确定与所述目标分辨率的图像帧中的第一位置信息相对应的所述原始分辨率的图像帧中的第二位置信息;

基于所述第二位置信息,在所述原始分辨率的图像帧中,截取并显示与所述目标图像相匹配的第二区域图像。

可选地,所述分析模块540,被配置为:

基于所述第二位置信息,在所述原始分辨率的图像帧中,确定与所述目标图像相匹配的第二区域图像;

确定所述第二区域图像的信息完整性评分;

当所述信息完整性评分大于预设评分阈值时,截取并显示所述第二区域图像。

可选地,所述分析模块540,被配置为:

基于所述位置信息对应的区域图像的清晰度、拍摄目标完整度和拍摄目标拍摄角度,确定所述第二区域图像的信息完整性评分。

本申请实施例中,获取待分析的视频数据;对所述视频数据进行硬件解码,得到原始分辨率的图像帧;对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;基于所述目标分辨率的图像帧进行视频分析处理。这样,在视频分析过程中,可以简化处理步骤,从而,可以提高对视频进行智能分析的处理效率。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

需要说明的是:上述实施例提供的视频分析的装置在视频分析时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频分析的装置与视频分析的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图6是本申请实施例提供的一种终端的结构框图。该终端600可以是便携式移动终端,比如:智能手机、平板电脑。终端600还可能被称为用户设备、便携式终端等其他名称。

通常,终端600包括有:处理器601和存储器602。

处理器601可以包括一个或多个处理核心,比如4核心处理器、6核心处理器等。处理器601可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中提供的视频分析的方法。

在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。具体地,外围设备包括:射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路604用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

触摸显示屏605用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏605还具有采集在触摸显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。触摸显示屏605用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,触摸显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,触摸显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,触摸显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,触摸显示屏605还可以设置成非矩形的不规则图形,也即异形屏。触摸显示屏605可以采用lcd(liquidcrystaldisplay,液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头用于实现视频通话或自拍,后置摄像头用于实现照片或视频的拍摄。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能,主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路607用于提供用户和终端600之间的音频接口。音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件608可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3d动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,根据该握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,可以根据用户对触摸显示屏605的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹,以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商logo时,指纹传感器614可以与物理按键或厂商logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。

接近传感器616,也称距离传感器,通常设置在终端600的正面。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

在示例性实施例中,还提供了一种计算机可读存储介质,存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述实施例中的识别动作类别的方法。例如,所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本申请实施例中,获取待分析的视频数据;对所述视频数据进行硬件解码,得到原始分辨率的图像帧;对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;基于所述目标分辨率的图像帧进行视频分析处理。这样,在视频分析过程中,可以简化处理步骤,从而,可以提高对视频进行智能分析的处理效率。

图7是本申请实施例提供的一种服务器的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器701加载并执行以实现下述视频分析的方法步骤:

获取待分析的视频数据;

对所述视频数据进行硬件解码,得到原始分辨率的图像帧;

对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;

基于所述目标分辨率的图像帧进行视频分析处理。

可选的,所述至少一条指令由所述处理器701加载并执行以实现下述方法步骤:

基于所述目标分辨率的图像帧和所述原始分辨率的图像帧进行视频分析处理。

可选的,所述至少一条指令由所述处理器701加载并执行以实现下述方法步骤:

基于获取的目标图像,在所述目标分辨率的图像帧中,确定与所述目标图像相匹配的第一区域图像的第一位置信息;

基于所述目标分辨率和所述原始分辨率,确定与所述目标分辨率的图像帧中的第一位置信息相对应的所述原始分辨率的图像帧中的第二位置信息;

基于所述第二位置信息,在所述原始分辨率的图像帧中,截取并显示与所述目标图像相匹配的第二区域图像。

可选的,所述至少一条指令由所述处理器701加载并执行以实现下述方法步骤:

基于所述第二位置信息,在所述原始分辨率的图像帧中,确定与所述目标图像相匹配的第二区域图像;

确定所述第二区域图像的信息完整性评分;

当所述信息完整性评分大于预设评分阈值时,截取并显示所述第二区域图像。

可选的,所述至少一条指令由所述处理器701加载并执行以实现下述方法步骤:

基于所述位置信息对应的区域图像的清晰度、拍摄目标完整度和拍摄目标拍摄角度,确定所述第二区域图像的信息完整性评分。

本申请实施例中,获取待分析的视频数据;对所述视频数据进行硬件解码,得到原始分辨率的图像帧;对所述原始分辨率的图像帧进行硬件降采样处理,得到预设的目标分辨率的图像帧,其中,所述目标分辨率小于所述原始分辨率;基于所述目标分辨率的图像帧进行视频分析处理。这样,在视频分析过程中,可以简化处理步骤,从而,可以提高对视频进行智能分析的处理效率。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1