一种信息量确定方法及装置与流程

本申请涉及图像处理技术领域，具体而言，涉及一种信息量确定方法及装置。

背景技术：

目前，在生活、学习和工作中，通过视频的形式进行信息传递交流已经成为了一种很常见的方式，但，随着生活、工作节奏的加快，用户对于视频的选择和使用有了新的需求。

现有技术中，一般是通过预览视频中较为关键的画面，以对视频有大概的了解，若希望对一些关键内容进行回顾，则需要重新观看整个视频，无法快速有效地对一些关键内容进行回顾，进而导致用户观看关键内容的效率降低，降低用户体验。

技术实现要素：

有鉴于此，本申请的目的在于提供一种信息量确定方法及装置，用于解决现有技术中无法从视频中为用户快速地、准确地提供关键内容的问题。可以基于每个图像的信息量，从图像序列中选择关键图像推荐给用户，减少用户从视频中查找关键图像的时间，提高用户的体验。

第一方面，本申请实施例提供了一种信息量确定方法，该方法包括：

对待处理视频进行切分处理，得到图像序列；

针对所述图像序列中的每个图像，对该图像进行灰度化处理，得到灰度图像；

对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域；

从该灰度图像中将对应的对象区域去除，得到该灰度图像对应的剩余灰度图像；

对该图像对应的剩余灰度图像进行转换处理，得到转换后的剩余灰度图像；

基于转换后的各剩余灰度图像中像素点的亮度信息，确定所述图像序列中的每个图像的信息量。

可选地，所述对待处理视频进行切分处理，得到图像序列，包括：

按照设定帧率对所述待处理视频进行采样，得到所述图像序列。

可选地，所述对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域，包括：

采用第二预设算法对所述灰度图像中的待检测对象的预设位置进行识别，得到所述预设位置的坐标信息；

基于所述预设位置的坐标信息，确定所述待检测对象的对象区域。

可选地，所述基于所述预设位置的坐标信息，确定所述待检测对象的对象区域，包括：

利用第一预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的水平区间；

利用第二预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的垂直区间；

根据所述坐标信息、所述水平区间和所述垂直区间，确定所述待检测对象的对象区域。

可选地，所述基于转换后的各剩余灰度图像中像素点的亮度信息，确定所述图像序列中的每个图像的信息量，包括：

针对所述图像序列中的每个图像，计算该图像对应的转换后的剩余灰度图像中的各像素点的亮度信息中的亮度值的和值，将该和值作为该图像的信息量。

第二方面，本申请实施例提供了一种信息量确定装置，该装置包括：

第一处理模块，用于对待处理视频进行切分处理，得到图像序列；

第二处理模块，用于针对所述图像序列中的每个图像，对该图像进行灰度化处理，得到灰度图像；

检测模块，用于对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域；

第三处理模块，用于从该灰度图像中将对应的对象区域去除，得到该灰度图像对应的剩余灰度图像；

第四处理模块，用于对该图像对应的剩余灰度图像进行转换处理，得到转换后的剩余灰度图像；

确定模块，用于基于转换后的各剩余灰度图像中像素点的亮度信息，确定所述图像序列中的每个图像的信息量。

可选地，所述图像分解模块，包括：

图像采样单元，用于按照设定帧率对所述待处理视频进行采样，得到所述图像序列。

可选地，所述检测模块，包括：

位置识别单元，用于采用第二预设算法对所述灰度图像中的待检测对象的预设位置进行识别，得到所述预设位置的坐标信息；

区域定位单元，基于所述预设位置的坐标信息，确定所述待检测对象的对象区域。

可选地，所述检测模块中的区域定位单元，包括：

水平校正子单元，用于利用第一预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的水平区间；

垂直校正子单元，用于利用第二预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的垂直区间；

区域校准子单元，根据所述坐标信息、所述水平区间和所述垂直区间，确定所述待检测对象的对象区域。

可选地，所述运算模块，包括：

求和运算单元，针对所述图像序列中的每个图像，计算该图像对应的转换后的剩余灰度图像中的各像素点的亮度信息中的亮度值的和值，将该和值作为该图像的信息量。

本申请实施例提出的信息量确定方法及装置，通过对待处理视频进行切分处理得到图像序列，再将该图像序列中的图像灰度化处理得到灰度图像，然后将灰度图像中的待检测对象经过识别和校正，去除各灰度图像中的待检测对象所对应的对象区域，再将剩余的灰度图像进行转换处理，从转换处理后的图像中获取亮度值并计算和值，用亮度值的和值表示信息量。本申请实施例所提出的信息量确定方法及装置具有很好的抗干扰性，能够良好地应用于确定教学视频及其他视频图像的信息量的问题上。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种信息量确定方法的流程示意图；

图2为本申请实施例提供的一种图像识别处理方法的流程示意图；

图3为本申请实施例提供的一种区域定位方法的流程示意图；

图4为本申请实施例提供的一种信息量确定装置的结构示意图；

图5为本申请实施例提供的对图像序列中图像进行灰度化处理后的图像的示意图；

图6为本申请实施例提供的剩余灰度图像的示意图；

图7为本申请实施例提供的转换的剩余灰度图像的的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种信息量确定方法，如图1所示，包括以下步骤：

s101，对待处理视频进行切分处理，得到图像序列。

具体地，待处理视频可以教学视频、记录视频、影视视频等，本申请的待处理视频为教学视频，例如，网络课程视频。切分处理可以选择的技术手段有很多，例如，opencv等，在这里不做限制。图像序列可以是一个将切分处理后的图像按照时间顺序排列之后的序列。

可选地，在执行步骤s101时，所述对待处理视频进行切分处理，得到图像序列，包括：

按照设定帧率对所述待处理视频进行采样，得到所述图像序列。

设定帧率是对视频采样的帧率，这个帧率可以根据需求预先设定，例如，5帧/秒、10帧/秒、15帧/秒等。在具体实施中，由于拍摄设备的不同，视频每秒所记录的帧数也不同，一般地，拍摄设备的拍摄帧率一般在25帧/秒。由于在进行切分处理时，设定帧率越高，采集的图像越多，采用高帧率进行采样时，对增加计算机设备的运行负荷，考虑计算机设备的运行负荷的普遍上限和对视频图像的采样数量的要求，选择5帧/秒作为设定帧率是较为理想的设定值。但设定帧率在实际实施中可根据需求和计算机设备的性能进行设定，在这里不作限制。

s102，针对所述图像序列中的每个图像，对该图像进行灰度化处理，得到灰度图像。

具体地，灰度化处理，就是将彩色图像中每个像素点中的红绿蓝三种像素分量的值的和的平均值作为灰度值。其本质就是将彩色图像转化为灰度图像。

例如，对图像序列中的一副图像经过灰度化处理之后的图像可以参考图6。

s103，对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域。

具体地，待检测对象可能是人、动物等干扰信息量准确性的物体。通过步骤s103将所述待检测对象的对象区域从该灰度图像中确定。

可选地，如图2所示，在执行步骤s103时，对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域，包括：

s1031，采用第二预设算法对所述的灰度图像中的待检测对象的预设位置进行识别，得到所述预设位置的坐标信息。

第二预设算法可以是各种图像识别算法，例如，待检测对象是人脸的时候，可以使用dlib人脸识别。具体采用的图像识别算法这里不作限制。

预设位置是待检测对象的特征点，例如，人的瞳孔、动物的鼻部、时钟的指针轴等，可根据需求进行设置。

坐标信息是在图像中建立的二维直角坐标系中预设位置对应的坐标，一般为二维坐标，例如，(10,15)。

具体地，步骤s1031的目的在于确定所述待检测对象的位置，故需要对待检测对象的预设位置进行识别，得到该预设位置在该灰度图像上的坐标信息。

例如，在一个教学视频图像中，以图像的左上角为二维坐标系坐标原点，待检测对象为人脸，预设位置为人脸中的双眼瞳孔。通过识别，在灰度图像中确定人脸中的眼睛的边缘，得到两个眼睛的区域，分别选定该双眼所对应的区域的中心点为瞳孔位置，得到双眼瞳孔位置坐标为(x1,y1)、(x2,y2)。

s1032，基于所述预设位置的坐标信息，确定所述待检测对象的对象区域。

具体地，对象区域是待检测对象在图像中所属的区域，该对象区域可以为正方形、长方向等，应以实际应用为准。根据步骤s1031所得到的所述预设位置的坐标信息，也就是，确定待检测对象的对象区域对应的如矩形区域的四个边界点的坐标。

如图3所示，在执行步骤s1032时，基于所述预设位置的坐标信息，确定所述待检测对象的对象区域，包括：

s10321，利用第一预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的水平区间。

第一预设系数是预先设置的，可以根据情况设置，一般为实数，例如，1，或2，或5等等，优选地，第一预设系数为3，用该第一预设系数对预设位置的水平坐标进行校正以得到待检测对象的水平区间，也就是，对象区域对应的矩形区域的水平宽度。

s10322，利用第二预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的垂直区间

第二预设系数是预先设置的，可以根据情况设置，一般为实数，例如，1，或2，或5等等，优选地，第一预设系数为1.2，用该第二预设系数对预设位置的垂直坐标进行校正已得到待检测对象的垂直区间，也就是，对象区域对应的矩形区域的垂直长度。

例如，根据步骤s1031所举例，这里继续阐述，根据上例中所得到的双眼瞳孔位置坐标(x1,y1)、(x2,y2)，设定的第一预设系数是将该双眼瞳孔位置坐标的水平宽度扩大至3倍，以此表示所述人脸所对应的躯体的水平区间。通过以下公式计算待检测对象的水平区间：

x3＝x1-(x2-x1)，x4＝x2+(x2-x1)，

其中，x3是对象区域的第一横坐标，也就是对象区域对应的矩形的左边界点的横坐标，x4是对象区域的第二横坐标，也就是对象区域对应的矩形的右边界点的横坐标。

通过计算第一横坐标和第二横坐标的差值的绝对值可以得到对象区域的水平宽度。对象区域的水平区间可以通过[x3,x4]来表示。

设定的第二预设系数是将该双眼瞳孔位置坐标的距灰度图像下边缘的垂直高度扩大至1.2倍，以此，表示所述人脸所对应的躯体的垂直区域。通过以下公式计算待检测对象的垂直区间：

y’＝ymax–1.2(ymax–y0)，

其中，y’是对象区域的第一纵坐标，也就是对象区域对应的矩形的上边界点的纵坐标，ymax为图像纵坐标轴的最大值，同时也是对象区域的第二纵坐标，也就是对象区域对应的矩形的下边界点的纵坐标。y0为y1、y2中任一值，由于在所述灰度图像中的双眼瞳孔位置坐标的纵坐标相差较小，可以忽略不计，所以选取y1、y2中任一值进行运算得到的结果近似。

通过计算第一纵坐标和第二纵坐标的差值的绝对值可以得到对象区域的垂直长度。对象区域的垂直区间可以通过[y’，ymax]来表示。

s10323，根据所述坐标信息、所述水平区间和所述垂直区间，确定所述待检测对象的对象区域。

具体地，根据步骤s10321和步骤s10322得到的所述水平区间和所述垂直区间，可以在所述灰度图像中确定一个矩形区域，将该区域确定为所述待检测对象的对象区域。

例如，根据步骤s10321和步骤s10322所举例，可以得到该例得到的所述待检测对象的对象区域为{(x，y)∣x∈[x3,x4]∩y∈[y’,ymax]}。

s104，从该灰度图像中将对应的对象区域去除，得到该灰度图像对应的剩余灰度图像。

具体地，由于步骤s103得到的所述该灰度图像中待检测对象的对象区域是干扰区域，该干扰区域会影响后续的步骤，所以需要要将该干扰区域对应的图像从灰度图像中去除，去除图像的方法是将该干扰区域对应的图像从灰度图像中扣除掉，扣除图像的方法在现有技术中已有详细的介绍，此处不再进行过多说明。

例如，图5所示灰度图像中的干扰区域去除后，得到剩余灰度图像参考图6。

由于在教学视频图像中的人物本身及人物的首饰、衣服上的花纹等与该图像中的教学信息不相关，在对图像的信息量进行计算时，对象区域会对信息量的计算产生影响，降低信息量的准确度，而去除对象区域后，在计算图像的信息量时，则会减少对计算图像的信息量的影响，提高计算的信息量的准确度。

s105，对该图像对应的剩余灰度图像进行转换处理，得到转换后的剩余灰度图像。

具体地，通过对所述该图像对应的剩余灰度图像进行转换得到剩余灰度图像中每个像素点的频率向量，将剩余灰度图像中所有的像素点的频率向量作为频率向量集合，以剩余灰度图像的中心点建立极坐标系，针对频率向量集合中的每个频率向量，根据该频率向量的方向和频率值，确定该频率向量的极坐标，极坐标包括极角和极径，再根据该频率向量的幅度值，确定该频率向量对应的极坐标上的像素点的亮度值，最终得到转换后的剩余灰度图像。例如，图6所示剩余灰度图像，通过转换处理得到的转换后的剩余灰度图像参考图7。

极坐标系，是平面内取一个定点o，引一条射线ox，定点o叫做极点，射线ox叫做极轴，再选定一个长度单位和角度的正方向(通常取逆时针方向)，对于平面内任何一点m，用ρ表示线段om的长度，θ表示从ox到om的角度，ρ叫做点m的极径，θ叫做点m的极角，有序数对(ρ,θ)就叫点m的极坐标。本实施例中，所述频率向量的方向就是极角，该频率向量的频率值就是极径。

例如，一个频率向量的方向为垂直地面向上并且频率为5hz、幅度值为100，那么该频率向量在极坐标系中的极角就为90°，极径为5，得到该频率向量的极坐标为(5,90°)在极坐标为(5,90°)的像素点的亮度值为100。

转换处理所使用的算法，可以是快速傅里叶变换等任何一种能得到所述剩余灰度图像中像素点频率向量的算法，在这里不作限制。

s106，基于转换后的各剩余灰度图像中的像素点的亮度信息，确定所述图像序列中的每个图像的信息量。

具体地，信息量表征图像包含的信息的多少。

可选地，在执行步骤s106时，基于转换后的各剩余灰度图像中的像素点的亮度信息，确定所述图像序列中的每个图像的信息量，包括：

针对所述图像序列中的每个图像，计算该图像对应的转换后的剩余灰度图像中的各像素点的亮度信息中的亮度值的和值，将该和值作为该图像的信息量。

在具体实施中，针对图像序列中每个图像对应的剩余灰度图像，计算该剩余灰度图像中每个像素点的亮度值的和值，该和值即为该图像的信息量，和值越大表征该图像包含的信息越多，可以基于每个图像的信息量，从图像序列中选择关键图像推荐给用户，减少用户从视频中查找关键图像的时间，提高用户的体验。

本申请实施例还提供了一种信息量确定装置，如图4所示，包括：

第一处理模块41，用于对待处理视频进行切分处理，得到图像序列；

第二处理模块42，用于针对所述图像序列中的每个图像，对该图像进行灰度化处理，得到灰度图像；

检测模块43，用于对该灰度图像进行识别处理，得到该灰度图像中待检测对象的对象区域；

第三处理模块44，用于从该灰度图像中将对应的对象区域去除，得到该灰度图像对应的剩余灰度图像；

第四处理模块45，用于对该图像对应的剩余灰度图像进行转换处理，得到转换后的剩余灰度图像；

确定模块46，用于基于转换后的各剩余灰度图像中像素点的亮度信息，确定所述图像序列中的每个图像的信息量。

可选地，所述第一处理模块41，包括：

图像采样单元411，用于按照设定帧率对所述待处理视频进行采样，得到所述图像序列。

可选地，所述检测模块43，包括：

位置识别单元431，用于采用第二预设算法对所述灰度图像中的待检测对象的预设位置进行识别，得到所述预设位置的坐标信息；

区域定位单元432，基于所述预设位置的坐标信息，确定所述待检测对象的对象区域。

可选地，所述区域定位单元432，包括：

水平校正子单元4321，用于利用第一预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的水平区间；

垂直校正子单元4322，用于利用第二预设系数对所述预设位置的坐标信息进行校正，得到所述待检测对象的垂直区间；

区域校准子单元4323，根据所述坐标信息、所述水平区间和所述垂直区间，确定所述待检测对象的对象区域。

可选地，所述确定模块46，包括：

求和运算单元461，针对所述图像序列中的每个图像，计算该图像对应的转换后的剩余灰度图像中的各像素点的亮度信息中的亮度值的和值，将该和值作为该图像的信息量。

为了帮助用户快速有效地对一些关键内容进行回顾，提高用户观看关键内容的效率，优化用户体验，需要将视频图像中的关键内容画面进行筛选，本申请实施例提供了一种信息量确定方法及装置，为该筛选提供了有效的参考依据，降低了筛选的难度，从而提高了筛选的效率。

在本申请所提供的实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。