一种基于深度学习的恐慌度计算方法和装置与流程

本发明涉及一种基于深度学习的恐慌度计算方法和装置。

背景技术：

目前，传统机器学习方法需要人工指定能描述人群恐慌的图像特征，然后利用机器学习的方法训练检测当前图像是否发生恐慌的模型，最后用该模型来进行人群恐慌检测。该方法只是对当前图像是否发生恐慌进行检测，而没有对恐慌度等级进行衡量，只能在发生恐慌之后才能检测得到。其次，传统机器学习的方法利用了手工提取特征，这种方式提取得到的特征往往很难很好匹配具体的任务，并且这种方式提取特征耗时较多，很难达到实时性。凭借个人经验判定人群恐慌的严重程度，主观性很强，评判结果有偏差，难以统一一种评判标准。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于深度学习的恐慌度计算方法和装置，以力图解决或者至少缓解上面存在的问题。

第一方面，本申请的方案提供一种基于深度学习的恐慌度计算方法，包括：

获取正常人群图像集和恐慌人群图像集，所述正常人群图像集包括多张正常人群图像，所述恐慌人群图像集包括多张恐慌人群图像；

分别对所述正常人群图像集和所述恐慌人群图像集进行处理，得到正常人群恐慌度和恐慌人群恐慌度；

根据所述正常人群恐慌度和所述恐慌人群恐慌度建立恐慌度等级；

利用卷积神经网络模型对每个所述正常人群图像、每个所述恐慌人群图像和所述恐慌度等级进行处理，得到恐慌度计算网络。

可选地，在根据本发明的方法中，所述分别对所述正常人群图像集和所述恐慌人群图像集进行处理，得到正常人群恐慌度和恐慌人群恐慌度，包括：

计算每个所述正常人群图像和每个所述恐慌人群图像的运动熵、速度熵和方向熵；

对所述每个正常人群图像的运动熵、速度熵和方向熵进行处理，得到正常人群恐慌度；

对所述每个恐慌人群图像的运动熵、速度熵和方向熵进行处理，得到恐慌人群恐慌度。

可选地，在根据本发明的方法中，所述对所述每个正常人群图像的运动熵、速度熵和方向熵进行处理，得到正常人群恐慌度，包括：

计算每个所述正常人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个正常图像度量值；

计算所述多个图像度量值的均值，得到所述正常人群恐慌度。

可选地，在根据本发明的方法中，所述对所述每个恐慌人群图像的运动熵、速度熵和方向熵进行处理，得到恐慌人群恐慌度，包括：

计算每个所述恐慌人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个恐慌图像度量值；

将所有的所述恐慌图像度量值进行排序，计算阈值数目的所述恐慌图像度量值的平均值，得到所述恐慌人群恐慌度。

可选地，在根据本发明的方法中，所述利用卷积神经网络模型对每个所述正常人群图像、每个所述恐慌人群图像和所述恐慌度等级进行处理，得到恐慌度计算网络，包括：

利用卷积神经网络模型建立每个所述正常人群图像的色彩矩阵、每个所述恐慌人群图像的色彩矩阵与所述恐慌度等级之间的映射关系，得到所述卷积神经网络。

第二方面，本申请的方案提供一种基于深度学习的卷积神经网络计算装置，包括：

图像接收单元，用于获取正常人群图像集和恐慌人群图像集，所述正常人群图像集包括多张正常人群图像，所述恐慌人群图像集包括多张恐慌人群图像；

第一计算单元，用于分别对所述正常人群图像集和所述恐慌人群图像集进行处理，得到正常人群恐慌度和恐慌人群恐慌度；

等级确定单元，用于根据所述正常人群恐慌度和所述恐慌人群恐慌度建立恐慌度等级；

第二计算单元，用于利用卷积神经网络模型对每个所述正常人群图像、每个所述恐慌人群图像和所述恐慌度等级进行处理，得到恐慌度计算网络。

可选地，在根据本发明的装置中，所述第一计算单元还用于：

计算每个所述正常人群图像和每个所述恐慌人群图像的运动熵、速度熵和方向熵；

对所述每个正常人群图像的运动熵、速度熵和方向熵进行处理，得到正常人群恐慌度；

对所述每个恐慌人群图像的运动熵、速度熵和方向熵进行处理，得到恐慌人群恐慌度。

可选地，在根据本发明的装置中，所述第一计算单元还用于：

计算每个所述正常人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个正常图像度量值；

计算所述多个图像度量值的均值，得到所述正常人群恐慌度。

可选地，在根据本发明的装置中，所述第一计算单元还用于：

计算每个所述恐慌人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个恐慌图像度量值；

将所有的所述恐慌图像度量值进行排序，计算阈值数目的所述恐慌图像度量值的平均值，得到所述恐慌人群恐慌度。

可选地，在根据本发明的装置中，所述第二计算单元还用于：

利用卷积神经网络模型建立每个所述正常人群图像的色彩矩阵、每个所述恐慌人群图像的色彩矩阵与所述恐慌度等级之间的映射关系，得到所述恐慌度计算网络。

根据本发明的技术方案，利用深度学习技术学习人群图像与人群图像的恐慌度之间的映射关系，建立恐慌度计算网络，可以自动快速地得到图像的恐慌度，检测速度较快，达到实时检测的目的，同时，可以根恐慌度在未发生恐慌时，达到预防人群恐慌发生的目的。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种恐慌度计算方法的流程图；

图2示出了本发明实施例所提供的恐慌度等级确定方法的流程图；

图3示出了本发明实施例所提供的一种恐慌度计算装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了根据本发明实施例所提供的一种恐慌度计算方法的流程图。如图1所示，该方法始于步骤S110。

在步骤S110中，获取正常人群图像集和恐慌人群图像集。其中，正常人群图像集包括多张正常人群图像，恐慌人群图像集包括多张恐慌人群图像。正常人群图像集和恐慌人群图像集是由人工筛选得到的，如，正常人群图像是在正常人群图像视频中截取的每一帧图像，恐慌人群图像是在恐慌人群图像视频中截取的每一帧图像，正常人群图像集和恐慌人群图像集中图像的数量在此不做任何限制。

在步骤S120中，分别对正常人群图像集和恐慌人群图像集进行处理，得到正常人群恐慌度和恐慌人群恐慌度。

在一种实施方式中，计算每个正常人群图像和每个恐慌人群图像的运动熵、速度熵和方向熵；对每个正常人群图像的运动熵、速度熵和方向熵进行处理，得到正常人群恐慌度；对每个恐慌人群图像的运动熵、速度熵和方向熵进行处理，得到恐慌人群恐慌度。

在一种实施方式中，计算每个正常人群图像的所述运动熵、速度熵和方向熵的平均值，得到多个正常图像度量值；计算多个图像度量值的均值，得到正常人群恐慌度。

在一个实施例中参考图2，首先，对正常人群图像进行灰度化处理，计算灰度化处理后的每个正常人群图像的运动熵、速度熵和方向熵。现有技术对图像进行灰度化处理的方法很多，此处不进行详细的介绍。应当理解，所有可以对图像进行灰度化处理的方法都在本发明的保护范围内。

运动熵计算过程如下：

统计灰度化处理的正常人群图像中每个灰度值出现的次数，计算每个灰度值与上述图像中的总像素数的比值，该比值作为每个灰度值的概率，用s_i表示。计算公式如下：

其中，Hs为正常人群图像的运动熵；

s_x为像素点的灰度值x与图像中总像素数的比值，i为正常人群图像中每个像素点的灰度值，x∈[0,255]。

速度熵计算过程如下：

在正常人群图像中选择连续的两帧图像A、B，通过人工方式，在图像A和B中标定每个人物对象在当前坐标系中移动的距离，将标定的最小距离和最大距离作为运动距离区间，将该运动距离区间平均划分为8个子区间，计算落在每个子区间图像A中人物对象的像素数与总像素数的比值，将该比值作为不同速度出现的概率，用v_i表示。计算公式如下：

其中，H_v为正常人群图像的速度熵；

v_y为第y区间人物对象的像素数与总像素数的比值，y∈[1,8]。

方向熵的计算过程如下：

在正常人群图像中选择连续的两帧图像A、B，将图像的360度平面空间划分为8个区间，即每个区间为45度。通过人工方式，在图像A和B中标定每个人物对象在当前坐标系中移动的方向，计算所在每个区间中的人物对象的像素数与总像素数的比值，将该比值作为不同方向出现的概率，用o_i表示。计算公式如下：

其中，H₀为正常人群图像的方向熵；

o_z为第z个区间中人物对象的像素数与总像素数的比值，z∈[1,8]。

在得到所有正常人群图像的运动熵、速度熵和方向熵后，计算每个正常人群图像的运动熵、速度熵和方向熵的均值h₁，再计算所有正常人群图像均值h₁的平均值H_n，该平均值H_n表示人群未发生恐慌时的恐慌度值。

在一种实施方式中，计算每个恐慌人群图像的所述运动熵、速度熵和方向熵的平均值，得到多个恐慌图像度量值，将所有的恐慌图像度量值进行排序，计算阈值数目的恐慌图像度量值的平均值，得到恐慌人群恐慌度。

恐慌人群图像集中每个恐慌人群图像的运动熵、速度熵和方向熵的计算过程与上述计算过程相同，此处不在进行过多叙述。

在得到所有恐慌人群图像的运动熵、速度熵和方向熵后，计算每个恐慌人群图像的运动熵、速度熵的和方向熵的均值h₂，将所有的均值h₂按照从大到小的顺序排序，取阈值数据如前10％数目的均值的均值表示人群恐慌成都最严重时的恐慌度H_h。

在步骤S130中，根据正常人群恐慌度和恐慌人群恐慌度建立恐慌度等级。

在一个实施例中，将[H₀，H_h]作为恐慌度区间，将该恐慌度区间划分为9个子区间，每个子区间的长度相同，得到恐慌度等级，每个恐慌度等级对应于数字1-9，0表示人群未发生恐慌度，即H₀，10表示人群发生恐慌度最严重，即H_h。

在步骤S140中，利用卷积神经网络模型对每个正常人群图像、每个恐慌人群图像和恐慌度等级进行处理，得到恐慌度计算网络。

在一种实施方式中，利用卷积神经网络模型建立每个正常人群图像的色彩矩阵、每个恐慌人群图像的色彩矩阵与恐慌度等级之间的映射关系，得到恐慌度计算网络。

为了能够自动快速地检测每个图像的恐慌度等级，利用恐慌人群图像集和正常人群图像集来训练卷积神经网络模型，每个图像中的每个像素点都可以用色彩矩阵如(R,G,B)三维向量表示，根据上述三维矩阵通过卷积神经网络模型来计算每个图像与每个图像的恐慌度之间的映射关系，即建立恐慌度计算网络。其中，卷积神经网络模型计算过程已有详细的介绍，此处不再进行过多叙述，不过应当理解，所有可以用于建立恐慌度计算网络的模型都在本发明的保护范围内。

需要预测某个图像的恐慌度时，将该图像作为恐慌度计算网络的输入，即可得到上述图像的恐慌度。实现利用恐慌度计算网络快速自动地对当前图片的恐慌程度进行判断，达到实时检测的目的。

根据本发明的技术方案，利用深度学习技术学习人群图像与人群图像的恐慌度之间的映射关系，建立恐慌度计算网络，可以自动快速地得到图像的恐慌度，检测速度较快，达到实时检测的目的，同时，可以根恐慌度在未发生恐慌时，达到预防人群恐慌发生的目的。

图3示出了根据本发明实施例所提供的一种恐慌度计算装置的结构图。如图3所示，该装置包括：图像接收单元310、第一计算单元320、等级确定单元330和第二计算单元340。

图像接收单元310获取正常人群图像集和恐慌人群图像集，所述正常人群图像集包括多张正常人群图像，所述恐慌人群图像集包括多张恐慌人群图像。

第一计算单元320分别对所述正常人群图像集和所述恐慌人群图像集进行处理，得到正常人群恐慌度和恐慌人群恐慌度。

可选地，第一计算单元320还用于计算每个所述正常人群图像和每个所述恐慌人群图像的运动熵、速度熵和方向熵；对所述每个正常人群图像的运动熵、速度熵和方向熵进行处理，得到正常人群恐慌度；对所述每个恐慌人群图像的运动熵、速度熵和方向熵进行处理，得到恐慌人群恐慌度。

可选地，第一计算单元320还用于计算每个所述正常人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个正常图像度量值；计算所述多个图像度量值的均值，得到所述正常人群恐慌度。

第一计算单元320还用于计算每个所述恐慌人群图像的所述运动熵、所述速度熵和所述方向熵的平均值，得到多个恐慌图像度量值；将所有的所述恐慌图像度量值进行排序，计算阈值数目的所述恐慌图像度量值的平均值，得到所述恐慌人群恐慌度。

等级确定单元330根据所述正常人群恐慌度和所述恐慌人群恐慌度建立恐慌度等级。

第二计算单元340利用卷积神经网络模型对每个所述正常人群图像、每个所述恐慌人群图像和所述恐慌度等级进行处理，得到恐慌度计算网络。

可选地，第二计算单元340还用于利用卷积神经网络模型建立每个所述正常人群图像的色彩矩阵、每个所述恐慌人群图像的色彩矩阵与所述恐慌度等级之间的映射关系，得到所述恐慌度计算网络。

其中，运动熵、方向熵和速度熵的计算过程已在上文进行详细描述，此处不再进行过多叙述。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。