图像分析方法、装置、电子设备及可读存储介质与流程

本发明涉及图像分析技术领域，具体而言，涉及一种图像分析方法、装置、电子设备及可读存储介质。

背景技术：

在公安刑侦追踪嫌疑人事件中，往往需要根据用户或现场提供的图像快速检索出犯罪嫌疑人出现位置、时间等，为公安人员追踪嫌疑人提供有效数据。但是，一般在监控场景下容易受到一些环境影响，例如光线、遮挡或者检测不准确等因素影响，进而导致检索精度低。

技术实现要素：

为了克服现有技术中的上述不足，本发明的目的在于提供一种图像分析方法、装置、电子设备及可读存储介质，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。

为了实现上述目的，本发明较佳实施例采用的技术方案如下：

本发明较佳实施例提供一种图像分析方法，应用于电子设备，所述方法包括：

获得待分析图像，所述待分析图像中包括有目标对象；

基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域；

获取所述各个区域的最小外接几何框；

基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征；

将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。

在本发明较佳实施例中，在获得待分析图像之前，所述方法还包括：

配置所述全卷积网络；

所述配置所述全卷积网络的方式，包括：

接收图像样本集，所述图像样本集中包括有多个图像样本；

对每个图像样本中的目标对象的各个区域进行标定，并将标定好的图像样本输入到进行全卷积网络训练，得到训练后的全卷积网络。

在本发明较佳实施例中，在获得待分析图像之前，所述方法还包括：

配置所述卷积神经网络；

所述配置所述卷积神经网络的方式，包括：

接收图像样本集，所述图像样本集中包括有多个图像样本；

将每个图像样本输入到卷积神经网络中进行训练，在训练完成后提取所述卷积神经网络中最后一层神经网络的多维特征作为该图像样本的图像特征，从而完成卷积神经网络的配置。

在本发明较佳实施例中，所述获取所述各个区域的最小外接几何框的方式，包括：

获取所述各个区域的最小外接矩形框；或者

获取所述各个区域的最小外接圆。

在本发明较佳实施例中，所述将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果，包括：

分别计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离；

基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果，所述排序结果为所述待分析图像的图像分析结果。

在本发明较佳实施例中，所述计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离的计算公式为：

其中，fi,fj表示图像i,j提取的特征，||·||2表示二范数，d(·)表示所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。

在本发明较佳实施例中，所述基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果的排序公式为：

其中，n为所述排序结果的图像数量，ω表示预存图像库。

本发明较佳实施例还提供一种图像分析装置，应用于电子设备，所述装置包括：

获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象。

分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。

获取模块，用于获取所述各个区域的最小外接几何框。

提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。

比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。

本发明较佳实施例还提供一种电子设备，所述电子设备包括：

存储介质；

处理器；以及

图像分析装置，所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述装置包括：

获得模块，用于获得待分析图像，所述待分析图像中包括有目标对象。

分割模块，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。

获取模块，用于获取所述各个区域的最小外接几何框。

提取模块，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。

比较模块，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。

本发明较佳实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的图像分析方法。

相对于现有技术而言，本发明具有以下有益效果：

本发明实施例提供一种图像分析方法、装置、电子设备及可读存储介质，首先，获得待分析图像，所述待分析图像中包括有目标对象，接着基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域，并获取各个区域的最小外接几何框，然后，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征，最后，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出待分析图像的图像分析结果。由此，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明较佳实施例提供的图像分析方法的一种流程示意图；

图2为本发明较佳实施例提供的一种图像分割示意图；

图3为现有技术中的区域分割示意图；

图4为本发明较佳实施例提供的区域分割示意图；

图5为图1中所示的步骤s250包括的各个子步骤的一种流程示意图；

图6为本发明较佳实施例提供的用于实现上述图像分析方法的电子设备的方框示意图。

图标：100-电子设备；110-存储介质；120-处理器；200-图像分析装置；210-获得模块；220-分割模块；230-获取模块；240-提取模块；250-比较模块。

具体实施方式

本申请发明人在实现本发明实施例提供的技术方案过程中，发现现有技术的图像检索方法主要包括下述几种：

第一，将待检索图像进行子图划分，得到多个子图像；对所述多个子图像中的各指定子图像进行图像特征提取，得到所述各指定子图像的特征向量；针对图像库中每个图像，基于该图像的每个待匹配子图像组中的各子图像的特征向量，以及所述各指定子图像的特征向量，确定该图像与所述待检索图像的相似度。然而，发明人仔细研究发现，该方案对图像进行简单的划分成多区域，易受到遮挡，图像不对齐等因素干扰，导致图像选取的特征不能对齐，从而影响检索精度。

第二，计算图像类别特征与自编码特征，保障以图搜图结果在图像类别上的相似，并利用自动编码算法产生低层次的图像编码特征,保障图像在内容上相似，再混合自编码特征方法将分类特征，图像自编码特征进一步融合，降低维度，使得搜索结果更加快速、稳定。然而，发明人仔细研究发现，该方案通过结合类别特征与编码特征进行图像检索，并对特征进行降维，但需提取两种不同特征，可操作性低，限制了该方案的应用前景。

第三，建立视觉词汇字典，利用图像的视觉显著性特征融合算法得到视觉显著性图，再根据显著图分割得到图像的前景目标图和背景区域图，对前景目标图和背景区域图分别提取图像的色彩特征和纹理特征，进行图像检索。然而，发明人仔细研究发现，该方案通过显著性图得到前景与背景，同时提取的色彩与纹理特征，都易受到背景和复杂环境的干扰，且建立视觉词汇字典复杂度高，限制了该方案的应用前景。

以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。

鉴于上述问题，本申请发明人提出下述技术方案，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本发明较佳实施例提供的图像分析方法的一种流程示意图。所应说明的是，本发明实施例提供的图像分析方法不以图1及以下所述的具体顺序为限制。所述方法可以通过如下步骤实现：

步骤s210，获得待分析图像。

本实施例中，所述待分析图像的获得方式不作限制，例如可以通过监控设备实时从当前拍摄场景中获取，或者也可以从外部终端导入获取，又或者从服务器中下载获取等。其中，所述待分析图像中包括有目标对象，所述目标对象为需要分析特征的对象，例如，所述目标对象可以是图像中的行人、物件等。

步骤s220，基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。

具体地，在对所述步骤s220作进一步阐述之前，首先对所述全卷积网络的配置过程进行说明。作为一种实施方式，所述全卷积网络的配置方式可以通过如下方式实现：

首先，接收图像样本集，其中，所述图像样本集中包括有多个图像样本，每个图像样本中都包括有目标对象。

然后，对每个图像样本中的目标对象的各个区域进行标定，并将标定好的图像样本输入到进行全卷积网络训练，得到训练后的全卷积网络。详细地，以所述目标对象为行人为例，可以将行人身体的各部分区域，例如头部区域、上身区域、下身区域(也可以为多区域，例如头部区域、左胳膊区域、右胳膊区域、上身区域、右腿区域、左腿区域等)都标注为不同像素值，不同像素值的区域即属于不同的区域，如图2所示，每张图中的左图为原始图像样本，中间图为标注的身体各个区域。然后，利用标注好的图像样本进行全卷积网络(fullyconvolutionalnetwork，fcn)的训练，得到训练之后较好网络参数的全卷积网络。

在上述训练之后的全卷积网络的基础上，将所述待分析图像输入至所述全卷积网络中，可以分割出行人的各个区域。

步骤s230，获取所述各个区域的最小外接几何框。

具体地，通过上述全卷积网络分割将行人分割成不同区域，为了去除背景影响，经发明人仔细研究，由于每个区域为不规则区域，因此可以通过最小外接几何框得到该区域。其中，获取所述各个区域的最小外接几何框的方式可以是获取所述各个区域的最小外接矩形框，或者获取所述各个区域的最小外接圆等等。在一种实施方式中，以最小外接矩形框为例，参照图2所示，每张图片的最右边图像中行人的各个区域由最小外接矩形框标出，从而得到所述各个区域的最小外接矩形框，能够有效去除背景干扰等问题，提供准确的行人各部分区域。

值得说明的是，上述最小外接几何框也可以采用其它任意规则几何图形实现，作为优选，本实施例中采用最小外接矩形框实现。

步骤s240，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。

具体地，在对所述步骤s240作进一步阐述之前，首先对所述卷积神经网络的配置过程进行说明。作为一种实施方式，所述卷积神经网络的配置方式可以通过如下方式实现：

首先，接收图像样本集，所述图像样本集中包括有多个图像样本。

然后，将每个图像样本输入到卷积神经网络中进行训练，在训练完成后提取所述卷积神经网络中最后一层神经网络的多维特征作为该图像样本的图像特征，从而完成卷积神经网络的配置。例如，可以提取所述卷积神经网络中最后一层神经网络的300维特征作为该图像样本的图像特征。

经本申请发明人仔细研究发现，现有技术中主要通过对图像按照固定大小比例进行划分，然后提取出各个区域的特征，最后将各个区域特征连接起来进行图像检索。但是由于检测算法等原因，图像中的目标对象(例如，行人)在图像中存在位置差异，如图3所示，横线为固定比例分割线，自上而下分别将每张图片分割为第一区域、第二区域和第三区域，其中，第一区域在第一幅图像和第三幅图像中主要提取为行人头部区域特征，但在第二幅图中并不是该行人头部特征，这样会导致该图像在图像库中较难检索出，从而在后续对特征进行比较时会严重影响图像检索指标。

鉴于上述问题，经发明人长期研究，提出通过下述分割的方法定位出所述目标对象的各个区域位置，详细地，如图4中的矩形框所示，在所述卷积神经网络训练完成后，以所述目标对象为行人为例，首先基于该卷积神经网络对行人的头部区域、上半身区域、下半身区域分别提取特征，然后在提取到行人的头部区域、上身区域、下身区域的基础上，对这三个区域分别利用所述卷积神经网络提取特征，最后将这三个区域的特征连接在一起，得到多维特征。例如，提取出的头部区域的特征为100维特征，上身区域的特征为100维特征，下身区域的特征为100维特征，那么将这三个区域连接在一起即可以得到300维特征，所述300维特征即作为所述目标对象(行人)的图像特征。另外，若不存在某个区域，例如图2(c)不存在下半身区域，则将该区域特征置为零。由此，实现了特征对齐，能够有效提高图像检索精度。

步骤s250，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。

详细地，作为一种实施方式，请参阅图5，所述步骤s250可以通过如下子步骤实现：

子步骤s251，分别计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。

本实施例中，所述预存图像库中包括有多张图像。在得到所述目标对象特征后，对所述目标对象特征与所述预存图像库中每张图像的图像特征进行比较。具体地，可以通过计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离，并基于所述余弦距离来进行比较，具体计算公式为：

其中，fi,fj表示图像i,j提取的特征，||·||2表示二范数，d(·)表示所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。

通过上述公式，即可计算出计算所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离。

子步骤s252，基于所述余弦距离对预存图像库中每张图像进行排序，并生成排序结果，所述排序结果为所述待分析图像的图像分析结果。

本实施例中，在计算得到所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离后，可以通过如下公式对预存图像库中每张图像进行排序：

其中，n为所述排序结果的图像数量，ω表示预存图像库。其中，n可以根据实际需求进行设置，例如，若n为3，则表明最终排序结果包括所述目标对象特征与预存图像库中每张图像的图像特征之间的余弦距离为前三的图像。由此，可以在对目标对象提取出对应的特征后，得到较高的图像检索结果，可为刑侦案件提供有效的线索。

进一步地，如图6所示，是本发明实施例提供的用于实现所述图像分析方法的电子设备100的示意图。本实施例中，所述电子设备100可以是，但不限于，个人电脑(personalcomputer，pc)、笔记本电脑、监控设备、服务器等具备图像分析及处理能力的计算机设备。

所述电子设备100还包括图像分析装置200、存储介质110以及处理器120。本发明较佳实施例中，图像分析装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储介质110中或固化在所述电子设备100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器120用于执行所述存储介质110中存储的可执行软件模块，例如，所述图像分析装置200所包括的软件功能模块及计算机程序等。本实施例中，所述图像分析装置200也可以集成于所述操作系统中，作为所述操作系统的一部分。具体地，所述图像分析装置200包括：

获得模块210，用于获得待分析图像，所述待分析图像中包括有目标对象。

分割模块220，用于基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域。

获取模块230，用于获取所述各个区域的最小外接几何框。

提取模块240，用于基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个所述最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征。

比较模块250，用于将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出所述待分析图像的图像分析结果。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

综上所述，本发明实施例提供一种图像分析方法、装置、电子设备及可读存储介质，首先，获得待分析图像，所述待分析图像中包括有目标对象，接着基于预先配置的全卷积网络从所述待分析图像中分割出所述目标对象的各个区域，并获取各个区域的最小外接几何框，然后，基于预先配置的卷积神经网络提取各个最小外接几何框对应区域的特征，并将每个最小外接几何框对应区域的特征进行连接得到所述目标对象的目标对象特征，最后，将所述目标对象特征与预存图像库中每张图像的图像特征进行比较，并根据比较结果输出待分析图像的图像分析结果。由此，能够有效去除环境干扰，得到较精确的图像检索结果，进而为快速定位和查找目标对象提供线索。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。