一种对图像中目标进行分类的方法及系统的制作方法
【专利摘要】本发明公开了一种对图像中目标进行分类的方法及系统。所述方法包括步骤：A.对图像中的目标进行粗定位，大致确定目标的区域位置；B.在粗定位目标的基础上确定目标大概可能位置区域；对包含目标的可能位置区域进行打分评估；类目标映射图并进行显著性目标最优化获得目标映射图；搜索二值化分割图像目标轮廓确定目标的精确位置，确定目标精确区域；C.根据图像中目标精确区域计算特征参数或输入训练的识别模型，对目标进行分类或识别。本发明提出先粗定位后精确定位的框架，在图像上根据图像边缘特征计算出很多个目标可能存在的区域并结合计算目标显著性映射图的方式确定目标的精确位置。
【专利说明】
一种对图像中目标进行分类的方法及系统
技术领域
[0001] 本发明涉及一种对图像中目标进行分类的方法及系统。
【背景技术】
[0002] 图片和视频作为一种非结构化的数据，给人们的快速浏览和检索带来了很大的挑 战。尤其是在互联网视频行业和专用视频监控行业都有海量的视频数据，人们要在视频或 互联网中的海量图片中浏览和查找特定的目标将是非常耗费时间的事情。迫切需要人工智 能技术应用在视频和图片的结构化处理上。因此现有技术中存在如下需求:对图像中目标 进行精确定位和识别，并以此分类。
【发明内容】
[0003] 为解决上述问题，本发明通过先粗定位后精确定位的技术，获得目标在图像上的 精确位置区域，为目标的识别和分类以及高级语义分析提供基础。进一步的，如果通过训练 样本训练获得分类器，那么对目标进行分类时更准确。
[0004] 本专利所提出的目标精确定位技术与现有的目标检测模式有显著不同：1)本专利 是通过边缘特征计算确定很多个目标大概可能的位置。2)对目标大概可能的位置进行分析 评估给出包含目标的可能性概率。3)根据区域包含目标的可能性概率计算获取类目标映射 图，通过自动阈值分割的方法获取目标区域的分割图像，搜索图像中的轮廓确定目标的精 确位置。
[0005] 本发明提供的一种对图像中目标进行分类的方法及系统是这样实现的：
[0006] -种对图像中目标进行分类的方法，该方法包括步骤：
[0007] a.对图像中的目标进行粗定位，大致确定目标的区域位置；
[0008] b.在粗定位的基础上进行精确定位，确定目标精确区域；
[0009] c.根据所述目标精确区域计算特征参数或训练识别模型，从而根据特征参数或识 别模型对目标进行分类。
[0010] -种对图像中目标进行分类的系统，包括：
[0011]原始视频或图片获取模块，用于:从其他内部或外部系统获取待处理分析的原始 视频或图片数据，将不同格式的视频或图像转换成统一格式的视频或图片数据，并从该原 始视频和图片数据中获取所需要进行目标定位和识别的图像；
[0012] 粗略定位目标区域模块，用于从图像中大致定位出目标大概位置区域；
[0013] 目标大概位置区域打分评估模块，用于计算目标大概位置区域包含目标的概率 值；
[0014] 目标候选框建立类目标映射图模块，用于根据目标候选框和超级像素的目标概率 值计算类目标映射图；
[0015] 前景目标和背景优化模块，用于根据超级像素显著性分析计算显著目标的映射 图；
[0016] 目标映射图阈值分割模块，用于自动化阈值分割目标映射图精确定位目标位置；
[0017] 目标识别模块，完成目标的分类和识别。
[0018] 通过上述技术方案可知，本发明具有以下特点与优点：
[0019] 1、本方法由于是类似人类直观感知目标的位置方式，直接计算发现目标的大概位 置，这与目标检测的传统方法存在本质的不同。目标检测的传统方法是计算底层特征，从图 像左上角开始扫描通过分类器发现与模板底层特征距离最近的区域作为目标检测候选区 域。
[0020] 2、由于本方法无需从图像上到下左到右窗口滑动扫描图像，可以大大降低搜索计 算时间。通过分析评估目标可能存在的位置，确定目标的精确位置速度会很快。对海量视频 或图片而言，计算时间直接影响算法的性能和使用效率。
【附图说明】
[0021] 图1为本发明实施例1的流程图；
[0022] 图2为本发明实施例2的模块工作流程图；
[0023]图3为本发明实施例2中计算目标大概位置区域打分评估模块流程图；
[0024]图4为本发明实施例2中目标大概位置区域候选框映射图计算模块流程图；
[0025]图5为本发明实施例2中前景和背景目标优化模块流程图；
[0026] 图6为本发明实施例2中目标识别模块流程图；
[0027] 图7为本发明实施例3-种对图像中目标进行分类的系统的结构框图。
【具体实施方式】
[0028] 本发明的中心思想是:通过边缘特征计算确定大量目标可能大概的位置区域，然 后对区域内的目标特征和利用相关性检测算法对这些区域进行评估打分。建立这些区域的 类目标映射图并进行自适应阈值的二值化图像分割确定目标的精确位置。这样可以大大较 少扫描窗口带来的计算量，并且目标的定位更准确。
[0029] 为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本 发明作进一步的详细说明。
[0030] 对于本发明，待要进行处理的图像来源于视频或图片，这些视频或图片可以是，但 不限于，常规的多媒体视频文件，电视节目，电影和带有声音和视频的网络多媒体文件等， 也可以是从专用的视频监控系统中采集的视频文件或图像文件和网络视频监控系统采集 的视频文件或图像文件。
[0031] 附图1是本发明实施例1的流程图，从附图1可见，该方法主要包括步骤：
[0032]步骤S101:从原始视频或图片中确定所需要处理的图像，并在图像中粗略定位出 目标区域；
[0033] 粗略定位出目标区域的方法可以采用颜色分割算法或目标边缘检测算法以及两 者的融合算法大致确定出目标的区域；
[0034] 步骤S102:在粗略定位出的目标区域上计算目标大概可能的位置区域并进行打分 评估；
[0035] 在粗略定位的区域上进行边缘特征计算，利用相似边缘特征搜索策略算法获得N 个目标可能大概的位置区域。首先对区域内的轮廓边缘进行分组，把近乎在一条直线上的 边缘点集合成边缘组，对N多个边缘组进行相似性分组，将相似性高的边缘组分到一个集合 中。计算每个边缘组与目标大概位置区域的重叠权重，根据重叠权重计算目标大概位置区 域的分数值。设定分数值的阈值，将小于该阈值的目标大概可能的位置区域去掉；
[0036]步骤S103:根据包含目标大概可能的位置区域分数值建立类目标映射图；
[0037]对图像进行超像素分割后，计算每个像素属于目标的可能性大小并用数值表示。 对每个超像素区域内统计每个像素的类目标可能性数值的和，通过自适应阈值后生成类目 标映射图；
[0038]步骤S104:对类目标映射图进行前景和背景的判别分析和优化；
[0039]类模板映射图的前景目标往往会丢失部分前景超级像素或包含部分背景超级像 素。计算前景超级像素的联通性表征该像素是前景目超级像素之间的关联性。通过设定代 价函数对类目标映射图进行全局最优化，代价函数包含三部分:前景计算部分，背景计算部 分和超级像素之间的光滑计算部分；
[0040] 步骤S105:对上述步骤获取的图像进行自适应二值化分割；
[0041] 对二值化分割后的图像进行轮廓搜索，确定轮廓的精确位置作为图像目标的精确 位置；
[0042] 步骤S106:对上述步骤获取的目标进行识别。主要是完成目标的分类或识别。可以 采用深度学习的算法对目标进行训练后识别输入样本的分类。
[0043]此外，在另一实施例中，本发明还提供了一种对图像中目标进行分类的系统，即， 本发明实施例2,附图2为本发明实施例2中系统的工作流程图，该系统包括粗略定位目标区 域模块S201;该模块从原始视频或图片中确定需要处理的图像，并采用颜色分割算法或目 标边缘检测算法以及两者的融合算法大致确定出目标在图像上的位置区域。
[0044] 此外，在该实施例2中，还包括计算目标大概可能的位置区域并进行打分评估模块 S202;该模块在粗略定位的区域上进行边缘特征计算，利用相似边缘特征搜索策略算法获 得N个目标可能大概的位置区域。首先对区域内的轮廓边缘进行分组，把近乎在一条直线上 的边缘点集合成边缘组，对N多个边缘组进行相似性分组，将相似性高的边缘组分到一个集 合中。计算每个边缘组与目标大概位置区域的重叠权重，根据重叠权重计算目标大概位置 区域的分数值。设定分数值的阈值，将小于该阈值的目标大概可能的位置区域去掉。具体该 模块的详细描述请见附图3。
[0045] 此外，在该实施例2中，还包括根据包含目标大概可能的位置区域分数值建立类目 标映射图模块S203。该模块对图像进行超像素分割后，计算每个像素属于目标的可能性大 小并用数值表示。对每个超像素区域内统计每个像素的类目标可能性数值的和，通过自适 应阈值后生成类目标映射图。具体该模块的详细描述请见附图4。
[0046] 进一步的，该实施例2中，还包括对类目标映射图进行前景和背景的判别分析和优 化模块s204。该模块对类模板映射图的前景目标往往会丢失部分前景超级像素或包含部分 背景超级像素。计算前景超级像素的联通性表征该像素是前景目超级像素之间的关联性。 通过设定代价函数对类目标映射图进行全局最优化，代价函数包含三部分:前景计算部分， 背景计算部分和超级像素之间的光滑计算部分。具体该模块的详细描述请见附图5。
[0047]更进一步的，本实施例2的系统中还包括对前述模块处理后的图像进行自适应二 值化分割模块S205,该模块主要是对二值化分割后的图像进行轮廓搜索，确定轮廓的精确 位置作为图像目标的精确位置。
[0048] 下面利用一个具体的目标定位、识别、分类的过程对本发明的方法及系统进行演 示，输入的原始图像一辆小车，粗略定位目标区域模块S201首先粗略确定车辆的大致位置 区域，在该检测区域上模块S202计算目标大概可能的位置区域并进行打分评估，然后模块 S203根据包含目标大概可能的位置区域分数值建立类目标映射图，模块S204对类目标映射 图进行前景和背景的判别分析和优化，最后模块S205对图像进行自适应二值化分割，搜索 图像中的轮廓确定目标的精确位置。
[0049] 本发明的商业模式可以通过多种方式来实现，包括但不限于，一种模式是图像目 标精确定位和识别系统作为独立的设备或服务提供给用户，该设备或服务可以完成输入视 频或图像。另一种模式是目标精确定位和识别系统可以作为程序驻留在用户的计算处理设 备中，执行目标精确定位和识别的任务。
[0050] 下面对实施例2所对应系统中各个模块的工作流程进行了更为详细具体的说明， 具体参见附图3-6,这些附图为实施例2中上述各模块的工作流程图。
[0051]附图3是实施例2中计算目标大概可能的位置区域并进行打分评估模块的工作流 程图，在本发明一个更具体的实施实例中，该模块在粗略定位的区域上进行边缘特征计算， 首先对区域内的轮廓边缘进行分组，把近乎在一条直线上的边缘点集合成边缘组，可以获 得N多个边缘组。进一步计算两两边缘组之间的相似度，计算公式如下：
[0052] a(Si，Sj)= | cos(9i-0ij)cos(9j-0ij) | Y
[0053] 对每一对边缘组Si和Sj，根据每个边缘组内边缘点的平均位置Xi和Xj和平均角度0i 和h计算两个边缘组的相似度，9^是两个边缘组平均位置^和幻之间的夹角，y是调整因 子，实施中设置为2,可以根据角度的变化调整相似度的灵敏性。如果两个边缘组间隔是2个 像素，设定它们的相似度为0。在实施中为了提高计算效率，相似度大于0.05的可以保存下 来，小于0.05的设定相似度为0。根据上述公式可以对N多个边缘组进行相似性分组，将相似 性高的边缘组分到一个集合中。
[0054]在本发明的不同实施实例中，计算每个边缘组与目标大概位置区域的重叠权重， 根据重叠权重计算目标大概位置区域的分数值。设定分数值的阈值，将小于该阈值的目标 大概可能的位置区域去掉。
[0055]边缘组集合用S表示，目标大概区域候选框用b表示，为了计算每个目标大概区域 候选框的分数，首先计算边缘组Si内所有边缘的梯度mP之和nu，选取边缘组Si内像素 p的位 置为5，对像素 P的选取可以是任意的。对每个边缘组31，用一个0到1之间的数值表征该边 缘组是否完全包含在目标候选区域内。如果边缘组SdP包含在目标大概位置区域的矩形框 b中，Wb(Sl) = 1，否则Wb(Sl)=〇。目标大概位置区域的矩形框b边界部分重叠的所有目标边 缘记为Sb，对于所有si G Sb，wb (si) = 0，对于;^.茫的Si，它所有的像素不属于b，因此，wb (si)=0。对于那些巧el?并且5^运&，计算wb(si)如下：
[0057] T是指从目标大概位置区域的矩形框b边界开始到达Si的边缘组序列集合，当然会 有很多个T，它的目标就是从这么多的路径T中，寻找相似度最高的路径，值得注意的是，在 某路径T上，一旦出现相似度为0(这很容易出现）的情况，这条路径T就废弃，所以能很快找 到合适的T。利用上述计算的w b(Sl)，可以计算目标大概位置区域的分数值hb:
[0059] 公式中，bjPbh是目标大概位置区域候选框的宽度和高度。对大的候选框来讲，会 包含更多的边缘。K作为偏差补偿调节因子，K取值为1.5。
[0060] 附图4是本发明实施例2中目标大概位置区域候选框映射图计算模块的工作流程 图，在本发明的一个更具体的实施实例中，该模块主要计算候选框内某个像素是目标一部 分的可能性大小，目标大概位置区域候选框的分数表示该区域包含目标的可能性大小。像 素属于目标可能性大小计算：
[0061 ] Pixobj(p)= Y.KG^y) i~\
[0062] K是包含该像素的所有候选框个数，hb是候选框的分数值，Gi是候选框区域的高斯 滤波窗口。
[0063] 利用像素属于目标可能性大小计算超级像素的目标分数值，也就是超级像素内的 所有像素分数值之和。计算如下：
[0065] Pi属于超级像素区域R的像素值。超级像素可用通过SLIC方式计算获取，该方法不 包含在本专利中。通过超级像素内像素值的计算可以构建目标映射图，也就是将图像中前 景和背景区分开。
[0066] 通过阈值分割上述目标映射图，可以将前景目标的超级像素分出来。缺点是会包 含一些背景的小区域作为前景目标。为此定义前景连通性如下：
[0068] 上述公式中，d(R，Rk)表示超级像素 R和Rk之间的欧式最短距离，可以通过计算超级 像素区域的LAB颜色空间的平均值来获得。N是超级像素个数。
[0069]附图5是实施例2的系统中前景和背景目标优化模块的工作流程图，解决把前景目 标检测问题转化为超级像素的显著性数值优化的问题。目标代价函数的优化结果是把目标 区域标注为1，背景区域标注为0。在目标代价函数达到最小值时获得超级像素的最优显著 映射图（也就是目标）。假定N个超级像素的显著性数值为^目标代价函数定义如 下：
[0071]目标代价函数包含三部分:前景项，背景项和光滑项。
[0072]前景项权重让有较大前景概率的超级像素 Pi取值尽可能大(接近1)。前景项 定义如下：
[0074]背景项权重让有较大背景概率ivf"的超级像素 Pi取值尽可能小(接近〇)。背景项 定义如下：
[0076]光滑项鼓励超级像素显著性数值尽可能连续。对每个相邻的超级像素对(ij)权重 定义如下：
[0078]该项数值在光滑区域时取值大，在区域的边界时取值小。a取值一般在[5,15]之 间，实验中取10取得较好效果。y是优化调整因子，可以控制忽略一些小区域。这三项权重因 子都是均方误差，可以采用最小二乘法进行优化获得最优显著映射图。
[0079]附图6是本发明实施例2的系统中目标识别模块的工作流程图，该模块主要是完成 目标的分类或识别。可以采用深度学习的算法对目标进行训练后识别输入样本的分类。也 可以采用计算样本的底层特征的方式对样本进行分类识别。训练识别模型是该模块主要任 务。在精确确定目标的位置后，可以大大提高目标的识别准确率。
[0080]附图7是本发明实施例3-种对图像中目标进行分类的系统的结构框图，其包括视 频采集装置101和原始视频或图片导入模块102,计算处理装置200。示例的，计算处理装置 200进一步包括粗略定位目标区域模块S201，目标大概位置区域打分评估模块S202，目标大 概位置区域分数值建立类目标映射图模块S203，类目标映射图进行前景和背景的判别分析 和优化模块s204，显著映射图像自适应二值化分割模块S205，还包括，中央处理单元(CPU)， 处理设备支撑电路板和存储设备等。存储设备包括动态或静态随机存储器，电磁或半导体 的存储器等。各个模块在计算处理装置中有具体的运行程序，通过运行这些程序，计算处理 装置200对图像中目标进行精确定位和识别。
[0081]以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的 技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和 润饰，都应落在本发明的保护范围内。
【主权项】
1. 一种对图像中目标进行分类的方法，其特征在于，该方法包括步骤： a. 对图像中的目标进行粗定位，大致确定目标的区域位置； b. 在粗定位的基础上进行精确定位，确定目标精确区域； c. 根据所述目标精确区域计算特征参数或训练识别模型，从而根据特征参数或识别模 型对目标进行分类。2. 如权利要求1所述的方法，其特征在于，优选的，步骤a中所述图像包括监控系统采集 的视频文件中采集帧数据保存的图像，或其他视频文件，或静态图片。3. 如权利要求1所述的方法，其特征在于，所述步骤b包括如下步骤： bl.计算大量的包含目标的可能位置区域，并对这些可能位置区域进行打分评估； b2.计算类目标映射图和计算前景目标连通性； b3.计算优化前景目标和背景后获得前景目标的映射图，确定目标的精确位置。4. 如权利要求3所述的方法，其特征在于，所述步骤bl包括如下步骤： bll.计算图像的边缘图； b 12.在边缘图上搜索边缘组集合； bl3.计算边缘组集合的相似度； bl4.计算候选框边缘重叠集合； bl5.计算边缘组集合权重； bl6.计算目标候选框评估分数。5. 如权利要求3所述的方法，其特征在于，所述步骤b2包括如下步骤： b21.计算目标候选框内像素属于目标概率； b22.计算超级像素属于目标的分数值； b23.计算前景目标的连通性数值。6. 如权利要求3所述的方法，其特征在于，所述步骤b3包括如下步骤： b31.计算前景目标权重； b32.计算背景权重； b33.计算光滑项权重； b34.优化目标代价函数在最小值时获得目标映射图。7. 如权利要求6所述的方法，其特征在于，所述步骤b34中采用最小二乘法优化目标代 价函数，在目标代价函数取得最小值时，计算超级像素值并生成目标映射图。8. -种对图像中目标进行分类的系统，其特征在于，包括： 原始视频或图片获取模块，用于:从其他内部或外部系统获取待处理分析的原始视频 或图片数据，将不同格式的视频或图像转换成统一格式的视频或图片数据，并从该原始视 频或图片数据中确定所需要进行目标定位和识别的图像； 粗略定位目标区域模块，用于在图像中大致定位出目标的大概位置区域； 目标大概位置区域打分评估模块，用于计算目标大概位置区域包含目标的概率值； 目标候选框建立类目标映射图模块，用于根据目标候选框和超级像素的目标概率值计 算类目标映射图； 前景目标和背景优化模块，用于根据超级像素显著性分析以计算显著目标的映射图； 目标映射图阈值分割模块，用于自动化阈值分割目标映射图以精确定位目标位置； 目标识别模块，完成目标的分类和识别。9. 如权利要求8所述的系统，其特征在于，该系统用于执行权利要求5所述的对图像中 目标进行精确定位和识别的方法，具体的，所述粗略定位目标模块执行步骤a，所述目标大 概位置区域打分评估模块执行步骤bl，所述目标候选框建立类目标映射图模块执行步骤 b2,所述前景目标和背景优化模块以及所述目标映射图阈值分割模块配合执行步骤b4,所 述目标识别模块执行步骤c。10. 如权利要求8所述的系统，其特征在于，该系统还包括:视频或图片采集模块。
【文档编号】G06K9/62GK105913082SQ201610217716
【公开日】2016年8月31日
【申请日】2016年4月8日
【发明人】张洪庆
【申请人】北京邦焜威讯网络技术有限公司