一种多模型和模糊颜色的行人检索方法

一种多模型和模糊颜色的行人检索方法
【专利摘要】本发明公开了一种多模型和模糊颜色的行人检索方法，步骤一：对输入的行人检测结果进行界定，以获得初步前景，然后对初步前景进行计算以得到最终前景并保存；步骤二：综合步骤一中得出的前景和输入的行人检测结果中的位置信息，计算每个行人的CEDD特征和模糊颜色特征并保存；步骤三：根据给定的搜索特征对数据库内所储存的对象进行检索，若给定为行人和前景特征，则计算给定行人的CEDD特征，并与CEDD特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果；若给定为颜色特征，则计算给定颜色的模糊颜色直方图，并与模糊颜色特征库的每条记录比较得出特征距离，并将记录按照特征距离进行排序以得到检索结果。
【专利说明】一种多模型和模糊颜色的行人检索方法

【技术领域】
[0001] 本发明涉及一种多模型和模糊颜色的行人检索方法。

【背景技术】
[0002] 目前针对静态图像的行人检测和前景提取是一个技术难点。虽然行人检测方法很 多，但是易于前景提取的检测方法很少，主要是DPM，即：
[0003] 可变形部件模型（DPM:DeformablePartModel)
[0004] ObjectDetectionwithDiscriminativelyTrainedPartBasedModels， P.FelzenszwalbjR.Girshickj 2010 ；
[0005] CascadeObjectDetectionwithDeformablePartModelsjP-FelzenszwalbjR. Girshick，2010。
[0006] 目前许多行人检测和前景提取都基于视频，其原因是利用了其中的运动信息以达 到较好的检测效果。
[0007] 大多数行人检测的结果是一个行人的外围方框，从中提取行人前景是难点，目前 的方法有：基于DPM的部件，基于level-set的方法。
[0008] 但是，从检索的角度，前景提取需要达到什么样的精确度，是否需要分析行人的各 个部分，以及这些方法能否适应实际的监控和拍摄的图像，目前的研宄很少。
[0009] 对于前景提取后的行人，采取何种特征是另一个难题，实际行人有各种典型的特 征，如：纹理、单色、多色等；而实际情况是希望能用1种方法尽可能多的包含上述行人特 征。目前许多研宄是对1个图像建立几种特征，如：建立颜色特征，纹理特征，形成多个分类 检索结果，导致应用起来低效和复杂。还有一些检索方法基于整个行人方框，导致检索误差 较大。
[0010] 另外对于一些只有模糊特征，而没有给定行人目标的情况，如：找一个穿红衣服的 人；这种检索的目的是希望尽可能多的提供具有相似性的结果，这就需要一种精确性不太 强，但是覆盖面广的检索方法，但目前尚未有相应的方法能达到较好的检索效果。


【发明内容】

[0011] 为了克服目前对于静态图像的行人检测方法检测率低、误报率高，且不能达到根 据综合特征进行行人检索的技术问题，本发明提供一种针对静态图像实现高效前景提取， 且检测率高、误报率低，能实现综合特征检索的多模型和模糊颜色的行人检索方法。
[0012] 为了实现上述技术目的，本发明的技术方案是，
[0013] 一种多模型和模糊颜色的行人检索方法，包括以下步骤：
[0014] 步骤一：输入行人检测结果作为需要检索的对象并进行前景提取，首先以人体上 半身作为所需要的检索敏感区域即前景范围进行界定，以获得初步前景，然后对初步前景 进行canny边缘计算以得到最终前景；
[0015] 步骤二：综合步骤一中得出的最终前景和输入的行人检测结果中检测方框所表示 的位置信息，计算每个行人的改进CEDD特征和模糊颜色特征，并将这两个特征分别存入改 进CEDD特征库和模糊颜色特征库中；这里的位置信息表示行人在一帧图像中的位置；
[0016] 步骤三：根据给定的搜索特征对特征数据库内所储存的对象进行检索，若给定为 行人图像和前景特征，则计算给定行人的改进CEDD特征，并与改进CEDD特征库中的每条记 录比较得出特征距离，再将记录按照特征距离进行排序以得到检索结果；若给定为颜色特 征，则计算给定颜色的模糊颜色特征，并与模糊颜色特征库的每条记录比较得出特征距离， 并将记录按照特征距离进行排序以得到检索结果。
[0017] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，输入的行人检 测结果由DPM模型进行检测获得。
[0018] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，获得最终前景 的步骤包括：
[0019] 首先将行人检测结果中的部件方框按图片上的纵坐标自上而下排序，并按照顺序 选择预设的多个部件作为人体的上半身，然后将组成人体上半身的各部件方框转换为前景 掩码图，并充部件间的空隙以形成DPM初步前景；
[0020] 对DPM初步前景计算canny边缘，得到边缘图，然后在边缘图的DPM初步前景区域 内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘 的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边 界点，完成后即得到DPM最终前景。
[0021] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，输入的行人检 测结果由ICF模型进行检测获得。
[0022] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤一中，获得最终前景 的步骤包括：
[0023] 首先对检测结果中的行人方框进行上半身范围界定，然后取一个高度等同上半身 范围、宽度为预设像素的左右滑动窗口，在界定的上半身范围内由宽度方向的一端向另一 端移动；再取一个宽度等同上半身范围、高度为预设像素的上下滑动窗口，在界定的上半身 范围内由高度方向的一端向另一端移动；
[0024] 在左右滑动窗口移动过程中统计窗口内的边缘像素点的数目，形成一个以图像X 轴坐标为X值、以每个X坐标处的边缘点数目为y值的2维曲线，然后在图像的左半部分和 右半部分中分别找到最大峰值，作为左右边界；同样统计上下滑动窗口内的边缘像素点的 数目，形成一个以图像y轴坐标为X值、以每个y坐标的边缘点数目为y值的2维曲线，然后 在图像的上半部分和下半部分中分别找到最大峰值，作为上下边界，即得到ICF初步前景；
[0025] 对ICF初步前景计算canny边缘，得到边缘图，然后在边缘图的ICF初步前景区域 内逐行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘 的像素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边 界点，完成后即得到ICF最终前景。
[0026] 所述的一种多模型和模糊颜色的行人检索方法，步骤二和步骤三中计算行人的改 进CEDD特征的步骤包括：
[0027] 首先输入行人检测方框和最终前景，然后将行人检测方框平均划分为64个方格， 对每个方格进行检查，若方格内像素点全部为最终前景中像素点，则定位为有效方格，并计 算此方格的CEDD特征，否则不进行计算，最后将有效方格的CEDD特征累加，即得到前景区 域的改进CEDD特征。
[0028] 所述的一种多模型和模糊颜色的行人检索方法，步骤二和步骤三中计算行人的模 糊颜色特征的步骤包括：
[0029] 首先输入行人检测方框和最终前景，然后在前景区域采用模糊颜色算法计算包含 10个模糊颜色分量的直方图，再计算前景区域内的平均亮度，组成11维的模糊颜色特征向 量；"模糊颜色算法"是"改进CEDD特征"计算算法中的一个步骤；所述的平均亮度计算过 程为：先将rgb颜色值转换为HSV颜色值，再计算前景区域内的V值的平均值。这里提及的 模糊颜色算法是CEDD算法中的第一步，属于公知方法。
[0030] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤三中，根据所计算的 给定行人和前景特征得出的改进CEDD特征与改进CEDD特征库中每条记录的特征距离的步 骤包括：
[0031] 将给定行人和前景特征所计算出的改进CEDD特征和步骤二中存入特征库中的一 条改进CEDD特征进行比较，先用Tanimoto法计算特征距离distancel，若未超过预设的最 大值M，则将distancel输出为最终结果distance;M可以取任意的正数，一般取100 ;
[0032] 若distancel超过最大值M，则计算distance2,并令distance=distance2+M，作 为输出的特征距离。
[0033] 所述的一种多模型和模糊颜色的行人检索方法，所述的distance〗的计算方法 为：对于输入特征tl和t2中所包含的每个元素对应一个维序号，将包含的元素按元素值以 降序排序，取排序为前3个元素值所对应的维序号，形成1个3维向量，这样得到2个3维 向量，求这2个3维向量的对应元素的差值的绝对值，并对绝对值根据排序次序取权值后求 和，将和作为distance〗。
[0034] 所述的一种多模型和模糊颜色的行人检索方法，所述的步骤三中，根据给定颜色 特征来得出与模糊颜色特征库中每条记录的特征距离的步骤包括：
[0035] 首先根据给定颜色来计算给定颜色的模糊颜色特征；
[0036] 然后将模糊颜色特征与模糊颜色特征库的记录逐一单个比较，模糊颜色特征作为 特征向量，维数为颜色的数目，每个元素表示1种颜色，元素值即为颜色值；找出其中颜色 值大于预设阈值且颜色值最大的k个颜色元素，其中k不大于4且大于0,将基本距离dl预 设为k，接下来逐一检测这k个颜色元素，按照每个颜色元素对应的颜色序号即维序号，从 模糊颜色特征库的1个记录中得到对应颜色元素值，若获得的颜色元素值也大于上述的预 设阈值，则距离值减1，这样检查完k个颜色成分后，得到1个距离值，设为h，则基本距离dl =(h/k)，这里提及的1个记录即为1个特征向量；
[0037] 若给定颜色为黑色、灰色或白色，则计算2个模糊颜色特征的亮度成分之差；其中 亮度为利用hsv特征计算的平均V值得到；最终距离为：distance=dl+亮度差；否则计算 模糊直方图前3个主要颜色成分的颜色值之差的绝对值之和，再与基本距离相加，即最终 距离为：dl+(直方图第1主要成分颜色值之差）+ (直方图第2主要成分颜色值之差）+ (直 方图第3主要成分颜色值之差）。
[0038] 本发明的技术效果在于：（1)可用于静态图像；（2)高效准确的前景分析算法，可 以适应各种行人检测模型；（3)采用"广义上半身"作为检索敏感区域，既包含了身体主要 部分的颜色和纹理特征，又删去了对检索效果影响不大且难以分析的身体部件；(4)采用 统一的特征同时表示纹理和颜色，特征计算和特征距离的计算都比较高效；(5)较高的综 合检索准确率；

【专利附图】

【附图说明】
[0039] 图1为本发明前景提取和特征库建立原理图；
[0040] 图2为给定目标的检索原理图；
[0041] 图3为检索敏感区域，如景和掩码图的说明不意图；
[0042] 图4为DPM部件掩码图；
[0043]图5为初步前景的计算原理图，图5A为包含部件的检测结果图，图5B为基本前景 图，图5C为填充缝隙后的初步前景图，其中图5A和图5B中的绿色部分为"广义上半身"前 景区域和原图像融合后的显示效果；
[0044] 图6为基于边缘的前景优化计算原理即DPM前景提取的最终结果示意图，其中图 6A为待检测图片中的行人检测方框图，图6B为已得到的初步前景图，图6C为边缘图，图6D 为边缘融合初步前景优化前的示意图，图6E为优化后示意图，图6F为优化后的最终前景 图，其中图片中绿色部分为"广义上半身"前景区域和原图像融合后的显示效果；
[0045] 图7为基于边缘点统计特征的前景提取算法原理图；
[0046] 图8为基于边缘点统计的前景分析原理图，其中图8A为检测方框示意图，图8B为 边缘图，图8C为确定左右边界不意图，图8D为确定肩部和腰部不意图，图8E为初步如景 图；
[0047] 图9为支持ROI的CEDD特征计算原理图，其中图9A为基本CEDD的计算示意图， 图9B为支持ROI的CEDD特征计算示意图；
[0048] 图10为改进的CEDD特征距离计算过程示意图；
[0049] 图11为模糊颜色特征距离计算过程示意图；
[0050] 图12为CEDD和模糊颜色检索对比效果图，其中图12A为使用使用CEDD特征的检 索结果示意图，图12B为使用模糊颜色特征距离的检索结果示意图。

【具体实施方式】
[0051] 本发明中提及的简称包括：
[0052] HOG ：Histograms of Oriented Gradients；
[0053] FHOG :Felzenszwalb' s HOG ;
[0054]DPM:Deformable Part Model ;可变形部件模型；开源软件；
[0055]ICF: Integral Channel Features ;集成通道模型；开源软件；
[0056]FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM ;模糊颜色和纹理直方图；开源软件；
[0057] CEDD:Color and Edge Directivity Descriptor ;颜色和边缘方向描述符；开源 软件；
[0058] ROI: Region Of Interest ;感兴趣区域；
[0059] CBIR :Content_based image retrieval ;基于内容的图像检索；
[0060] lire :Lucene Image REtrieval ;开源cbir引擎，集成了多种图像特征；
[0061] 本发明中提及的前景提取，可在以下公开文献中获得相关说明：
[0062] [a]Level-SetPersonSegmentationandTrackingwithMulti-Region AppearanceModelsandTop-DownShapeInformation,EstherHorbert，Konstantinos RematasjBastianLeibej 2011 ；
[0063] [b]SemanticSegmentationwithSecond-OrderPooling，Jo?ao Carreiraj 2012 ；
[0064] 本发明中提及的特征计算，可在以下公开文献中获得相关说明：
[0065] [a]FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM A LOW LEVEL FEATURE FOR ACCURATE IMAGE RETRIEVAL，Savvas A. Chatzichristofis and Yiannis S. Boutalisj2008 ；
[0066] [b]CEDD:ColorandEdgeDirectivityDescriptor.ACompactDescriptor forImageIndexingandRetrieval,SavvasA.ChatzichristofisandYiannis S.Boutalisj 2008 ；
[0067] [b]Image retrieval based on fuzzy color histogram processing, K. Konstantinidisj2004 ；
[0068] 本发明中提及的检索和匹配，可在以下公开文献中获得相关说明：
[0069] [a]Part-based Clothing Segmentation for Person Retrieval, Michael Weber, 2011；
[0070] [b]PersonRe-identificationUsingSpatialCovarianceRegionsofHuman BodyParts,SiawomirBak, 2004 ;
[0071] [c]PersonReidentificationUsingSpatiotemporalAppearance,Niloofar Gheissari, 2006；
[0072] 本发明方法包括三个主要步骤：
[0073] (1) "检索敏感区域"的提取；（2)特征计算并存入特征数据库；（3)根据给定信息 检索相似的行人。
[0074] 本文的检索系统的输入可以是2种行人检测结果：（I)DPM模型的检测结果，包含 行人外围方框和各个身体部件的小方框；（2)ICF模型或其他行人检测模型的检测结果，只 包含行人的外围方框。
[0075] 在"检索敏感区域"（也就是前景）的提取阶段，根据检测结果的种类，分别采取不 同的提取算法。检索敏感区域为从肩至大腿的"广义上半身"，不包含头部。
[0076] 对于分析完毕的每一个"检索敏感区域"，计算2种特征：（1)基于ROI的改进的 CEDD，由1个特征同时包含颜色和纹理；（2)模糊颜色。并将这2种存入特征数据库。特征 库中为每一个检测到的行人建立一条记录，记录中包含以下信息：行人对象所属图像编号， 行人对象在所属图像中的位置，行人对象的前景掩码图，行人对象的改进的CEDD特征，行 人对象的模糊颜色特征。
[0077] 特征库创建之后，在检索阶段，待查询信息可以表示为2种：（1)给定的行人，并手 工或自动标记行人的"检索敏感区域"，自动方法可用行人检测和前景分析方法；（2)无给 定的行人，只给定颜色。对于情况（1)，根据给定行人的"检索敏感区域"，计算改进的CEDD 特征，并与特征库中的每个对象的CEDD比较，然后按相似度排序，作为主要的检索结果；再 计算模糊颜色特征，并与特征库中的每个对象的模糊颜色特征比较，然后按相似度排序，作 为辅助的检索结果。对于情况（2)，根据给定的颜色，计算模糊颜色特征，并与特征库中的每 个对象的模糊颜色特征比较，然后按相似度排序。
[0078] 行人前景提取完成后，希望选择其中的部分区域，使得搜索的准确度最高，搜索方 法最简单。
[0079] 一些方法对于整个人体计算特征，效果不理想，原因在于：完整人体前景提取比较 困难，尤其在人群中，腿部的前景分析误差较大，同时绝多数人的头部特征都相似。
[0080] 一些方法将人体分为2个部分，S卩：上下半身，这对于一些比较简单的服装和颜色 效果较好，但是对于复杂情况搜索的准确性较差，原因在于：有些着装难以判断上下半身， 比如：短裤，连衣裙，大衣，而且有时衣服有大块的颜色分段。图8中为一种难分析的情况， 对于腰间的另外一件衣服，算作上半身还是下半身，似乎比较难决定，冬天的"短裙+长裤" 的着装也存在类似问题。分为2个部分后，如何形成检索结果也成为一个难题，因为可能有 3种结果：[a]仅上身；[b]仅下身；[c]上下半身；这增加了应用的复杂性。
[0081] 本文选择的敏感区域为从肩至大腿的"广义上半身"，不包含头部，这一部分区域 的前景分析的准确性较高，避免了易引起前景分析错误的小腿和脚；这一部分也去掉了区 分性能不大的头部；同时也避免了上下半身的判断，可以较好的处理复杂着装的情况。
[0082] 这里的检索敏感区域，也可以称为前景，前景指图像中对于用户或者应用有价值 的区域，而不是前景的区域则为背景，在图像和视频中都可以存在前景和背景。对于行人检 测，前景可以为包含行人的方框；对于行人检索，前景可以进一步精确为行人所占据的图像 区域；而从检索的敏感性和准确性角度，可以选取上述前景中的一部分，即"广义上半身"， 下文中的前景提取，都指的是分析检索敏感区域。对于已提取前景的图像，可以生成关联的 掩码图（或称为Mask，ROI)，掩码图的用途是标记前景和背景，掩码图的尺寸和输入图像相 同。掩码图一般为二值图像，其中前景区域为1，背景区域为0 ;在有些情况，掩码图也可以 是彩色图像，而不是二值图像，这时前景为某一种颜色（如红色、蓝色等），背景为另一种颜 色（如黑色）。
[0083] 本文提出的基于DPM模型的前景提取过程，主要包括3个步骤：
[0084] 1、人工标注DPM的人体部件的前景掩码；
[0085] 2、对于行人检测结果中的人体部件，用DPM模型的部件掩码进行替换，并将除人 体部件之外的区域都设为背景，这样得到初步的前景；
[0086] 3、用边缘优化算法对初步的前景进行优化，消除前景中的错误部分（就是应为背 景，错判为前景的部分）。DPM模型包含8个部件，表示人体的8个部位，这些部件的位置可 以在一定范围内变化。
[0087] DPM模型的检测结果包含9个方框个外围方框和8个部件小方框，如图4中所 示。检测结果的8个部件与DPM模型的8个部件--对应。对于DPM模型中的每个部件， 都具有FHOG特征，而FHOG特征体现了人体部件的轮廓，可以沿部件的轮廓和人体结构常识 用手工方法标注每个"部件小方框"内的前景和背景。如图4中的左肩部件小方框，先根据 人体结构常识和模型的轮廓线，可以估计肩部轮廓的大致范围，然后在此范围内选择并连 接亮度值较大的FHOG特征线段，组成轮廓，对于左肩，将轮廓的左边标记为背景，将轮廓的 右边标记为前景。
[0088] 对于DPM模型的检测结果，共包含8个部件，前景分析时先将这个8个部件按纵座 标（y轴）从上向下排序，然后选择第2?5个部件组成"广义上半身"，这里认为第1个部 件（也就是最高位置的部件）为头部，第2?5个部件的序号可见图4。
[0089] 然后将包含部件小方框的图像转换为以"广义上半身"为前景的掩码图，方法为： 先将图像中除第2?5个部件之外的区域标记为背景，可以规定将背景标记为黑色，然后将 第2?5个部件的小方框用部件的前景掩码图代替，这样将部件2?5进行融合，得到基本 的前景。再填充部件之间的缝隙，形成初步的前景。计算过程如图5所示。
[0090] 由于初步前景由DPM模型的部件的掩码构成，和实际的行人前景有一些误差，需 要进一步的处理，消除初步前景中的错误部分（实际为背景，误判为前景）。
[0091] 对于初步的前景，使用"边缘收缩算法"来优化前景。计算过程可见图6,过程为： 先计算初步前景内的canny边缘，得到边缘图，然后在边缘图的初步前景区域内扫描每一 行，在每一行中，先得到初步前景的左右边界，图6中的蓝色横线表示一行被扫描的像素， 左右边界即前景区域（绿色区域）的左右边界，然后从左右两个边界点向人体中间寻找组 成canny边缘的像素点，若在边界点的一定邻域范围内找到canny边缘像素点，则将新的左 或右边界点移到canny边缘像素点；对于左边界点，则邻域为此边界点和边界点右侧的一 部分区域；对于右边界点，则邻域为此边界点和边界点左侧的一部分区域。
[0092] 用这种方法，可以删除每一行的左右边界附近的错误前景，得到优化后的最终前 景。这种方法简单高效，准确性高。
[0093] 除了DPM模型的行人检测方法之外，还有类似ICF的多种行人检测方法，这些方 法的特点是只能得到行人的外围方框，不能提供各个人体部件的位置，这样需要一种与DPM 不同的前景提取算法，故提出一种基于边缘点统计特征的前景提取方法，流程为：
[0094] 1、计算行人方框内图像的canny边缘图；
[0095] 2、求"广义上半身"的左右边界；
[0096] 图7和图8中，对于y坐标轴，方框顶部对应y座标值0,方框底部对应y座标值 的最大值（即方框高度）。首先估计上半身在方框中的范围，此为预定义值，可以用行人方 框y座标值与y座标值最大值（即方框高度）之间的比例来表示，一般为30%?70%，可 见图8 ;然后在此y座标值范围内定义一个高度等于预定义范围、宽度为3个像素的滑动窗 口，从左向右移动；此滑动窗口即为图8中"c.确定左右边界"中的绿色方框；
[0097] 图8中，X座标值为整数，0对应行人方框的左边界，X座标值的最大值为行人方框 的一行所包含的像素点的数目。在滑动窗口的移动过程中，步长为1个像素，统计滑动窗口 内的组成边缘的像素点（即图8中的"b.边缘图"中的白色像素点）的数目；这样，对于每 个X座标值，都对应1个统计值。当滑动窗口从行人方框的左端移动到右端，得到1个由二 维数据元素组成的数组：{(xl，统计值1)，（χ2,统计值2)，（x3,统计值3)…}，可以将此数 组表示为曲线，如图7所示，然后将曲线分为左半部分和右半部分，如图7中的垂直蓝色线 表示X座标值变化范围的中间点（即行人方框的水平方向的中间点）；在左半部分曲线和 右半部分曲线中分别找到最大峰值，以这2个峰值点处的X座标值作为行人的左右边界。
[0098] 图7中的多条曲线，是在垂直方向（y轴）上分段统计的结果，如将上半身预定义 范围划分为4段，每段的高度为预定义范围高度的1/4,这样形成4个分段滑动窗口得到的 曲线和1个整个高度范围的滑动窗口得到的曲线，然后将这5个曲线累加，得到最终的检测 曲线，以期望得到更加稳定的检测。图7中标记了曲线1?3的滑动窗口在y轴方向的位 置。
[0099] 3、求肩和腰的水平线；
[0100] 肩和腰的范围都是预设值，分别为行人方框垂直y轴的10%?30%和40%? 70%〇
[0101] 此时仍然使用和⑵类似的滑动窗口法，移动方向改为从上向下，滑动窗口的左 右边界为（2)中分析的结果，高度为3个像素；得到由二维数据元素组成的数组：{(yl，统 计值1)，（y2,统计值2)，（y3,统计值3)…}，然后表示为曲线，再根据曲线峰值判断肩和腰 的水平线的y座标值；
[0102] 4、得到整个"广义上半身"的范围，形成由一个矩形区域表示的初步前景，如图8 中所示的蓝色斜线区域；
[0103] 5、按照前述的基于边缘的前景优化对4中的范围进行优化，得到最终结果，与图6 类似。
[0104] 目前存在许多种类的颜色和纹理特征，表示颜色的有：rgb直方图等，表示纹理的 有：小波、gabor，综合表示颜色和纹理的有：mpeg-7-color_layout、CEDD、FCTH。
[0105] 对于给定行人的情况，希望有一种特征能够综合颜色和纹理，同时有较高的检索 效率。经过测试和论文的介绍，CEDD符合这一要求。
[0106] CEDD指：ColorandEdgeDirectivityDescriptor，为 144 维的向量，特征中包 含了边缘的颜色，可以同时体现纹理和颜色的特征。基本CEDD为开源软件，原理来自论 文：''CEDD:ColorandEdgeDirectivityDescriptor.ACompactDescriptorforImage IndexingandRetrieval,SavvasA.ChatzichristofisandYiannisS.Boutalis,2008"，
[0107]算法程序来自："http://chatzichristofis. info/?page_id= 15"。
[0108] 基本的CEDD针对矩形区域，而上述的行人前景为不规则区域，所以需要对基本 CEDD算法进行改进。
[0109] 基本CEDD算法提供了推荐的特征距离（体现相似度）计算方法，此方法对于一些 特征会达到最大值，导致无法排序，也需要进行改进。
[0110] 另外，mpeg-7-color-layout的原理和算法可见：
[0111] http://en.wikipedia.org/wiki/Color_Layout_Descriptor；
[0112] 小波纹理和gabor纹理的算法可见：http://www. semanticmetadata. net/lire/ ;
[0113] 根据论文介绍和测试，FCTH和CEDD的检索效率相差较小，所以本文中只考虑 CEDD，不考虑FCTH;
[0114] 下文中用特征距离来表示相似度，2个图像区域的特征距离越小，表示相似程度越 大，即越相似；而特征距离越大，表示差别的程度越大，即越"不相似"。
[0115] 基本的CEDD算法为针对整个图像，即方形区域，现在改为支持ROI。
[0116] 基本的CEDD将一个方形区域分为64个小方格，分别计算每个小方格的特征，再将 这些特征进行累加，得到总的特征。为支持R0I，现在改为只计算位于ROI内的小方格的特 征。这里的ROI可以是前景区域。
[0117] 基本算法和改进算法的原理可见图9,原理图中仅标识了方格作为示意，没有画出 64个方格。改进算法计算过程为：
[0118] (1)输入为行人的方框和"广义上半身"的前景，如图6中所示；
[0119] (2)按照基本CEDD相同的方法将行人方框划分为64个方格；
[0120] (3)检查每个方格，若方格内的像素点全部属于前景，则定位有效方格，并计算此 方格的CEDD特征；
[0121] (4)将有效方格的CEDD特征累加，得到前景区域的CEDD特征。
[0122] 基本CEDD采用Tanimoto方法计算相似度（与特征距离成反比），即：

【权利要求】
1. 一种多模型和模糊颜色的行人检索方法，其特征在于，包括以下步骤： 步骤一：输入行人检测结果作为需要检索的对象并进行前景提取，首先以人体上半身 作为所需要的检索敏感区域即前景范围进行界定，以获得初步前景，然后对初步前景进行 canny边缘计算以得到最终前景； 步骤二：综合步骤一中得出的最终前景和输入的行人检测结果中检测方框所表示的 位置信息，计算每个行人的改进CEDD特征和模糊颜色特征，并将这两个特征分别存入改进 CEDD特征库和模糊颜色特征库中； 步骤三：根据给定的搜索特征对特征数据库内所储存的对象进行检索，若给定为行人 图像和前景特征，则计算给定行人的改进CEDD特征，并与改进CEDD特征库中的每条记录比 较得出特征距离，再将记录按照特征距离进行排序以得到检索结果；若给定为颜色特征，则 计算给定颜色的模糊颜色特征，并与模糊颜色特征库的每条记录比较得出特征距离，并将 记录按照特征距离进行排序以得到检索结果。
2. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤一中，输入的行人检测结果由DPM模型进行检测获得。
3. 根据权利要求2所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤一中，获得最终前景的步骤包括： 首先将行人检测结果中的部件方框按图片上的纵坐标自上而下排序，并按照顺序选择 预设的多个部件作为人体的上半身，然后将组成人体上半身的各部件方框转换为前景掩码 图，并充部件间的空隙以形成DPM初步前景； 对DPM初步前景计算canny边缘，得到边缘图，然后在边缘图的DPM初步前景区域内逐 行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像 素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点， 完成后即得到DPM最终前景。
4. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤一中，输入的行人检测结果由ICF模型进行检测获得。
5. 根据权利要求4所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤一中，获得最终前景的步骤包括： 首先对检测结果中的行人方框进行上半身范围界定，然后取一个高度等同上半身范 围、宽度为预设像素的左右滑动窗口，在界定的上半身范围内由宽度方向的一端向另一端 移动；再取一个宽度等同上半身范围、高度为预设像素的上下滑动窗口，在界定的上半身范 围内由高度方向的一端向另一端移动； 在左右滑动窗口移动过程中统计窗口内的边缘像素点的数目，形成一个以图像x轴坐 标为x值、以每个x坐标处的边缘点数目为y值的2维曲线，然后在图像的左半部分和右半 部分中分别找到最大峰值，作为左右边界；同样统计上下滑动窗口内的边缘像素点的数目， 形成一个以图像y轴坐标为x值、以每个y坐标的边缘点数目为y值的2维曲线，然后在图 像的上半部分和下半部分中分别找到最大峰值，作为上下边界，即得到ICF初步前景； 对ICF初步前景计算canny边缘，得到边缘图，然后在边缘图的ICF初步前景区域内逐 行扫描，在每一行中，从初步前景的左右两个边界点向人体中间寻找组成canny边缘的像 素点，若在一定邻域范围内找到边缘像素点，则将该边缘像素点作为该行的左或右边界点， 完成后即得到ICF最终前景。
6. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，步骤 二和步骤三中计算行人的改进CEDD特征的步骤包括： 首先输入行人检测方框和最终前景，然后将行人检测方框平均划分为64个方格，对每 个方格进行检查，若方格内像素点全部为最终前景中像素点，则定位为有效方格，并计算此 方格的CEDD特征，否则不进行计算，最后将有效方格的CEDD特征累加，即得到前景区域的 改进CEDD特征。
7. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，步骤 二和步骤三中计算行人的模糊颜色特征的步骤包括： 首先输入行人检测方框和最终前景，然后在前景区域采用模糊颜色算法计算包含10 个模糊颜色分量的直方图，再计算前景区域内的平均亮度，组成11维的模糊颜色特征向 量；"模糊颜色算法"是"改进CEDD特征"计算算法中的一个步骤；所述的平均亮度计算过 程为：先将rgb颜色值转换为HSV颜色值，再计算前景区域内的V值的平均值。
8. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤三中，根据所计算的给定行人和前景特征得出的改进CEDD特征与改进CEDD特征库 中每条记录的特征距离的步骤包括： 将给定行人和前景特征所计算出的改进CEDD特征和步骤二中存入特征库中的一条改 进CEDD特征进行比较，先用Tanimoto法计算特征距离distancel，若未超过预设的最大值 M，则将distancel输出为最终结果distance ; 若distancel超过最大值M，则计算distance〗，并令distance = distance2+M，作为输 出的特征距离。
9. 根据权利要求8所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的distance〗的计算方法为：对于输入特征tl和t2中所包含的每个元素对应一个维序号， 将包含的元素按元素值以降序排序，取排序为前3个元素值所对应的维序号，形成1个3维 向量，这样得到2个3维向量，求这2个3维向量的对应元素的差值的绝对值，并对绝对值 根据排序次序取权值后求和，将和作为distance。
10. 根据权利要求1所述的一种多模型和模糊颜色的行人检索方法，其特征在于，所述 的步骤三中，根据给定颜色特征来得出与模糊颜色特征库中每条记录的特征距离的步骤包 括： 首先根据给定颜色来计算给定颜色的模糊颜色特征； 然后将模糊颜色特征与模糊颜色特征库的记录逐一单个比较，模糊颜色特征作为特征 向量，维数为颜色的数目，每个元素表示1种颜色，元素值即为颜色值；找出其中颜色值大 于预设阈值且颜色值最大的k个颜色元素，其中k不大于4且大于0,将基本距离dl预设 为k，接下来逐一检测这k个颜色元素，按照每个颜色元素对应的颜色序号即维序号，从模 糊颜色特征库的1个记录中得到对应颜色元素值，若获得的颜色元素值也大于上述的预设 阈值，则距离值减1，这样检查完k个颜色成分后，得到1个距离值，设为h，则基本距离dl =(h/k)； 若给定颜色为黑色、灰色或白色，则计算2个模糊颜色特征的亮度成分之差，其中亮度 为利用hsv特征计算的平均v值得到，最终距离为：distance = dl+亮度差；否则计算模 糊直方图前3个主要颜色成分的颜色值之差的绝对值之和，再与基本距离相加，即最终距 离为：dl+ (直方图第1主要成分颜色值之差）+ (直方图第2主要成分颜色值之差）+ (直方 图第3主要成分颜色值之差）。
【文档编号】G06K9/00GK104484324SQ201410502268
【公开日】2015年4月1日 申请日期:2014年9月26日 优先权日:2014年9月26日
【发明者】徐晓晖 申请人:徐晓晖