一种行人图像属性特征量化的方法与流程
本发明涉及行人图像特征提取技术领域，具体地说，是涉及一种行人图像属性特征量化方法。
背景技术：
颜色特征识别及量化处理技术被广泛应用于表示行人图像的属性特征之中。颜色特征的基本目标是对图像中颜色信息进行编码，使颜色特征能够对照明和视点的变化具有鲁棒性。
目前，很多的行人图像的颜色特征提取方法是利用hsv、rgb等颜色空间的直方图进行表达。这种方法的主要步骤是把待量化图像分成小块，在每一块中统计出像素点的像素值，并把像素值的取值范围划分为多个区域进行量化。这种方法，只是简单的统计图像中每个局部区域所有像素的值，无法直观的给出待量化图像整体的颜色趋势，而且，对于光照和视角的变化比较敏感。
另外，现有行人图像的颜色特征提取技术中，有一些基于颜色单词的特征量化方法。但是，这些方法都是利用很多外部数据，例如：一些包含自然场景图片的不含有行人特征的图像数据，来得到颜色单词的。利用这些外部数据得到的颜色单词，来对当前含有行人信息的待量化图像进行表达，会因外部数据中的光照强度等因素影响造成最终的量化结果的偏差。因为，在这种颜色单词的归纳过程方法中，最终得到的颜色单词的数据分布规律与当前行人特征提取任务中的颜色特征数据分布规律并不一致，当前待量化图像数据中可能存在一些因受外部数据影响的未归纳出的与行人特征提取任务无关的颜色单词，而缺少某些与行人特征提取任务具有强相关性的颜色单词，从而使得最终的量化结果与实际的行人特征之间造成偏差，影响最终行人图像中的颜色属性特征量化表达的准确度和精度。
技术实现要素：
为了解决上述技术问题，本发明提供了一种行人图像属性特征量化的方法，包括：根据预设的像素值区间到颜色单词的映射关系，由待量化图像中每个像素值确定对应的颜色单词，其中，对每幅含有行人信息的训练图像中所有像素值进行归纳，得到所述颜色单词；计算每个像素点的颜色单词分别属于每类颜色主题的概率，将所述待量化图像表示成每个像素点对应有维度与颜色主题数量一致的主题概率向量，其中，基于不同颜色单词对训练数据中行人特征的贡献，计算不同颜色单词间的相关性并将关联紧密的颜色单词进行聚合，得到不同类别的所述颜色主题；将所述待量化图像中各像素点对应的主题概率向量进行串联，利用串联结果描述所述待量化图像的颜色属性特征。
优选地，在形成所述颜色主题过程中，包括：根据每种颜色单词的不同通道像素值，计算任两种颜色单词之间的语义相关性；将每幅训练图像表示成每个像素点对应有维度与颜色单词数量一致的单词概率向量，基于此，计算每个颜色单词在每幅训练图像中的词频、以及每个颜色单词在所有训练图像中出现的概率，进一步得到每个颜色单词相对于所有训练图像的词频与图像频率指数，以表征该种颜色单词对所述训练数据中行人特征的贡献；基于成对的行人身份相关性约束条件，根据不同颜色单词之间的语义相关性和所述词频与图像频率指数，统计在所述训练数据内出现的所有颜色单词中任两种颜色对之间的相关性，得到相应的行人属性单词相关性；将多个针对每种颜色对的所述行人属性单词相关性进行聚合处理，形成所述颜色主题。
优选地，在基于成对的行人身份相关性约束条件，根据不同颜色单词之间的语义相关性和所述词频与图像频率指数，统计在所述训练数据内出现的所有颜色单词中任两种颜色对之间的相关性，得到相应的行人属性单词相关性步骤中，进一步包括：s1，从所述训练数据中任意抽选两幅训练图像，基于该图像对的所述行人身份相关性约束条件，根据这两幅训练图像中出现的每种颜色单词的所述词频与图像频率指数，计算该图像对中出现的每种颜色对的贡献率指数相关性；s2，判断是否需要继续抽取训练图像对，若需要，则抽选任意两幅训练图像，实施步骤s1，否则，进入到步骤s3；s3，基于步骤s1和步骤s2的计算结果，将所有已抽选图像对中的同种颜色对的所述贡献率指数相关性进行求和处理，结合这种颜色对的所述语义相关性，得到相应的所述行人属性单词相关性。
优选地，在步骤s1中，进一步包括：s11，选取第一幅训练图像中的一个像素点，记录该像素点所在的行数；s12，判断该图像对是否满足所述行人身份相关性约束条件，分别计算该像素点对应的颜色单词与第二幅图像中同一行的每个像素点对应的颜色单词之间的相关性，基于此，得到相应的多个第一相关性结果；s13，判断是否遍历完所述第一幅训练图像中的每一个像素点，若没有，则选取下一个像素点，并依次实施步骤s11、及步骤s12，否则，进入到步骤s14；s14，将这两幅训练图像中属于同种颜色对的所述第一相关性结果进行求和处理，得到针对这种颜色对的所述贡献率指数相关性。
优选地，在步骤s1中，还包括：按照预设的一定面积的局部块阈值，将已抽选的两幅训练图像分别划分成若干个局部图像块，并将每个所述局部图像块作为计算所述贡献率指数相关性过程中的像素点，并确定每个所述局部图像块对应的像素值；利用所述像素值区间到颜色单词的映射关系，由每个所述局部图像块的像素值确定出相应的所述颜色单词。
优选地，在将多个针对每种颜色对的所述行人属性单词相关性进行聚合处理，形成所述颜色主题步骤中，进一步包括：将每种颜色单词作为节点，并将与当前节点有相关性配对关系的颜色单词作为所述当前节点的邻节点，构建颜色对相关性图模型；遍历所述颜色对相关性图模型中的每个节点，判断当前节点与其临界点之间的所述行人属性单词相关性是否满足主题归纳条件，若满足，则表征二者之间的关联紧密，将这两个颜色节点归纳为同一颜色主题。
优选地，在归纳所述颜色单词过程中，包括：采用k近邻算法，基于预设种类的颜色空间，对所述训练数据中每幅训练图像内的所有像素值进行聚类分析处理，形成有在该颜色空间中的符合行人特征分布规律的颜色单词。
优选地，在根据预设的像素值区间到颜色单词的映射关系，由待量化图像中每个像素值确定对应的颜色单词，其中，对每幅含有行人信息的训练图像中所有像素值进行归纳，得到所述颜色单词步骤中，包括：确定图像中当前像素点所在的区间单元，其中，基于当前颜色空间中的每个颜色单词内所包含的n个颜色通道，将每个颜色通道划分为m个区间，构成包括mn个区间单元的颜色空间；利用所述像素值区间到颜色单词的映射关系，计算当前区间单元映射到每个所述颜色单词的可能性概率，并将所有可能性概率中的最大值对应的颜色单词确定为当前像素点的颜色单词。
优选地，在将所述待量化图像中各像素点对应的主题概率向量进行串联，利用串联结果描述所述待量化图像的颜色属性特征步骤中，包括：将所述待量化图像分为多个局部区域块；确定每个所述局部区域块内各像素点对应的主题概率向量的均值向量，并将其作为每个局部区域块对应的主题概率向量；将所述每个局部区域块对应的均值向量进行串联，得到相应的串联结果。
优选地，在计算当前区间单元映射到每个所述颜色单词的可能性概率步骤中，包括：计算选择任一所述颜色单词的第一概率；基于所述训练数据中的所有像素点对应的像素值，计算落在所述当前区间单元的第二概率；在预先确定好颜色单词的情况下，计算该颜色单词属于所述当前区间单元的第三概率；根据所述第一概率、所述第二概率和所述第三概率，得到所述当前区间单元映射到该颜色单词的所述可能性概率。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明提出了一种行人图像颜色属性特征量化的方法。该方法采用分层框架来对行人图像中的颜色属性进行量化，通过符合实际行人特征颜色分布规律的颜色主题模型，将每个行人图像的颜色属性被量化为一系列直观的颜色主题集合，使得颜色特征量化结果的可解释性得到提高。本发明的训练数据是从当前行人特征提取任务中获取的，其颜色特征的分布与实际行人特征高度符合，二者之间具有同分布特性，使得已归纳的颜色单词和已构建的颜色主题模型与训练数据的契合度更好，并给出了图像整体的颜色趋势变化特征。本发明得到的最终的行人特征量化结果，不会因光照、亮度和拍照视角等因素的变化使得待量化行人图像的颜色特征量化结果与对应的该行人实际的颜色特征之间产生偏差，提高了行人图像颜色特征量化结果的准确性及精度。更进一步地说，本发明得到的最终的行人特征量化结果，更不会因光照、亮度和拍照视角等因素的变化，使得对同一行人的颜色特征量化结果的描绘发生变化，增强了行人图像颜色特征量化结果的稳定性、准确性和鲁棒性。
本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本申请实施例的行人图像属性特征量化的方法的步骤图。
图2为本申请实施例的行人图像属性特征量化的方法中颜色单词归纳结果的示意图。
图3为本申请实施例的行人图像属性特征量化的方法中确定像素点对应的颜色单词过程的步骤图。
图4为本申请实施例的行人图像属性特征量化的方法中的颜色主题形成过程的步骤图。
图5为本申请实施例的行人图像属性特征量化的方法中的行人属性单词相关性生成过程的流程图。
图6为本申请实施例的行人图像属性特征量化的方法中的每种颜色对的贡献率指数相关性生成过程的流程图。
图7为本申请实施例的行人图像属性特征量化的方法中的行人属性单词相关性聚合处理并生成颜色主题模型的原理示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
颜色特征识别及量化处理技术被广泛应用于表示行人图像的属性特征之中。颜色特征的基本目标是对图像中颜色信息进行编码，使颜色特征能够对照明和视点的变化具有鲁棒性。
目前，很多的行人图像的颜色特征提取方法是利用hsv、rgb等颜色空间的直方图进行表达。这种方法的主要步骤是把待量化图像分成小块，在每一块中统计出像素点的像素值，并把像素值的取值范围划分为多个区域进行量化。这种方法，只是简单的统计图像中每个局部区域所有像素的值，无法直观的给出待量化图像整体的颜色趋势，而且，对于光照和视角的变化比较敏感。具体地，现有技术中广泛使用的颜色直方图特征只是对像素点在局部位置的一个统计，无法提取出更高层次的特征语义信息。并且，这些基于直方图统计的颜色特征量化方法需要人为的划分统计区间，并不能自适应地发现图像中的具有高度代表性的信息。
另外，现有行人图像的颜色特征提取技术中，有一些基于颜色单词的特征量化方法。但是，这些方法都是利用很多外部数据，例如：一些包含自然场景图片的不含有行人特征的图像数据，来得到颜色单词的。利用这些外部数据得到的颜色单词，来对当前含有行人信息的待量化图像进行表达，会因外部数据中的光照强度等因素影响造成最终的量化结果的偏差。因为，在这种颜色单词的归纳过程方法中，最终得到的颜色单词的数据分布规律与当前行人特征提取任务中的颜色特征数据分布规律并不一致，当前待量化图像数据中可能存在一些因受外部数据影响的未归纳出的与行人特征提取任务无关的颜色单词，而缺少某些与行人特征提取任务具有强相关性的颜色单词，从而使得最终的量化结果与实际的行人特征之间造成偏差，影响最终行人图像中的颜色属性特征的量化表达的准确度和精度。
举例来说，在外部数据的影响下，与行人特征提取任务具有强相关性的颜色的像素值会发生变化(如：亮度增加)，使得这些发生变化的像素值所归纳出的颜色单词并不能准确表达行人的颜色特征，故在对待量化图像进行颜色特征提取时，便无法利用现有已归纳好的颜色单词准确表达的行人图像中的颜色属性。
为了解决上述技术问题，本发明提出了一种用于行人图像的属性特征量化方法及系统。该方法及系统，首先，基于特定种类的颜色空间，利用包括多幅训练图像(其中，每幅训练图像均为包含目标行人在内的图像)在内的训练数据归纳出与实际行人特征的分布规律相符合的颜色单词。而后，构建出像素值区间到颜色单词的映射关系，直接将待量化图像中的像素点对应于像素值区间单元中，通过当前像素点所在颜色空间中的实际所在像素值区间单元的位置，直接利用上述映射关系得到了该像素点像素值所属的颜色单词。另外，本发明提出一种新的利用分层框架来对行人图像中的颜色属性特征进行量化的方法，根据行人身份特征约束条件、以及不同颜色单词对训练数据中行人特征的贡献作用的影响程度，将通过上述方法归纳出的关联紧密的颜色单词集合成同一种类的颜色主题，将表征低量化层次的颜色特征的颜色单词，转换到表征高量化层次的颜色特征的颜色主题，用以对待量化图像进行量化编码。这样，每个待量化行人图像的颜色特征属性都可以被量化为一系列直观的颜色主题集合，使得该行人特征的可解释性得到提高。
需要说明的是，本发明中的每幅训练图像是均含有目标行人的图像。其中，目标行人是一定数量范围内的行人。训练数据中的每幅训练图像就是针对这些数量的行人而言的，具体采集每个目标行人在不同行人运动角度(例如：转身、背面、正面、侧面等方向)、相对于该行人不同拍摄角度和不同环境光照等条件下的训练图像。而后，本发明基于这些训练图像(每幅训练图像中均是包含目标行人的行人图像)中的颜色特征数据，自适应地训练并提炼出不同类型的颜色主题，用以对待量化行人图像的颜色特征进行量化，这一训练过程并不需要像直方图统计的颜色特征量化方法一样去人为设定限制条件。在得到颜色主题模型后，本发明便可以将任意其他行人的图像作为待量化图像，进行基于颜色主题的颜色特征量化操作。
图1为本申请实施例的行人图像属性特征量化的方法的步骤图。下面参考图1，对本发明提出的新的行人图像颜色特征量化方法的具体步骤进行说明。
步骤s110根据预设的像素值区间到颜色单词的映射关系，由待量化图像中每个像素点对应的像素值确定每个像素点对应的颜色单词。其中，颜色单词是基于特定种类的颜色空间，对每幅含有行人特征信息的训练图像中所有像素点对应的像素值进行归纳得到的。
在本发明实施例中，对于颜色单词的归纳过程是，将上述所述的训练数据作为颜色单词归纳过程的数据源，采用k近邻算法，基于预设种类的颜色空间，对上述训练数据中每幅训练图像内的所有像素点对应的像素值进行聚类分析处理，形成有在该颜色空间中的训练数据范围内的颜色单词。通过上述过程可以看出，本发明实施例归纳出的颜色单词是包含了所有目标行人所具有的颜色特征的，是符合目标行人所具有颜色特征识别规律的。
需要说明的是，本发明是实施例中的颜色空间选自rgb颜色空间、hsv颜色空间、lab颜色空间等中的任意一种，本发明对颜色空间的类别不作具体限定，本领域技术人员可根据实际需求进行选择。
图2为本申请实施例的行人图像属性特征量化的方法中颜色单词归纳结果的示意图。图2(a)展示了在viper训练数据集上得到的基于rgb颜色空间归纳出的颜色单词；图2(b)展示了在viper训练数据集上得到的基于hsv颜色空间归纳出的颜色单词；图2(b)展示了在prid450s训练数据集上得到的基于lab颜色空间归纳出的颜色单词。
图3为本申请实施例的行人图像属性特征量化的方法中确定像素点对应的颜色单词过程的步骤图。如图3所示，本发明通过步骤s301～步骤s302根据待量化图像中每个像素点对应的像素值，确定出该图像中每个像素点像素值对应的颜色单词，完成上述步骤s110的过程。
首先，步骤s301确定图像(待量化图像或训练图像)中当前像素点所在的(像素值)区间单元。其中，在本发明实施例中的，将颜色空间构造成由多个像素值区间单元组成。具体地，由于每个颜色单词表示成通道-像素值向量的形式，该向量由多个颜色通道(n表示颜色通道数)对应的像素值构成。故本发明实施例，基于当前种类的颜色空间中的已归纳出的颜色单词内所包含的n个颜色通道，将每个颜色通道划分为m个区间，构成包括m＝mn个区间单元的颜色空间，m表示颜色空间中区间单元的数量。其中，n、m、m均为正整数。
在确定出当前像素点所在区间单元的位置后，进入到步骤s302中。步骤s302利用预先构建的像素值区间到颜色单词的映射关系，计算当前区间单元映射到每个颜色单词的可能性概率，并将所有可能性概率中的最大值对应的颜色单词确定为当前像素点的颜色单词。这样，上述通过计算区间单元映射到颜色单词概率的方法来确定像素值应归纳为的颜色单词，将数量庞大的像素点融合到区间单元中，仅计算区间单元到颜色单词的映射关系概率，这种方式相较于直接利用像素点像素值直接归纳出颜色单词的方法相比，在保障颜色表征准确度和精度的情况下大大减小了概率计算过程中的数据基数的大小，使得该计算过程更为简单、计算量更小。
下面对本发明实施例中构建像素值区间到颜色单词的映射关系的过程进行说明。本发明采用贝叶斯法则，计算当前区间单元映射到指定颜色单词的后验概率，从而得到针对当前区间单元映射到该指定颜色单词的可能性概率。
具体地，在计算当前区间单元映射到其中一个指定颜色单词的可能性概率的过程中，进一步包括如下步骤：1)计算选择任意一种颜色单词的第一概率。2)基于训练数据中的所有像素点对应的像素值，并根据训练数据中出现的所有像素值属于当前区间单元的像素点数量、和训练数据中所有像素点的数量，计算落在当前区间单元的第二概率。3)在预先确定好颜色单词的情况下，计算该颜色单词属于当前区间单元的第三概率。4)根据第一概率、第二概率和第三概率，计算当前区间单元映射到该颜色单词的可能性概率。
在一个具体实施例中，令w＝{w1，...，wnw}表示通过一个k近邻聚类获得的颜色单词。c＝{c1，...，cm}表示颜色空间中像素值区间单元的集合。将像素值区间单元ci映射到颜色单词wj的后验概率p(wj|ci)定义为相应的可能性概率，并利用如下表达式表示：
其中，p(ci|wj)表示像素值区间单元ci映射到指定颜色单词的先验概率(第三概率)，即表示在给定当前指定的颜色单词类别wj的情况下像素点落入到像素值区间单元ci的概率；p(wj)表示在选择当前区间所属于的颜色单词时影响像素点(区间单元)偏好的该颜色单词的权重，也就是上述第一概率；p(ci)表示上述第二概率。接下来，我们需要分别计算这三个概率。首先，在计算第一概率时，根据实际经验，将每个颜色单词的选择偏好表现为一致，排除主观干扰，也就是在对每个颜色单词选择时给出一样的概率。其中，利用如下表达式计算上述第一概率：
其中，nw表示本发明实施例基于训练数据所归纳出的颜色单词的数量。进一步，利用如下表达式计算上述第二概率：
其中，nci表示整个训练数据集中出现的所有像素值落在(属于)当前区间单元ci的像素点数量，np表示整个训练数据集中所有像素点的数量。最后，利用如下表达式计算上述第三概率：
其中，p(ci|wj)表示在给定颜色单词的情况下落入当前像素值区间单元的概率，即上述第三概率，wj表示当前指定颜色单词的通道像素值向量，
其中，pci为落在当前像素值区间单元ci中的其中一个像素点，表示该点像素值的向量。这样一来，通过贝叶斯法则的相关公式可将上述第一、二和三概率都计算出来，从而通过指定颜色空间中任意一个像素值(向量)，便能够直接利用上述映射关系，得到该像素值映射到每种颜色单词的概率，构成针对该像素点像素值的单词概率向量，进一步从该单词概率向量中的各元素中选出最大值，并将该最大值确定为当前像素值对应的具体的颜色单词。其中，单词概率向量是针对像素点而言的，该向量具有多个与本发明实施例中已归纳完成的颜色单词数量一致的子概率值，每个概率值分别表示当前像素值映射到相应种类颜色单词的可能性概率(例如：令单词概率向量表示为(pa、pb、pc)，其中，pa表示当前像素值映射到a种类颜色单词的可能性概率，pb表示当前像素值映射到b种类颜色单词的可能性概率，pc表示当前像素值映射到c种类颜色单词的可能性概率)，该向量的维度与颜色单词数量一致。
再次参考图1，在确定出待量化图像中每个像素值所属于的颜色单词后，进入到步骤s120中。步骤s120计算每个像素点的颜色单词分别属于每类颜色主题的(后验)概率，将待量化图像表示成每个像素点对应有维度与颜色主题数量一致的主题概率向量。其中，基于不同颜色单词对训练数据中行人特征的贡献率影响作用权重，计算不同颜色单词之间的相关性，并将关联紧密的颜色单词进行聚合处理，得到不同类别的颜色主题。
具体地，本发明实施例设置有包括不同类别颜色主题在内的颜色主题模型，是通过将在行人颜色特征提取过程中具有强相关性的颜色单词聚合而成的，其数量小于已归纳完成的颜色单词的数量。主题概率向量是针对像素点而言的，该向量具有多个与本发明实施例中已构建完成的颜色主题数量一致的子概率值，每个子概率值分别表示当前像素值对应的颜色单词属于相应种类颜色主题的可能性概率(例如：令主题概率向量表示为(pa、pb、pc)，其中，pa表示当前像素值对应的颜色单词属于a种类颜色主题的可能性概率，pb表示当前像素值对应的颜色单词属于b种类颜色主题的可能性概率，pc表示当前像素值对应的颜色单词属于c种类颜色主题的可能性概率)，该向量的维度与颜色主题数量一致。
因此，在本发明实施例中，需要分别计算出当前像素值对应的颜色单词属于每种颜色主题的可能性概率。进一步，采用贝叶斯法则，计算当前像素值对应的颜色单词映射到指定颜色主题的后验概率，从而得到针对当前像素值对应的颜色单词映射到每种颜色主题的可能性概率，进而针对每个像素点像素值构建出相对应的主题概率向量。由于此部分的计算当前像素值对应的颜色单词映射到指定颜色主题的后验概率，与上述计算当前区间单元映射到指定颜色单词的后验概率的方法类似，故在此不作赘述。
图4为本申请实施例的行人图像属性特征量化的方法中的颜色主题形成过程的步骤图。如图4所示，本发明通过步骤s401～步骤s404完成上述颜色主题模型的生成过程。
首先，步骤s401根据每种颜色单词的不同(颜色)通道对应的像素值，计算任两种颜色单词之间的语义相关性。由于每个颜色单词表示成通道-像素值向量的形式，本发明实施例需要根据颜色词的语义值，也就是根据颜色单词内的每个通道对应的像素值计算任意两种颜色单词之间的相关性得分。优选地，采用计算两种颜色单词之间的欧几里德距离，并通过语义相关性计算式，来确定二者的相关性得分，即二者的语义相关性。其中，语义相关性计算式利用如下表达式表示：
在式(6)中，r表示语义相关性得分，wi、wj分别表示两种单词颜色对应的通道像素值向量。通常，相近色系中的颜色单词对之间的语义相关性，应比不同色系中的颜色单词对之间的语义相关性更接近。但是，该距离也受饱和度和亮度的影响，故仅仅使用基于距离的语义相关性分析是不够准确的，还需要参考不同颜色单词对训练数据中行人特征的贡献率或影响程度这一因素。
在完成针对所有颜色单词中任意两两组合构成的多个颜色对的语义相关性计算后，进入到步骤s402中。步骤s402先将每幅训练图像表示成每个像素点对应有维度与颜色单词数量一致的单词概率向量，基于此，计算每个颜色单词在每幅训练图像中的词频、以及每个颜色单词在所有训练图像(训练数据集)中出现的概率，进一步得到每个颜色单词相对于所有训练图像的词频与图像频率指数，以表征该种颜色单词对训练数据中行人特征的贡献。其中，对于同一种颜色单词来说，该种颜色单词相较于每幅训练图像均对应有相应的词频(参数)，因此，词频参数表征了一种颜色单词相较于一幅训练图像关联的重要性。
需要说明的是，由于不同的颜色单词对于行人图像颜色特征具有不同的重要性。例如：深灰色在训练数据集中的大多数训练图像中作为阴影区域非常常见，而红色和橙色作为阴影区域则不常见，却是作为行人图像特征属性中常见的颜色。因此，在评价上述贡献率或影响因素过程中，需要使得深灰色的贡献率降低，红色和橙色的贡献率提高。进一步，在本发明实施例中需要计算每个颜色单词的对训练数据中行人特征的贡献程度，通过词频与图像频率指数(wordfrequency-inverseimagefrequency)来表示。
在步骤s402中，我们以其中一幅训练图像为例，对计算每个颜色单词针对当前训练图像对应的词频与图像频率指数的过程进行说明。
首先，参考上述计算当前区间单元映射到指定颜色单词的后验概率的方法，计算当前训练图像中每个像素值映射到不同颜色单词的概率，将这幅训练图像中每个像素点像素值转换成对应的单词概率向量，即得到相应的颜色单词图像wi，这个单词概率向量表示将该像素值分别映射到不同种类颜色单词的可能性概率。
然后，利用下述词频计算式，计算当前图像中出现的每个颜色单词对应的词频(参考步骤一～步骤三)。其中，词频表示某一颜色单词在当前训练图像中的重要性。具体地，下面以计算具体一种颜色单词j在当前训练图像中的词频为例进行说明。步骤一，从当前颜色单词图像中的每个像素点的单词概率向量中分别提取出映射到j种类颜色单词的可能性概率，并计算这些可能性概率的均值，得到针对j种颜色单词的单词可能性概率均值。其中，利用如下表达式计算上述单词可能性概率均值：
其中，ki(wj)表示种类为j的颜色单词的单词可能性概率均值；npi表示当前训练图像中的像素点的数量；wi(y、x、j)表示位于(y、x)位置处的像素点对应的单词概率向量中，该点像素值映射到j种类颜色单词的可能性概率；h表示当前训练图像的高度；wide表示当前训练图像的宽度。
步骤二，确定当前训练图像内所有像素点中颜色单词为种类j的一个或多个像素点，分别计算该一个或多个像素点中每个像素点对应的j种类颜色单词的行人特征权重参数，进一步将这些行人权重参数求和，得到当前训练图像中种类为j的颜色单词相较于当前训练图像的重要性的行人特征权重参数。行人特征权重参数受到行人图像特性的指导，使得越靠近中心位置的像素点的权重值更高，因为，行人图像的有效区域(包含行人而非背景)一般在更靠近水平中心的位置。进一步，行人特征权重参数表示当前像素点的位置相对于行人图像特征的重要性影响的权重值。其中，利用如下表达式计算当前训练图像中每个颜色单词为种类j的像素点对应的行人特征权重参数：
其中，
进一步，步骤三，根据上述步骤一和步骤二的计算结果，利用词频计算式，得到当前训练图像中出现的种类为j的颜色单词在该训练图像中的重要性，即词频计算结果。其中，利用如下表达式表示词频计算式：
其中，wfwj表示颜色单词wj当前训练图像i中的重要性，即词频；
接着，在将每种颜色单词在每幅训练图像中的词频计算完成后(颜色单词wj针对图像i的词频参数)，需要根据所有词频数据，利用图像频率计算式，计算每个颜色单词在所有训练图像(训练数据集)中出现的概率，即图像频率。其中，图像频率计算式用如下表达式表示：
其中，ifwj表示颜色单词wj在所有图像中出现的频率(图像频率)，ni表示训练数据中训练图像的数量。
最后，根据上述计算出的每个颜色单词在每幅训练图像中的词频、以及每个颜色单词在所有训练图像中出现的概率，得到每个颜色单词相对于所有训练图像的词频与图像频率指数。具体地，利用下述指数计算式，将同种颜色下的词频参数与图像概率参数进行比值计算，便得到了这种颜色相对于所有训练图像的词频与图像频率指数。其中，指数计算式利用如下表达式表示：
其中，γ表示颜色单词wj相对于所有训练图像的词频与图像频率指数。进一步，词频与图像频率指数表征了每种颜色单词对训练数据中行人图像颜色特征属性的贡献率或重要程度。上述表达式(11)中可以看出，如果图像频率高，则词频与图像频率指数越小，表明该颜色单词不具有很好的区分性，也就是说当前颜色单词很难将属于不同行人的颜色特征很好的区分开来。相反，如果该颜色单词在当前图像的词频较高，而对应的图像频率较低的话，则词频与图像频率指数较大，表明该颜色单词可以很好的将属于当前行人的颜色特征与其他行人区分开来。
在计算完针对所有颜色单词分别相较于所有训练图像的词频与图像频率指数后，进入到步骤s403中。步骤s403基于成对的行人身份相关性约束条件，根据不同颜色单词之间的语义相关性、并根据每种颜色单词分别相较于所有训练图像的词频与图像频率指数，统计出本发明已归纳好的所有颜色单词中任意两种颜色对之间的相关性，得到每种颜色对所对应的行人属性单词相关性。需要说明的是，本发明中的颜色对是所有已归纳出的颜色单词中任意两两组合构成的，其是所有颜色单词进行随机两两组合的配对结果的所有可能性。进一步，针对步骤s403的具体流程在下述实施例二中进行详细说明，故在此不做说明。
在完成上述步骤s403后，进入到步骤s404中，将多个针对每种颜色对的行人属性单词相关性进行聚合处理，形成本发明实施例中的不同类别的颜色主题，以构建出相应的颜色主题模型。优选地，可利用最密集连接子图算法进行上述聚合处理。
图7为本申请实施例的行人图像属性特征量化的方法中的行人属性单词相关性聚合处理并生成颜色主题模型的原理示意图。如图7所示，本发明通过步骤s701～步骤s702形成包括不同类型颜色主题在内的颜色主题模型。
具体地，步骤s701将已归纳好的每种颜色单词作为节点，将与当前节点有相关性配对关系的颜色单词作为当前节点的邻节点，构建颜色对相关性图模型，如图7的中间图所示，该中间图展示了构建好的颜色对相关性图模型，其中，方块代表节点，代表不同种类的颜色单词；各方块间的连线表示不同颜色单词对之间的相关性，即不同颜色单词对之间行人属性单词相关性。
进一步，在步骤s702中，遍历上述颜色对相关性图模型中的每个节点，判断当前节点与其临界点之间的行人属性单词相关性是否满足主题归纳条件，若满足，则表征二者之间的关联紧密，可将这两个颜色节点归纳为同一颜色主题。另外，若不满足主题归纳条件，则表明二者之间的关联不紧密，这两种颜色节点不属于同一颜色主题。如图7右图所示，该右图展示了构建好的颜色主题模型，其中，模型中的方块代表一种颜色主题。
在一个实施例中，上述主题归纳条件为判断每个节点与其临界点之间的行人属性单词相关性是否达到或超过预设的主题评价阈值，若达到或超过，则表明满足主题归纳条件，说明二者之间的关联紧密，可将这两个颜色节点归纳为同一颜色主题；若未达到，则表明不满足主题归纳条件，说明二者之间的关联不紧密，这两种颜色节点不属于同一颜色主题。
这样，通过上述步骤s401～s404形成了本发明实例中可高度概括并准确解释行人图像颜色特征的不同类别的颜色主题。
进一步，再次参考图1，在步骤s130中，将当前经过步骤s120转换后的待量化图像(当前每个像素点转换成相应的主题概率向量的待量化图像)中各像素点对应的主题概率向量进行串联，利用串联结果描述当前待量化图像的颜色属性特征。
优选地，为了减少待量化图像的颜色属性特征量化结果的数据量，需要在得到最终量化结果之前将待量化图像进行分块处理。具体地说，首先，步骤s131按照预设的分块数量，将待量化图像分为多个局部区域块，而后，进入到步骤s132中。
步骤s132确定每个局部区域块内各像素点对应的主题概率向量的均值向量，并将其作为每个局部区域块对应的主题概率向量。进一步，计算每个局部区域块内各像素点对应的主题概率向量的均值，并将每个均值向量分别作为相应局部区域块的主题概率向量。
进一步，在步骤s133中，将每个局部区域块对应的均值向量进行串联，得到相应的串联结果。在一个优选实施例中，将每个局部区域块进行顺序编号，而后，将每个局部区域块对应的均值向量按照上述编号顺序串联起来，构成一个新的颜色属性量化特征向量，并用当前颜色属性量化特征向量，解释该待量化图像中的行人颜色特征。
综上所述，本发明实施例利用已构建的颜色主题模型，对待量化行人图片的颜色特征进行高度概括化的描述，给出了图像整体的颜色趋势变化特征。由于本发明所归纳的颜色单词和基于颜色单词关联紧密性而构建的不同类型颜色主题，均是完全以目标行人特征(不包括背景信息)为依据得到的，故本发明实施例得到的最终的行人特征量化结果，并不会因光照、亮度和拍照视角等因素的变化对行人图片颜色特征的描绘有所变化或影响，增强了行人图像颜色特征量化结果的鲁棒性和准确性。
实施例二
图5为本申请实施例的行人图像属性特征量化的方法中的行人属性单词相关性生成过程的流程图。如图5所示，本发明通过步骤s501～步骤s503计算所有颜色单词中任两种颜色对之间的相关性，并得到相应的行人属性单词相关性，从而完成上述步骤s403。
在步骤s501中，从训练数据中任意抽选两幅训练图像，基于该图像对的行人身份相关性约束条件，根据这两幅训练图像中出现的每种颜色单词的词频与图像频率指数，计算该图像对中出现的每种颜色对的贡献率指数相关性。
图6为本申请实施例的行人图像属性特征量化的方法中的每种颜色对的贡献率指数相关性生成过程的流程图。如图6所示，本发明通过步骤s601～步骤s604计算该图像对中出现的每种颜色对的贡献率指数相关性，从而完成上述步骤s501。
首先，步骤s601从这两幅图像对中，选取第一幅训练图像中的其中一个像素点(记为第一像素点)，记录该像素点所在的行数，而后进入到步骤s602中。
步骤s602判断该图像对是否满足行人身份相关性约束条件，利用第一相关计算式，分别计算该像素点对应的颜色单词与第二幅图像中同一行的每个像素点对应的颜色单词之间的相关性，得到相应的多个第一相关性结果。具体地，需要先判断判断该图像对是否满足所述行人身份相关性约束条件，也就是这两幅训练图像中的行人是否为同一人，得到相应的判断结果。进一步，若该图像对中的行人为同一人，则行人身份相关性约束条件的判断结果取值为1；若该图像对中的行人不为同一人，则行人身份相关性约束条件的判断结果取值为-1。
然后，分别计算第一幅训练图像中已选取的(第一)像素点对应的颜色单词、与第二幅图像中同一行的每个像素点对应的颜色单词之间的相关性，参考图7左图。如图7左图所示，上图表示当前训练图像对中的第一幅训练图像，下图表示当前图像对中的第二幅训练图像，上图左边第一个方块代表当前已选取的(第一)像素点，下图中的4个方块分别代表第二幅训练图像中与已选中当前(第一)像素点同一行的像素点。例如：若第二幅图像中同一行中有4个像素点，那么，每个像素点均对应有一个颜色单词；而后，计算上述第一像素点对应的红色颜色单词与第二幅图像中同一行的第一个像素点对应的橙色颜色单词之间的相关性，得到针对红-橙颜色对的第一相关性结果；再计算上述第一像素点对应的红色颜色单词与第二幅图像中同一行的第二个像素点对应的橙色颜色单词之间的相关性，得到针对红-橙颜色对的第一相关性结果；接着，再计算上述第一像素点对应的红色颜色单词与第二幅图像中同一行的第三个像素点对应的橙色颜色单词之间的相关性，得到针对红-橙颜色对的第一相关性结果；进一步，再计算上述第一像素点对应的红色颜色单词与第二幅图像中同一行的第四个像素点对应的深灰色颜色单词之间的相关性，得到针对红-深灰颜色对的第一相关性结果；最终，得到相应的4个第一相关性结果。其中，这4个第一相关性结果可能是同种颜色对(例如：红-橙颜色对)，也可能是不同种颜色对(红-橙颜色对、红-深灰颜色对)。
其中，上述第一相关计算式利用如下表达式表示：
β＝λ·sign(o，g)·γi·γj(12)
式(12)中，β表示第一相关性结果；o表示第一幅训练图像；g表示第二幅训练图像；sign(o，g)表示行人身份相关性约束条件的判断结果；γi表示第一幅训练图像中已选取的像素点对应的颜色单词wi相对于所有训练图像的词频与图像频率指数；γj表示第二幅图像中同一行的其中一个像素点对应的颜色单词wj相对于所有训练图像的词频与图像频率指数；λ表示行人约束身份权重因子，具体表示行人身份约束对当前颜色对之间的相关性影响的重要程度，一般取值为0.1～1。从上述表达式(12)可以看出，如果这两张训练图像来自同一名行人，则其颜色单词相关性较大，相反，则相关性较小。
而后，进入到步骤s603中，判断是否遍历完第一幅训练图像中的每一个像素点，若没有，则选取下一个像素点，并依次实施步骤s11、及步骤s12，直至遍历完第一幅训练图像中的每一个像素点，得到相应的多个第一相关性结果。进一步，若遍历完第一幅训练图像中的所有像素点后，跳转到步骤s604中。
步骤s604将这两幅训练图像中属于同种颜色对的第一相关性结果进行求和处理，得到针对这种颜色对的贡献率指数相关性。需要说明的是，这里的贡献率指数相关性参数是在当前这两幅训练图像范围内，表征同种颜色对之间的相关性的贡献率指数相关性。
进一步，为了减少上述通过计算遍历操作的第一相关性结果的计算量，优选地，步骤s601～步骤s604过程中，也就是步骤s501过程中涉及的像素点用局部图像块来替代。具体地，第一步，按照预设的一定面积的局部块阈值，将已抽选的两幅训练图像分别划分成若干个局部图像块，并将每个局部图像块作为计算上述贡献率指数相关性过程中的像素点，并确定每个局部图像块对应的像素值。其中，将局部图像块中每个像素点(最小单元的像素点)的像素值的均值，作为当前局部图像块的像素值。第二步，利用上述实施例一中所构建的像素值区间到颜色单词的映射关系，由每个局部图像块的像素值，确定出每个局部图像块所属于的颜色单词。
需要说明的是，为了保持贡献率指数相关性的计算精度、保障同种颜色对之间的相关性的准确表达，上述局部块阈值的面积可自行设定，本发明对此不作具体限定，本领域技术人员可根据实际需求进行调节或设置。在实际应用过程中，如果步骤s501的过程(步骤s601～步骤s604的过程)以像素点作为单位进行遍历，则会极大增加计算复杂度，并且会容易被光照噪声影响，无法保证每个像素点都是符合预期取值的，以一个局部图像块进行遍历可以防止这种由于个别像素点颜色畸变带来的噪声，并且极大减少计算量。一般地，局部图像块大小取在8x8尺寸以内可以保证精度。
进一步，在计算出当前训练图像对中出现的每种颜色对的贡献率指数相关性后，从步骤s501跳转到步骤s502中。
步骤s502判断是否需要继续抽取训练图像对，若需要，则继续随机抽选任意两幅训练图像，计算该图像对中出现的每种颜色对的贡献率指数相关性，返回至上述步骤s501中，并将当前得到的贡献率指数相关性作为形成最终不同颜色对相关性的行人属性单词相关性的数据基础，直至无需抽取训练图像对。进一步，在无需抽取图像对后，从步骤s502跳转到步骤s503中。
步骤s503基于上述步骤s501和步骤s502的计算结果，利用行人属性单词相关性计算式，将所有已抽选图像对中的同种颜色对的贡献率指数相关性进行求和处理，结合这种颜色对的语义相关性，得到行人属性单词相关性。由于贡献率指数相关性表征的是针对当前图像对范围下的同种颜色对之间的相关性，而行人属性单词相关性则表征的是经过多次抽选后的，多组图像对范围下的同种颜色对之间的相关性。因此，在本发明实施例中，需要从前者得到的多组相关性结果中，选择相同种颜色对的贡献率指数相关性再次进行求和处理，从而得到后者的相关性计算结果。其中，上述行人属性单词相关性计算式利用如下表达式表示：
其中，r'表示颜色单词wt与颜色单词wl之间的行人属性单词相关性，r表示颜色单词wt与颜色单词wl之间的语义相关性，α表示一组图象对中出现的颜色单词wt与颜色单词wl之间的颜色对的贡献率指数相关性，u表示多组图像对范围下具有的同种颜色对(颜色单词wt与颜色单词wl)贡献率指数相关性参数的数量。
综上所述，本发明实施例中的根据行人身份相关性约束条件、语义相关性和词频与图像频率指数，得到的行人属性单词相关性。其中，语义相关性是颜色特征本质的相关性，色系相近的颜色相关性高。例如：红色即使在不同光照条件下也基本处在同一个色系中，这种语义相关性利用了颜色的本质特性构建了不同颜色单词之间的相关性。行人身份相关性约束条件，则解决了图像由于行人拍摄角度、光照、行人运动姿态等因素造成的颜色畸变。例如：同一名行人在不更换服装的情况下，其身体上的颜色应该是一致的，但是由于上述各种因素造成颜色在图像中显示不一致，此时，利用行人身份约束可以对这些颜色构建相关性。而词频与图像频率指数，则利用训练数据集中所有训练图像的统计性信息，遴选出了具有鉴别性(区分不同行人的颜色特征)的颜色，并加强这些强鉴别性颜色的相关性。这样，通过上述三种参数得到的行人属性单词相关性，更加符合行人特征识别规律，行人特征的描述结果表达更加贴合实际、准确性更高，并具有高度概括性。
本发明提出了一种用于行人图像的颜色属性特征量化方法及系统。该方法和系统采用分层框架来对行人的图像中颜色属性进行量化，其中，低层次和高层次的颜色属性编码分别被称为颜色单词(colorwords)和颜色主题(colortopics)。在颜色主题构建过程中，根据训练数据生成颜色单词，并且通过后验概率将每个像素映射到一个颜色单词；然后，根据它们的辨别能力计算每个颜色单词的重要性；最后，根据行人身份的约束建立表征颜色单词之间关联紧密性的相关性图，将具有强相关性的颜色单词归为同一颜色主题，得到相应的颜色主题模型。其中，颜色主题模型是基于相关性图的最相关颜色单词的集合。因此，通过颜色主题模型每个行人图像的颜色属性可以被量化为一系列直观的颜色主题集合，使得颜色特征量化结果的可解释性得到提高。本发明的训练数据是从当前行人特征提取任务中获取的，其颜色特征的分布与实际行人特征高度符合，二者之间具有同分布特性，使得归纳好的颜色单词和已构建的颜色主题模型，均与训练数据的契合度更好。
综上所述，本发明实施例利用已构建的颜色主题模型，对待量化行人图片的颜色特征进行高度概括化的描述，给出了图像整体的颜色趋势变化特征。由于本发明所归纳的颜色单词和基于颜色单词关联紧密性而构建的不同类型颜色主题，均是完全以目标行人特征(不包括背景信息)为依据得到的，对外部环境、拍摄角度等因素的响应并不敏感，故本发明实施例得到的最终的行人特征量化结果，并不会因光照、亮度和拍照视角等因素的变化使得待量化行人图像的颜色特征量化结果与对应的该行人实际的颜色特征之间产生偏差，提高了行人图像颜色特征量化结果的准确性及精度。更进一步地说，本发明实施例得到的最终的行人特征量化结果，更不会因光照、亮度和拍照视角等因素的变化，使得对同一行人的颜色特征量化结果的描绘发生变化，增强了行人图像颜色特征量化结果的稳定性、准确性和鲁棒性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！