训练系统、训练方法及检测方法

专利名称：训练系统、训练方法及检测方法
技术领域：
本发明涉及在图4象或者一见频数据中识别目标图l象的存在与否和 存在的^f立置的训练系统、训练方法及斗企测方法。
背景技术：
在现有技术中，在视频或者图像中检测目标有两类方法，第一 类是采用静态图像特征建立区分目标与背景的分类器，用该分类器 来在图像中检测目标，对于视频则对每一帧视为一幅图像进行检测。 第二类是结合静态特征与视频的帧间相关性，运动、声音等信息来 检测视频中的目标。其中，静态图像的方法是进行检测的基础。
目前，釆用类哈尔(Haar-like)矩形特征来^r测静态图像中的 目标，用boost (机器学习的方法)的方法自动挑选采用的特征，但 矩形特征对目标检测的正确率不是很高。对于视频中的行人，因为 人的运动具有独特的特征，从帧间差分图和变形的差分图中可以提 取关于运动的方向幅度的特征，与静态特征一起进行训练从而得到 分类器，但这不能用于镜头运动的情况。此外，在现有技术中，也 存在以下情况将^争态图<象的矩形特征进4于推广，加入倾斜45度的 多边形等特4正，^旦这些类p合尔的特4i和矩形特^正一样，不具有对目 标的针对性。
此外，采用方向性梯度直方图(HoG)的特征检测图像中的行 人，对目标各个位置都求取梯度，对各方向的梯度求和并求取区域之间的梯度总和比例作为特征，采用支持向量机(SVM )进行训练。 由于直方图具有统计的意义，能够适应目标在小范围和角度内的变 化，但姿态变化较大时检测率仍有待提高。此外，也有通过对视频 的光流场取方向性直方图特征来获取行人的运动特征，结合静态的 方向性梯度直方图来^^测的技术方案。方向性梯度直方图也是基于矩形块的特;f正，统计块内特4正的总和，并计算块之间的特4正分配比例，同样也不考虑块内特征的分布情况。视频中目标的检测率与静态图像算法高度相关，图像中的特征 提取是目标检测的基础。通常将图像划分成区域(多为矩形或者平行四边形)来求取区域内图像特征的统计值。但是Haar-like特征和HoG特征等都只采 用了区i或内所有特4iM直的总和或加4又总和，并未考虑区i或内部特4正 点的分布情况。如图6所示，目标图片(以人体为例)与背景图片 中矩形区域内部的各方向梯度总和可能类似，HoG特征无法区分， 但是边缘点的分布在目标图片中具有规则性，在背景图片中的分布 较为杂乱。尤其在人体轮廓部分，梯度方向相同的边缘点往往形成 与梯度方向正交的线条，因而沿梯度方向旋转坐标轴，这些边缘点 的纵坐标可能集中在一个小区间。因此，鉴于上述问题，发明人提出方向性熵特征，其用于表征 特征点分布的规则程度，该特征与其他基于区域的统计特征结合， 从而能有效的提高检测率，减少背景的误检率。发明内容鉴于上述问题，本发明目的在于提供可提高目标检测的正确率 的训练系统、训练方法及冲企测方法。根据本发明的 一个方面，提供了用于在图像或视频中通过训练
来获得区分目标和背景的分类器的训练系统，其包括采集单元， 用于采集目标图片和背景图片作为训练图片集；特征求取单元，用 于在训练图片集中将具有预定图像特征的像素作为特征点，并求取 特征点的分布特征集；以及训练单元，用于对分布特征集进行训练 来获得分类器，其中，分布特征集至少包括方向性熵特征。
此外，特征求取单元用于将训练图片集中的目标图片和背景图 片划分为任意大小和形状的区域，并获得各个特征点在各个区域内 的分布特征作为分布特征集。
并且，预定图^象特征包括以下至少一种统计特^正，至少包括 亮度、梯度、高阶梯度、颜色和边缘的均值、方差和协方差；响应 值，至少包括亮度、梯度、高阶梯度、颜色和边缘对各种滤波器的 响应值；以及区域的图像特征的线性或非线性的组合。
特征点在各个区域中的分布特征包括以下至少一种亮度、梯 度、高阶梯度、颜色、边缘在各个区域内的分布情况中至少一种； 各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、 高阶梯度在各个区域和各个方向的联合分布情况中的至少 一种。
此夕卜，特征求取单元包括特征点坐标分布特征求取单元，将 区域按照坐标划分成若干子区域，统计坐标值位于子区域内的特征 点的数目比例、或者特征点的特征量总和的比例，从而将各子区域 的比例情况作为区域的特征点的分布特征。
并且，特征求取单元还包4舌特4正点坐标分布熵特4正求耳又单元， 将区域按照坐标划分成若干子区域，统计坐标值位于子区域内的特 4i点的^t目比例、或者特4正点的特4正量总和的比例，并求取坐标分 布的熵4直以;彈到坐标分布的熵特4正。此外，特征求取单元还包括具有方向性的特征点坐标分布方 向性熵特征求取单元，将坐标轴旋转若干个方向，将特征点按照特 ;f正的方向划分成若干部分，统计4t^正点的方向与坐标轴方向具有一 致性的特征点，并计算具有一致性的特征点的坐标分布的熵特征作 为方向'1"生熵4争4正。其中，区域和子区域是矩形或多边形；区域之间和子区域之间 部分重叠。并且，特征点和具有方向性的特征点是预定图像特征满足大小、 方向、取值范围的像素点，以及坐标轴以任意角度旋转。在上述训练系统中，训练单元用于从特征求耳又单元求取出的分 布特征集中选取有效区分目标图片和背景图片的 一 个或多个图像特 征作为有效特征集；通过Boosting方法训练有效特征集中的图^f象特 征或图像特征组合对应的弱分类器，并为各个弱分类器分配不同权 重，从而组合得到最终的分类器，或通过SVM方法对有效特征集 进行统一训练以得到分类器。此外，训练系统还包4舌重新训练单元，用于乂于经过训练后#皮 误认为目标图片的背景图片进行重新训练。其中，分布特征集至少还包括HoG特征和/或Harr-like特征。根据本发明的另 一方面，提供了用于在图像或视频中通过训练 来获得区分目标和背景的分类器的训练方法，其包括采集步骤， 采集目标图片和背景图片作为训练图片集；特征求取步骤，在训练 图片集中将具有预定图像特征的像素作为特征点，并求取特征点的 分布特征集；以及训练步骤，对分布特征集进行训练来获得分类器， 其中，分布特征集至少包括方向性熵特征。此外，在特征求取步骤中，将训练图片集中的目标图片和背景 图片划分为任意大'J、和形状的区域，并获得各个特征点在各个区域 内的分布特征作为分布特征集。
并且，预定图像特征包括以下至少一种统计特征，至少包括 亮度、梯度、高阶梯度、颜色和边缘的均值、方差和协方差；响应 值，至少包括亮度、梯度、高阶梯度、颜色和边缘对各种滤波器的 响应值；以及区域的图像特征的线性或非线性的组合。
特征点在各个区域中的分布特征包括以下至少一种亮度、梯 度、高阶梯度、颜色、边缘在各个区域内的分布情况中至少一种； 各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、 高阶梯度在各个区域和各个方向的联合分布情况中的至少 一种。
此夕卜，在特征求耳又步骤中包括特征点坐标分布特征求耳又步骤， 将区域4要照坐标划分成若千子区域，统计坐标<直位于子区域内的特 征点的数目比例、或者特征点的特征量总和的比例，从而将各子区 域的比例情况作为区域的特征点的分布特征。
并且，在特征求取步骤中包括特征点坐标分布熵特征求耳又步 骤，将区域按照坐标划分成若干子区域，统计坐标值位于子区域内 的特征点的数目比例、或者特征点的特征量总和的比例，并求取坐 标分布的熵值以得到坐标分布的熵特4i 。
此外，在特;f正求耳又步骤中包括具有方向性的特征点坐标分布 方向性熵特4i求取步，i,将坐标轴"走转若干个方向，将特征点4要照 特征的方向划分成若干部分，统计特4正点的方向与坐标轴方向具有 一致性的特征点，并计算具有一致性的特征点的坐标分布的熵特征 作为方向'f生熵特4正。其中，区域和子区域是矩形或多边形；区域之间和子区域之间 部分重叠。并且，特征点和具有方向性的特征点是预定图像特征满足大小、 方向、取值范围的〗象素点，以及坐标轴以《壬意角度》走转。在上述训练方法中，在上述训练步骤中，乂人在特征求取步骤中 求取出的分布特征集中选取有效区分目标图片和背景图片的一个或 多个图像特征作为有效特征集；通过Boosting方法训练有效特征集 中的图像特征或图像特征组合对应的弱分类器，并为各个弱分类器 分配不同权重，从而组合得到最终的分类器，或通过SVM方法对 有效特征集进行统一训练以得到分类器。此外，训练方法还包4舌重新训练步艰《，只于经过训练后寻皮i吴i人 为目标图片的背景图片进行重新训练。其中，分布特4正集至少还包4舌HoG特4正和/或Harr-like特征。根据本发明的其它方面，提供了至少使用方向性熵特征在图像 或视频中对目标图像进行目标检测的检测方法，其包括步骤一， 在需要检测的图像或者视频的一帧图像中，在图像的任意位置检测 一定尺寸类的目标对象是否存在；步骤二，在目标对象存在的情况 下，通过方向性熵特征记录尺寸的目标图像的位置、以及尺寸的目 标在位置存在的概率，从而获得图像中目标对象存在位置尺寸的概 率分布；以及步骤三，根据目标对象存在位置的概略分布进行后处 理以判断目标对象是否存在以及存在的位置。其中，在步骤二中，包括以下步4聚对位置尺寸的图l象至少求取方向性熵特征，从而获得位置尺寸的图^f象的特征集；以及通过分 类器计算特征集为从目标图像获得的特征集的概率。此夕卜，在步骤二中，对图像求取方向性熵特征、HoG特征和/ 或Harr-like特征，从而获得位置尺寸的图像的特征集。在上述检测方法中，如果待检测内容为静态图像，则在静态图 像的任意位置检测一定尺寸范围内的目标是否存在，当在范围内存 在目标时，如果位置存在尺寸的目标图^f象大于第一阈值，则记录目 标所在的位置尺寸及求取位置尺寸目标图像存在的概率，从而得到 该图像中目标存在位置尺寸的概率分布；根据目标存在位置的概率 分布进行后处理求耳又最终的4企测结果、即目标的存在与否以及在请争 态图像中的位置；如果待检测内容为视频，则将每一帧视频视为一 幅静态图像进行检测。其中，概率的求取方法包括对位置尺寸的图像求取训练时采 用的各种图像特征得到位置尺寸的图像的特征集；采用分类器来计 算特征集为从目标图像获得的特征集的概率，也就是位置尺寸的图 <象为目标图像的和X率。此外，当判断检测为目标图像的概率大于第一阈值的相近位置 和尺寸的图像代表同 一个目标时，在后处理中合并相近的位置和尺 寸得到最终结果。并且，合并的方法包括取相近位置和尺寸的按照概率的加权 平均值来求耳又合并后的位置和尺寸，合并后的概率为相近位置和尺 寸的概率的加权平均值，合并后的概率大于第二阈值的合并结果作 为最终结果；在概率分布图上求取扭A率的才及大值，极大值大于第三 阈值的位置作为最终结果。当上述待检测内容为视频时，在上述静态图^^r测的基础上参 考各帧上述视频的相关性进行联合检测。因此，采用本发明，可以在图像或者视频数据中识别目标图像 的存在与否和存在的位置，并可提高目标4企测的正确率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部 分地从说明书中变得显而易见，或者通过实施本发明而了解。本发 明的目的和其他优点可通过在所写的说明书、权利要求书、以及附 图中所特别指出的结构来实现和获得。


附图用来才是供对本发明的进一步理解，并且构成i兌明书的一部 分，与本发明的实施例一起用于解释本发明，并不构成对本发明的
限制。在附图中
图1是才艮据本发明的训练系统的结构的框图； 图2是才艮据本发明的训练方法的流程图3是^4居本发明实施例的目标图片和背景图片、以及将图片 划分成区域和子区域的示意图4是根据本发明实施例的采用特征在视频或者图像中进行目 标冲企测的训练方法的;充#呈图5是才艮据本发明实施例的HoG特征的示意图6是才艮据本发明实施例的方向性熵特4正原理和计算方法的示 意图，图6(a)是原图片图，图6(b)是梯度图，图6(c)是梯 度方向在0度附近的梯度分图，图6 ( d )是梯度方向在45度附近 的梯度分图，图6 (e)是梯度方向在90度附近的梯度分图，图6 (f)是梯度方向在135度附近的梯度分图，图6 (g)是旋转坐标轴的图，图6 (h)是定义特^正点的坐标图，图6(i)是向新坐标轴 才殳影以计算熵的示意图7是根据本发明的检测方法的流程图；以及
图8是才艮据本发明实施例的采用特征在一见频或者图像中进行目 标才企测的4企测方法的流程图。
具体实施例方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此 处所描述的优选实施例〗又用于说明和解释本发明，并不用于限定本 发明。
图1是根据本发明的训练系统100的结构的框图。
如图l所示，用于在图^f象或一见频中通过训练来获得区分目标和 背景的分类器的训练系统100包括采集单元102,用于采集目标 图片和背景图片作为训练图片集；特征求取单元104,用于在训练 图片集中将具有预定图像特征的像素作为特征点，并求取特征点的 分布特征集；以及训练单元106,用于对分布特征集进行训练来获 得分类器，其中，分布特征集至少包括方向性熵特征。
此外，特;f正求耳又单元104用于将训练图片集中的目标图片和背 景图片划分为任意大小和形状的区域，并获得各个特征点在各个区 i或内的分布特4i作为分布特4正集。
并且，预定图^f象特征包括以下至少一种统计特征，至少包括「 亮度、梯度、高阶梯度、颜色和边缘的均值、方差和协方差；响应 值，至少包括亮度、梯度、高阶梯度、颜色和边缘对各种滤波器的 响应值；以及区域的图像特征的线性或非线性的组合。括以下至少一种亮度、梯 度、高阶梯度、颜色、边缘在各个区域内的分布情况中至少一种； 各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、 高阶梯度在各个区域和各个方向的联合分布情况中的至少 一种。
此夕卜，特4正求取单元104包4舌特4正点坐标分布特4i求耳又单元， 将区域4安照坐标划分成若干子区域，统计坐标值位于子区域内的特 征点的数目比例、或者特征点的特征量总和的比例，从而将各子区 域的比例情况作为区域的特征点的分布特征。
并且，特^正求取单元104还包括特4正点坐标分布熵特征求耳又 单元，将区域按照坐标划分成若干子区域，统计坐标值位于子区域 内的特征点的数目比例、或者特征点的特征量总和的比例，并求取
坐标分布的熵值以得到坐标分布的熵特征。
此夕卜，特征求取单元104还包括具有方向性的特征点坐标分 布方向性熵特;f正求取单元，将坐标轴旋转若干个方向，将特征点4安 照特4i的方向划分成若干部分，统计特4正点的方向与坐标轴方向具 有一致性的特征点，并计算具有一致性的特征点的坐标分布的熵特 4正4乍为方向4生熵净争4正。
其中，区i或和子区域是矩形或多边形；区域之间和子区域之间 部分重叠。
并且，特征点和具有方向性的特征点是预定图像特征满足大d、、 方向、取值范围的像素点，以及坐标轴以任意角度旋转。
在上述训练系统100中，训练单元106用于,人特4正求取单元104 求取出的分布特征集中选取有效区分目标图片和背景图片的一个或 多个图像特征作为有效特征集；通过Boosting方法训练有效特征集 中的图像特征或图像特征组合对应的弱分类器，并为各个弱分类器分配不同权重，从而组合得到最终的分类器，或通过SVM方法对 有效特征集进行统一训练以得到分类器。由于目标有各种各样的变 动，所以所获得的分类器一般是若干个、即一个或多个。训练系统 的输出是分类器。
此夕卜，训练系统100还包括重新训练单元，用于对经过训练 后被误认为目标图片的背景图片进行重新训练。这种重新求取、训 练的过程一般要经历两三次。
其中，分布特4正集至少还包4舌HoG特4正和/或Harr-like特4i。
图2是4艮据本发明的训练方法的流程图。
如图2所示，用于在图^f象或一见频中通过训练来获得区分目标和 背景的分类器的训练方法包括采集步骤S202，采集目标图片和背 景图片作为训练图片集；特征求取步骤S204，在训练图片集中将具 有预定图j象特征的l象素作为特征点，并求耳又特征点的分布特征集； 以及训练步骤S206,对分布特征集进行训练来获得分类器，其中， 分布特4正集至少包4舌方向性熵特^正。
此外，在特征求取步骤S204中，将训练图片集中的目标图片 和背景图片划分为任意大小和形状的区域，并获得各个特征点在各 个区域内的分布特征作为分布特征集。
并且，预定图1象特征包4舌以下至少一种统计特征，至少包括 亮度、梯度、高阶梯度、颜色和边缘的均值、方差和协方差；响应 值，至少包括亮度、梯度、高阶梯度、颜色和边缘对各种滤波器的 响应值；以及区域的图像特征的线性或非线性的组合。
特征点在各个区域中的分布特征包括以下至少一种亮度、梯 度、高阶梯度、颜色、边缘在各个区域内的分布情况中至少一种；各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、 高阶梯度在各个区域和各个方向的联合分布情况中的至少 一种。
此夕卜，在特征求取步骤S204中包括特征点坐标分布特征求 取步骤，将区域按照坐标划分成若干子区域，统计坐标值位于子区 域内的特征点的数目比例、或者特征点的特征量总和的比例，从而 将各子区域的比例情况作为区域的特征点的分布特征。
并且，在特征求取步骤S204中包括特征点坐标分布熵特征 求取步骤，将区域按照坐标划分成若干子区域，统计坐标值位于子 区域内的特征点的数目比例、或者特征点的特征量总和的比例，并 求取坐标分布的熵值以得到坐标分布的熵特征。
此外，在特征求取步骤S204中包括具有方向性的特征点坐 标分布方向性熵特征求取步骤，将坐标轴旋转若干个方向，将特征 点4安照特4正的方向划分成若干部分，统计特4正点的方向与坐标轴方 向具有一致性的特征点，并计算具有一致性的特4正点的坐标分布的 熵特征作为方向性熵特征。
其中，区域和子区域是矩形或多边形；区域之间和子区域之间 部分重叠。
并且，特征点和具有方向性的特征点是预定图像特征满足大小、 方向、取值范围的像素点，以及坐标轴以任意角度旋转。
在上述训练方法中，在上述训练步骤S206中，从在特征求取 步骤S204中求取出的分布特征集中选取有效区分目标图片和背景 图片的一个或多个图像特征作为有效特征集；通过Boosting方法训 练有效特征集中的图l象特征或图l象特征组合对应的弱分类器，并为 各个弱分类器分配不同权重，从而组合得到最终的分类器，或通过 SVM方法对有效特4i集进4于统一训练以得到分类器。由于目标有各种各样的变动，所以所获得的分类器一般是若干个、即一个或多个。 训练系统的输出是分类器。
jt匕外，训练方法还包4舌重新训练步艰i,只于经过训练后^皮i吴"i人 为目标图片的背景图片进行重新训练。这种重新求取、训练的过程 一4殳要经历两三次。
其中，分布特征集至少还包括HoG特征和/或Harr-like特征。
具体而言，图3是才艮据本发明实施例的目标图片和背景图片、 以及将图片划分成区域和子区域的示意图。在图3中，以人体图片 作为目标图片的情况为例，但并不仅限于此。其中，将训练集中的 图片划分成任意大小和形状的区域，区域的形状可以为矩形或者其 4也多边形，区i或之间可以相互部分重叠。
图4是根据本发明实施例的采用特征在一见频或者图像中进行目 标;险测的训练方法的流程图。
^口图4所示，训练方法包4舌以下步-骤
步骤S402，采集目标图片和背景图片作为训练图片集；
步骤S404，对训练图片集中的目标图片和背景图片求取多种特 征，训练图片集中的目标图片和背景图片被划分为任意大小和任意 形状的区域，将该区域按照坐标划分成若干子区域，统计坐标值位 于子区域内的特征点的数目比例、特征点的特征量总和的比例、或 者各子区域的比例情况作为该区域特征点的分布特征；
步骤S406,对求取的分布特征进行训来获得分类器；以及步骤S408，重新训练步骤，对经过求取、训练被误认为目标图 片的背景图片重新进行求取、训练。
具体而言，以以下情况为例将训练图片集的目标图片归一化 到相同的尺寸，求取HoG特征和梯度的方向性熵特征。
设定图像的亮度为I(x,y)，
设定水平方向梯度为厶<formula>formula see original document page 22</formula> i殳定垂直方向梯度为<formula>formula see original document page 22</formula>设定梯度为^^t^77， 设定梯度方向为*，力=arg&仏 〃》，
此外，也可以每个像素的三个颜色分量分别计算对x,y的微分 值，其最大的值作为该像素的梯度。
并且，如图5所示，将图片划分成若干块，然后将每块划分成 四个小块，将梯度图分成若干个方向，求取每个小块内所有像素的 每一种方向的梯度的总和，然后将每块中所有小块所有方向的梯度 总和进行归 一化，得到该块的HoG特征。
此外，图6是4艮据本发明实施例的方向性熵特征原理和计算方 法的示意图，图6(a)是原图片图，图6(b)是梯度图，图6(c) 是梯度方向在0度附近的梯度分图，图6 ( d )是梯度方向在45度 附近的梯度分图，图6 (e)是梯度方向在90度附近的梯度分图， 图6 ( f)是梯度方向在135度附近的梯度分图，图6 ( g )是旋转坐 标轴的图，图6 (h)是定义特征点的坐标图，图6(i)是向新坐标轴才殳影以计算熵的示意图。梯度的方向性燜符扯如Kj 6所尔。将秭 度图分成若干个方向，在梯度分图中任取一个块，计算该方向该块 的梯度的方向性熵特征。首先将梯度分图的坐标轴4要照该分图方向
进行旋转。在原图坐标中(x，y)的点在新的坐标轴的坐标为(x，，y，)。
如图6所示，新坐标轴与原坐标轴的夹角为a，点(x，y)离原点 距离为s=sqrt(xA2 + yA2),该点与原点间连线与原坐标轴形成的夹角 为b=argtg(y/x)，则it点#斤坐才示y，=s* sin(b画a)。
对于起点为""。)，宽度为w像素，高度为h像素的方向性梯 度块，将所有梯度方向与该梯度分图方向 一致的像素点向y，轴投影。 方向性梯度在块内的分布可由块内所有4象素该方向梯度加外又的在新 坐才示寿由上的分布比例表示
<formula>formula see original document page 23</formula>
此外，该块内a方向的梯度的方向性熵则为:
在提取到的各种特征中选取最能区分目标与背景的若干特征作 为有效特征集。即，将该块中边缘点向新坐标轴^:影，计算在y，轴 的分布，乂人而得到梯度分布在该方向的熵。训练有效特征集中特征或特征组合对应的弱分类器，采用
boosting的方法挑选弱分类器，合理分配各弱分类器权重，组合成 最终的分类器。
图7是才艮据本发明的才全测方法的流程图。
如图7所示，至少<吏用方向性熵特4正在图{象或一见频中对目标图 像进行目标检测的检测方法包括步骤S702,在需要检测的图像或 者牙见频的一帧图4象中，在图<象的任意位置4企测一定尺寸类的目标对 象是否存在；步骤S704，在目标对象存在的情况下，通过方向性熵 特征记录尺寸的目标图像的位置、以及尺寸的目标在位置存在的概 率，从而获得图像中目标对象存在位置尺寸的概率分布；以及步骤 S706，根据目标对象存在位置的概略分布进行后处理以判断目标对 象是否存在以及存在的位置。
其中，在步骤S704中，包括以下步骤对位置尺寸的图像至 少求取方向性熵特征，从而获得位置尺寸的图像的特征集；以及通 过分类器计算特征集为从目标图像获得的特征集的概率。
此夕卜，在步骤S704中，对图像求取方向性熵特征、HoG特征 和/或Harr-like特征，从而获得位置尺寸的图像的特征集。
在检测方法中，如果待检测内容为静态图像，则在静态图像的 任意位置检测一定尺寸范围内的目标是否存在，当在范围内存在目 标时，如果位置存在尺寸的目标图^象大于第一阈值，则记录目标所 在的位置尺寸及求取位置尺寸目标图像存在的概率，从而得到该图 像中目标存在位置尺寸的概率分布；根据目标存在位置的概率分布 进行后处理求耳又最终的4企测结果、即目标的存在与否以及在静态图 像中的位置；如果待冲企测内容为视频，则将每一帧4见频^L为一幅静 态图像进行检测。其中，和克率的求取方法包括对位置尺寸的图^f象求取训练时采 用的各种图像特征得到位置尺寸的图像的特征集；采用分类器来计 算特征集为从目标图像获得的特征集的概率，也就是位置尺寸的图 4象为目标图4象的相X率。
此外，当判断检测为目标图像的概率大于第一阈值的相近位置 和尺寸的图像代表同一个目标时，在后处理中合并相近的位置和尺 寸得到最终结果。
并且，合并的方法包括取相近位置和尺寸的按照概率的加权 平均值来求取合并后的位置和尺寸，合并后的概率为相近位置和尺 寸的概率的加权平均值，合并后的概率大于第二阈值的合并结果作 为最终结果；在扭无率分布图上求取概率的极大值，4及大值大于第三 阈值的位置作为最终结果。
当待检测内容为视频时，在静态图像检测的基础上参考各帧视 频的相关性进行联合检测。
具体而言，图8是根据本发明实施例的采用特征在视频或者图 像中进行目标检测的检测方法的流程图。
如图8所示，输入为待检测的图像或者视频中的某一帧图像 501。包4舌以下步艰《
步骤S802,输入待检测的图像或者视频中的某一帧图像，获得 图^f象中任意位置任意尺寸的4臾索窗口中的图^f象。
步骤S804，改变搜索窗口的尺寸时，窗口中图像的尺寸随之变 化，或者只移动纟臾索窗口的位置，窗口尺寸保持标准尺寸，而对原 始图像改变各种不同尺寸后的图像也进行搜索。这样得到的搜索窗 口中的图像尺寸固定，但是内容来源于原图像素的插值。步骤S806，计算搜索窗口中图像的与训练时计算的同样的各种 特征。如果搜索窗口的尺寸发生变化，对于不同尺寸的图像计算相 同的特征，可以将窗口中的图像尺寸缩放到标准尺寸后进行计算。 或者直接改变特征的尺寸进行计算。如果是将原始图像改变各种不 同尺寸进行4叟索，4叟索窗口中的图像为标准尺寸，可直接进行特征 计算。
步骤S808，通过分类器来确认每个搜索窗口有目标的存在的概 率。得到所有搜索窗口图像为目标的概率 /7,(/ = 0......","为搜索窗口的总个数)。^夸p, "/zm^oWJ的各个窗口的位置尺
寸(xi, yi， ri)及该扭克率^己录下来。
步骤S810，由记录下来的A〉ri的各个窗口的位置尺寸进行后 处理得到目标在原图中的最终存在位置。
检测概率大于第一阈值Tl的相近位置和尺寸的图像可能代表 同一个目标，因此后处理可以合并相近的位置和尺寸得到最终结果。
一种简单的合并方法是将记录中第一个窗口位置尺寸(xO， yO, rO)当作初始结果(x—modeO， y—mode0， r—mode0),寻找下一个窗口 4立 置尺寸与其差别在lxi — x_modeO| < dife*rO, |yi — y_modeO| < difh*rO， ilog(ri) — log(r—modeO)| < difr范围之内的记录。由这两个记录才安照才企
测概u率进 4于融合更新结果， 即
, ,a , a, a、 ， xO * p0 + xi * pi y0 * p0 + yi * pi r0 * p0 + ri * pi 、
(x_modeO， y一modeO, r一modeO) = (-^-^, ^——11-^——^ ，-^-。
_ 一 一 / 0 + / / p0 + / / + / /
*接照上述方法融合所有与第一个窗口位置尺寸相近的窗口得到 第一个结果。在剩下的记录里面按照类似的方法融合，得到所有可 能的结果。由被融合的窗口的A的组合来得到该合并后的位置为目标的概
率巧，a > r2的时{吳{人为该4立置为目才示。
输出结果为所有P,T2 (T2为第二阈值)的位置，即在原图中 冲企测到的目标位置。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。
权利要求
1.一种训练系统，用于在图像或视频中通过训练来获得区分目标和背景的分类器，所述训练系统的特征在于，包括采集单元，用于采集目标图片和背景图片作为训练图片集；特征求取单元，用于在所述训练图片集中将具有预定图像特征的像素作为特征点，并求取所述特征点的分布特征集；以及训练单元，用于对所述分布特征集进行训练来获得所述分类器，其中，所述分布特征集至少包括方向性熵特征。
2. 根据权利要求1所述的训练系统，其特征在于，所述特征求取单元用于将所述训练图片集中的所述目标 图片和所述背景图片划分为任意大小和形状的区域，并获得各 个所述特征点在各个所述区域内的分布特征作为所述分布特 征集。
3. 根据权利要求2所述的训练系统，其特征在于，所述预定图像 4争4正包i舌以下至少 一种统计特征，至少包括亮度、梯度、高阶梯度、颜色和边缘 的均值、方差和协方差；响应值，至少包括亮度、梯度、高阶梯度、颜色和边缘对 各种滤波器的响应值；以及所述区域的图^f象特征的线性或非线性的组合。
4. 根据权利要求2所述的训练系统，其特征在于，所述特征点在 所述各个区域中的分布特征包括以下至少 一种亮度、梯度、高阶梯度、颜色、边缘在所述各个区域内的 分布情况中至少一种；各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、高阶梯度在各个区域和各个方向的联合分布情况中 的至少一种。
5. 根据权利要求2所述的训练系统，其特征在于，所述特征求取单元包括特征点坐标分布特征求耳又单元， 将所述区域按照坐标划分成若干子区域，统计所述坐标值位于 所述子区域内的特征点的数目比例、或者所述特征点的特征量特4正点的分布特;f正。
6. 根据权利要求5所述的训练系统，其特征在于，所述特4i求取单元还包4舌特^正点坐标分布熵特4正求耳又单 元，将所述区域按照坐标划分成所述若干子区域，统计所述坐 标值位于所述子区域内的特征点的数目比例、或者所述特征点 的特征量总和的比例，并求取坐标分布的熵值以得到所述坐标 分布的熵辨4正。
7. 根据权利要求6所述的训练系统，其特征在于，所述特征求取单元还包纟舌具有方向性的特征点坐标分布 方向性熵特征求取单元，将所述坐标轴旋转若干个方向，将所 述特征点4姿照特4正的方向划分成若干部分，统计所述特4正点的方向与所述坐标轴方向具有一致性的特4正点，并计算所述具有 一致性的特征点的坐标分布的熵特征作为方向性熵特征。
8. 根据权利要求1至7中任一项所述的训练系统，其特征在于，所述区域和所述子区域是矩形或多边形； 所述区域之间和所述子区域之间部分重叠。
9. 根据权利要求5至7中任一项所述的训练系统，其特征在于，所述特征点和所述具有方向性的特征点是所述预定图像 特征满足大小、方向、取值范围的像素点，以及所述坐标轴以任意角度旋转。
10. 根据权利要求1所述的训练系统，其特征在于，布特征集中选取有效区分所述目标图片和所述背景图片的一 个或多个图像特征作为有效特征集；通过Boosting方法训练所述有效特征集中的所述图^象特 征或图像特征组合对应的弱分类器，并为各个弱分类器分配不 同斗又重，乂人而组合得到最终的分类器，或通过SVM方法对所 述有效特征集进行统一训练以得到分类器。
11. 根据权利要求1所述的训练系统，其特征在于，所述训练系统 还包括重新训练单元，用于对经过训练后^皮误i人为所述目标图片 的所述背景图片进行重新训练。
12. 根据权利要求1所述的训练系统，其特征在于，所述分布特征集至少还包括HoG特征和/或Harr-like特征。
13. —种训练方法，用于在图像或视频中通过训练来获得区分目标 和背景的分类器，所述训练方法的特征在于，包括采集步骤，采集目标图片和背景图片作为训练图片集；特征求取步骤，在所述训练图片集中将具有预定图像特征 的4象素作为44^正点，并求取所述^HM正点的分布特4正集；以及训练步骤，对所述分布特征集进行训练来获得所述分类器，其中，所述分布特征集至少包括方向性熵特征。
14.根据权利要求13所述的训练方法，其特征在于，在所述特征求取步骤中，将所述训练图片集中的所述目标 图片和所述背景图片划分为任意大小和形状的区域，并获得各 个所述特征点在各个所述区域内的分布特征作为所述分布特征集。
15. 根据权利要求14所述的训练方法，其特征在于，所述预定图 1象特^正包4舌以下至少 一种统计特征，至少包括亮度、梯度、高阶梯度、颜色和边缘 的均值、方差和协方差；响应值，至少包括亮度、梯度、高阶梯度、颜色和边缘对 各种滤波器的响应值；以及所述区域的图像特征的线性或非线性的组合。
16. 才艮据4又利要求14所述的训练方法，其特4正在于，所述特4正点 在所述各个区域中的分布特征包括以下至少 一种亮度、梯度、高阶梯度、颜色、边缘在所述各个区域内的 分布情况中至少一种；各个方向的梯度、高阶梯度的分布情况中的至少一种；以及梯度、高阶梯度在各个区域和各个方向的联合分布情况中 的至少一种。
17. 4艮据片又利要求14所述的训练方法，其特;f正在于，在所述特4正求耳又步-骤中包i舌特4i点坐标分布特4正求取步 骤，将所述区域」換照坐标划分成若干子区域，统计所述坐标值 位于所述子区域内的特征点的数目比例、或者所述特征点的特 征量总和的比例，从而将所述各子区域的比例情况作为所述区 域的特征点的分布特征。
18. 根据权利要求17所述的训练方法，其特征在于，在所述特征求取步骤中包括特征点坐标分布熵特征求取 步骤，将所述区域4姿照坐标划分成所述若干子区域，统计所述 坐标值位于所述子区域内的特征点的凄t目比例、或者所述特征 点的特征量总和的比例，并求耳又坐标分布的熵值以得到所述坐 标分布的熵特4正。
19. 才艮据4又利要求18所述的训练方法，其特征在于，在所述特征求取步骤中包括具有方向性的特征点坐标分 布方向性熵特征求取步骤，将所述坐标轴旋转若干个方向，将 所述特征点按照特征的方向划分成若干部分，统计所述特征点的方向与所述坐标轴方向具有一致性的特;f正点，并计算所述具 有 一致性的特征点的坐标分布的熵特4正作为方向性熵特;f正。
20. 4艮据权利要求13至19中任一项所述的训练方法，其特征在于，所述区i或和所述子区域是矩形或多边形；所述区域之间和所述子区域之间部分重叠。
21. 根据权利要求17至19中任一项所述的训练方法，其特征在于，所述特征点和所述具有方向性的特征点是所述预定图像 特征满足大小、方向、取值范围的像素点，以及所述坐标轴以任意角度旋转。
22. 根据权利要求13所述的训练方法，其特征在于，在所述训练步艰《中，/人在所述特征求取步驶《中求取出的所 述分布特征集中选取有效区分所述目标图片和所述背景图片 的 一个或多个图像特征作为有效特征集；通过Boosting方法训练所述有效特征集中的所述图像特 征或图像特征组合对应的弱分类器，并为各个弱分类器分配不 同权重，从而组合得到最终的分类器，或通过SVM方法对所 述有效特征集进行统一训练以得到分类器。
23. 根据权利要求13所述的训练方法，其特征在于，所述训练方 法还包4舌重新训练步骤，对经过训练后^皮误i人为所述目标图片的所 述背景图片进行重新训练。
24. 根据权利要求13所述的训练方法，其特征在于，所述分布特4正集至少还包括HoG特4正和/或Harr-like特征。
25. —种检测方法，至少使用方向性熵特征在图像或视频中对目 标图像进行目标检测，其特征在于，所述检测方法包括步骤一 ，在需要4企测的所述图^象或者所述一见频的 一帧图 <象 中，在所述图{象的<壬意位置#企测一定尺寸类的目标对象是否存 在；步骤二，在所述目标对象存在的情况下，通过所述方向性 熵特4i记录所述尺寸的所述目标图^f象的位置、以及所述尺寸的所述目标在所述位置存在的概率，从而获得所述图像中所述目标对象存在位置尺寸的概率分布；以及步骤三，々艮据所述目标对象存在位置的相X略分布进行后处 理以判断所述目标对象是否存在以及存在的位置。
26. 根据权利要求25所述的检测方法，其特征在于，在所述步-骤二中，包才舌以下步驶朵对所述位置尺寸的图 <象至少求取所述方向性熵特征，乂人而 获得所述位置尺寸的所述图像的特征集；以及通过分类器计算所述特征集为从所述目标图像获得的特 4i集的和克率。
27. 根据权利要求25所述的检测方法，其特征在于，在所述步骤二中，对所述图像求取所述方向性熵特征、 HoG特征和/或Harr-like特征，从而获得所述位置尺寸的图像 的净寺4正集。
全文摘要
本发明提供了训练系统、训练方法及检测方法，在用于在图像或视频中通过训练来获得区分目标和背景的分类器的训练系统中，包括采集单元，用于采集目标图片和背景图片作为训练图片集；特征求取单元，用于在训练图片集中将具有预定图像特征的像素作为特征点，并求取特征点的分布特征集；以及训练单元，用于对分布特征集进行训练来获得分类器，其中，分布特征集至少包括方向性熵特征。因此，通过本发明，可提高目标检测的正确率。
文档编号G06K9/62GK101655910SQ200810210129
公开日2010年2月24日 申请日期2008年8月21日 优先权日2008年8月21日
发明者吴伟国, 龙 孟 申请人:索尼(中国)有限公司