一种视觉目标识别与跟踪方法

专利名称：一种视觉目标识别与跟踪方法
技术领域：
本发明涉及图像分析技术领域，尤其涉及一种视觉目标识别与跟踪方法。
背景技术：
视觉目标识别与跟踪是从序列图像中识别视觉目标的位置，计算感兴趣目标状 态，针对目标性质、自由度和跟踪条件，采用不同跟踪策略。视觉目标识别与跟踪技术在身 份确认的指纹识别、人脸识别、图像处理、智能交通管理、仿真机器人等领域都有较好的应 用情景。目前，视觉目标识别与跟踪技术已成为国内外信息处理技术发展的重点。现有的 视觉目标识别主要有以下几种方法(1)经典的统计模式识别方法。该方法主要是利用目标特征的统计分布，依靠目标 识别系统的大量训练和基于模式空间距离度量的特征匹配分类技术，在较窄的场景定义域 内获得有效地识别。但是，该方法为早期使用的方法，仅在很窄的场景定义域内，且在目标 图像和周围背景变化不大的情况下才比较有效，难以解决姿态变化、目标污损变模糊、目标 部分被遮蔽等问题。(2)基于知识的目标识别方法。20世纪70年代末，人工智能专家系统开始应用到 目标识别的研究，形成了基于知识的目标识别技术，即知识基(Knowledge Based,KB)系统。 基于知识的目标识别算法在一定程度上克服了经典统计模式识别方法的局限性和缺陷。但 是，该方法目前存在的主要问题是可供利用的知识源的辨识和知识的验证很困难，同时难 以在适应新场景中有效地组织知识。(3)基于模型的自动目标识别方法。模型基(Model Based, MB)的方法首先是将 复杂的目标识别的样本空间模型化，这些模型提供了一种描述样本空间各种重要变化特性 的简便途径。典型的模型基系统抽取一定的目标特性，并利用这些特性和一些辅助知识来 登记目标的模型参数，从而选择一些初始假设，实现目标特性的预测。一个模型基系统的最 终目标是匹配实际的特性和预测后面的特性。若标记准确，匹配过程则会成功和有效。但 是，所述的基于模型的自动目标识别方法目前尚处于研究阶段，应用于实际还需时日。(4)基于传感器信息融合的目标识别方法。单一传感器的导引头在有光、电干扰的 复杂环境中，目标搜索和知识识别的能力、抗干扰能力及其工作可靠性都将降低。20世纪 80年代兴起的基于多传感器信息融合(Multi-sensorlnformation Fusion Based,MIFB)的 目标识别方法克服了单一传感器系统的缺陷，每个传感器将数据馈入各自的信号处理机， 先分别进行目标检测，得出有无目标的判决以及目标的位置信息或运动轨迹。然后将这些 信息送入数据融合单元，对目标位置或运动轨迹进行关联后再做进一步的判决。但是，所述 基于多传感器信息融合的自动目标识别方法，这些方法特征指标权重选取是认为确定，具 有较大的主观随意性。(5)基于人工神经网络和专家系统的目标识别方法。专家系统是以逻辑推理为基 础，模拟人类思维的人工智能方法。人工神经网络(ANN)是以神经元连接结构为基础，通过模拟人脑结构来模拟人类形象思维的一种非逻辑、非语言的人工智能方法。神经网络应用 到模式识别中能解决很多传统的识别方法所不能克服的困难，神经网络对有遮挡的目标进 行识别也获得了较高的识别准确率。但是，所述基于人工神经网络和专家系统的目标识别 方法，神经网络实现工程应用具有实时性欠佳的瓶颈。 针对现有技术存在的问题，本案设计人凭借从事此行业多年的经验，积极研究改 良，于是有了本发明一种视觉目标识别与跟踪方法。

发明内容
本发明是针对现有技术中，现有的视觉目标识别和跟踪方法精确度低，实时性差 等缺陷，提供一种视觉目标识别方法。本发明的又一目的是针对现有技术中，现有的视觉目标识别和跟踪方法精确度 低，实时性差等缺陷，提供一种利用所述视觉目标识别方法识别的视觉目标的跟踪方法。为了解决上述问题，本发明提供一种视觉目标识别方法，所述视觉目标识别方法 包括将采集到的原始图像转换成二值图像；在所述二值图像的基础上计算出视觉目标的 包围框；在所述包围框内寻找特征点。可选的，所述特征点的个数为8个。其中，所述原始图像转换成二值图像进一步包括将原始图像转换成256级灰度 图像；将灰度图像采用阈值分割法分割为二值图像。所述原始图像转换成灰度图像的方法包括通过Matrox捕捉卡取得原始图像的 RGB格式的彩色图像，其中每个像素都使用R、G、B三个字节存储；将RGB色彩系统的图像转 换到YUV色彩系统，其中Y信号代表像素的亮度；直接取出每个像素的Y信号，便获得一个 代表256级的灰度图像。所述RGB色彩系统到YUV色彩系统的转化公式为
"7"U=V
0.299 0.587 0.114 -0.148 - 0.289 0.437
0.615
-0.515 -0.100 B
R
G 所述灰度图像采用阈值分割法分割为二值图像的方法进一步包括求出灰度图像 中最小灰度值Zmin和最大灰度值Zmax，并令阈值Ttl = (Zmin+Zmax) /2 ；根据阈值Tk将灰度图像 分割成目标图像和背景图像两部分，分别求出两部分的平均灰度值Z1ot和Zhigh。
Σ J)^ N(iJ) Σ J)^ N(iJ)
「_1 7 =zId^ll_7 = z(lSy>Tk_
Σ N{r,f)广h·— Σ N{r,f)其中，Z(i，j)和N(i，j)分别是灰度图像上点(i，j)的灰度值和权，计算中，令 N(i，j) = 1 ；求出新的阈值，所述阈值Tk+1 = (Zmin+Zmax) /2 ；若Tk = Tk+1，则该运算结束；若 Tk φ Tk+1，则取k为k+Ι值，并循环执行上述步骤。所述视觉目标包围框的计算进一步包括检测视觉目标的外框；在所述外框的区 域内搜索特征点。所述检测视觉目标的外框的方法还包括采用图像腐蚀的方法来实现二值图像的消噪；提取视觉目标边框；计算这个四边形边框的坐标。所述特征点的计算进一步包括对候选特征点集合的η个特征点的区域进行扫 描，并统计其面积，将面积差距不大的归为一类，如果其中一类面积值出现次数少于8次， 便将其从候选特征点集合中删除，删除后的候选特征点集合S所含有元素个数为η’ ；取出 候选特征点集合S中所有η个特征点元素的质心坐标，进行Hough变换，拟合出两条概率上 最有可能的直线，并计算出交点A ；取出候选特征点S中与点A距离最小的点A’，从A’出 发，如果沿着两条直线某方向分别能够搜索到4个和3个特征点，则搜索成功，清除S，把这 七个特征点和A’点放入S集合；否则搜索失败，不清除S。为实现本发明的又一目的，本发明提供一种利用所述的视觉目标识别方法所识别 的视觉目标的跟踪方法，所述视觉目标跟踪方法包括初始情况默认处理了第零帧，该帧的 搜索窗口和整个图像一样大小；在第一帧时候搜索窗口和整个图像一样大小，对搜索窗口 内图像调用视觉目标识别算法进行静态识别，反复调节，确保在较简单背景下，第一帧图像 成功识别，取得标志的特征点集合的一个适当包围框；在第二帧图像以后，每次回看前两帧 搜索窗口的四个顶点，根据这两个顶点组的空间移动关系，推算第三次搜索窗口的四个顶 点可能的运动方向，并按这四个方向修正搜索窗口的尺寸和区域，作为扩大、缩小或移动的 策略。如果上一帧检测到的特征点数少于实际数目，那么搜索窗口向四个方向各扩大一定 距离；反之缩小。其中，扩大和缩小的距离为特征点外围框的平均边长。综上所述，本发明利用图像处理方法，对包围框和其中特征点进行计算。同时，在 目标跟踪技术上，提出了一种基于可预测的搜索窗口的方法，对标志进行运动预测和跟踪， 明显减小了搜索范围，提高了目标跟踪方法的实时性。


图1是本发明一种视觉目标识别与跟踪方法的视觉目标识别方法的流程图；图2是本发明一种视觉目标识别与跟踪方法的视觉目标识别过程中原始图像转 换成二值图像的示意图；图3是本发明一种视觉目标识别与跟踪方法的视觉目标识别过程中消除噪音的 示意图；图4是本发明一种视觉目标识别与跟踪方法的视觉目标边框提取前后图像的变 化的示意图；图5是本发明一种视觉目标识别与跟踪方法的视觉目标跟踪方法的流程图；图6是本发明一种视觉目标识别与跟踪方法的搜索窗口预测方法的示意图。
具体实施例方式为详细说明本发明创造的技术内容、构造特征、所达成目的及功效，下面将结合实 施例并配合附图予以详细说明。请参阅图1，图1所示为视觉目标识别方法流程图。在视觉目标识别中，可利用的 信息是视觉目标的边缘信息、几何信息和色度信息。所述视觉目标识别方法1包括以下步 骤步骤Sll 将采集到的原始图像10转化为二值图像20，所述原始图像10为RGB格式的彩色图像。所述二值图像20为黑白两色图像；步骤S12 在所述二值图像20的基础上计算出视觉目标的包围框；步骤S13 在所述包围框内寻找特征点。为了提高算法的实时性能，本发明采用将原始图形10转换成二值图形20的方法。 从多媒体图像的信息量而言，原始图像10的每个像素带有24bit信息，二值图像20的每个 像素只有Ibit信息，因此处理二值图像20能够显著的加快图像处理的速度。所述原始图 像10转换成二值图像20的方法进一步包括以下步骤 20。
步骤Slll 将原始图像10转换成256级灰度图像30 ；
步骤S112 采用图像处理技术中的阈值分割算法，将灰度图像30分割为二值图像
执行步骤S111，具体包括
步骤S1111，通过Matrox捕捉卡取得原始图像10的RGB格式的彩色图像，其中每 个像素都使用R、G、B三个字节存储；步骤S1112，将RGB色彩系统的图像转换到YUV色彩系统，其中Y信号代表像素的
亮度；步骤S1113，直接取出每个像素的Y信号，便获得一个代表256级的灰度图像30。 所述RGB色彩系统到YUV色彩系统的转换公式如下
「0.299 0.587 0.114 J「iTU = -0.148 - 0.289 0.437 G Γ」[0.615 - 0.515 -O.IOOJ [_B应用中，对每个像素只进行Y计算，不用计算U，V。执行步骤Sl 12，具体包括步骤S1121 求出灰度图像30中最小灰度值Zmin和最大灰度值Zmax，并令阈值Ttl =
(Zmin+Zmax) /2 ；步骤S1122，根据阈值Tk将灰度图像30分割成目标图像和背景图像两部分，分别 求出两部分的平均灰度值Z1ot和Zhigh ；
Σ J)^ N (i J) Σ J)^ N(iJ)
「1 ry —_ry — ^hf)>T_
Z W _ ^Σ N(r,f) Z 喊 _ ^Σ N(r,f)其中，Z(i，j)和N(i，j)分别是灰度图像30上点(i，j)的灰度值和权，计算中，令 N(i，j) = 1 ；步骤S1123，求出新的阈值，所述阈值Tk+1 = (Zmin+Zmax)/2 ；步骤S1124，若Tk = Tk+1，则该运算结束；若Tk Φ Tk+1，则取k为k+Ι值，并循环执行 步骤S1122。请参阅图2，图2所示为原始图像10转换成二值图像20的示意图。所述原始图像 10通过灰度化步骤转换成256级灰度图像30，并通过阈值分割将所述灰度图形30转换成
二值图像20。原始图像10转换成二值图像20后，便可以快速的计算视觉目标的图像信息。在本发明中，需要获得视觉目标的8个特征点坐标。但由于图像干扰可能大，需要对特征点搜 索区域进行限制，于是所述视觉目标包围框的计算进一步包括以下步骤步骤S121 检测视觉目标的外框；步骤S122 在所述外框的区域内搜索特征点。执行步骤S121，具体包括步骤S1211，消除噪音，采用图像腐蚀的方法来实现二值图像20的消噪。腐蚀的 结果是消除连通区域的外框。请参阅图3，当对二值图像20进行腐蚀时，所有黑色连通区 域40都适当变小。其中，一些小的黑色连通区域40被消除，表明消噪性能不错，这样就完 成二值图像20的消噪。消噪性能与模板选择有很大关系，模板越大消噪能力越强，但对视 觉目标的破坏也越强。在本发明中，优选的消噪模板为4X4的滑块。步骤S1212，提取视觉目标边框。在本发明中，采用轮廓提起技术提取，掏空内部 点。请参阅图4，图4所示为二值图像20经过腐蚀后的边框提取前后图像的变化示意图。 经过所述视觉目标边框提取操作后，密闭连通区域40消失，二值图像20中只剩下少量黑点 50。步骤S1213，计算这个四边形边框的坐标。本发明中，采用直线拟合方法，分析图像 中所有点，首先构造这些点可能拟合一些直线，然后通过四边形几何限制找出四条最接近 边框的直线，根据这四条直线的交点求出视觉目标的包围框。直线拟合方法中Hough变换 能通过多次运行拟合多条直线。所述Hough变化方法进一步包括步骤S12131，初始化一个变换域r、θ空间的数组，r方向上的量化数目为图像对 角线方向像素数，θ方向上的量化数目为90，角度从0-180° ；步骤S12132，顺序搜索图像中的所有黑点50，对每个黑点50，在变换的对应各点 上加1 ；步骤S12133，求出变换域中最大值记录；步骤S12134，将最大值点及附近的点清零；步骤S12135，求出这个最大值所对应的直线，并存储下来，如果累计了六条直线则 转向步骤S12136，否则转向步骤S12135 ；步骤S12136，利用四边形几何约束关系，在候选的六条直线内找出最接近视觉目 标投影的四条直线，认为这是视觉目标的外框；步骤S12137，根据这四条直线计算视觉目标的四个顶点。其中的四边形几何约束， 即是对于斜率相近的直线，最多只选距离较远的两条；对于斜率相关很大的直线，则选择起 来比较自由。最后确保选择四条直线，基本是两组平行线，两组平等线夹角较大，并且之间 相隔距离相似。对视觉目标的识别，是为了给视觉目标跟踪提供空间特征点不同角度的投影坐 标，并且视觉目标的分类识别中也会使用这些特征点，因此视觉目标的识别最后需要确定 视觉目标的特征点。在本发明中，按照需要检测出8个特征点做视觉目标识别与跟踪，并选 取由η个元素所构成的集合为候选特征点集合。从候选特征点集合S中选取8个特征点的 方法进一步包括步骤S131，对候选特征点集合S的η个特征点的区域进行扫描，并统计其面积，将 面积差距不大的归为一类。如果其中一类面积值出现次数少于8次，便将其从候选特征点集合S中删除。删除后的候选特征点集合S所含有元素个数为η’ ；步骤S132，取出候选特征点集合S中所有η个特征点元素的质心坐标，进行Hough 变换，拟合出两条概率上最有可能的直线，并计算出交点A ；步骤S133，取出候选特征点S中与点A距离最小的点A’，从A’出发，如果沿着两 条直线某方向分别能够搜索到4个和3个特征点，则搜索成功，清除S，把这七个特征点和 A’点放入S集合；否则搜索失败，不清除S。至此，我们完成了整个视觉目标的识别方法，所述视觉目标的识别方法通过将采 集到的原始图像10转换为二值图像20，计算出视觉目标的包围框与特征点，为后续目标跟 踪作好准备。在视觉目标跟踪时，对视觉目标套上一个方形外框，并定义所述外框为搜索窗口， 每次仅对所述搜索窗口内的图形进行处理。搜索窗口随着视觉目标的移动而不停的移动， 确保视觉目标每次都落入所述搜索窗口。其中，搜索窗口坐标系图像和坐标系有一定偏移 关系，计算结构需要通过平移转换而传递给三位重建块，但所述时间复杂度对计算机而言 忽略不计。因此，所述视觉目标的跟踪方法在不影响立体重建的情况下，减小了图像处理的 复杂度。请参阅图5，图5所示为视觉目标跟踪方法2的流程图。在情况比较理想、每次都 能检测到视觉标志时，基于搜索窗口的视觉目标跟踪方法包括步骤S21 初始情况默认处理了第零帧，该帧的搜索窗口和整个图像一样大小；步骤S22 在第一帧时候搜索窗口和整个图像一样大小。对搜索窗口内图像调用 视觉目标识别算法进行静态识别。反复调节，确保在较简单背景下，第一帧图像成功识别， 取得标志的特征点集合的一个适当包围框；步骤S23 在第二帧图像以后，每次回看前两帧搜索窗口的四个顶点，根据这两个 顶点组的空间移动关系，推算第三次搜索窗口的四个顶点可能的运动方向，并按这四个方 向修正搜索窗口的尺寸和区域，作为扩大、缩小或移动的策略；同时，在情况不太理想、不能够检测到视觉目标时，所述视觉目标跟踪方法还需考 虑如果上一帧检测到的特征点数少于实际数目，那么搜索窗口向四个方向各扩大一定距 离；反之缩小。实际实现时，扩大和缩小的距离为特征点外围框的平均边长。请参阅图6，图6所示为搜索窗口预测方法的示意图。在第N-I次搜索窗口 60与 第N次搜索窗口 70搜索结果的基础上，使用物体惯性规则判断预测第N+1次搜索窗口 80， 并对该区域适当放大。基于搜索窗口跟踪方法的使用降低了图像处理的复杂度，提高处理 速度，为提供实时的视觉三维跟踪注册提供了可能。综上所述，本发明利用图像处理方法，对包围框和其中特征点进行计算。同时，在 目标跟踪技术上，提出了一种基于可预测的搜索窗口的方法，对标志进行运动预测和跟踪， 明显减小了搜索范围，提高了目标跟踪方法的实时性。本领域技术人员均应了解，在不脱离本发明的精神或范围的情况下，可以对本发 明进行各种修改和变型。因而，如果任何修改或变型落入所附权利要求书及等同物的保护 范围内时，认为本发明涵盖这些修改和变型。
权利要求
一种视觉目标识别方法，其特征在于，所述视觉目标识别方法包括将采集到的原始图像转换成二值图像；在所述二值图像的基础上计算出视觉目标的包围框；在所述包围框内寻找特征点。
2.如权利要求1所述的一种视觉目标识别方法，其特征在于，所述原始图像转换成二 值图像进一步包括将原始图像转换成256级灰度图像； 将灰度图像采用阈值分割法分割为二值图像。
3.如权利要求2所述的一种视觉目标识别方法，其特征在于，所述原始图像转换成灰 度图像的方法包括通过Matrox捕捉卡取得原始图像的RGB格式的彩色图像，其中每个像素都使用R、G、B 三个字节存储；将RGB色彩系统的图像转换到YUV色彩系统，其中Y信号代表像素的亮度； 直接取出每个像素的Y信号，便获得一个代表256级的灰度图像。
4.如权利要求3所述的一种视觉目标识别方法，其特征在于，所述RGB色彩系统到YUV 色彩系统的转化公式为
5.如权利要求2所述的一种视觉目标识别方法，其特征在于，所述灰度图像采用阈值 分割法分割为二值图像的方法进一步包括求出灰度图像中最小灰度值Zmin和最大灰度值Zmax，并令阈值Ttl = (Zmin+Zmax)/2 ； 根据阈值Tk将灰度图像分割成目标图像和背景图像两部分，分别求出两部分的平均灰 度值Zlw和
6.如权利要求1所述的一种视觉目标识别方法，其特征在于，所述视觉目标包围框的 计算进一步包括检测视觉目标的外框； 在所述外框的区域内搜索特征点。
7.如权利要求6所述的一种视觉目标识别方法，其特征在于，所述检测视觉目标的外 框的方法还包括采用图像腐蚀的方法来实现二值图像的消噪；提取视觉目标边框；计算这个四边形边框的坐标。
8.如权利要求1所述的一种视觉目标识别方法，其特征在于，所述特征点的个数为8个。
9.如权利要求1所述的一种视觉目标识别方法，其特征在于，所述特征点的计算进一 步包括对候选特征点集合的η个特征点的区域进行扫描，并统计其面积，将面积差距不大的 归为一类，如果其中一类面积值出现次数少于8次，便将其从候选特征点集合中删除，删除 后的候选特征点集合S所含有元素个数为η’ ；取出候选特征点集合S中所有η个特征点元素的质心坐标，进行Hough变换，拟合出两 条概率上最有可能的直线，并计算出交点A ；取出候选特征点S中与点A距离最小的点A’，从A’出发，如果沿着两条直线某方向分 别能够搜索到4个和3个特征点，则搜索成功，清除S，把这七个特征点和A’点放入S集合； 否则搜索失败，不清除S。
10.一种利用如权利要求1所述的视觉目标识别方法所识别的视觉目标的跟踪方法， 其特征在于，所述视觉目标跟踪方法包括初始情况默认处理了第零帧，该帧的搜索窗口和整个图像一样大小；在第一帧时候搜索窗口和整个图像一样大小，对搜索窗口内图像调用视觉目标识别算 法进行静态识别，反复调节，确保在较简单背景下，第一帧图像成功识别，取得标志的特征 点集合的一个适当包围框；在第二帧图像以后，每次回看前两帧搜索窗口的四个顶点，根据这两个顶点组的空间 移动关系，推算第三次搜索窗口的四个顶点可能的运动方向，并按这四个方向修正搜索窗 口的尺寸和区域，作为扩大、缩小或移动的策略。
11.如权利要求10所述的一种视觉目标的跟踪方法，其特征在于，所述视觉目标跟踪 方法还包括如果上一帧检测到的特征点数少于实际数目，那么搜索窗口向四个方向各扩 大一定距离；反之缩小。
12.如权利要求11所述的一种视觉目标的跟踪方法，其特征在于，扩大和缩小的距离 为特征点外围框的平均边长。
全文摘要
一种视觉目标识别方法，所述视觉目标识别方法包括将采集到的原始图像转换成二值图像；在所述二值图像的基础上计算出视觉目标的包围框；在所述包围框内寻找特征点。一种视觉目标跟踪方法包括默认第零帧搜索窗口与图像等大；第一帧图像识别，并获得包围框；搜索窗口预测。本发明利用图像处理方法，对包围框和其中特征点进行计算。同时，在目标跟踪技术上，提出了一种基于可预测的搜索窗口的方法，对标志进行运动预测和跟踪，明显减小了搜索范围，提高了目标跟踪方法的实时性。
文档编号G06T7/20GK101986348SQ20101053784
公开日2011年3月16日 申请日期2010年11月9日 优先权日2010年11月9日
发明者宁建红, 熊玉梅, 闫俊英 申请人:上海电机学院