专利名称：基于线性规划的变形体三维跟踪方法
技术领域：
本发明涉及的是一种计算机图像处理技术领域的方法，具体是一种基于线性规划的变 形体三维跟踪方法。
背景技术：
从单目图像序列中重建出目标的三维空间结构并对其进行跟踪是计算机视觉的重要研 究领域，在视频监控、医学图像处理、人机交互等方面有着广泛应用。当跟踪目标为刚性 物体时已经有一些比较成熟的方法，但是很多情况下，目标会随时间改变形状，对变形体 进行跟踪是目标跟踪技术的主要挑战之一，现有技术尚不能对变形体进行准确有效跟踪。
经对现有技术的文献检索发现，Leonid V. Tsap等于2000年在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(电气电子工程师学会模式分析禾口机 器智能学报)上发表的论文"Nonrigid motion analysis based on dynamic refinement of finite element models"(基于有限元模型动态改进的非刚性运动分析)提出在给定 物体初始模型条件下，能够通过有限元模型重建出运动向量。该方法通过计算物体上预测 点和真实点之间的误差来优化模型，能够完成对变形物体的跟踪，但是存在两个缺点一 、需要知道物体材料参数， 一般难以获得；二、对于大的变形，需要复杂的目标函数。R. Hartley等于2008年在《10th European Conference on Computer Vision》(第十届欧洲 计算机视觉会议)上发表的论文"Perspective nonrigid shape and motion recovery"
(透视非刚性形状和运动恢复)将非刚体的形状和运动问题看作三维到二维的多重投影。 该方法可以得到一个闭式解，但是它需要图像序列中的点对应非常可靠，所以只对相对小 的变形有效。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于线性规划的变形体三维跟踪方法 ，能够在每一帧图像中获得变形后的检测对象的三维空间结构，从而达到在动态画面中对 形状变化的检测对象进行三维跟踪的目的，特别适合视频监控、医学图像处理，同时也可 以应用于人机交互、非刚体物体识别理解等领域。
本发明是通过以下技术方案实现的，本发明包括以下步骤
第一步、标定摄像机将一块黑白棋盘格平板置于摄像机前不同方位，并由摄像机采
4集若干幅网格图像，对采集得到的网格图像对摄像机进行标定，得到摄像机参数；
所述的不同方位是指把一块黑白棋盘格平板置于摄像机前，使黑白棋盘格始终位于
摄像机视野范围内且成像清晰无遮挡；
所述的若干幅网格图像共12幅；
所述的标定是指首先读入若干幅网格图像，提取网格顶点，根据已知的黑白棋盘格 平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标，计算摄像机的内部参数 和外部参数；
所述的摄像机参数包括内部参数焦距、主点坐标、水平方向和垂直方向上图像坐 标单位距离的像素数；外部参数世界和摄像机坐标系之间的旋转和平移。
第二步、获取基于三维三角片网格的变形体模型采集一幅变形体初始图像，根据摄 像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型；
所述的变形体初始图像是指通过摄像机采集到的变形体未发生形变的图像；
所述的待测物表面纹理特征是指图像特征如轮廓、角点和边缘等；
所述的建立变形体模型，具体步骤包括
2.1) 建立三维三角片网格根据变形体形状大小和形变程度建立三角片网格，变形 体越大、形变越复杂则三角片数目越多；
2.2) 特征点提取对变形体初始图像中待测物表面纹理进行特征点提取，并采用梯 度值和灰度直方图描述每个特征点所在小区域的灰度特征，得到特征点特征描述向量；
2.3) 建立模型将特征点三维坐标转换为三维三角片网格的三角顶点的线性组合表 示。对于每一个特征点，均得到一组线性组合参数及其特征描述向量，将这些线性组合参 数和特征描述向量合并在一起即构成了此变形体目标的网格模型。
第三步、变形图像采集动态采集一帧当前时刻的变形图像，提取当前帧变形图像中 的变形图像特征点并进行匹配处理，获得变形体点对应约束；
所述的变形图像是指通过摄像机采集到的变形体发生形变的图像； 所述的变形图像特征点是指当前帧变形图像中的具有仿射不变性的特征点； 所述的匹配处理是指将变形图像特征点与存储的三角片网格模型参数采用梯度值和 灰度直方图与模型特征点进行匹配，将匹配成功的点根据摄像机投影矩阵将模型上的三维 特征点投影到当前帧图像上。在理想情况下投影点与图像特征点重合，由于图像存在噪声 ，它们并不完全重合。利用无穷范数，将投影点与图像特征点的之间的误差描述为一组线 性约束作为变形体点对应约束。第四步、获取三维三角片网格边方位不变约束约束三维三角片网格的每一条边的方 位在连续两帧间保持其方位不变，将此约束描述为一个线性约束序列作为网格约束；
第五步、将变形体点对应约束和网格约束合并为线性跟踪规划序列，将初始跟踪值通 过迭代法重建获得当前帧中变形体的跟踪结果，并回到第三步进行下一帧跟踪。
所述的线性跟踪规划序列是指将变形体点对应约束的约束方程和网格约束的约束方 程合并为线性跟踪规划序列；
所述的迭代法重建是指以初始跟踪值为初值，迭代求解线性跟踪规划序列，获得当 前时刻变形体的三维空间结构，当迭代无解时则放弃当前约束中的特征点，并重新计算下 一个特征点直至有解，最后输出当前帧中变形体的三维结构。
所述的初始跟踪值是指上一帧中所得变形体的三维空间结构。
与现有技术相比，本发明可以对图像序列中的变形体目标进行有效的三维跟踪。本发 明关键在于将三角片网格模型与图像的特征点对应约束，以及三角片网格边方位不变约束 表示为一组线性约束，从而将三维跟踪问题描述为一个序列线性规划问题。由于线性规划 问题只有一个全局最优解，且可以高效准确的解出，使得本发明方法能够准确有效的对场 景中复杂的变形体目标进行三维跟踪。
图l为本发明结构示意图。
图2为实施例黑白棋盘格平板。
图3为实施例待测变形体图像。
图4为实施例变形体表面纹理模版。
图5为实施例原理示意图一。
图6为实施例原理示意图二。
图7为实施例变形体三维跟踪结果。
具体实施例方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施 ，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。 如图1所示，本实施例的具体实施过程如下
第一步、把一块黑白棋盘格平板置于摄像机前，将其置于不同方位，使黑白棋盘格始 终位于摄像机视野范围内，共拍摄12幅图像。本实施例使用的黑白棋盘格平板如图2所示 。需要确保每一幅图像都成像清晰且无明显遮挡。对采集得到的网格图像对摄像机进行标定，得到摄像机参数。
所述的标定是指首先读入若干幅网格图像，提取网格顶点，根据已知的黑白棋盘格 平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标，计算摄像机的内部参数 和外部参数；
所述的摄像机参数采用摄影矩阵存储，该摄影矩阵将目标三维点投影为图像二维点。
所述的摄像机参数包括内部参数焦距、主点坐标、水平方向和垂直方向上图像坐 标单位距离的像素数；外部参数世界和摄像机坐标系之间的旋转和平移。
第二步、如图3和图4所示，采集一幅变形体目标未发生形变的图像，通过图像中目标 表面的纹理模版构建变形体三角片网格模型，并存储模型参数。对于图3所示的变形体目 标，其未变形的表面纹理模版如图4所示。根据此模版，可以建立变形体目标的三角片网 格模型，此三角片网格覆盖整个变形体表面。在确定三角片网格结构之后，提取纹理模版 中具有仿射不变性的特征点。每一个特征点必然位于网格中某一三角片上，其位置用其所 在的三角片三个顶点的线性组合表示。
如图5所示，某一特征点xi，其所在的三角片三个顶点分别为Vj、 Vk、 Vh故将xi表示 为Vj、 Vk、 V^勺线性组合xfbnVj+bi2Vk+bi3V^之后对于每一特征点，记录以其为中心的 16xl6像素区域的梯度值和灰度直方图作为其特征描述向量。对于每一个特征点，均得到 一组线性组合参数及其特征描述向量，将这些线性组合参数和特征描述向量结合在一起即 构成了此变形体目标的网格模型，并将模型参数储存于数据库中。
第三步、模型构建完毕之后，在三维跟踪过程中的每一时刻，采集一幅当前帧变形体 目标图像，提取其中具有仿射不变性的特征点，并使用梯度值和灰度直方图与模型特征点 进行匹配。对于匹配成功的每一组特征点，使用摄像机投影矩阵将模型三维特征点投影到 当前图像上。设X为图像特征点，P为模型特征点在图像上的投影，由于图像噪声，X和P不 完全重合。利用无穷范数，将X和P之间的图像距离表示为一个线性约束。对于每一组匹配 点，都可以得到一个类似的线性约束，将所有N组匹配点组合在一起可以得到一组线性约 束，这一组约束表示了特征点对应约束。最后将特征点对应约束存储在数据库中。
第四步、三角片网格模型中每一条边的方位在连续两帧间保持其方位不变，即所述的 网格边方位不变约束，这在一个25帧/秒的图像序列中是容易保证的。假设在t时刻获取该
时刻三角片网格，t时刻三角片网格顶点和7之间的边如图6左边所示。假设在t+l时 刻，该边方位基本不变化，如果'.已知，则顶点j:
7<formula>formula see original document page 8</formula>(1)
公式中Li;j是该边的原始长度。从图6右边可以看出
离在一定范围内，于是得到
"丄-
和它的预测值7之间的距
<formula>formula see original document page 8</formula>
(2)
其中
在(i)中定义。
第五步、将前两步得到的特征点对应约束和网格约束合并为一个线性规划序列，求解
该线性规划序列，得到变形体三维结构，输出当前帧变形体目标的三维跟踪结果；
所述的求解线性规划序列具体为以上一帧变形体目标的跟踪结果为初值，采用迭代 求解此线性规划序列；由于步骤三中的特征点匹配可能出现错误，导致某次迭代求解出现 无解情况，此时去掉重投影误差最大的若干个点，并重新迭代求解，直至有解。求解的结 果为当前时刻变形体的三维结构。
本实施例结果如图7所示，第一行每张图像分别为变形体形变图像，第二行每张图像 分别为变形体形变图像叠加重投影三维空间网格，第三行每张图像分别为变形体三维空间 网格。由结果可见，本实施例在变形体目标发生各种复杂形变时均能够正确重建变形体的 三维空间结构，同时其在二维图像上的重投影能够很好的拟合原图像。
权利要求
1.一种基于线性规划的变形体三维跟踪方法，其特征在于，包括以下步骤第一步、标定摄像机将一块黑白棋盘格平板置于摄像机前，并由摄像机采集若干幅网格图像，对采集得到的网格图像对摄像机进行标定，得到摄像机参数，摄像机参数存储为摄像机投影矩阵；第二步、获取基于三维三角片网格的变形体模型采集一幅变形体初始图像，根据摄像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型；第三步、变形图像采集动态采集一帧当前时刻的变形图像，提取当前帧变形图像中的变形图像特征点并进行匹配处理，获得变形体点对应约束；第四步、获取三维三角片网格边方位不变约束约束三维三角片网格的每一条边的方位在连续两帧间保持其方位不变，将此约束描述为一个线性约束序列作为网格约束；第五步、将变形体点对应约束和网格约束合并为线性跟踪规划序列，将初始跟踪值通过迭代法重建获得当前帧中变形体的三维结构，并回到第三步进行下一帧跟踪。
2.根据权利要求l所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的标定是指首先读入若干幅网格图像，提取网格顶点，根据已知的黑白棋 盘格平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标，计算摄像机参数。
3.根据权利要求l所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的变形体初始图像是指通过摄像机采集到的变形体未发生形变的图像；所 述的变形图像特征点是指当前帧变形图像中的具有仿射不变性的特征点。
4.根据权利要求l所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的建立变形体模型，具体步骤包括2.1) 建立三维三角片网格根据变形体形状大小和形变程度建立三角片网格，变形 体越大、形变越复杂则三角片数目越多；2.2) 特征点提取对变形体初始图像中待测物表面纹理进行特征点提取，并采用梯度值和灰度直方图描述每个特征点所在小区域的灰度特征，得到特征点特征向量；2.3)建立模型将特征点三维坐标转换为三维三角片网格的三角顶点的线性组合表示，对于每一个特征点，均得到一组线性组合参数及其特征描述向量，将这些线性组合参 数和特征描述向量合并在一起即构成了此变形体目标的网格模型。
5 根据权利要求l所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的匹配处理是指将变形图像特征点与存储的三角片网格模型参数采用梯度 值和灰度直方图与模型特征点进行匹配，对于匹配成功的特征点，使用摄像机投影矩阵将 模型上的三维特征点投影到当前帧图像上，由于图像噪声的影响，投影点与二维图像特征 点不完全重合，通过使用无穷大误差范数，将投影点与二维图像特征点间的重投影误差表 示为一组线性约束作为变形体线性约束。
6 根据权利要求l所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的线性跟踪规划序列是指将变形体点对应约束的约束方程和网格约束的约 束方程合并为线性跟踪规划序列。
7 根据权利要求1或6所述的基于线性规划的变形体三维跟踪方法， 其特征是，所述的迭代法重建是指以初始跟踪值为初值，迭代求解线性跟踪规划序列， 获得当前时刻变形体的三维空间结构，当迭代无解时则放弃当前约束中的特征点，并重新 计算下一个特征点直至有解，最后输出当前帧中变形体的三维结构。
8 根据权利要求7所述的基于线性规划的变形体三维跟踪方法，其 特征是，所述的初始跟踪值是指上一帧中所得变形体的三维空间结构。
全文摘要
一种图像处理技术领域的基于线性规划的变形体三维跟踪方法，包括标定摄像机；获取基于三维三角片网格的变形体模型；变形图像采集；取三维三角片网格边方位不变约束；将变形体点对应约束和网格约束合并为线性跟踪规划序列，将初始跟踪值通过迭代法重建获得当前帧中变形体的跟踪结果，并回到第三步进行下一帧跟踪。本发明能够在每一帧图像中获得变形后的检测对象的三维空间结构，从而达到在动态画面中对形状变化的检测对象进行三维跟踪的目的，特别适合视频监控、医学图像处理。
文档编号G06T7/00GK101661623SQ20091030855
公开日2010年3月3日 申请日期2009年10月21日 优先权日2009年10月21日
发明者严骏驰, 刘允才, 王宸昊, 申抒含, 黄茂祥 申请人:上海交通大学