专利名称：一种基于标记物的关键点检测的定位测量方法
技术领域：
本发明涉及图像处理领域，设计和实现了一种基于标记物的关键点检测的定位测
量方法。
背景技术：
在监控以及其它相关领域，我们经常需要获得某些特征点的位置信息。背景环境 的复杂性以及不确定性，使得这种基于机器视觉的定位测量变得异常困难。这种困难表现 为图像的预处理阶段阈值的鲁棒性问题，特征点初始定位分割的错误定位问题，以及精确 再分割定位的精确性问题。本发明的意义在于通过设计具有明显特征的标尺和标记物，实 现复杂环境中关键点的定位测量，并具有相当高的精度和鲁棒性。目前，很多现场、环境信息的记录都采用现场测量和报告的形式，由于现场测量的 局限性，报告不一定能完全而详细地记录或者再现所需的所有信息。由于现场的不可再现 性，很多信息很难再从现场重新勘测得到，从而给现场分析带来困难，而这些信息大都存在 于现场照片中。因此，使用一定的手段和方法从现场拍摄的照片中提取需要的信息，对进行 后续分析具有重要意义。本发明采用摄影测量、图像处理与分析等方法，设计和实现了一种 基于标记物的关键点检测的定位测量方法，有效地解决了现场测量的局限性。
发明内容
本发明的目的是设计一种具有明显特征的标尺和标记物，提供一种采用由普通数 码相机的图像摄取系统和多功能的图像处理和分析系统组成的基于标记物的关键点检测 的定位测量方法。为达成所述目的，本发明提供一种基于标记物的关键点检测的定位测量方法，该 方法的步骤包括步骤Sl 在待定位测量的复杂环境中设置标尺和标记关键点的标记物，并建立世 界坐标系，确定标尺四个顶点的世界坐标；步骤S2 使用采样方法对含有待定位关键点环境的摄取图像进行压缩，根据自定 义分割函数对压缩后的图像进行多阈值彩色分割，并通过轮廓检测、多边形拟合对标尺定 位，得到标尺四个顶点的图像坐标；步骤S3 首先，使用采样方法对所述摄取图像进行压缩，根据自定义阈值分割函 数对压缩后的图像进行分割，得到二值图像，对二值图像进行轮廓检测，得到所有轮廓，其 次，以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配， 得到包含标记物的轮廓区域，即子图像，然后，利用灰度投影法对子图像进行精确再分割， 得到包含标记物的精确子图像最后对精确子图像采用霍夫变换线段检测以及最小二乘法 直线拟合相结合的方法对标记物的关键点进行，得到每一个标记物的关键点的图像坐标；步骤S4 根据摄影图像的二位重建方法，设三维空间坐标系中任意点(X，Y，Z)和 所述任意点在二维图像平面坐标系上的坐标为(X，y)，如果空间点都在同一个平面上，Z为常数，则空间点和图像点的坐标满足 式中，C1;C2，. . .,C8为线形成像模型的系数，根据标尺四个顶点的世界坐标和图像 坐标来确定这8个系数C1, C2,...，C8,然后根据空间平面和图像平面的坐标变换关系，以及 步骤S3的关键点的图像坐标计算出关键点的世界坐标。优选实施例，所述标尺其形状为正方形或长方形的中空框架，中空框架表面由不 同颜色的薄层组成，选择不同颜色薄层可以是黄蓝颜色、蓝黄蓝颜色、黄蓝黄颜色或者是多 种颜色相间匹配的薄层结构。优选实施例，所述标记物采用正方形形状的硬质材料，将正方形某一顶点近似三 等分，三等分的三个部分采用黄蓝黄或者蓝黄蓝相间的薄层，或者根据环境情况而定的具 有不同颜色薄层组成。优选实施例，所述多阈值分割是利用标尺与地面的彩色非彩色差异设计自定义分 割函数f(R，G，B)，J{R,Cj,B) =-—-R，G，B为RGB颜色模型下三通道的灰度值，D为非彩色提取参数，再利用所述的 阈值函数对压缩后的图像进行分割，如果f(R，G，B) < 1，则表示非彩色像素点，反之，如果 f(R，G，B) > 1，则表示彩色像素点，采用多个阈值作为函数f(R，G，B)的比较值，得到多个
二值图像。优选实施例，所述以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区 域的直方图进行匹配步骤如下步骤S31 提取所有轮廓对应的所述摄取图像区域，得到子图像，根据标记物薄层 的两种颜色特征，对子图像进行阈值分割，得到两种颜色区域并由两种灰度值填充、两种颜 色区域以外的区域由第三灰度值填充的灰度图；步骤S32 计算灰度图的直方图，通过限定三种灰度的比例关系来进行匹配。优选实施例，所述利用灰度投影法对子图像进行精确再分割是采用灰度投影的方 法把一幅mXn的图像的灰度值映射成两个独立的一维波形如下， 式中f(x，y)表示图像上(x，y)点的灰度值，M和N分别为图像的高度和宽度，G(x) 表示第X行像素的投影值，是第X行像素灰度值的累加；G(y)表示第y列像素的投影值，是 第y列像素灰度值的累加，根据G(x)和G(y)的波形设置相应的阈值来选取分割的区域，得 到子图像。本发明的有益效果本发明的基本原理是利用普通数码相机摄取图像，已知图像 与空间对应关系的标尺进行标定，然后基于图像处理及分析的方法检测标记物的关键点， 最后通过摄影测量方法进行关键点坐标重建。本发明创造性地设计出了用于标定的标尺和标识空间关键点的标记物。本发明在标尺检测中采用多阈值进行分割，从而提高了算法的 性能。本发明在标记物检测中对压缩后的图像进行粗定位，对原始图像进行分割，这样在保 证定位精度的前提下大大提高了检测速度。本发明巧妙地将霍夫变换线段检测与最小二乘 法直线拟合方法相结合来逼近直线，大大提高了关键点定位的精度。本发明所提供的算法 应用范围广泛，适用各种基于关键点检测的定位测量问题。
图1蓝黄蓝相间和黄蓝相间标尺样式图2蓝黄蓝相间和黄蓝黄相间标记物样式图3本发明的系统框架图4本发明的系统流程图5用于标定的标尺检测算法流程图6标记物的关键点检测算法流程图7采用行、列投影方法实现的精确再分割前后效果图8标记物的关键点检测的系列实验结果图(图中用圆圈标记)
图9摄影测量中的空间平面到图像平面的变换示意具体实施例方式下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是， 所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明是通过设计具有明显特征的标尺和标记物，采用普通摄像机进行二维重 建，实现复杂环境中关键点的定位测量，并具有相当高的精度和鲁棒性。本发明系统框架 如图3，首先，对含有待定位关键点的环境图像摄影；然后，对摄取图像进行标尺检测、标记 物检测等一系列图像分析，即识别、标定、测量等，得到系列关键点坐标，对复杂环境进行描 述；最后，根据二维重建结果，一方面可以通过角点定位得到关键点坐标，另一方面可以对 复杂环境进行三维描述，虚拟现实。本发明的系统流程图如图4。该方法的步骤如下步骤Sl 为了解决上述复杂背景环境中关键点精确定位测量的问题，我们需要设 计一种标记物，用于标识空间中待定位的关键点，然后对标记物进行识别定位即可。另外， 为了采用普通数码相机实现三维世界坐标的重建，我们采用摄影测量的二维方法，此方法 中需要已知标准物体的参数(即三维世界坐标系坐标和对应图像中的坐标)至少4个，因 此，我们设计了一种形状、尺寸已知的标准物体即标尺来对图像进行标定。标尺为近似正方形，四边采用黄蓝、蓝黄蓝或者黄蓝黄相间的样式。正方形边长为 80cm-120cm，边宽5cm-10cm。这仅仅是本发明的一个具体事例。标尺样式如图1。标记物采用正方形形状的硬质材料，将正方形某一顶点近似三等分，三个部分采 用黄蓝黄、蓝黄蓝相间的样式，标记物边长为15cm左右。标记物样式如图2。步骤S2 用于标定的标尺检测，具体步骤如下，步骤S21 由普通摄像机摄取的含有待定位关键点环境的摄取图像大小为3872像 素*2592像素，为了提高定位检测速率，我们压缩图像为968像素*648像素，约为摄取图像的1/4大小，采用采样方法进行压缩即可。如下步骤则对压缩后的图像进行处理即可。步骤S22 我们首先想到的是根据不同彩色空间模型来分割所述摄影图像中的标 尺区域，分割中遇到的第一个困难是图像光照条件的变化以及标尺颜色的退化。采用HIS 颜色空间模型，选取H通道和S通道的合适的阈值对大部分光照条件下的标尺定位有效。为 了达到更好的分割效果，考虑到标尺与地面的彩色非彩色差异，这里我们定义一个阈值函 数。f(R,G,B) = ~-!~~I 3D ι~--R，G，B为RGB颜色模型下三通道的灰度值。D为非彩色提取参数，这里我们取为 20。f(R，G，B) < 1，则表示非彩色像素点，反之，则表示彩色像素点。为了提高算法的鲁棒 性，使得不同光照、不同环境下都能够达到良好效果，这里我们采用1 5多阈值作为函数 f(R，G，B)的比较值，得到多个二值图像。步骤S23 标尺具有以下几个特征，首先，对其轮廓进行多边形近似之后，其多边 形顶点数目为4 ；其次，该轮廓必为凸多边形；再次，其面积必限定在某一范围内；最后，标 尺轮廓的内部灰度值统计要小于某一常数(经彩色非彩色分割之后内部用黑色灰度值填 充)。根据以上分析，我们可以对经彩色非彩色分割得到的二值图像进行轮廓检测，然后实 施多边形近似加之上面的判定条件定位标尺区域。如果条件满足，四边形识别正确则进行 下一步，否则对步骤S22中的其他二值图像进行轮廓检测、多边形近似等步骤，直至定位标 尺区域。由于标尺的边宽度为5cm，我们会得到内、外两个四边形轮廓，而我们需要的是四边 形边的中线的四个交点处的坐标值，因此可以通过简单计算两个四边形对应顶点坐标的均 值得到标尺四个顶点的中心位置，用于标定的标尺检测的算法流程如图5。步骤S3 标记物的关键点检测具体步骤如下，步骤S31 采用采样方法对所述摄取图像进行压缩，压缩至摄取图像的1/4大小；步骤S32 我们定义一个阈值函数，f{R,G,B)^R-B^R-G^G-B^
3DR，G，B为RGB颜色模型下三通道的灰度值。D为非彩色提取参数，这里我们取为 20。f(R，G，B) < 1，则表示非彩色像素点，反之，则表示彩色像素点。这里采用单一阈值进 行分割，只要对标记物粗定位即可。步骤S33 这里需要对分割之后的二值图像进行2次膨胀处理，目的是消除光照等 条件影响，使得每一个标记物的整体属于一个轮廓，便于下一步的定位分割。光照的明暗、 地面的干扰都会使得单阈值的分割鲁棒性差，我们采用3X3正方形结构对图像进行两次膨 胀处理，解决了上述问题。步骤S34 提取所有轮廓对应的所述摄取图像区域，得到子图像，为了进行直方图 匹配，需要标记物中三色块的灰度信息，因此这里不能把所有彩色像素分为同一类。考虑到 蓝色和黄色的特征，我们定义新的阈值函数。/(卿)=([及)2+广)R，G，B，D 意义同上，Z = 75。f(R，G，B) > 1 表示蓝色区域像素点，f (R，G，B) < _1
表示黄色区域像素点，其余像素点的灰度值赋0即可。这样子图像便只有三种灰度值，我们可以通过限定三种灰度值直接的比例关系来选择提取含有标记物的轮廓区域以进行下一 步操作。步骤S35 对于标记物轮廓，我们需要对其进行精确再分割。如果跳过此步骤，下 一步中的线段检测便会产生诸多干扰线段，使得关键点定位的精确性变差。这里我们的方 法是对整个图像进行行投影和列投影，去掉投影值较小的即可，然后再对子图像进行一步 包围矩形统计，得到精确分割子图像。灰度投影把一幅mXn的图像的灰度值映射成两个独 立的一维波形如下
ΛΜM-IG(X) = Xf (x, y);G(y) = ^f (χ, y)
y=ox=o其中f(x，y)表示图像上(x，y)点的灰度值，M和N为图像的高度和宽度，G(x)表 示第X行像素的投影值，即第X行像素灰度值的累加；G(y)表示第y列像素的投影值，即第 y列像素灰度值的累加。这样我们便可以根据G(x)和G(y)的波形设置相应的阈值来选取 精确分割的区域。采用行、列投影方法实现的精确再分割前后效果图如图7，其中，第一列和第三列 为精确分割前的子图像，第二列和第四列分别为第一列和第三列对应的精确分割后的子图像。步骤S36 对于精确分割之后的子图像，我们只要精确检测出色块之间的直线便 可以通过求取直线交点的方法定位角点。这里我们采用霍夫变换线段检测与最小二乘法相 结合的方法来求取直线。首先对子图像进行线段检测，由于色块之间的直线非单像素宽度， 会检测到很多条直线。于是我们采用最小二乘法对这些线段进行拟合，得到较精确的两条 相交直线。用直线y = kx+b对点系列(Xi，Yi)进行拟合如下。
步骤S37 根据两拟合直线求出交点即可。然后对所有的轮廓进行如上处理，如果 直方图匹配失败，检测下一轮廓，如果成功则求出交点坐标并存储，检测下一个待定位点， 直至得到每一个标记物的关键点坐标。最后的检测效果如图8所示，其中算法检测到的关键点的坐标位置用圆圈标记， 标记物的关键点检测算法流程图如图6所示。步骤S4 由于所述摄影图像使用二维平面表示三维空间，在成像过程中丢失了深 度信息，所以，在没有其它信息的情况下，无法直接根据一幅所述摄影图像上二维坐标信息 恢复三维空间信息。如果假设图像上的点在实际坐标系空间中对应的点都在同一个平面 上，则可以根据直接线性变换关系，推出从空间平面到图像平面的对应关系，并能由4个已 知其在空间平面上的位置和图像平面上的位置的参考点，求出空间平面的点和其在图像平 面上投影点之间的对应关系，这就是所述摄影图像的二维重建方法。使用二维方法，可以根 据所述摄影图像上点的位置计算出其对应的空间平面上点的位置。设三维空间坐标系中任意点(X，Y，Z)和它在二维图像平面坐标系上的坐标为(χ，y)，如果空间点都在同一个平面 上，即Z为常数，则空间点和图像点的坐标满足 其中，C1, C2, . . . , C8为线性成像模型的8个系数。我们根据步骤1得到的标尺的 四个顶点的世界坐标以及步骤2得到的标尺的四个顶点的图像坐标，来计算线性成像模型 的8个系数，然后根据8个系数以及步骤3得到的关键点的图像坐标，来得到关键点的世界 坐标，从而达到定位测量的目的。摄影测量中的空间平面到图像平面的变换如图9所示，其中，A、B、C、D为空间平 面上的四个点，a、b、c、d为摄取图像平面上的A、B、C、D点的对应点，χ、y为图像平面坐标 系，X、Y为空间平面坐标系，透视中心为普通数码相机的凸透镜中心。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
一种基于标记物的关键点检测的定位测量方法，其特征在于，该方法的步骤包括步骤S1在待定位测量的复杂环境中设置标尺和标记关键点的标记物，并建立世界坐标系，确定标尺四个顶点的世界坐标；步骤S2使用采样方法对含有待定位关键点环境的摄取图像进行压缩，根据自定义分割函数对压缩后的图像进行多阈值彩色分割，并通过轮廓检测、多边形拟合对标尺定位，得到标尺四个顶点的图像坐标；步骤S3首先，使用采样方法对所述摄取图像进行压缩，根据自定义阈值分割函数对压缩后的图像进行分割，得到二值图像，对二值图像进行轮廓检测，得到所有轮廓，其次，以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配，得到包含标记物的轮廓区域，即子图像，然后，利用灰度投影法对子图像进行精确再分割，得到包含标记物的精确子图像最后对精确子图像采用霍夫变换线段检测以及最小二乘法直线拟合相结合的方法对标记物的关键点进行，得到每一个标记物的关键点的图像坐标；步骤S4根据摄影图像的二位重建方法，设三维空间坐标系中任意点(X，Y，Z)和所述任意点在二维图像平面坐标系上的坐标为(x，y)，如果空间点都在同一个平面上，Z为常数，则空间点和图像点的坐标满足 <mrow><mi>X</mi><mo>=</mo><mfrac> <mrow><msub> <mi>C</mi> <mn>1</mn></msub><mi>x</mi><mo>+</mo><msub> <mi>C</mi> <mn>2</mn></msub><mi>y</mi><mo>+</mo><msub> <mi>C</mi> <mn>3</mn></msub> </mrow> <mrow><msub> <mi>C</mi> <mn>7</mn></msub><mi>x</mi><mo>+</mo><msub> <mi>C</mi> <mn>8</mn></msub><mi>y</mi><mo>+</mo><mn>1</mn> </mrow></mfrac> </mrow> <mrow><mi>Y</mi><mo>=</mo><mfrac> <mrow><msub> <mi>C</mi> <mn>4</mn></msub><mi>x</mi><mo>+</mo><msub> <mi>C</mi> <mn>5</mn></msub><mi>y</mi><mo>+</mo><msub> <mi>C</mi> <mn>6</mn></msub> </mrow> <mrow><msub> <mi>C</mi> <mn>7</mn></msub><mi>x</mi><mo>+</mo><msub> <mi>C</mi> <mn>8</mn></msub><mi>y</mi><mo>+</mo><mn>1</mn> </mrow></mfrac> </mrow>式中，C1，C2，...，C8为线形成像模型的系数，根据标尺四个顶点的世界坐标和图像坐标来确定这8个系数C1，C2，...，C8，然后根据空间平面和图像平面的坐标变换关系，以及步骤S3的关键点的图像坐标计算出关键点的世界坐标。
2.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所 述标尺其形状为正方形或长方形的中空框架，中空框架表面由不同颜色的薄层组成，选择 不同颜色薄层可以是黄蓝颜色、蓝黄蓝颜色、黄蓝黄颜色或者是多种颜色相间匹配的薄层 结构。
3.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所 述标记物采用正方形形状的硬质材料，将正方形某一顶点近似三等分，三等分的三个部分 采用黄蓝黄或者蓝黄蓝相间的薄层，或者根据环境情况而定的具有不同颜色薄层组成。
4.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所 述多阈值分割是利用标尺与地面的彩色非彩色差异设计自定义分割函数f(R，G，B)，f(R,G,B)=(|R-B|+|R-G|+|G-B|)/3DR，G，B为RGB颜色模型下三通道的灰度值，D为非彩色提取参数，再利用所述的阈值函 数对压缩后的图像进行分割，如果f(R，G，B) < 1，则表示非彩色像素点，反之，如果f(R，G， B) > 1，则表示彩色像素点，采用多个阈值作为函数f(R，G，B)的比较值，得到多个二值图像。
5.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所 述以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配步骤如下步骤S31 提取所有轮廓对应的所述摄取图像区域，得到子图像，根据标记物薄层的两 种颜色特征，对子图像进行阈值分割，得到两种颜色区域并由两种灰度值填充、两种颜色区 域以外的区域由第三灰度值填充的灰度图；步骤S32 计算灰度图的直方图，通过限定三种灰度的比例关系来进行匹配。
6.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所 述利用灰度投影法对子图像进行精确再分割是采用灰度投影的方法把一幅mXn的图像的 灰度值映射成两个独立的一维波形如下， 式中f(x，y)表示图像上(x，y)点的灰度值，M和N分别为图像的高度和宽度，G(x)表 示第χ行像素的投影值，是第χ行像素灰度值的累加；G(y)表示第y列像素的投影值，是第 y列像素灰度值的累加，根据G(x)和G(y)的波形设置相应的阈值来选取分割的区域，得到 子图像。
全文摘要
本发明是一种基于标记物的关键点检测的定位测量方法，分为四个部分第一，标尺和标记物的设计，实现了环境适应性强、方便使用制作的标尺和标记物；第二，用于标定的标尺检测，根据自定义分割函数对压缩后的图像实施多阈值分割，并通过轮廓检测、多边形拟合等方法定位标尺；第三，标记物的关键点检测，主要采用了直方图匹配、灰度投影法、霍夫变换线段检测以及最小二乘法直线拟合等方法检测定位关键点；第四，三维世界坐标的重建，这里采用摄影测量的二维方法。本发明提到的多阈值分割以及将霍夫变换与最小二乘法相结合来定位直线等方法，提高了算法的性能和精度。本发明应用范围广泛，适用各种基于关键点检测的定位测量问题。
文档编号G01C15/02GK101915573SQ201010244950
公开日2010年12月15日 申请日期2010年8月4日 优先权日2010年8月4日
发明者吴亮, 安闻川, 王欣刚 申请人:中国科学院自动化研究所