用于统计形状模型的特征点辅助标注方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及一种用于统计形状模型的特征点辅助标 注方法。
【背景技术】
[0002] 统计形状模型如ASM模型和AAM模型广泛应用于人脸、车辆等物体的分割领域，两 种模型的迭代搜索过程都离不开事先建立的特征点。因此，特征点标注的好坏，直接影响到 统计形状模型的精度。
[0003] 特征点也称关键点。所谓特征点标注，即是在待标注图像上标注出物体形状的边 缘。
[0004] 现有的特征点标注方法大多数都是针对人脸的，比如将特征点标在人脸的两个嘴 角，四个眼角处等，如图1(a)所示。许多辅助标注方法也都是针对人脸的，如于仕琪等在专 利[CN104899563A]中提出一种基于三维人脸图像的人脸关键点定位方法；韩钧宇等人在 专利[CN102880612A]中提出一种预测特征点新位置的辅助人脸关键点标注方法。然而，这 些方法能够奏效的前提条件还是需要有事先标注好的特征点。其次，针对人脸的特征点标 注方法并不一定能用来标注其他物体。举例来说，人脸具有一些特征非常明显的部位，比如 眼角，嘴角，鼻尖等。因此在进行标注的时候，可以快速地找到这几个部位，并且标注的质量 较高。然而，针对一些轮廓上特征不明显的物体，这种直接寻找明显特征点的方法效果并不 理想。如图1(b)所示的二维超声图像中左心室的心内膜轮廓线上明显的特征只有瓣膜和 心尖，其他地方曲率无明显变化，比较平滑。因此对于这类物体，人脸的标注方法往往不能 胜任工作，标注质量较差。同时，常见物体的轮廓大多是平滑的，若以目前常用的手段，即将 各特征点用直线连接的方式去表达轮廓，一则轮廓过于粗糙与原物体差别较大，二是影响 美观，不够形象。如图2所示，对比可见CCR曲线表达更加精确形象，尤其是在特征点较少 的情况下。
【发明内容】
[0005] 为了克服现有技术的上述缺点，本发明提供了一种用于统计形状模型的特征点辅 助标注方法。
[0006] 本发明解决其技术问题所采用的技术方案是：一种用于统计形状模型的特征点辅 助标注方法，包括如下步骤：
[0007] 步骤一、采用CCR曲线将物体轮廓边缘上各个特征点进行连线，建立一个物体形 状的通用模板；
[0008] 步骤二、将通用模板映射到待标注图像上；
[0009] 步骤三、对通用模板做刚性调整，使得通用模板与待标注图像上的物体轮廓吻 合；
[0010] 步骤四、对通用模板做非刚性调整，使得各特征点落在待标注图像真实边缘上且 位置正确；
[0011] 步骤五、保存调整特征点位置后的通用模板。
[0012] 与现有技术相比，本发明的积极效果是：现有的一些人工标注方法，只能标注比如 人脸等特征明显的物体，对于特征点不明显的物体标注困难。本发明提出的用于统计形状 模型的辅助标注方法可以很有效地解决该问题，并能达到如下效果：一是、采用建立通用模 板的方法，将模板直接映射到待标注图像上，节省了人工画点的时间。二是、采用法线辅助 的方法，使人工调整特征点变得简单且易操作，提高了标注效率。三是、使用过控制点也即 特征点的CCR曲线表达轮廓，使轮廓的描述更加科学、准确。
【附图说明】
[0013] 本发明将通过例子并参照附图的方式说明，其中：
[0014] 图1中：(a)为标注好的一幅人脸图；(b)为二维超声图像左心室图片；
[0015] 图2中：(a)为使用经过特征点的CCR曲线表达轮廓；(b)为使用直线连接相邻特 征点来表达轮廓；（c)为CCR和直线两种表达方式对比；
[0016] 图3是本发明方法的流程图；
[0017] 图4是特征点和法线对应关系图，其中：黑色圆点表示模板上的控制点，连接控制 点的曲线表示CCR曲线；法线m为过点Pi，且与其相邻两点连线垂直的直线；n为待标注图 像上真实轮廓边缘；P' i为法线m与曲线n的交点；
[0018] 图5中：(a)为建立的通用模板；(b)为特征点模板映射到待标注图像上；（c)为对 模板做刚性调整；（d)为显示法向辅助线；（e)为模板做非刚性调整，特征点的新位置参考 法向辅助线与左心室心内膜真实边界的交点；（f)为调整后的左心室心内膜轮廓。
【具体实施方式】
[0019] 本发明提供一种二维图像中物体形状的特征点辅助标注方法，旨在解决当物体轮 廓上特征不明显时无法标注特征点的问题。
[0020] 我们提出的标注方法基于 CCR(Centripetal Catmull-Rom)曲线和 ASM(Active SplineModel)模型理论。下面首先对这两者做一个介绍。
[0021] CCR曲线可以通过一组点来控制曲线的走势与形状。CCR曲线相比于其他的曲线 有以下几点优势。首先，它没有要求本身是一个闭合的曲线，这样就可以使用该曲线表达轮 廓非闭合的物体形状；其次，CCR曲线是过控制点的曲线，较不经过控制点的贝塞尔曲线等 更加易于操作；再者，它允许控制点更加稀疏，这样使用较少的控制点就可以达到准确表达 形状轮廓的目的。
[0022] CCR曲线具体的表示方法为：
[0023] 用P= [x，y]T表示一个点。控制点Pi^PyP1+1，P1+2可以用来表示CCR曲线的一 个曲线段〇~+.,.七.七一七,"耒沄该曲钱段卜的结〇〇1〇〇。此曲线段可用如下式子表示 ：
[0024]
[0025] 这里，
[0031] tl+1= IP^-P,! °+tl (7)
[0032] (7)式中a取值范围为[0, 1]，本发明中将其取值0.5。
[0033] 假设CCR曲线经过点PpPyPy……，P"，为使CCR曲线完全经过这m个点，还需在 曲线的头尾各增加一个控制点匕和P "+1，这两个控制点不在曲线上显示。两点的计算方法 为：
[0034]
[0035] (8)式中P的取值范围为[0,0? 5]，这里取值0? 1。
[0036] ASM模型是基于统计形状的模型。该方法对训练集中大量形状实例进行统计分析， 建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型。在搜 索物体过程中，首先对待检测图像中的目标进行搜索，得到初始位置。将训练出来的平均形 状模型映射到被检测图像上。这个过程也被称之为刚性变形。之后利用训练出来的各个特 征点周围的特征，驱动平均形状向更加理想的位置移动；同时对其合理性进行判断，对不合 理的形状进行调整以保证形状在统计意义上的合理性。如此通过循环迭代，得到理想的匹 配结果。这个过程被称为非刚性变形。因此，本文提出的标注方法就是基于以上两个有利 工具开发出来的。
[0037] 下面介绍本发明中所述特征点辅助标注方法的具体步骤，如图3所示：
[0038] 步骤一、建立一个物体形状的通用模板：
[0039] 通用模板指的是物体轮廓边缘上各个特征点的坐标，记为{(Xi, ，（x2, y2)，（x3, y 3)，. . .，（xn，yn)}。显示模板时，我们采用过这些特征点的CCR曲线来表示。这里我们提供两 种通用模板的建立方法：一是由专家根据经验绘制出该物体形状上的特征点，然后把这些 特征点作为控制点，用CCR曲线连接，表达出物体形状。最后保存模板，也就是保存模板中 各个控制点的坐标。二是通过选择多张图像，直接用CCR曲线画出物体轮廓，然后标注出形 状轮廓上的特征点，再将这些形状对齐，计算平均轮廓，最后在平均轮廓上选择一组特征点 保存，作为通用模板。这里我们提供一种基于Procrustes Method的对齐方法。
[0040] 给定两个相似形状 Xi (xu, y"，x12, y12, . . .，xln, yln)和 X2(x21, y21, x22, y22，…，x2n, y2n)。欲将X2对齐到X !，也就是要找至丨」一个旋转角度0、缩放因 子s和平移量t (tx，ty)，使得下式最小：
[0041 ] E = (X「M(s, 9 ) [xJ-i^Tff^HVKs，9 ) [x2]_t)
[0042] 这里
[0043]
[0044] t = (tx, ty, . . . , tx, ty)1
[0045] W是一个对角矩阵，对角线上每个元素代表每个特征点的权重。它的计算方法为： 假设已知一组相似形状，第k(k = 1，2, . . .，n)个特征点对应的权重wk的计算方法为：
[0046]
[0047] 其中，Rkl表示一个形状中第k个点和第1个点之间的距离；表示这组形状中 R ki的统计方差。
[0048] 根据以上两个相似形状的对齐方法，对于一组相似形状Xi，X2, . . .，Xn，其对齐方法 为：
[0049] (1)在这组形状中选定第一个形状作为参考，记为叉=馬剩下的形状与第一个形 7. 状对齐（通过旋转、缩放、平移来完成）。
[0050] (