一种二维X射线头影测量图像解剖特征点自动定位方法与流程

本发明涉及图像处理技术领域，具体涉及一种二维x射线头影测量图像解剖特征点自动定位方法。

背景技术：

口腔正畸学的主要任务是通过检测生长中及发育完成的牙颌面结构，以发现牙颌面结构中的形态异常并矫正之。头影测量图像描述了患者的骨骼、牙齿和软组织结构，并提供了用于正畸分析和治疗计划的所有图像，是口腔正畸学中用于正畸分析和治疗计划的重要临床和研究工具。自20世纪中期以来，x射线头影测量已被广泛用于口腔正畸临床诊断、矫治设计、疗效评价等领域，还可以用于头面部结构研究、儿童生长发育观察等方面。

头影测量图像是在临床正畸过程中经过x射线测量技术对头部骨骼进行扫描，得到的测量图像。头颅图的头影测量分析中对解剖特征点进行标记是必要的，1982年，rakosi定义了90个特征点，这些标志已经被正畸医师用于临床研究。其中，临床实践和近年的一些研究中共采用了19个特征点。在临床实践中，特征点需要手动标记，正畸医师通常首先在二维x射线头影测量图像上跟踪颅面部结构轮廓，然后从直线和角度参考线和其他几何形状提取特征点。然而，手动标记是耗时且主观的。一位经验丰富的牙齿矫正医生需要长达20分钟的时间来进行一次x射线头影测量分析，这其中往往会受到观察者内部和观察者之间的误差影响。为了解决人工标记问题，许多临床研究都集中在解剖特征点识别问题上。

国内外学者也使用自动定位方法处理x射线头影测量图像中结构特征点的定位问题。大多数方法的速度与准确度都差强人意。

目前对于x射线头影测量图像中解剖特征点的定位问题都存在准确度低等问题，而人工标记的工作量大、耗时长。

技术实现要素：

本发明的目的在于克服现有技术中的不足，提出了一种二维x射线头影测量图像解剖特征点自动定位方法，解决了人工标记工作量大、耗时长和准确度低的技术问题。

为解决上述技术问题，本发明提供了一种二维x射线头影测量图像解剖特征点自动定位方法，其特征是，包括以下步骤：

步骤s1，获取一定数量x射线头影测量图像作为样本集；

步骤s2，对样本集中每幅图像：标注出图像中每个特征点的坐标，根据图像中各像素点与特征点的坐标，计算获得每个特征点的偏移距离图；

步骤s3，对于每个特征点：将步骤s2获得的与其对应的所有偏移距离图和步骤s1中头影测量图像样本集作为训练数据，输入预设对抗性网络模型中，以训练该对抗性网络模型预测此特征点的偏移距离图；

步骤s4，对待测x射线头影测量图像，利用步骤s3中已训练的各特征点对应的对抗性网络进行预测，获得每个特征点的偏移距离图；

步骤s5，根据每个特征点的偏移距离图，计算获得每个特征点的坐标。

进一步的，根据图像中各像素点与特征点的坐标计算获得每个特征点的偏移距离图的过程为：对图像中每个特征点：

计算每个像素点(x,y)到该特征点的偏移向量(dx,dy)；

根据偏移向量使用l2范数计算获得像素点(x,y)到该特征点的偏移距离，即可获得此投影测量图像中此特征点对应的偏移距离图。

进一步的，对抗性网络模型包括鉴别器d和生成器g，生成器g的输入是头影测量图像样本集，输出是特征点对应的偏移距离图；鉴别器d的输入是样本集中计算出的偏移距离图和生成器生成的偏移距离图，输出的是预测的真伪值。

进一步的，鉴别器d损失函数如下：

(1)

(2)

其中，x是输入图像，n是样本数，y∈[0,1]表示输入的标签数据，0表示输入的是生成图像，1表示输入的是真实图像，∈[0,1]是鉴别器网络输出，0表示鉴别器网络判断输入图像为生成图像，1表示鉴别器网络判断输入图像为真实图像；d(x)表示将数据x输入到鉴别器d中得到的输出值，g(x)表示将数据x输入到生成器g中得到的输出值。函数作用是使真实数据的预测值尽量大，生成数据的预测值尽量小。

进一步的，生成器对抗损失函数和生成器重建损失函数如下：

(3)

其中，y是根据特征点计算的距离图，表示计算真实偏移距离图与生成偏移距离图的l2范数，即重建损失值，是对抗损失函数在生成器损失函数中的比重率，是重建函数在生成器损失函数中的比重率；

同时额外增加生成图像与距离图像的图像梯度损失函数如下：

(4)

其中，表示对图像的求梯度过程，是对真实偏移距离图x方向上的求梯度。是对生成偏移距离图x方向上的求梯度，是对真实偏移距离图y方向上的求梯度，是对生成偏移距离图y方向上的求梯度。

这个损失函数试图最小化生成图像和距离图之间的梯度差异。通过这种方式，生成的数据将尝试保持具有强梯度的区域（例如边缘）以有效地优化l2范数项，使重建损失变化更平滑。

用于训练生成器g的总损失定义为如下函数：

(5)

是图像梯度损失函数在总损失函数中的比重率。

进一步的，根据每个特征点的偏移距离图，采用投票方法计算获得每个特征点的坐标。

进一步的，采用投票方法计算获得每个特征点的坐标的过程为：

对偏移距离图上每一个像素点均作同样操作：以偏移距离图中像素点坐标为圆心，以偏移距离图中此像素点的像素值为半径画圆，这个圆与偏移距离图上的交点为可能的特征点集合；

当所有像素点完成以上操作后，则交点最多的点即为预测的特征点。

与现有技术相比，本发明所达到的有益效果是：本发明，利用对抗性网络来预测每个特征点的偏移距离图，在根据偏移距离图计算每个特征点的坐标，可自动、准确地获得二维x线头影测量图像中各解剖特征点位置。

附图说明

图1是本发明方法的方法流程图；

图2是本发明方法采用的模型结构示意图；

图3是x线图像中头影测量特征点的位置示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种二维x射线头影测量图像解剖特征点自动定位方法，包括以下过程：

步骤s1，获取一定数量x射线头影测量图像作为样本集；

步骤s2，对样本集中每幅图像：标注出图像中每个特征点的坐标，根据图像中各像素点与特征点的坐标，计算获得每个特征点的偏移距离图；

步骤s3，对于每个特征点：将步骤s2获得的与其对应的所有偏移距离图和步骤s1中头影测量图像样本集作为训练数据，输入预设对抗性网络模型中，以训练该对抗性网络模型预测此特征点的偏移距离图；

步骤s4，对待测x射线头影测量图像，利用步骤s3中已训练的各特征点对应的对抗性网络进行预测，获得每个特征点的偏移距离图；

步骤s5，根据每个特征点的偏移距离图，计算获得每个特征点的坐标。

本发明，利用对抗性网络来预测每个特征点的偏移距离图，在根据偏移距离图计算每个特征点的坐标，可准确地获得二维x线头影测量图像中各解剖特征点位置。

实施例

本发明的一种二维x射线头影测量图像解剖特征点自动定位方法，包括以下过程：

（1），选取200张头影测量图像作为输入数据样本集，图像尺寸是1935×2400，像素尺寸为0.1×0.1mm²。

（2），在此200张头影测量图像中人工标注出解剖特征点坐标，临床实践和近年的一些研究中共采用了19个特征点。也就是在每一幅头影测量图像中都标注出19个特征点。

对每一幅头影测量图像中每一个解剖特征点，计算每个像素点(x,y)到该解剖特征点的偏移向量(dx,dy)，然后使用l2范数计算获得像素点(x,y)到该解剖特征点的偏移距离，即可获得此投影测量图像中此解剖特征点对应的偏移距离图。

一幅头影测量图像有19个特征点，所以有19个偏移距离图，在200张头影测量图像中，每一类特征点有200个偏移距离图。

（3），对每一类特征点建立对应的对抗性网络模型，用此特征点的偏移距离图作为头影测量图像数据集的标签，共同作为此特征点对应的对抗性网络模型的训练数据。

19个特征点分别对应19个对抗性网络模型，分别训练19个对抗性网络模型。用前面得到的训练数据分批次输入，每批次训练100张（输入数据的大小由机器性能决定，可分批次输入，也可以一次性输入），训练迭代3000次，训练批数与迭代次数根据机器性能可以进行调整。

对抗性网络模型（gan）包括鉴别器d和生成器g，鉴别器d用于辨别输入的偏移距离图像与该模型生成的偏移距离图像的真伪，鉴别器d的损失函数越小辨别能力越强，鉴别器d的训练目的就是要尽量最大化判别准确率；生成器g根据输入的图像输出偏移距离图，生成器g的损失函数越小生成的偏移距离图与真实偏移距离图越相似，效果越好，生成器g的训练目标，就是要最小化鉴别器d的判别准确率。

在训练过程中，对抗性网络gan采用了一种非常直接的交替优化方式，它可以分为两个阶段，第一个阶段是固定鉴别器d，然后优化生成器g，使得鉴别器d的准确率尽量降低。而另一个阶段是固定生成器g，来提高鉴别器d的准确率。在交替优化的过程中生成器g生成的图像会越来越精确，最终达到训练的目的。

生成器g的输入是头影测量图像样本集，输出是对应生成的偏移距离图。生成器f网络中，前七层是卷积层，后七层是反卷积层，中间三层是全连接层。第一个卷积层用s1个大小为n1×m1的卷积核过滤输入图像矩阵，并产生特征映射f1；接下来，通过过滤具有大小为n2×m2的s2个卷积核的特征映射f1，第二卷积层包含特征映射f2；后面五层卷积层均以类似方式产生特征映射，每层卷积核大小为ni×mi(i=3,4,5,6,7)，数量为si(i=3,4,5,6,7)；三个全连接层包含ti(i=1,2,3)个神经元，它们分别连接到本层前后卷积层中的所有神经元；后七层反卷积层架构与卷积层类似。每层均需要经过批量归一化和激活函数计算操作。

鉴别器d网络输入的是第二步中计算出的真实偏移距离图和生成器生成的偏移距离图，输出的是预测的真伪值，鉴别器网络具有与生成器网络的卷积层类似的架构，鉴别器网络具有六个卷积层，每层均可以进行包括卷积，批量归一化和激活函数计算等操作，鉴别器网络最后是一个输出层。鉴别器的卷积运算中使用的滤波器数为ri(i=1,2,3,4,5,6)，每层卷积核大小为pi×qi(i=1,2,3,4,5,6)。

本发明实施例中，采用鉴别器d损失函数如下：

(1)

(2)

其中，x是输入图像，n是样本数，y∈[0,1]表示输入的标签数据（0表示输入的是生成图像，1表示输入的是真实图像），∈[0,1]是鉴别器网络输出，0表示鉴别器网络判断输入图像为生成图像，1表示鉴别器网络判断输入图像为真实图像。d(x)表示将数据x输入到鉴别器d中得到的输出值，g(x)表示将数据x输入到生成器g中得到的输出值。函数作用是使真实数据的预测值尽量大，生成数据的预测值尽量小。

生成器对抗损失函数和生成器重建损失函数如下：

(3)

其中，y是根据特征点计算的距离图，表示计算真实偏移距离图与生成偏移距离图的l2范数，即重建损失值，是对抗损失函数在生成器损失函数中的比重率，是重建函数在生成器损失函数中的比重率。

同时额外增加生成图像与距离图像的图像梯度损失函数如下：

(4)

其中，表示对图像的求梯度过程，是对真实偏移距离图x方向上的求梯度。是对生成偏移距离图x方向上的求梯度，是对真实偏移距离图y方向上的求梯度，是对生成偏移距离图y方向上的求梯度。

这个损失函数试图最小化生成图像和距离图之间的梯度差异。通过这种方式，生成的数据将尝试保持具有强梯度的区域（例如边缘）以有效地优化l2范数项，使重建损失变化更平滑。

用于训练生成器g的总损失定义为如下函数：

(5)

是图像梯度损失函数在总损失函数中的比重率。

训练优化函数使用adam优化器，学习率取值范围为0.001~0.000001；

（4），对抗性网络模型的生成器输入的是头影测量图像，输入矩阵大小为200×1935×2400×1，输出矩阵大小为200×1935×2400×1。网络中所用卷积层共7层，卷积核尺寸均为3×3×1，步长均为2，当卷积核滑动超出边界，多余部分填充采用补零填充，7层卷积核数量分别为32，32，64，128，256，512，1024；全连接层共3层，输出分别为200×400，200×400，200×（4*3*1024）；反卷积层共7层，卷积核尺寸为4×4×1，步长均为2，填充采用补零填充，7层卷积核数量分别为256，128，64，32，16，16，1，每一层均进行批量归一化，激活函数采用修正线性单元函数，最后一层激活函数采用双曲正切函数。

（5），对抗性网络模型的鉴别器输入的是偏移距离图，输出的是对输入的真伪的预测值，输入矩阵大小为200×1935×2400×1，输出为200×1，卷积层共6层，卷积核尺寸为4×4×1，6层卷积核数量分别为16，16，32，64，32，16；全连接层共1层，输出为200×1，每一层均进行批量归一化，激活函数采用带泄露线性整流函数；

（6），重复上述步骤（1）~（5）作为对抗性网络模型的训练阶段。所有19个目标特征点的对抗性网络模型均可按照以上步骤所述方法进行训练；所有模型的架构与超参数设置是一致的。

（7），利用步骤（6）已训练的对抗性网络模型对测试图像进行测试，生成目标解剖特征点的偏移距离图，测试图像的数量为100张；

（8），当获得新的待测x射线头影测量图像时，利用上述已训练好的19个对抗性网络模型作用于待测头影测量图像，以获得19个目标解剖特征点的偏移距离图。

对于每个目标解剖特征点，利用生成的目标解剖特征点的偏移距离图，使用回归投票的方式计算目标特征点的坐标。这里根据偏移距离反求特征点，由于已知某个像素点的坐标和这个像素点到特征点的偏移距离，则以该像素点为圆心，偏移距离为半径，画圆，该圆与偏移距离图上的交点为可能的特征点集合。偏移距离图上每一个像素点均作同样操作，则交点最多的点为预测的最可能的特征点。

具体而言，生成的目标解剖特征点的偏移距离图的每一个像素值分别为目标解剖特征点到该像素点的偏移距离，以偏移距离作为半径，该像素点坐标(x,y)为圆心，在待检测图像上对圆上各点投票，重复此操作直到遍历待测投影测量图像每一点。当待测图像中所有像素点完成投票后，得到票数最多的像素点即预测的目标解剖特征点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。