基于形状信息和卷积神经网络的CHN法兴趣区域提取方法与流程

本发明涉及chn法兴趣区域提取方法。

背景技术：

chn法通过评估14块参照骨的成熟指征来计算骨龄，该方法符合中国当代青少年的生长发育规律。chn法的14块参照骨为掌骨1、掌骨3、掌骨5、近节指骨1、近节指骨3、近节指骨5、中节指骨3、中节指骨5、远节指骨1、远节指骨3、远节指骨5、钩骨、头状骨和桡骨。

目前兴趣区域提取方法大多是基于边缘检测和角点检测来实现的，这些方法实现简单，可以准确地提取出参照骨的兴趣区域，但是它们于手腕部的摆放方式、摆放位置及图像质量等因素敏感，没有普适性。本发明在保证参照骨兴趣区域提取准确的同时，还保证其具有较强的普适性。

技术实现要素：

本发明要克服现有技术的上述缺点，提供一种基于形状信息和卷积神经网络的chn法兴趣区域提取方法。

本发明解决技术问题采用如下技术方案：

基于形状信息和卷积神经网络的chn法兴趣区域提取方法，包括以下步骤：

步骤1：根据手腕部的形状信息来确定手指及手腕的宽度，针对不同的参照骨，手指或手腕的宽度乘以相应的权重获取参照骨的边框大小；

步骤2：通过对一个自建的卷积神经网络进行训练，得到关键点预测模型。

步骤3：将步骤1和步骤2结合，提取出14块参照骨的兴趣区域。

步骤1具体包括：

1)手腕部x光片图像进行二值化处理，通过阈值将手腕与背景区分出来，阈值计算的公式为：

其中，w为x光片图像的宽度，h为x光片图像的高度，(xi,yj)为x光图像中的像素点坐标，gray(xi,yj)为在坐标(xi,yj)上的灰度值。通过公式(2-1)计算出的阈值将手腕和背景区分出来，手腕部分使用白色像素点填充，背景部分使用黑色像素点填充，得到二值化后的图像，二值化的公式为：

其中，0代表黑色像素填充，255代表白色像素点填充，通过公式(2-2)得到二值化后的图像；

2)从上往下，每隔10像素点对二值化图片从左向右进行扫描，找到形状信息序列b[m]，其公式为：

其中m为图像的纵坐标，其值从0以10步长递增，达到图像的宽度w为止，fmi为在m行中第i个最大连续横坐标序列[xstart,xstart+1,...,xend]的宽度，n为最大连续横坐标序列的个数，最大连续横坐标序列应满足公式(2-3)，通过公式(2-4)计算得出。

gary(xi,ym)＝255,i∈[start,end](2-3)

f＝xend-xstart,xstart＜xend(2-4)

3)根据n将形状信息序列b[m]分成包含一个最大连续横坐标序列宽度的形状信息序列b1[m]、包含两个最大连续横坐标序列宽度的形状信息序列b2[m]和包含四个最大连续横坐标序列宽度的形状信息序列b4[m]。

4)对于形状信息序列b1[m]，计算相邻形状信息序列中最大连续横坐标序列宽度的偏差，如果偏差大于8时，则当前最大连续横坐标序列宽度为手腕的宽度wristwidth，公式为：

5)对于形状信息序列b2[m]，计算所有形状信息序列中宽度最大的第二个最大连续横坐标序列，该最大连续横坐标序列宽度为第一指骨的宽度firstwidth，公式为：

6)对于形状信息序列b4[m]，计算所有形状信息序列中宽度最大的第一个最大连续横坐标序列，该最大连续横坐标序列宽度为第五指骨的宽度fifthwidth，公式为：

7)对于形状信息序列b4[m]，计算所有形状信息序列中宽度最大的第三个最大连续横坐标序列，该最大连续横坐标序列宽度为第三指骨的宽度thirdwidth，公式为：

8)在得到wristwidth、firstwidth、thirdwidth和fifthwidth后，根据各块参照骨的形状特征乘以不同的权重就可以得到各块参照骨的边界框大小，公式为：

其中bonesize(t)为参照骨边框大小值，t为参照骨的类型的序号，其值从1开始到14结束，分别代表远节指骨5、中节指骨5、近节指骨5、掌骨5、远节指骨3、中节指骨3、近节指骨3、掌骨3、远节指骨1、近节指骨1、掌骨1、钩骨、头状骨和桡骨，根据不同的参照骨选取不同的权重，通过公式(2-9)计算得到参照骨的边界框大小。

步骤2具体包括：

1)在手腕部x光片上标定14块参照骨的关键点坐标，构建参照骨关键点数据集，一共标定8000张，其中6000张用于训练，2000张用于测试。

2)构建卷积神经网络模型，本发明构建的卷积神经网络模型为一个7层的网络模型，包含4个卷积层和3个全连接层，第一个卷积层的卷积核大小为5*5，填充为2，其余卷积层的卷积核大小为3*3，填充为1，卷积核数目分别为96、192、384和384，步长均为2；前两个全连接层的神经元个数为4096，最后一个全连接层的神经元个数为28；池化层的核为2*2，步长为2。

3)训练卷积神经网络模型，一共迭代20次，基础学习率为0.001，每隔5次学习率下降10倍，每次迭代结束保存一次模型，选择最后一次迭代的模型作为本发明的关键点预测模型。关键点预测模型输出一个长度为14的序列[(pre_x1,pre_y1),(pre_x2,pre_y2),...,(pre_xtpre_yt),...,(pre_x14pre_y14)]，(pre_xtpre_yt)代表第t块参照骨的关键点的横坐标和纵坐标预测值。

步骤3具体包括：

1)对于第t块参照骨来说，其边框大小为sizebone(t)，关键点坐标为(pre_xtpre_yt)，计算参照骨兴趣区域的左上坐标和右下坐标，公式为：

其中xleft(t)为第t块参照骨的左上坐标的横坐标，ytop(t)为第t块参照骨的左上坐标的纵坐标，xright(t)为第t块参照骨的右下坐标的横坐标，ybottom(t)为第t块参照骨的右下坐标的纵坐标。

2)通过参照骨的左上坐标和右下坐标，将参照骨的兴趣区域提取出来，公式为：

roi(t)＝img[xleft(t):xright(t)][ytop(t):ybottom(t)](2-11)

其中roi(t)为第t块参照骨兴趣区域的二维序列，img为手腕部x光片图像的二维序列。

本发明具有如下有益效果：

(1)准确地提取出chn法所需的14块参照骨兴趣区域。

(2)对于手腕部的摆放方式、摆放位置及图像质量等因素不敏感，具有普适性。

附图说明

图1a～图1c是本发明方法的基于手腕部形状信息的扫描流程图，其中图1a是需要扫描的区域图，图1b是扫描的过程图，图1c是扫描后最大连续横坐标序列结果图。

图2a～图2d是本发明的14块参照骨的提取结果图，其中图2a是手腕左偏的参照骨提取结果图，图2b是标准手腕的参照骨提取结果图，图2c是偏小手腕的参照骨提取结果图，图2d是第五指骨弯曲的手腕的参照骨提取结果图。

图3是本发明的总体流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步阐述。

基于形状信息和卷积神经网络的chn法兴趣区域提取方法，包括如下步骤：

步骤1：根据手腕部的形状信息来确定手指及手腕的宽度，针对不同的参照骨，手指或手腕的宽度乘以相应的权重获取参照骨的边框大小；

步骤2：通过对一个自建的卷积神经网络进行训练，得到关键点预测模型。

步骤3：将步骤1和步骤2结合，提取出14块参照骨的兴趣区域。

步骤1具体包括：

1)手腕部x光片图像进行二值化处理，通过阈值将手腕与背景区分出来，阈值计算的公式为：

其中，w为x光片图像的宽度，h为x光片图像的高度，(xi,yj)为x光图像中的像素点坐标，gray(xi,yj)为在坐标(xi,yj)上的灰度值。通过公式(2-1)计算出的阈值将手腕和背景区分出来，手腕部分使用白色像素点填充，背景部分使用黑色像素点填充，得到二值化后的图像，二值化的公式为：

其中，0代表黑色像素填充，255代表白色像素点填充，通过公式(2-2)得到二值化后的图像；

2)从上往下，每隔10像素点对二值化图片从左向右进行扫描，找到形状信息序列b[m]，其公式为：

其中m为图像的纵坐标，其值从0以10步长递增，达到图像的宽度w为止，fmi为在m行中第i个最大连续横坐标序列[xstart,xstart+1,...,xend]的宽度，n为最大连续横坐标序列的个数，最大连续横坐标序列应满足公式(2-3)，通过公式(2-4)计算得出。

gary(xi,ym)＝255,i∈[start,end](2-3)

f＝xend-xstart,xstart＜xend(2-4)

3)根据n将形状信息序列b[m]分成包含一个最大连续横坐标序列宽度的形状信息序列b1[m]、包含两个最大连续横坐标序列宽度的形状信息序列b2[m]和包含四个最大连续横坐标序列宽度的形状信息序列b4[m]。

4)对于形状信息序列b1[m]，计算相邻形状信息序列中最大连续横坐标序列宽度的偏差，如果偏差大于8时，则当前最大连续横坐标序列宽度为手腕的宽度wristwidth，公式为：

5)对于形状信息序列b2[m]，计算所有形状信息序列中宽度最大的第二个最大连续横坐标序列，该最大连续横坐标序列宽度为第一指骨的宽度firstwidth，公式为：

6)对于形状信息序列b4[m]，计算所有形状信息序列中宽度最大的第一个最大连续横坐标序列，该最大连续横坐标序列宽度为第五指骨的宽度fifthwidth，公式为：

7)对于形状信息序列b4[m]，计算所有形状信息序列中宽度最大的第三个最大连续横坐标序列，该最大连续横坐标序列宽度为第三指骨的宽度thirdwidth，公式为：

8)在得到wristwidth、firstwidth、thirdwidth和fifthwidth后，根据各块参照骨的形状特征乘以不同的权重就可以得到各块参照骨的边界框大小，公式为：

其中bonesize(t)为参照骨边框大小值，t为参照骨的类型的序号，其值从1开始到14结束，分别代表远节指骨5、中节指骨5、近节指骨5、掌骨5、远节指骨3、中节指骨3、近节指骨3、掌骨3、远节指骨1、近节指骨1、掌骨1、钩骨、头状骨和桡骨，根据不同的参照骨选取不同的权重，通过公式(2-9)计算得到参照骨的边界框大小。

步骤2具体包括：

1)在手腕部x光片上标定14块参照骨的关键点坐标，构建参照骨关键点数据集，一共标定8000张，其中6000张用于训练，2000张用于测试。

2)构建卷积神经网络模型，本发明构建的卷积神经网络模型为一个7层的网络模型，包含4个卷积层和3个全连接层，第一个卷积层的卷积核大小为5*5，填充为2，其余卷积层的卷积核大小为3*3，填充为1，卷积核数目分别为96、192、384和384，步长均为2；前两个全连接层的神经元个数为4096，最后一个全连接层的神经元个数为28；池化层的核为2*2，步长为2。

3)训练卷积神经网络模型，一共迭代20次，基础学习率为0.001，每隔5次学习率下降10倍，每次迭代结束保存一次模型，选择最后一次迭代的模型作为本发明的关键点预测模型。关键点预测模型输出一个长度为14的序列[(pre_x1,pre_y1),(pre_x2,pre_y2),...,(pre_xtpre_yt),...,(pre_x14pre_y14)]，(pre_xtpre_yt)代表第t块参照骨的关键点的横坐标和纵坐标预测值。

步骤3具体包括：

1)对于第t块参照骨来说，其边框大小为sizebone(t)，关键点坐标为(pre_xtpre_yt)，计算参照骨兴趣区域的左上坐标和右下坐标，公式为：

其中xleft(t)为第t块参照骨的左上坐标的横坐标，ytop(t)为第t块参照骨的左上坐标的纵坐标，xright(t)为第t块参照骨的右下坐标的横坐标，ybottom(t)为第t块参照骨的右下坐标的纵坐标。

2)通过参照骨的左上坐标和右下坐标，将参照骨的兴趣区域提取出来，公式为：

roi(t)＝img[xleft(t):xright(t)][ytop(t):ybottom(t)](2-11)

其中roi(t)为第t块参照骨兴趣区域的二维序列，img为手腕部x光片图像的二维序列。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施方式技术方案的精神和范围。