一种手部穴位自动定位方法

1.本发明属于医疗图像处理领域，尤其是涉及一种手部穴位自动定位方法。


背景技术：

2.穴位是中医学特有的名词，中医可通过针灸或者推拿、点按、艾灸刺激相应的穴位治疗疾病。人体周身有几百个穴位，分布在不同位置。而手部(手掌、手背)也是一个重要的穴位分布区，根据中医学理论，按摩这些穴位，对于一些疾病有很好的疗效。
3.由此可见，取穴的准确与否直接影响治疗效果。传统的穴位定位都是依靠中医或者相关从业者进行人工判断，这种判断有一定主观性，穴位的位置与医者的经验密切相关，且由于穴位众多，也需医者或相关从业者有较强的记忆力才能迅速找到穴位的位置。因此，需要一种客观准确的定位方法来实现穴位的自动定位，提升定位速度及准确性。
4.近年来，由于深度学习算法的迅速发展，结合深度学习技术进行医疗辅助也成为了热门研究方向，并且在很多学科上已经有了突出成果，特别是在医学图像上的检测和分割任务等。
5.公开号为cn112957249a的中国专利文献公开了一种穴位识别定位方法，包括：采集待艾灸人体的特征图像，并进行图像预处理；展开人体穴位图，并扫描获取预设穴位的参考图像；比对采集到的特征图像和扫描到的参考图像，以确定待艾灸人体的穴位信息；上传并存储待艾灸人体的穴位信息。
6.公开号为cn102930534a的中国专利文献公开了人体背部穴位自动检测方法，首先是计算输入图像的ycbcr值，通过椭圆模型进行肤色分割，得到人体背部图，之后利用canny边缘检测算法以及由内向外寻找白点得到人体背部上下边缘曲线，求取中点进行直线拟合得到人体脊柱线，旋转图像得到目标图像。对样本图像进行灰度标准化处理，相加求平均之后得到模板图像，最后将目标图像和模板图像进行匹配，通过模板图像中的穴位位置确定目标图像的穴位位置。
7.但是，上述穴位定位方法都是针对整个身体的穴位，由于手部穴位的定位精度要求较高，现有方法难以满足定位的精度要求，目前也没有出现人体手部穴位自动定位的相关研究。


技术实现要素：

8.本发明提供了一种手部穴位自动定位方法，可以解决传统方法中，依靠人工判断出现的准确性不够稳定、速度不够快等问题。
9.一种手部穴位自动定位方法，包括以下步骤：
10.(1)采集获取左右手的手掌、手背图像数据，形成原始样本；
11.(2)计算获取原始样本中每张图像的手部关键点位置信息；
12.(3)根据每张图像中是手掌还是手背对该张图像进行判断标注，手掌记为0，手背记为1；该标注信息为手掌/手背分类模型训练做准备；
13.(4)对原始样本进行数据预处理，并按比例进行训练集和验证集的划分，构建分类模型训练样本；
14.(5)基于神经网络构建手掌/手背分类模型，设置模型参数，将构造的训练集和验证集输入分类模型中进行训练，依次迭代所有样本更新模型参数直至收敛，并保存当前最佳模型；
15.(6)对于待定位的手部图片，首先采用步骤(2)的方式计算获取手部关键点位置；然后将手部图片预处理后输入步骤(5)训练好的分类模型中，得到判别结果是手掌还是手背；
16.接着依据中医理论上手掌/手背每个穴位的位置描述，确定穴位在关键点之间的相对位置，采用空间几何原理计算出该穴位的坐标值，并在图像中标出穴位位置和名称。
17.本发明的方法基于深度学习算法和空间几何原理，提出了手部关键点检测、手掌/手背判别、穴位坐标计算三步骤方法对手部穴位进行定位。其中手部关键点检测得到手部几个关键点(主要为指关节)的位置；由于手掌和手背穴位不同，因此需要判别当前图像中是手掌还是手背之后再进行穴位的位置计算，本发明提供的手掌/手背分类模型可以进行准确判断；经过关键点检测模型输出的关键点坐标和分类模型输出的手掌/手背判别结果，基于中医理论和空间几何原理计算出穴位坐标，进而在图像中标出穴位位置和名称。经验证，本方法有效提高了手部穴位定位的准确度和速度。
18.进一步地，步骤(1)中，采集的图像数据一共含有4个大类：左手手掌、左手手背、右手手掌和右手手背；其中，图像中手应做五指伸开的姿势保证穴位都能被定位到，不含有握拳等其它手势(不考虑生理缺陷等情况)。
19.步骤(2)中，采用基于cmu perceptual computing lab开源的手部关键点检测模型进行关键点检测；该模型共输出22个关键点，包括手部的21个关键点以及表示背景的1个关键点；
20.其中，手部的21个关键点分别是五指的指尖、指关节、指根共20个点，以及手掌/手背与手腕分界线附近的1个点。
21.手部的21个关键点的位置信息为：(0，x1，y1)，(1，x2，y2)，
……
，(20，x21，y21)。其中序号0、1、
……
代表不同关键点，x、y代表点像素在图像中的横纵坐标。
22.步骤(4)中，所述的数据预处理包括但不限于进行图片标准化处理、将图片缩放到指定尺寸等。
23.进行训练集和验证集样本划分时，应尽可能使每类样本(左手手掌/手背、右手手掌/手背)的划分比例一致，从而提升模型泛化能力。
24.步骤(5)中，所述的分类模型由1个卷积层和4个残差模块堆叠而成，其中，每个残差模块包括2个卷积核尺寸为3的卷积，最后经由3个全连接层输出维度为1的向量。
25.对分类模型进行训练时，采用包括但不限于以下数据增强方法来扩增数据，提高模型鲁棒性：水平翻转、对比度调节、亮度调节、饱和度调节。
26.对分类模型进行训练时，以二分类交叉熵损失函数作为优化目标，采用梯度下降法算法进行优化；当验证损失连续10次未下降时，停止模型迭代，并保存当前最佳模型。
27.步骤(6)中，将手部图片预处理后输入步骤(5)训练好的分类模型中，得到模型输出的预测值；若预测值大于0，那么该图像的预测类别为1(手背)，若预测值小于等于0，那么
该图像的预测类别为0(手掌)。
28.采用空间几何原理计算穴位的坐标值(x，y)公式如下：
29.x_＝x2+(x2‑
x1)
×
α
30.y_＝y2+(y2‑
y1)
×
α
31.x＝x_+(y2‑
y1)
×
β132.y＝y_+(x2‑
x1)
×
β233.式中，(x1，y1)、(x2，y2)分别表示与待计算穴位相关联的两个关键点的坐标；α表示当穴位正好落在两个关键点连线上时，穴位与两者距离的比重分配，此时(x_，y_)表示穴位在连线上时的坐标；但穴位并不一定落在两个关键点之间，可能在连线外，此时可根据β(β＝|β1|＝|β2|)定义穴位与这条连线的距离，而β1和β2的符号可以表示穴位与该连线的空间关系：β1>0、β2<0表示穴位在连线上部，β1<0、β2>0表示穴位在连线下部，特别地，当β
1＝
0、β
2＝
0，此时(x，y)＝(x_，y_)，即表示此时穴位正好位于两关键点的连线上。
34.与现有技术相比，本发明具有以下有益效果：
35.本发明结合中医穴位理论，采用手部关键点检测、手掌/手背判别、穴位坐标计算三步骤方法对手部穴位进行自动定位，可辅助医者或相关从业者进行取穴，提高了穴位定位准确度，并大大提升了定位效率。
附图说明
36.图1为本发明一种手部穴位自动定位方法的流程示意图；
37.图2为本发明实施例中的手部关键点检测模型结果示意图；
38.图3为本发明实施例中的手背/手掌分类模型结构图；
39.图4为本发明实施例中的四种手部状态下的手部关键点示意图；
40.图5为本发明实施例中的穴位与两个参照关键点的位置关系示意图；
41.图6为本发明实施例中的依据两个参照关键点计算穴位方法示意图；
42.图7为本发明实施例中的手背和手掌的穴位定位结果示意图。
具体实施方式
43.下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
44.如图1所示，一种手部穴位自动定位方法，包括以下步骤：
45.s01、采集获取左右手的手掌、手背图像数据，形成原始样本。
46.具体地，一共含有4个大类的图像数据：左手手掌、左手手背、右手手掌、右手手背。特别地，结合图1，因为任务需要，图像中手应做五指伸开的姿势保证穴位都能被定位到，不含有握拳等其它手势(不考虑生理缺陷等情况)。
47.s02、计算获取图像中手部关键点位置信息。
48.具体地，采用基于cmu perceptual computing lab开源的手部关键点检测模型进行关键点检测。结合图2，该模型共输出22个关键点，其中包括手部的21个点(指尖、指关节、手指根部、手掌/背根部)，第22个点表示背景。
49.特别地，对于左手手掌/手背、右手手掌/手背，该关键点检测模型输出同样位置的
21个关键点，其中左手手背和右手手掌，点的相对位置相同；右手手背和左手手掌，点的相对位置相同。因此，对于穴位识别，需要进一步判别当前是手掌还是手背。
50.s03、根据每张图像中是手掌还是手背对该张图像进行判断标注，手掌记为0，手背记为1，该标注信息为手掌/手背分类模型训练做准备。
51.s04、对原始样本进行数据预处理，并分类按比例进行训练集和验证集的划分，构建分类模型训练样本；
52.具体地，数据预处理包括但不限于进行图片标准化处理(0
‑
1归一化)、将图片缩放到适合模型的尺寸等，本发明中分类网络的输入是224*224*3。
53.具体地，分类按比例进行训练集和验证集的划分时，应尽可能使每类样本(左手手掌/手背、右手手掌/手背)的划分比例一致，从而提升模型泛化能力。本实施例中，采用的训练/验证划分比例是8:2。
54.s05、基于人工神经网络构建手掌/手背分类模型，设置模型参数，将s04构造的训练集和验证集输入模型中，依次迭代所有样本更新模型参数直至收敛，并保存当前最佳模型；根据该模型输出值得到手掌/手背的判别结果。
55.具体地，本实施例中采用的模型结构如图3所示。考虑到手掌/手背判别问题的复杂度以及运行效率需要，并经过多次比较验证，本发明使用的分类网络由1个卷积层和4个残差模块堆叠而成，其中每个残差模块包括2个卷积核尺寸为3的卷积，最后经由3个全连接(fully connected，fc)层输出结果。这里由于是二分类问题，所以最后的全连接层输出节点个数为1，该节点输出的是手部图像经模型计算后得到的分类结果，若输出值大于0，那么该图像的预测类别为1(手背)，若输出值小于等于0，那么该图像的预测类别为0(手掌)。
56.具体地，在模型的训练阶段，本实施例采用水平翻转、对比度调节、亮度调节、饱和度调节等数据增强方法来扩增数据，提高模型鲁棒性。
57.具体地，模型训练的损失函数采用二分类交叉熵损失函数，迭代轮数上限设为1000轮，每次输入小批量数据到模型中直至所有训练样本都跑完即为1轮。采用梯度下降法进行模型参数更新，当验证损失连续10次未下降时，停止模型迭代，并保存当前模型作为最佳模型。
58.具体地，在模型预测阶段，对于待预测的新图像数据，将该图像进行数据预处理后输入保存的最佳模型得到预测值，若预测值大于0，那么该图像的预测类别为1(手背)，若预测值小于等于0，那么该图像的预测类别为0(手掌)。
59.s06、根据s02获取到关键点位置，同时根据s05的结果判别当前是手掌还是手背，进而依据中医理论上(手掌/手背)每个穴位的位置描述，确定穴位在关键点之间的相对位置，采用空间几何原理计算出该穴位的坐标值，并在图像中标出穴位位置和名称。
60.具体地，结合图4和图7，以右手手背为例，通过s02获取手部21个关键点的位置信息：(0，x1，y1)，(1，x2，y2)，
……
，(20，x21，y21)。同时，将当前图像经s05得到分类结果为手背。接下来，依据中医理论对手背穴位的描述，进行穴位位置的计算。
61.特别地，以液门穴为例，中医的取穴位置在手指的第4、5指间，指蹼缘后方赤白肉际处。依据这个描述，可以根据21个关键点中的第13号和第17号关键点来计算液门穴的位置坐标(y_x，y_y)(见公式1)。
[0062][0063]
特别地，以少冲穴为例，中医的取穴位置在小指指甲下缘，靠无名指侧的边缘。依据这个描述，可以根据21个关键点中的第19号和第20号关键点来计算少冲穴的位置坐标(s_x，s_y)(见公式2)。
[0064][0065]
一般地，对于任意一个穴位，依据中医理论描述的位置，结合关键点检测结果找到与其关联的两个关键点作为参照点：(x1，y1)、(x2，y2)，进而该穴位坐标(x，y)可利用两个关键点的坐标计算得到。结合图5可知任一穴位与两个参照的关键点之间的位置关系。依据此定义，利用空间几何原理可定义通用公式(见公式3)。
[0066][0067]
结合图6和图5，对公式(3)作说明。α依据的是线性差值的原理，定义的是当穴位正好落在两个关键点连线上时，穴位与两者距离的比重分配。但穴位并不一定落在两个关键点之间，可能在连线外，此时可根据β(β＝|β1|＝|β2|)定义穴位与这条连线的距离，根据空间几何原理，|β1|＝|β2|，而图5中的4种情况可根据β1和β2的符号来进行表述：β1>0、β2<0；β1<0、β2>0。由于经s02获得的21个关键点足以勾画出整个手部轮廓且相对密集，并经验证，任一穴位的坐标可借两个参照关键点的坐标依据公式(3)计算获得。
[0068]
应当指出的是，本发明公开不限于前述实施方式并且可以在不背离本公开的精神的情况下适当地改变；例如，在s02中可借以其它关键点模型获取关键点；例如，在s04中可根据获取的手部图片的数量适当扩大网络深度，增加模型复杂度等；例如，在s06中，可根据需求采用本发明方法计算除图7外的其它穴位点。
[0069]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。