一种基于机器视觉的脸部穴位实时定位方法与流程

本发明属于医疗图像处理领域，具体涉及一种基于机器视觉的脸部穴位实时定位方法。

背景技术：

1、针灸按摩是中医学中的一个重要分科，研究表明，脸部穴位针灸与按摩对于治疗面部神经炎、面瘫、偏头痛等疾病有非常显著的效果。针灸按摩的重点在于寻找穴位，通过刺激人体的某些穴位，起到疏通经络、松弛肌肉、调节身体机能的作用，穴位寻找的准确度也将直接影响针灸按摩的最终效果。人体穴位繁多，光是脸部的穴位就有30多种。传统的寻找穴位的方法往往需要使用者进行长时间的学习以及培训之后才能逐渐正确掌握，具有较强的个人主观性，并且每个人身体构造有一定的区别，其相应穴位的位置也会产生一定的偏差，非常不利于针灸初学者或者普通老百姓进行穴位按摩。

2、随着人工智能的快速发展，机器视觉为穴位智能定位提供了一种有效的技术手段，但目前已有的穴位定位技术存在对设备要求比较高、价格昂贵、使用不便捷、只能识别部分特定的穴位、不能实时寻穴等问题。

技术实现思路

1、针对上述存在的一些问题，本发明提供了一种基于机器视觉的脸部穴位实时定位方法，以帮助普通人可以快速准确地进行穴位的实时寻找。

2、本发明一种基于机器视觉的脸部穴位实时定位方法，具体如下：

3、步骤一、在pc端构建有遮挡环境下的脸部穴位定位追踪算法模型，具体如下：

4、1.1：采集用户在正坐目视前方时的静态图片，得到ⅰ类样本；

5、1.2：针对ⅰ类样本，采用边缘检测算法进行脸部轮廓提取，得到脸部轮廓图片；

6、1.3：针对脸部轮廓图片进行遍历像素点的操作，识别出所需的四个关键点，得到静态环境下的寸转换比；

7、1.4：采用计算机视觉算法构建脸部关键点拓展识别，得到动态人脸特征点定位；

8、1.5：以中医骨度分寸法为基础，根据步骤1.4中定位的动态人脸特征点得到步骤1.3中四个关键点的实时三维坐标信息，然后根据寸转换比的计算得到用户的寸的实时长度；

9、1.6：按照穴位是否在经络循行部位上，将脸部穴位分为脸部特定穴位和脸部其他穴位，并结合寸的实时长度获得无遮挡环境下的脸部穴位位置；然后，结合人脸分类器和边界框回归，对人脸识别进行层层候选窗口筛选，将步骤1.4中定位的各动态人脸特征点框定在边界框之中，极大地减少部分遮挡对脸部穴位的定位影响，从而获得有遮挡环境下的穴位位置，提高在有遮挡环境下的寻穴精准度。

10、步骤二、通过摄像头获取用户脸部的实时画面，将检测到的实时画面传输给pc端进行呈现；用户选择需要定位的穴位，pc端根据该穴位的种类，按照步骤一构建的有遮挡环境下的脸部穴位定位追踪算法模型计算得到该穴位的实时位置；然后，移动穴位按摩器，移动过程中，摄像头将获取的穴位按摩器实时画面传输给pc端，pc端采用追踪算法对穴位按摩器的点穴磁头位置进行跟踪并在pc端进行呈现，当穴位按摩器的点穴磁头位置与pc端计算得到的穴位实时位置相匹配时，用户通过穴位按摩器对点穴磁头所在位置的穴位进行按摩。

11、优选的，所述的边缘检测算法采用canny边缘检测算法。

12、优选的，所述的四个关键点为前发际线正中、印堂穴、左眉毛眉间和右眉毛眉间；定义前发际线正中到印堂的距离与两眉毛眉间的距离的比值为寸转换比p：

13、

14、式中，a为前发际线正中，b为印堂，c为左眉毛眉间，d为右眉毛眉间，lab为前发际线正中到印堂穴的距离，lcd为两眉毛眉间的距离。

15、优选的，在步骤1.4中，采用blazepose算法构建脸部关键点拓展识别，形成10个脸部关键点拓扑，其是基于维特鲁威人体理论得到人体边界盒的坐标位置信息，选取脸部关键点拓扑得到ⅰ类模型，基于ⅰ类模型提取出人体脸部其余468个人脸特征点，形成动态人脸特征点定位，该算法属于姿态估计，并不是脸部穴位定位的基准点，它遵循face landmarkmodel的3d人脸地标拓扑，提供了人脸特征点在三维世界中的空间坐标，实现高保真追踪轨迹。

16、优选的，将脸部穴位按照是否在经络循行的相关部位上分为两种，第ⅰ种为脸部特定穴位，即穴位的位置在经络循行上，可通过动态人脸特征点定位直接获取，第ⅱ种为脸部其他穴位，即穴位的位置不在经络循行上，脸部其他穴位可以通过脸部特定穴位或者器官的中心定位进行辅助，并结合寸的实时长度进行计算，从而获得无遮挡环境下的脸部穴位位置。

17、优选的，所述的人脸分类器和边界框回归为mtcnn算法中的算法模型。

18、优选的，所述的追踪算法采用基于meanshift的追踪算法。

19、优选的，pc端计算得到的需要定位的穴位实时位置与现实环境下穴位按摩器的点穴磁头在pc端画面上的三维坐标重合时，匹配成功，pc端或穴位按摩器发出“嘀”的声音。匹配成功后再进行穴位按摩，大大提升了穴位按摩器按摩的精准度。

20、优选的，所述的穴位按摩器包括偏心轮、连接件、点穴磁头、固定套、滑动套和机壳。所述的偏心轮设于机壳内，并与机壳构成转动副，且由设于机壳内的驱动电机一驱动；所述连接件的一端与偏心轮的偏心位置处铰接，另一端与滑动套的一端铰接；所述的滑动套置于固定套内，并与固定套构成滑动副，且固定套固定于机壳内；所述点穴磁头的一端与滑动套的另一端构成转动副，另一端穿过机壳开设的开口，且点穴磁头由驱动电机二驱动转动。其中，驱动电机一和驱动电机二均由设于机壳上的控制板控制，并均由设于机壳内的电池供电；控制板与pc端通过无线通信；所述的控制板也由电池供电。

21、与现有技术相比，本发明具有的有益效果：

22、1、实现寸的实时长度计算：通过用户正坐的静态图片，结合canny边缘检测算法以及遍历像素点方法可得到寸的转换比，再与动态人脸特征点定位方法相结合得到寸的实时长度。

23、2、将穴位定位实时化：通过寸的实时长度和动态人脸特征点定位方法可定位出脸部特定穴位以及脸部其它穴位，对所需的穴位进行实时定位，极大地提升了穴位定位的便捷性。

24、3、提升遮挡情况下的穴位定位精准度：通过mtcnn算法优化了遮挡情况下穴位定位不精准的问题，使得用户在按摩时穴位定位不发生偏移，提升了穴位定位精准度。

25、4、设计穴位按摩器用于代替双手进行按摩：设计了穴位按摩器，其配有点按和按揉两种按摩手法，用于对穴位进行相应的辅助按摩。

26、5、追踪匹配：将实时定位到的穴位与穴位按摩器中的点穴磁头进行三维坐标匹配，当两者三维坐标重合时，显示匹配正确，提升穴位按摩器按摩的精准度。

技术特征：

1.一种基于机器视觉的脸部穴位实时定位方法，其特征在于：包括如下步骤：

2.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：所述的边缘检测算法采用canny边缘检测算法。

3.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：所述的四个关键点为前发际线正中、印堂穴、左眉毛眉间和右眉毛眉间；定义前发际线正中到印堂的距离与两眉毛眉间的距离的比值为寸转换比p：

4.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：在步骤1.4中，采用blazepose算法构建脸部关键点拓展识别，形成10个脸部关键点拓扑，选取脸部关键点拓扑得到ⅰ类模型，基于ⅰ类模型提取出人体脸部其余468个人脸特征点，形成动态人脸特征点定位。

5.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：将脸部穴位按照是否在经络循行的相关部位上分为两种，第ⅰ种为在经络循行上的脸部特定穴位，通过动态人脸特征点定位直接获取，第ⅱ种为不在经络循行上的脸部其他穴位，通过脸部特定穴位或者器官的中心定位进行辅助，并结合寸的实时长度进行计算，从而获得无遮挡环境下的脸部穴位位置。

6.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：所述的人脸分类器和边界框回归为mtcnn算法中的算法模型。

7.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：所述的追踪算法采用基于meanshift的追踪算法。

8.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：pc端计算得到的需要定位的穴位实时位置与现实环境下穴位按摩器的点穴磁头在pc端画面上的三维坐标重合时，匹配成功，pc端或穴位按摩器发出“嘀”的声音。

9.根据权利要求1所述一种基于机器视觉的脸部穴位实时定位方法，其特征在于：所述的穴位按摩器包括偏心轮、连接件、点穴磁头、固定套、滑动套和机壳；所述的偏心轮设于机壳内，并与机壳构成转动副，且由设于机壳内的驱动电机一驱动；所述连接件的一端与偏心轮的偏心位置处铰接，另一端与滑动套的一端铰接；所述的滑动套置于固定套内，并与固定套构成滑动副，且固定套固定于机壳内；所述点穴磁头的一端与滑动套的另一端构成转动副，另一端穿过机壳开设的开口，且点穴磁头由驱动电机二驱动转动；其中，驱动电机一和驱动电机二均由设于机壳上的控制板控制，并均由设于机壳内的电池供电；控制板与pc端通过无线通信；所述的控制板也由电池供电。

技术总结
本发明公开了一种基于机器视觉的脸部穴位实时定位方法，通过摄像头获取用户脸部的实时画面，用户选择需要定位的穴位，PC端根据该穴位的种类，按照构建的有遮挡环境下的脸部穴位定位追踪算法模型计算得到该穴位的实时位置；移动穴位按摩器，摄像头将获取的穴位按摩器实时画面传输给PC端，PC端采用追踪算法对穴位按摩器的点穴磁头位置进行跟踪，当穴位按摩器的点穴磁头位置与PC端计算得到的穴位实时位置相匹配时，用户通过穴位按摩器对点穴磁头所在位置的穴位进行按摩。本发明提升了遮挡情况下的穴位定位精准度，设计了配有点按和按揉两种按摩手法的穴位按摩器。

技术研发人员：王英,柳丽
受保护的技术使用者：宁波元视角智能科技有限公司
技术研发日：
技术公布日：2024/4/22