一种基于深度学习的耳部穴位识别装置及其方法与流程

本发明涉及深度学习领域，具体涉及一种基于深度学习的耳部穴位识别装置及其方法。

背景技术

耳穴疗法，自古以来就是中医经络疗法的一种，据《白话精译皇帝内经》(谢华编著，中医古籍出版社发行，2008年1月第一版，cip数据：isbn7-80171-282-6，i白…ii谢-iii内经-译文ivr221中国版本图书馆cip数据核字(2008)第106904号)第十五卷第五十八篇(气府论)所述，足少阳胆经、手太阳小肠经和手三阳三焦经在耳部共有九个穴位；据近代研究，共有6条经脉循行于耳，耳上有对应全身所有的部位的众多穴位，是全身距大脑最近的穴位密集区，在止痛、消炎方面见效快疗效好。

为了定位耳穴，古代中医多次采用按压刺激，确定穴位位置；结合现有的科学技术，申请号为200910235424.5的中国专利，公开了一种耳穴检测系统，包含互相串接的测量部分与单片机部分，该测量部分含有依次串接的测量探笔、rc振荡电路、分压测量电路和检波放大电路；单片机部分含有依次串接的mcu单片机和uart电平转换芯片，以及设置在该mcu单片机内的信号检测模块。其使用测量探笔测量耳部电阻值，得到耳穴电阻分布图用以显示测量结果，从而提高了定量准确性和精度，但在实施过程中很难得以推广。为了使耳穴定位达到无人化和更精准的目的，申请号为201410050231.3的中国专利，公开了一种人体耳部穴位定位装置。它解决了现有穴位定位方法需要对人体施加电压以及现有穴位定位装置不适用对穴位比较密集的区域实现准确定位的问题。定位方法包括：采集待定位区域的图像；选择待定位区域、以及根据该区域从穴位图像库中读取相应局部穴位图；获得轮廓图、以及对比该轮廓图和局部穴位图获得拟和图像；选择定位穴位、以及根据该定位穴位在拟和图像中的位置，控制激光指示器向待定穴位所在部位发出指示激光束。定位装置中采用支架固定待测部分的位置，采用图像采集及穴位指示装置实现图像采集和发出指示激光束投射到耳部的相应穴位；其采用耳部轮廓拟合的方式进一步拟合出穴位，其耳穴定位不够准确，迫切需要加以改进。

技术实现要素：

为解决上述问题，本发明提供了一种基于深度学习的耳部穴位识别装置及其方法，本发明将深度学习技术应用于耳部穴位识别定位，基于大量标准耳部穴位位置图，深度学习建立并训练了可靠的深度学习网络模型，大大提高了穴位识别的效率，且穴位识别定位更加准确，易于推广使用。本发明的深度学习穴位识别方法是耳部穴位识别定位，乃至穴位定位方法的一种革新。

为实现所述技术目的，本发明的技术方案是：一种基于深度学习的耳部穴位识别装置，包括：

采集模块，用于采集耳部数据；

识别模块，内部搭建深度学习网络模型，用于识别耳部穴位位置。

进一步，所述识别模块包括：

输入模块，内部搭建深度学习网络模型的输入层，用于对所述采集模块采集到的耳部数据进行数据处理，得到坐标化的耳部结构；

隐层模块，内部搭建深度学习网络模型的隐层，用于根据坐标化的耳部结构进行识别出耳部穴位位置；

可视化模块，内部搭建深度学习网络模型的可视化层，用于对耳部结构和耳部穴位位置的坐标以可视化编码的形式输出。

进一步，所述可视化模块外设置显示设备和二次编码器，二次编码器连接并驱动穴位刺激装置。

进一步，所述采集模块为tof深度摄像头、相机或扫描仪的一种，所述识别模块位于云端服务器内。

一种基于深度学习的耳部穴位识别方法，包括以下步骤：

s1：采集耳部数据；

s2：通过深度学习网络模型对耳部数据进行识别，并输出可视化的耳部穴位位置。

进一步，所述步骤s2中的深度学习网络模型包括：

输入层建立步骤，用于对所述采集模块采集到的耳部数据进行数据处理，得到坐标化的耳部结构；

隐层建立步骤，用于得到坐标化的耳部结构和耳部穴位位置的映射关系；

隐层训练步骤，用于对坐标化的耳部结构和耳部穴位位置的映射关系进行训练和修正；

可视化层建立步骤，用于对耳部穴位位置的坐标输出，得到可视化的耳部穴位位置。

进一步，所述输入层建立步骤包括：

t1：建立二维坐标系，对采集模块采集到的二维平面耳部图像进行二维坐标化。

进一步，所述输入层建立步骤包括：

b1：建立二维坐标系，对采集模块采集到的二维平面耳部图像进行二维坐标化。

b2：建立三维坐标系，根据采集模块采集到的深度数据，结合步骤b1中的二维平面耳部图像，对耳部结构三维坐标化。

进一步，所述隐层建立步骤包括：

e1：以多个所述步骤t1或b2中的坐标化的耳部结构作为样本集，并标定每个耳部的标准穴位位置作为样本标准集；

e2：结合样本集和样本标准集，通过受限的玻尔兹曼机，自下而上逐层贪心学习得到样本集和样本标准集的序列映射关系，构建隐层网络。

进一步，所述隐层训练步骤包括：

p1：以多个所述步骤t1或b2中的坐标化的耳部结构作为测试集，并标定每个耳部的标准穴位位置作为测试标准集；

p2：结合样本集和样本标准集，对步骤e2中构建的隐层网络，通过自上而下梯度下降的监督学习，误差自上向下传输，对隐层网络的每一层参数进行微调，不断矫正构建隐层网络。得到可靠的隐层网络模型。

进一步，所述可视化层建立步骤，包括：

a1：对所述步骤t1或b2中坐标化的耳部结构进行可视化编码；

a2：对所述步骤s2中输出的耳部穴位位置坐标化，且耳部穴位坐标和步骤a1中的耳部结构坐标一致；

a3：对步骤a2中的耳部穴位位置坐标进行可视化编码。

进一步，所述耳部结构和耳部穴位位置的可视化编码同时传输至显示设备上，显示设备显示耳部结构立体图后，在耳部结构图上叠加显示耳部穴位位置；所述耳部穴位位置的可视化编码通过二次编码器进行二次编码，并驱动穴位刺激装置。

进一步，所述隐层建立步骤还包括：对所述步骤t2三维坐标化的耳部结构，通过分类器，对耳部结构分区域进行构建和训练隐层网络。

本发明的有益效果在于：

本发明将深度学习技术应用于耳部穴位识别定位，基于大量标准耳部穴位位置图，深度学习建立并训练了可靠的深度学习网络模型，大大提高了穴位识别的效率，且穴位识别定位更加准确，易于推广使用。本发明的深度学习穴位识别方法是耳部穴位识别定位，乃至穴位定位方法的一种革新。

附图说明

图1是本发明耳部穴位识别装置的模块原理图；

图2是本发明的深度学习网络模型的结构原理图；

图3是人体耳部的结构图。

图中：1、耳轮，2、甲耳腔，3、舟状窝，4、对耳轮，5、对耳屏，6、耳垂，7、耳屏，8、耳轮脚，9、三角窝，10、达尔文结节。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述。

如图1所示，一种基于深度学习的耳部穴位识别装置，包括：

采集模块，用于采集耳部数据；

识别模块，内部搭建深度学习网络模型，用于识别耳部穴位位置。

进一步，所述识别模块包括：

输入模块，内部搭建深度学习网络模型的输入层，用于对所述采集模块采集到的耳部数据进行数据处理，得到坐标化的耳部结构；

隐层模块，内部搭建深度学习网络模型的隐层，用于根据坐标化的耳部结构进行识别出耳部穴位位置；

可视化模块，内部搭建深度学习网络模型的可视化层，用于对耳部结构和耳部穴位位置的坐标以可视化编码的形式输出。

进一步，所述可视化模块外设置显示设备和二次编码器，二次编码器连接并驱动穴位刺激装置。

进一步，所述采集模块为tof深度摄像头、相机或扫描仪的一种，所述识别模块位于云端服务器内。所述tof深度摄像头在每个像素点，除了记录光线强度信息之外，通过测量光波的相位改变量，同时记录下来光线从光源到该像素点的时间作为深度数据，因此在tof相机添加红外线人造光源，且tof相机工作于密闭空间内，避免了太阳光下红外线过强造成的干扰。

所述扫描仪采用长条形可移动光源扫描耳部正面结构，照射到耳部正面结构上的光线经反射后穿过一个很窄的缝隙，形成光带，又经过一组反光镜，由光学透镜聚焦并进入分光镜，经过棱镜和红绿蓝三色滤色镜得到的rgb三条彩色光带分别照到各自的ccd上，ccd将rgb光带转变为模拟电子信号，此信号又被a/d变换器转变为数字电子信号，进一步得到耳部正面图像。通过在扫描仪上添加点阵投射器，进一步得到耳部正面图像中的深度数据。

一种基于深度学习的耳部穴位识别方法，包括以下步骤：

s1：通过采集模块采集耳部数据，所述耳部数据包括二维耳部图像和耳部各结构深度数据；

s2：通过深度学习网络模型对耳部数据进行识别，并输出可视化的耳部穴位位置。

进一步，如图2中的的深度学习网络模型，在开发测试时，包括以下步骤：

输入层建立步骤，用于对所述采集模块采集到的耳部数据进行数据处理，得到坐标化的耳部结构；

隐层建立步骤，用于得到坐标化的耳部结构和耳部穴位位置的映射关系；

隐层训练步骤，用于对坐标化的耳部结构和耳部穴位位置的映射关系进行训练和修正；

可视化层建立步骤，用于对耳部穴位位置的坐标输出，得到可视化的耳部穴位位置。

进一步，作为本发明的一种实施例，所述输入层建立步骤包括：

t1：建立二维坐标系，对采集模块采集到的二维平面耳部图像进行二维坐标化。

t2：建立三维坐标系，根据采集模块采集到的深度数据，结合步骤b1中的二维平面耳部图像，对耳部结构三维坐标化。

进一步，作为本发明的另一种实施例，所述输入层建立步骤包括：

b1：建立二维坐标系，对采集模块采集到的二维平面耳部图像进行二维坐标化；

b2：建立三维坐标系，根据采集模块采集到的深度数据，结合所述步骤b1中的二维平面耳部图像，对耳部结构三维坐标化。

进一步，所述隐层建立步骤包括：

e1：以多个所述步骤t1或b2中的，二维或三维坐标化的耳部结构作为样本集，并标定每个耳部的标准穴位位置作为样本标准集；

e2：结合样本集和样本标准集，通过受限的玻尔兹曼机，自下而上逐层贪心学习得到样本集和样本标准集的序列映射关系，构建隐层网络。隐层建立通过大量样本进行深度学习，得到较为可靠的映射关系。

进一步，所述隐层训练步骤包括：

p1：以多个所述步骤t1或b2中的，二维或三维坐标化的耳部结构作为测试集，并标定每个耳部的标准穴位位置作为测试标准集；

p2：结合样本集和样本标准集，对步骤e2中构建的隐层网络，通过自上而下梯度下降的监督学习，误差自上向下传输，对隐层网络的每一层参数进行微调，不断矫正构建隐层网络，得到可靠的隐层网络模型，使得耳部穴位识别定位更加精准化。

进一步，所述可视化层建立步骤，包括：

a1：对所述步骤t1或b2中，二维或三维坐标化的耳部结构进行可视化编码；

a2：对所述步骤s2中输出的耳部穴位位置坐标化，且耳部穴位坐标和步骤a1中的耳部结构坐标一致；

a3：对步骤a2中的耳部穴位位置坐标进行可视化编码。

进一步，所述耳部结构和耳部穴位位置的可视化编码同时传输至显示设备上，显示设备显示二维或三维耳部结构立体图后，在二维或三维耳部结构立体图上叠加显示耳部穴位位置；所述耳部穴位位置的可视化编码通过二次编码器进行二次编码，并驱动穴位刺激装置。可视化层实现了将耳部二维或三维结构图和识别出的穴位图直观展现给用户。

作为本发明的一种实施例，采集模块设置于穿戴式耳罩内，采集模块采集具有深度数据的耳部图像，并将耳部数据发送至云端服务器的存储模块内。

训练好的深度学习网络模型中输入层读取存储模块内的耳部数据，并进行数据处理，得到三维坐标化的耳部结构；隐层根据深度贪心学习得到的映射关系，输出耳部穴位识别的结果，通过可视化层的可视化编码后，传输至用户端，在用户端上的显示设备上显示耳部结构的三维图，以及耳部穴位在三维图中的位置图，测试人员或用户可根据现实设备上的三维图手动调整穴位位置，进一步反馈至深度学习网络模型各层参数，进一步提高模型的可靠性。

所述耳部穴位位置的可视化编码通过二次编码器进行二次编码，二次编码的编码信号可驱动穴位刺激装置对穴位进行进准刺激。

作为本发明的另一种实施例，采集模块设置于穿戴式耳罩内，采集模块采集具有深度数据的耳部图像，并将耳部数据发送至云端服务器的存储模块内。云端服务器的输入层除了对数据进行处理，得到二维或三维坐标化的耳部结构外，还采用canny边缘检测算法，检测三维耳部内外结构的边缘，如图3所示，采用分类器对耳部结构进行分为耳轮1、甲耳腔2、舟状窝3、对耳轮4、耳垂6、耳屏7、耳轮脚8、三角窝9、达尔文结节10等耳部主要区域。在进行隐层建立时，对耳部结构分区域建立穴位坐标和耳部区域结构坐标的映射关系，同理以分区域的方式进行隐层训练。这种将耳部分区的方式，减少了一定的学习运算量，且更符合中医中按照身体结构进行穴位定位的同身寸理论。在本实施例中，最后可通过可视化层显示耳部结构的三维图和分区图，以及耳部穴位在三维图中的位置图。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。