基于模板匹配与算数平均的咽后壁视触识别装置的制作方法

1.本发明涉及医学检测、咽拭子采集、医疗机器人等领域，尤其涉及一种基于模板匹配与算数平均的咽后壁视触识别装置，该装置通过视触信息综合处理，机器人智能完成咽试子采集部位——咽后壁的准确识别与定位，为机器人高效便捷地完成咽拭子采样提供技术支撑。


背景技术：

2.口咽拭子是一种从咽喉处收集鼻腔分泌物的临床测试样本的方法，对采集样本进行分析，以确定是否存在生物体或其他疾病的临床标记。面对covid
‑
19、sars等新发突发传染病疫情，咽拭子采样是疫情防控的有效手段。目前口咽试子采样均采用人工方式，医护人员需全天穿戴防护服工作，采样工作负荷高，消耗大量医疗人力资源。引入机器人技术进入口咽拭子采样流程，替代医护人员完成咽试子采集，具有重要的现实需求和社会意义。
3.咽后壁(口咽试子采集部位)的准确识别与定位是机器人咽拭子采样面对的核心问题。目前通常的解决方案为机器人远程遥操作，医护人员在后端通过视频和力感设备远程确认咽后壁位置。其本质还是人工确认，对于医护人员的学习曲线高，医护人员工作负荷下降十分有限。


技术实现要素：

4.本发明提供了一种基于模板匹配与算数平均的咽后壁视触识别装置，本发明针对新冠疫情期间的核酸检测咽拭子采样需求，引入机器人技术进入口咽拭子采样流程，设计了基于模板匹配的咽后壁视觉信息处理、基于算数平均的咽拭子触觉信息处理，通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式，详见下文描述：
5.第一方面，一种基于模板匹配与算数平均的咽后壁视触识别装置，所述识别装置包括：
6.咽后壁视觉信息处理模块，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
7.咽拭子触觉信息处理模块，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
8.识别与定位模块，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
9.第二方面，一种基于模板匹配与算数平均的咽后壁视触识别装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行以下步骤：
10.采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并
从摄像头坐标系映射到世界坐标系；
11.采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
12.综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
13.第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第二方面中的处理器中的步骤。
14.本发明提供的技术方案的有益效果是：
15.1、本发明公开的视触融合的咽后壁识别框架，综合利用视觉摄像头和力觉传感器信息，完成咽后壁(口咽试子采集部位)的准确识别与定位，为机器人自主完成咽拭子采样提供重要的信息参考；
16.2、本发明通过构建咽拭子采用空间模板，利用68个人脸关键点与口咽位置的拓扑结构关系，完成咽后壁的准确识别与定位；
17.3、本发明设计的基于算数平均的咽拭子触觉信息处理，有效过滤平台振动等力反馈噪声信息，保证样本有效采集的最小力度，提升采集有效性，同时避免对口腔内壁组织的过度损伤。
附图说明
18.图1为一种基于模板匹配与算数平均的咽后壁视触识别装置的结构示意图；
19.图2为咽后壁视觉信息处理模块的结构示意图；
20.图3为咽拭子触觉信息处理模块的结构示意图；
21.图4为视触融合的咽后壁识别装置的内部流程图；
22.图5为人脸68个特征点位置示意图；
23.图6为基于模板匹配的咽后壁视觉信息处理的技术示意图；
24.图7为基于模板匹配的咽后壁视觉信息处理的流程图；
25.图8为相机坐标系咽部区域包络测试结果的示意图；
26.其中，坐标轴单位为毫米。
27.图9为基于算数平均的咽拭子触觉信息处理的流程图；
28.图10为一种基于模板匹配与算数平均的咽后壁视触识别装置的另一结构示意图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
30.实施例1
31.针对以上问题，从实际出发，本发明实施例利用人工智能技术，设计了一种基于模板匹配与算数平均的咽后壁视触识别装置，参见图1，该识别装置包括：基于模板匹配的咽后壁视觉信息处理模块1、基于算数平均的咽拭子触觉信息处理模块2、及识别与定位模块
3，
32.咽后壁视觉信息处理模块1，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
33.咽拭子触觉信息处理模块2，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
34.识别与定位模块3，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
35.通过上述三个模块之间的相互配合使得机器人能自主完成咽后壁的准确识别与定位，为机器替代人完成咽拭子自动采样提供重要的信息参考。
36.应用机器人技术完成咽拭子采样，必须准确定位采样区域。不同于传统遥操作采样机器人的后端人工确认方式，本发明实施例综合运用摄像头和力觉传感器，构建智能识别与定位咽拭子采样的空间有效区域，通过基于模板匹配的咽后壁视觉信息处理利用视觉信息划定咽后壁的空间坐标区域，基于算数平均的咽拭子触觉信息处理对咽后壁的深度坐标区域进行精细校正，综合划定咽拭子有效采样区域(咽后壁)的空间坐标。通过基于模板匹配的咽后壁视觉信息处理应用视觉技术划定咽后壁的空间坐标区域，将摄像头布置在人脸的对面位置，确保采集对象的人脸区域准确获取，获取包含人脸的二维彩色图像，然后通过模板匹配检测，获取68个人脸关键点坐标确定口腔嘴唇的坐标位置，当人张嘴待采集时，其咽后壁和口腔嘴唇具有生理结构的拓扑关系，根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
37.即，参见图2，该咽后壁视觉信息处理模块1包括：
38.第一获取单元11，用于运用摄像头获取包含人脸的二维彩色图像，通过模板匹配检测获取人脸关键点坐标进而确定口腔嘴唇的坐标位置；
39.第二获取单元12，用于根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
40.进一步地，第一获取单元11包括：
41.检测通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。
42.基于算数平均的咽拭子触觉信息处理应用力觉域识别技术划定咽后壁的深度坐标区域，将力觉传感器布置在咽拭子后端，与拭子处于一条水平线上。力觉传感器可获取拭子端的受力情况，基于算数平均完成连续触觉信号处理，平衡准确度和灵敏性，确定信号采样频率(n)、采样力觉平均值(m)和力觉域带宽(u)，精确校正咽后壁的深度坐标区域。从而获取咽后壁的完整空间坐标，为咽拭子机器采样提供重要信息支撑。
43.即，参见图3，该咽拭子触觉信息处理模块2包括：
44.布置单元21，用于将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；
45.处理单元22，用于基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值和力觉域带宽；
46.校正单元23，用于校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标。
47.进一步地，该处理单元22包括：
48.力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取n个采样值进行算数平均运算；
49.平均值稳定m
±
u时，很好的完成采集流程，在触碰到咽后壁时及时停止。
50.其中，算数平均值≤m
‑
u时，增加进给；相反减少进给，深度方向进给量≤1mm/采样周期。
51.参见图4，该识别装置的内部工作流程如下所示：
52.1、摄像头实时获取采集对象的人脸信息；
53.2、采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系，映射到世界坐标系；
54.3、采用驱动机构(机械臂、多轴云台等)将咽拭子运送到指定位置；
55.4、采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的精确校正，确保有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
56.5、综合咽后壁的空间坐标和深度校正数据，完成咽后壁的空间识别和定位后，可以传输信号告知机器人开始采集。
57.综上所述，本发明实施例通过上述模块之间的相互配合实现了通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式。
58.实施例2
59.下面结合图1
‑
图9，计算公式，算例对实施例1中的方案进行进一步地介绍，详见下文描述：
60.(一)基于模板匹配的咽后壁视觉信息处理
61.准确识别咽拭子采集的口腔咽后壁的准确位置是机器人采集的关键所在，本发明实施例设计了基于模板匹配的咽后壁视觉信息处理，通过给定的二维彩色图像，解算出咽后壁(咽拭子采样部位)相对于相机的空间分布情况，即获取咽后壁(咽拭子采样部位)在相机坐标系下的坐标空间，技术路线如图4所示。
62.基于模板匹配的咽后壁视觉信息处理通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。咽部定位算法总共分为以下四个步骤：
63.(1)通过咽拭子采集机器人上部署的相机获取包含人脸的二维彩色图像；
64.(2)通过人脸检测与人脸关键点检测算法，提取二维图像中的68个人脸关键点坐标；
65.(3)参见图5，将像素坐标系中人脸68个关键点坐标中的左右眉顶点坐标(标号18/22/23/27，共四个)、左右眼顶点坐标(标号37/40/43/46，共四个)、鼻子顶点坐标(标号32/36，共两个)、嘴部外轮廓坐标(标号49/51/25/53/55/57/58/59，共8个)、下颚坐标(标号9，
共一个)与对应的世界坐标系关键点三维坐标进行匹配，通过pnp(perspective
‑
n
‑
point，n点空间配备)算法与摄像机给定的内参数(图6中方框内，图像坐标系到像素坐标系的变换矩阵与相机镜头畸变参数)解算出相机的外部参数(世界坐标系相对相机坐标系的旋转与平移矩阵[r|t])；
[0066]
(4)通过解算出的旋转与平移矩阵[r|t]，及像素坐标系的二维坐标(x，y)，获得嘴部外轮廓在相机坐标系下的三维坐标值(x
c
，y
c
，z
c
)，形成针对嘴部的包络，完成对嘴部的定位，同时根据解算出的头部位姿信息及时给出调整建议。
[0067]
例如：如果嘴部位置距离采样中心位置偏上大于2cm，就提示采集者其向下调整头部，如偏下大于2cm，提示采集者其向上调整头部，同理适用于左右位置，本发明实施例对此不做赘述。
[0068][0069]
其中，d
x
与d
y
的意义分别为每个像素所占的实际宽度和高度值(像素的物理尺寸，量纲为毫米)。公式(1)表示理想图像坐标系到真实像素坐标系的映射关系。
[0070][0071][0072]
其中，f为相机焦距相机坐标系、世界坐标系(x
w
，y
w
，z
w
)为模板固有指标。由以上公式(1)、公式(2)、公式(3)可推导出下述公式(4)，通过公式(4)计算得出参数zc，参数xc，yc的取值与x
w
，y
w
相同。
[0073][0074]
(5)嘴部三维坐标(x
c
，y
c
，z
c
)与咽后壁空间位置(x
m
，y
m
，z
m
)具有生理结构的拓扑关
系，参数由临床实验结果完成微调整定。例如：人体正常开口度在4cm
‑
6.5cm之间，咽后壁深度距离嘴部6cm
‑
7cm，咽后壁的平面位置位于嘴部中心点二侧，如图6中可以看出。当由嘴部三维坐标(x
c
，y
c
，z
c
)连接得到嘴部包络线后，其包络线中心点二侧0.6cm
‑
1cm处可划定位咽后壁二个中心点。距离中心点边长r(可设定为0.86mm)的矩形区域为咽后壁平面位置(x
m
，y
m
)。咽后壁深度坐标z
m
为z
c
减去k(可设定为65mm)，深度坐标z
m
随后会通过力觉方法进行进一步校正。
[0075]
图7为基于模板匹配的咽后壁视觉信息处理的流程图。本发明实施例设计在相关咽拭子采集视频数据上进行了测试工作，相关测试结果如图8所示。二维彩色图像分辨率为1920*1080。咽部定位算法解算得到的嘴部关键点在相机坐标系下的三维坐标值(x
c
，y
c
，z
c
)，右下图表示通过解算得到的相机坐标系下三维坐标值绘制成的可视化咽部区域三维包络(x
m
，y
m
，z
m
)，其空间数据可以指导机器进行下一步的自动采集工作。
[0076]
(二)基于算数平均的咽拭子触觉信息处理
[0077]
考虑到咽拭子采样属于半侵入式检备，确保有效性的同时，避免由于一些不可知的原因对人体特别是口腔内壁组织造成潜在危害，咽后壁深度数据必须相当准确。本发明实施例设计了基于算数平均的咽拭子触觉信息处理，使得咽后壁的识别和定位可以通过力觉处理获得更精细的调整，防止采集过程中由于咽拭子抵进咽部的力度过大而对被测人员造成损伤，减小采集时的不适感，在保证采集有效性的同时实现安全自主化的采集。
[0078]
力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取n个采样值进行算数平均运算，n值较大时：信号平滑度较高，但灵敏度较低。n值较小时：信号平滑度较低，但灵敏度较高。平均值稳定m
±
u时，既可以很好的完成采集流程，在触碰到咽后壁时及时停止，而且可以保证采集的安全性，不会使被测人员产生明显的不适感。
[0079]
其中，m、n和u的数值选取，通过大量的临床实验获得，本发明实施例对此不做限制。基于算数平均的咽拭子触觉信息处理流程图如图9所示：
[0080]
(1)咽拭子后端装载力度传感器；
[0081]
(2)力度传感器根据时序定期的回传数据；
[0082]
(3)连续取n个采样值进行算数平均运算；
[0083]
(4)算数平均值≤m
‑
u时，需增加力度确保采集有效性，可增加进给；
[0084]
(5)算数平均值＞m+u，需减少力度以避免过度损伤，可减少进给；
[0085]
(6)n和u的数值选取，通过大量的临床实验获得；
[0086]
(7)算数平均值调节，需增加进给或减少进给，建议深度方向进给量≤1mm/采样周期。
[0087]
本发明实施例实现了对咽拭子采集过程中的低通滤波，同时具有计算量低、抗随机干扰信号的优势，避免可采集平台振动引起的力反馈数据摄动，减少传感器内部测量误差，排除外部噪声对力反馈数据测量的干扰，能对咽后壁深度坐标z
m
进行可靠修正。
[0088]
综上所述，本发明实施例通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式。
[0089]
实施例3
[0090]
一种基于模板匹配与算数平均的咽后壁视触识别装置，参见图10，该装置包括：处理器4和存储器5，存储器5中存储有程序指令，处理器4调用存储器5中存储的程序指令以使装置执行以下步骤：
[0091]
采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
[0092]
采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
[0093]
综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
[0094]
在一种实施方式中，该采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定具体为：
[0095]
运用摄像头获取包含人脸的二维彩色图像，通过模板匹配检测获取人脸关键点坐标进而确定口腔嘴唇的坐标位置；
[0096]
根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
[0097]
在一种实施方式中，采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正具体为：
[0098]
将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值和力觉域带宽；校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标。
[0099]
在一种实施方式中，上述处理器还包括：检测通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。
[0100]
在一种实施方式中，上述处理器还包括：力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取n个采样值进行算数平均运算；平均值稳定m
±
u时，很好的完成采集流程，在触碰到咽后壁时及时停止。
[0101]
其中，算数平均值≤m
‑
u时，增加进给；相反减少进给，深度方向进给量≤1mm/采样周期。
[0102]
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0103]
上述的处理器4和存储器5的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
[0104]
存储器5和处理器4之间通过总线6传输数据信号，本发明实施例对此不做赘述。
[0105]
实施例4
[0106]
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例3中装置步骤。
[0107]
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
[0108]
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的装置描述相对应的，本发明实施例在此不做赘述。
[0109]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
[0110]
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
[0111]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0112]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0113]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。