鼻咽拭子采样中的视觉标定方法及相关设备与流程

1.本技术涉及机器视觉技术在医疗健康领域的应用，尤其涉及一种鼻咽拭子采样中的视觉标定方法及相关设备。


背景技术：

2.随着生物样本采样的普及，许多医学检查都将依赖采集的生物样本完成，比如核酸样本。核酸样本采集通常分为鼻咽拭子和口咽拭子两种，而传统的采样方式，基本都需要医护人员的手工操作，这一方面增加了医护人员的感染风险，另一方面带来了较低的采样效率。随着机器视觉技术的发展，机器人采样逐渐应用到鼻咽拭子和口咽拭子采样中，这虽然对减少人力成本有诸多益处，然而，目前的机器人采样的精度还有待提高。


技术实现要素：

3.针对上述问题，本技术提供了一种鼻咽拭子采样中的视觉标定方法及相关设备，有利于提高鼻咽拭子采样的精度和采样的效率。
4.为实现上述目的，本技术实施例第一方面提供了一种鼻咽拭子采样中的视觉标定方法，应用于采样机器人，采样机器人包括第一机械臂和第二机械臂，第二机械臂上设置有深度相机，该方法包括：
5.获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的；
6.根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
7.根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
8.结合第一方面，在一种可能的实施方式中，根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标，包括：
9.对于多张rgbd图像中的每一张rgbd图像，对每一张rgbd图像中的第一rgb图像的二值图像进行柯西边缘提取，得到对应的边缘图像；
10.对边缘图像进行形态学变换，得到边缘图像中的至少一个形态学轮廓；
11.基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓；
12.根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标；
13.采用每一张rgbd图像中鼻咽拭子的头部的三维坐标，计算得到第一三维坐标。
14.结合第一方面，在一种可能的实施方式中，基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓，包括：
15.将第一rgb图像转换到hsv色彩空间，在hsv色彩空间中提取第一rgb图像中的鼻咽拭子的白色前景区域；
16.将第一rgb图像中的鼻咽拭子的白色前景区域与至少一个形态学轮廓进行匹配，
以从至少一个形态学轮廓中确定出边缘轮廓。
17.结合第一方面，在一种可能的实施方式中，根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标，包括：
18.提取边缘轮廓的中心线；
19.确定边缘轮廓的中心线上在第一rgb图像的图像坐标系中横坐标值最大的目标像素点；
20.根据每一张rgbd图像中的深度图像，得到目标像素点的深度值；
21.基于目标像素点在第一rgb图像中的二维坐标和目标像素点的深度值得到目标像素点的三维坐标；
22.将目标像素点的三维坐标转换到采样机器人的三维坐标系中，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标。
23.结合第一方面，在一种可能的实施方式中，该方法还包括：
24.根据边缘轮廓确定鼻咽拭子的轴线；
25.计算第一三维坐标到鼻咽拭子的轴线的垂直距离；
26.在垂直距离大于或等于预设阈值的情况下，控制第一机械臂更换鼻咽拭子。
27.结合第一方面，在一种可能的实施方式中，根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，包括：
28.对人脸rgbd图像中的第二rgb图像进行人脸特征点检测，得到受检人的多个人脸特征点；
29.根据人脸rgbd图像中的深度图像，得到多个人脸特征点的深度值；
30.基于多个人脸特征点在第二rgb图像中的二维坐标及多个人脸特征点的深度值，得到多个人脸特征点的三维坐标，多个人脸特征点中包括多个鼻部关键点；
31.根据多个鼻部关键点的三维坐标，计算得到鼻孔目标点的候选三维坐标；
32.将候选三维坐标转换到采样机器人的三维坐标系中，得到第二三维坐标。
33.结合第一方面，在一种可能的实施方式中，多个人脸特征点中还包括鼻中线上的关键点、上下嘴唇的中点和两个耳垂关键点，该方法还包括：
34.利用第一三维坐标和第二三维坐标进行运动规划，控制第一机械臂向鼻孔目标点移动，以使鼻咽拭子的头部位于鼻孔目标点；
35.根据多个人脸特征点控制第一机械臂调整鼻咽拭子的角度，并确定鼻咽拭子的头部的当前三维坐标；
36.利用鼻中线上的关键点、上下嘴唇的中点中的至少一个点在采样机器人的三维坐标系中的三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第一向量；
37.获取两个耳垂关键点的中点在采样机器人的三维坐标系中的第三三维坐标；
38.利用第三三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第二向量；
39.基于第一向量和第二向量进行鼻咽拭子采样。
40.本技术实施例第二方面提供了一种鼻咽拭子采样中的视觉标定装置，该装置包括获取单元和处理单元，其中：
41.获取单元，用于获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进
行拍摄得到的；
42.处理单元，用于根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
43.处理单元，还用于根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
44.本技术实施例第三方面提供了一种电子设备，该电子设备包括处理器和存储器，处理器与存储器相连，存储器用于存储计算机程序，处理器用于执行存储器中存储的计算机程序，以使得电子设备执行如下步骤：
45.获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的；
46.根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
47.根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
48.本技术实施例第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现如下步骤：
49.获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的；
50.根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
51.根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
52.本技术的上述方案至少包括以下有益效果：与现有技术相比，本技术实施例在鼻咽拭子采样的整个过程中，可获取采样机器人的第二机械臂上的深度相机反馈的鼻咽拭子的多张rgbd图像和受检人的人脸rgbd图像，根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标，根据人脸rgbd图像确定受检人的鼻孔目标点的第二三维坐标。以此，可以实现在整个鼻咽拭子采样过程中对鼻咽拭子的头部的精确标定和受检人的鼻孔伸入点的精确标定，从而有利于提升机器人采样的精度。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1为本技术实施例提供的一种应用环境的示意图；
55.图2为本技术实施例提供的一种鼻咽拭子采样中的视觉标定方法的流程示意图；
56.图3a为本技术实施例提供的一种第一机械臂夹持鼻咽拭子的示意图；
57.图3b为本技术实施例提供的一种采样机器人根据受检人的鼻孔目标点进行采样的示意图；
58.图4a为本技术实施例提供的一种第一rgbd图像的二值化的示意图；
59.图4b为本技术实施例提供的一种鼻咽拭子轴线的示意图；
60.图5a为本技术实施例提供的一种多个鼻部关键点的示意图；
61.图5b为本技术实施例提供的一种鼻孔目标点的示意图；
62.图6为本技术实施例提供的一种人脸特征点的示意图；
63.图7为本技术实施例提供的一种鼻咽拭子采样中的视觉标定装置的结构示意图；
64.图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
65.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
66.本技术说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
67.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
68.本技术实施例提供一种鼻咽拭子采样中的视觉标定方案，该方案可基于图1所示的应用环境实施，如图1所示，图1为本技术实施例提供的一种应用环境的示意图。该应用环境包括采样机器人和进行鼻咽拭子采样的受检人，其中，采样机器人包括第一机械臂和第二机械臂，第一机械臂和第二机械臂末端均设置有深度相机。比如：第一机械臂可以是采样机器人的右臂、第二机械臂可以是采样机器人的左臂，深度相机可以是intel(英特尔)l515激光雷达深度摄像头。其中，第一机械臂用于夹持鼻咽拭子，采样机器人控制第二机械臂上的深度相机采集第一机械臂夹持的鼻咽拭子的rgbd(red、green、blue、depth，红、绿、蓝、深度)图像，具体实现中，采样机器人首先在第一机械臂未旋转的情况下采集鼻咽拭子的rgbd图像，然后控制第一机械臂绕鼻咽拭子轴向旋转90度并采集鼻咽拭子的rgbd图像，再控制第一机械臂绕鼻咽拭子轴向反向旋转180度并采集鼻咽拭子的rgbd图像，由此得到第一机械臂处于不同角度时鼻咽拭子的多张rgbd图像。采样机器人可基于第一机械臂处于不同角度时采集的rgbd图像识别并标定鼻咽拭子的头部的位置姿态，由此得到鼻咽拭子的头部的多个候选位置姿态，采用该多个候选位置姿态的平均值作为鼻咽拭子的头部的标定位置姿态。采样机器人还可通过第一机械臂或第二机械臂上的深度相机获取受检人的人脸rgbd图像，基于该人脸rgbd图像确定鼻咽拭子伸入的鼻孔目标点，从而可以实现在采样过程中对鼻咽拭子的头部和伸入点的精确标定。另外，采样机器人还可基于标定的鼻咽拭子的头部的位置姿态确定该鼻咽拭子是否可用，以便于在鼻咽拭子不可用时及时对其进行更换。
69.请参见图2，图2为本技术实施例提供的一种鼻咽拭子采样中的视觉标定方法的流程示意图，该鼻咽拭子采样中的视觉标定方法应用于采样机器人，采样机器人包括第一机
械臂和第二机械臂，如图2所示，包括步骤210-230：
70.210：获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像。
71.示例性的，如图3a所示，图3a为本技术实施例提供的一种第一机械臂夹持鼻咽拭子的示意图。在采样时，采样机器人控制第一机械臂夹持鼻咽拭子，并控制第一机械臂进行移动，以将鼻咽拭子移动到深度相机黑色机体正下方，并且鼻咽拭子距下方操作台的距离为10cm。采样机器人控制第二机械臂移动至鼻咽拭子的正上方20cm处，将深度相机对准鼻咽拭子以进行图像采集，则采集的图像的背景为操作台的台面。首先，深度相机获取第一机械臂夹持该鼻咽拭子在初始位置的rgbd图像；然后，采样机器人控制第一机械臂夹持该鼻咽拭子轴向旋转90度，获取该鼻咽拭子在此角度下的rgbd图像；最后，采样机器人控制第一机械臂夹持该鼻咽拭子反向旋转180度，获取该鼻咽拭子在此角度下的rgbd图像。以此，获取到第一机械臂夹持的鼻咽拭子的多张rgbd图像用于后续操作。
72.应理解，如果采用第一机械臂上的深度相机拍摄鼻咽拭子会有角度限制，导致拍摄图像不完整或者是角度存在偏差。本技术实施例利用第二机械臂上的深度相机从多角度对第一机械臂夹持的鼻咽拭子进行拍摄，有利于得到完整的、不存在角度偏差的鼻咽拭子rgbd图像。并且，本技术实施例利用操作台作为背景能够与鼻咽拭子的颜色区别开来，有利于后续对该鼻咽拭子的形态轮廓进行标定。通过对鼻咽拭子进行轴向多角度旋转，可以获取该鼻咽拭子多角度的rgbd图像，得到该鼻咽拭子更加完整的形态，提升后续对鼻咽拭子的头部进行标定的准确度。
73.示例性的，如图3b所示，图3b为本技术实施例提供的一种采样机器人根据受检人的鼻孔目标点进行采样的示意图。采样机器人控制第一机械臂夹持鼻咽拭子向受检人移动，采样机器人控制第二机械臂上的深度相机对该受检人的人脸进行拍摄，得到受检人的人脸rgbd图像，用于后续确定受检人的鼻孔目标点，即鼻咽拭子的伸入点。
74.示例性的，采样机器人控制第二机械臂上的深度相机对受检人的人脸进行拍摄的过程中，在该深度相机的预览界面上显示预设框线，采样机器人根据预览界面上显示的受检人的预览图像判断受检人的人脸是否在预设框线内，若否，则输出语音提示，以提示受检人将其脸部移动至预设框线内。其中，该深度相机的预览界面可通过一显示器向受检人呈现。比如：受检人脸部右侧轮廓线超出预设框线，则提示受检人将头向左侧移动，受检人脸部左侧轮廓线超出预设框线，则提示受检人将头向右侧移动，从而使受检人的人脸保持在预设框线内。进一步的，采样机器人还可根据预览图像的深度信息提示受检人将头向前/后移动，比如：深度信息的值较大时，表示受检人的头部太靠后，此时可提示受检人将头向前移动，等等。
75.应理解，受检人不同会使得鼻咽拭子的伸入点不同，提前确定受检人的鼻孔目标点的好处在于采样机器人可以在采样前控制第一机械臂夹持鼻咽拭子移动到鼻孔目标点进行采样准备。并且，提前确定受检人的鼻孔目标点，可以提升采样机器人的采样效率，避免因为鼻孔目标点未确定给受检人带来不好的体验。利用第二机械臂的深度相机获取受检人的人脸rgbd图像，可以通过受检人的人脸rgbd图像获取受检人的人脸特征点的坐标，以便于基于人脸特征点的坐标获取人头姿态。
76.220：根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标。
77.示例性的，在获取的多张rgbd图像中，每一张rgbd图像都包括rgb(red、green、
blue，红、绿、蓝)图像(即第一rgb图像)和深度图像。获取鼻咽拭子的头部的第一三维坐标，需要利用第一rgb图像确定该鼻咽拭子在每一张rgbd图像中的边缘轮廓，进而根据该边缘轮廓确定该鼻咽拭子的头部的第一三维坐标。结合该鼻咽拭子的边缘轮廓和深度图像中的深度信息，确定该鼻咽拭子的头部在每一张rgbd图像中的三维坐标。由于根据rgbd图像确定的三维坐标并不在采样机器人的三维坐标系中，因此要将鼻咽拭子的头部在每一张rgbd图像中的三维坐标投影到采样机器人的三维坐标系中，得到每一张rgbd图像中的鼻咽拭子的头部的三维坐标。其中，采样机器人的三维坐标系以该采样机器人的第一机械臂未安装深度相机一端和第二机械臂中未安装深度相机一端连线的中点为原点建立三维坐标系。取多张rgbd图像的鼻咽拭子的头部三维坐标的平均值为该鼻咽拭子的头部的第一三维坐标。
78.具体而言，因为有多个角度采集的多张rgbd图像，对其中每一张rgbd图像进行以下操作：
79.a：对每一张rgbd图像中的第一rgb图像进行二值化处理，得到第一rgb图像的二值化图像，具体可如图4a所示。因为操作台背景为黑色，与鼻咽拭子的前景区域产生强烈的颜色反差。因此，在进行二值化处理之后，可明确分辨出鼻咽拭子的前景区域与操作台的背景区域。在对第一rgb图像进行二值化处理之后，对该二值化图像进行柯西边缘提取，得到对应的边缘图像。
80.b：对边缘图像进行形态学变换，得到边缘图像中的至少一个形态学轮廓。对基于第一rgb图像提取出的边缘图像进行形态学变换处理，通过腐蚀、膨胀等操作，利用形态学梯度，保留第一rgb图像的二值图像中的至少一个形态学轮廓。
81.c：基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓。具体而言，先将第一rgb图像转换到hsv(hue、saturation、value，色相、饱和度、明度)色彩空间，利用第一rgb图像中，操作台和鼻咽拭子的强烈颜色反差，比如：两者的色调、饱和度、明度的差异，提取出第一rgb图像中的鼻咽拭子的白色前景区域。然后，将第一rgb图像中的鼻咽拭子的白色前景区域与至少一个形态学轮廓进行匹配，以从至少一个形态学轮廓中确定出边缘轮廓。因为操作台与鼻咽拭子的强烈颜色反差，所以第一rgb图像中的鼻咽拭子的白色前景区域可以认定为鼻咽拭子的轮廓。但为了更加准确的确定鼻咽拭子的轮廓，将第一rgb图像中的鼻咽拭子的白色前景区域与前面得到的鼻咽拭子至少一个形态学轮廓进行匹配，将适配度最高的形态学轮廓确定为该鼻咽拭子的边缘轮廓。该实施方式中，在获得至少一个形态学轮廓后，结合第一rgb图像与形态学轮廓，确定鼻咽拭子的边缘轮廓，可以使最终得到的鼻咽拭子的边缘轮廓更加准确，有利于后续对该鼻咽拭子进行标定和三维坐标计算。
82.d：根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标。在得到每一张rgbd图像中鼻咽拭子的边缘轮廓之后，基于第一rgb图像可以获得该鼻咽拭子的二维坐标，结合每一张深度图像中的深度信息，可以将鼻咽拭子各部位(包括头部)映射到三维空间，得到对应的三维坐标。
83.具体而言，先提取边缘轮廓的中心线，接着，确定边缘轮廓的中心线上在第一rgb图像的图像坐标系中横坐标值最大的目标像素点。比如：该目标像素点通常为边缘轮廓的中心线与鼻咽拭子的头部边缘的交点，该交点的横坐标值通常是鼻咽拭子的边缘轮廓像素点中最大的。在确定出该目标像素点后，即可确定该点在第一rgb图像的图像坐标系中的二
维坐标。由于第一rgb图像对应的深度图像中包括该目标像素点的深度值，基于目标像素点在第一rgb图像中的二维坐标和目标像素点的深度值即可将目标像素点映射到三维空间，得到其三维坐标。目前所得的鼻咽拭子头部的三维坐标为每一rgbd图像的图像坐标系中的三维坐标，与目标第一三维坐标存在坐标系上的不一致，因此，需要将所得的鼻咽拭子头部的三维坐标转化到采样机器人的三维坐标系中。
84.e：采用每一张rgbd图像中鼻咽拭子的头部的三维坐标，计算得到第一三维坐标。示例性的，为了更加准确的确定鼻咽拭子头部的三维坐标，求得多张rgbd图像分别对应的多个三维坐标的均值作为鼻咽拭子的头部的三维坐标。为了便于后续的计算和标定，需要将鼻咽拭子的头部的三维坐标转换到机器人的三维坐标系中，从而得到第一三维坐标。
85.示例性的，本实施例在得到鼻咽拭子头部的第一三维坐标后，根据该第一三维坐标距离鼻咽拭子轴线的距离。如图4b所示，图4b为本技术实施例提供的一种鼻咽拭子轴线的示意图。鼻咽拭子的轴线即在得到鼻咽拭子的边缘轮廓后，可以获取该鼻咽拭子两端的宽度，其中宽度较大的一端为鼻咽拭子的头部，而宽度较小的一端为鼻咽拭子的柄部。因为鼻咽拭子柄部不易弯曲，棉签头部因材质问题容易受力弯曲，将鼻咽拭子柄部宽度中点的横轴线作为该鼻咽拭子的边缘轮廓的轴线更加准确。在无法观察到鼻咽拭子柄部的情况下，可以基于第一机械臂夹持鼻咽拭子的夹持位置的宽度确定鼻咽拭子的轴线。计算第一三维坐标至鼻咽拭子轴线的垂直距离，该垂直距离可以用于表征该鼻咽拭子头部的弯曲程度，该垂直距离越大就表征该鼻咽拭子的弯曲程度越大。为了保证采样机器人采样的准确性，如果鼻咽拭子头部偏离鼻咽拭子轴线的垂直距离过大，则表示该鼻咽拭子头部弯曲程度过大，不适于进行采样。因此，为了确保后续采样的准确性和鼻咽拭子的能用性，在第一三维坐标到鼻咽拭子的轴线的垂直距离大于或等于预设阈值时，采样机器人控制第一机械臂更换新的鼻咽拭子。新的鼻咽拭子同样需要上述检测过程，直至鼻咽拭子符合要求，才可进行后续采样工作。
86.示例性的，该方法还包括：基于第一机械臂夹持鼻咽拭子的夹持位置和第一三维坐标确定鼻咽拭子的可用长度，并标定出该可用长度。具体的，采样机器人可以采用获取鼻咽拭子的头部的第一三维坐标相同的方式，获取夹持鼻咽拭子的夹持位置的三维坐标，基于该三维坐标和第一三维坐标计算得到鼻咽拭子的可用长度。
87.230：根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
88.具体而言，为了提升采样机器人采样的效率和准确性，提前确定受检人的鼻孔目标点，也就是采样机器人的第一机械臂夹持鼻咽拭子需要移动的目标位置，即鼻咽拭子的伸入点。
89.要确定受检人的鼻孔目标点的第二三维坐标，需要先确定在采样机器人坐标系中鼻孔目标点的三维坐标。因为第二机械臂上深度相机获取的受检人的人脸rgbd图像只能基于人脸rgbd图像的坐标系进行初步确认。所以，确认鼻孔目标点在人脸rgbd图像坐标系中的三维坐标后，将该三维坐标转化在采样机器人的三维坐标系中，得到受检人鼻孔采样点的第二三维坐标。
90.示例性的，先对获取的人脸rgbd图像中的第二rgb图像进行人脸特征点检测，确定受检人的多个人脸特征点。再结合人脸rgbd图像中的深度图像，得到多个人脸特征点的深
度值。基于多个人脸特征点在第二rgb图像中的二维坐标及多个人脸特征点的深度值，得到多个人脸特征点的三维坐标，多个人脸特征点中包括多个鼻部关键点，如图5a所示，图5a为本技术实施例提供的一种多个鼻部关键点的示意图。接着根据多个鼻部关键点的三维坐标，计算得到鼻孔目标点的候选三维坐标。如图5b所示，图5b为本技术实施例提供的一种鼻孔目标点的示意图。鼻孔目标点为受检人一侧鼻孔的两个鼻部关键点的中点。为了确保采样机器人采样的准确性，所以采样机器人需要确定受检人鼻部一侧的两个鼻部关键点的中点为鼻孔目标点。通过第二rgb图像得到在第二rgb图像坐标系中鼻孔目标点的候选三维坐标。为了便于计算和标定，将该候选三维坐标转换到采样机器人的三维坐标系中，得到第二三维坐标。
91.示例性的，本实施例在得到受检人的第二三维坐标后，采样机器人控制鼻咽拭子头部移动至第二三维坐标处。示例性的，如图6所示，图6为本技术实施例提供的一种人脸特征点的示意图。在多个人脸特征点中还包括鼻中线上的关键点(鼻部关键点中)、上下嘴唇的中点(嘴部关键点中)和两个耳垂关键点。依据获取第二三维坐标同样的方式可以得到鼻中线上的关键点、上下嘴唇的中点和两个耳垂关键点的三维坐标点。为了采样机器人在采样时给受检人带来较好的体验，本技术实施例可以基于鼻中线上的关键点、上下嘴唇的中点和两个耳垂关键点提前规划采样机器人的移动方向和移动位置。通常进行鼻咽子采样，鼻咽拭子进入鼻腔之后先沿着鼻中线位置前进一段预设距离，然后以两个耳垂关键点的中点为前进目标，进行采样。
92.具体而言，首先，利用鼻中线上的关键点、上下嘴唇的中点中至少一个点在采样机器人的三维坐标系中的三维坐标和鼻咽拭子的头部的当前三维坐标，得到鼻咽拭子前进的第一向量。然后，利用两个耳垂关键点的中点在采样机器人的三维坐标系中的第三三维坐标和鼻咽拭子的头部的当前三维坐标，得到鼻咽拭子在根据第一向量前进预设距离后，继续前进需要参照的第二向量。
93.示例性的，具体采样过程为采样机器人控制第一机械臂将鼻咽拭子的头部移动至第二三维坐标处，根据多个人脸特征点可以确定人头的位姿，基于人头的位姿控制第一机械臂调整鼻咽拭子的角度，并获取鼻咽拭子的头部的当前三维坐标(该三维坐标为鼻咽拭子的头部在采样机器人的三维坐标系中的三维坐标)，再利用鼻中线上的关键点、上下嘴唇的中点中的至少一个点在采样机器人的三维坐标系中的三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第一向量，然后采样机器人控制第一机械臂沿着第一向量的方向前进预设距离，使鼻咽拭子的头部跨过鼻阀。再控制第一机械臂抬高鼻咽拭子的柄部，夹持鼻咽拭子沿着第二向量的方向继续前进，以对准下鼻道入口指向鼻腔后壁，最终完成采样。
94.可以看出，本技术实施例中，首先，获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像。其中，多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的。利用多角度轴向旋转鼻咽拭子得到的多张rgbd图像以及鼻咽拭子与操作台的颜色反差，得到有利于后续操作的鼻咽拭子的边缘轮廓。在获取受检人的人脸rgbd图像中，通过深度相机可以更加便利的获取受检人多个人脸特征点的三维坐标，提升效率和准确性。其次，根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标。其中，为了确保最终的第一三维坐标的准确性，获取多张rgbd图像中每一张rgbd图像得到的鼻咽拭子头部的三维坐标，取平均值得到第一三维坐标。在每一张rgbd图像中，先获取
该鼻咽拭子的边缘轮廓，进而确定鼻咽拭子的头部的二维坐标，再结合rgbd图像的深度信息得到三维坐标。基于第一三维坐标。还可以确定该鼻咽拭子的轴线和弯曲程度，进而确定该鼻咽拭子是否可用。最终，根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。对人脸rgbd图像进行特征点识别，再基于人脸rgbd图像中的深度图像，得到多个人脸特征点的深度值，进而得到多个人脸特征点的三维坐标，用于后续采样时向量的计算。以此，可以实现在整个鼻咽拭子采样过程中对鼻咽拭子的头部的精确标定和受检人的鼻孔伸入点的精确标定，从而有利于提升机器人采样的精度。
95.基于上述鼻咽拭子采样中的视觉标定方法实施例的描述，本技术还提供一种鼻咽拭子采样中的视觉标定装置，鼻咽拭子采样中的视觉标定装置可以是运行于终端中的一个计算机程序(包括程序代码)。该鼻咽拭子采样中的视觉标定装置可以执行图2所示的方法。请参见图7，该装置包括获取单元710和处理单元720，其中：
96.获取单元710，用于获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的；
97.处理单元720，用于根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
98.处理单元720，还用于根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
99.在一种可能的实施方式中，在根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标方面，处理单元720具体用于：
100.对于多张rgbd图像中的每一张rgbd图像，对每一张rgbd图像中的第一rgb图像的二值图像进行柯西边缘提取，得到对应的边缘图像；
101.对边缘图像进行形态学变换，得到边缘图像中的至少一个形态学轮廓；
102.基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓；
103.根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标；
104.采用每一张rgbd图像中鼻咽拭子的头部的三维坐标，计算得到第一三维坐标。
105.在一种可能的实施方式中，在基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓方面，处理单元720具体用于：
106.将第一rgb图像转换到hsv色彩空间，在hsv色彩空间中提取第一rgb图像中的鼻咽拭子的白色前景区域；
107.将第一rgb图像中的鼻咽拭子的白色前景区域与至少一个形态学轮廓进行匹配，以从至少一个形态学轮廓中确定出边缘轮廓。
108.在一种可能的实施方式中，在根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标方面，处理单元720具体用于：
109.提取边缘轮廓的中心线；
110.确定边缘轮廓的中心线上在第一rgb图像的图像坐标系中横坐标值最大的目标像素点；
111.根据每一张rgbd图像中的深度图像，得到目标像素点的深度值；
112.基于目标像素点在第一rgb图像中的二维坐标和目标像素点的深度值得到目标像素点的三维坐标；
113.将目标像素点的三维坐标转换到采样机器人的三维坐标系中，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标。
114.在一种可能的实施方式中，处理单元720还用于：
115.根据边缘轮廓确定鼻咽拭子的轴线；
116.计算第一三维坐标到鼻咽拭子的轴线的垂直距离；
117.在垂直距离大于或等于预设阈值的情况下，控制第一机械臂更换鼻咽拭子。
118.在一种可能的实施方式中，在根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标方面，处理单元720具体用于：
119.对人脸rgbd图像中的第二rgb图像进行人脸特征点检测，得到受检人的多个人脸特征点；
120.根据人脸rgbd图像中的深度图像，得到多个人脸特征点的深度值；
121.基于多个人脸特征点在第二rgb图像中的二维坐标及多个人脸特征点的深度值，得到多个人脸特征点的三维坐标，多个人脸特征点中包括多个鼻部关键点；
122.根据多个鼻部关键点的三维坐标，计算得到鼻孔目标点的候选三维坐标；
123.将候选三维坐标转换到采样机器人的三维坐标系中，得到第二三维坐标。
124.在一种可能的实施方式中，在多个人脸特征点中还包括鼻中线上的关键点、上下嘴唇的中点和两个耳垂关键点方面，处理单元720具体用于：
125.利用第一三维坐标和第二三维坐标进行运动规划，控制第一机械臂向鼻孔目标点移动，以使鼻咽拭子的头部位于鼻孔目标点；
126.根据多个人脸特征点控制第一机械臂调整鼻咽拭子的角度，并确定鼻咽拭子的头部的当前三维坐标；
127.利用鼻中线上的关键点、上下嘴唇的中点中的至少一个点在采样机器人的三维坐标系中的三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第一向量；
128.获取两个耳垂关键点的中点在采样机器人的三维坐标系中的第三三维坐标；
129.利用第三三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第二向量；
130.基于第一向量和第二向量进行鼻咽拭子采样。
131.根据本技术的一个实施例，图7所示的鼻咽拭子采样中的视觉标定装置的各个模块可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，鼻咽拭子采样中的视觉标定装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
132.根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的鼻咽拭子采样中的视觉标定装置设备，以及来实现本技术实施例的鼻咽
拭子采样中的视觉标定方法。计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
133.基于上述方法实施例和装置实施例的描述，请参见图8，图8为本技术实施例提供的一种电子设备的结构示意图，如图8所示，该电子设备至少包括处理器810、输入设备820、输出设备830以及存储器840。其中，电子设备内的处理器810、输入设备820、输出设备830以及存储器840可通过总线或其他方式连接。
134.存储器840用于存储计算机程序，计算机程序包括程序指令，处理器810用于执行存储器840存储的程序指令。处理器810(或称cpu(central processing unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
135.在一个实施例中，本技术实施例提供的电子设备的处理器810可以用于进行一系列鼻咽拭子采样中的视觉标定处理：
136.获取第一机械臂夹持的鼻咽拭子的多张rgbd图像、受检人的人脸rgbd图像；多张rgbd图像为控制第一机械臂旋转至不同角度时，由深度相机对鼻咽拭子进行拍摄得到的；
137.根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标；
138.根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，鼻孔目标点为对受检人进行采样时鼻咽拭子的伸入点。
139.再一个实施例中，处理器810执行根据多张rgbd图像，确定鼻咽拭子的头部的第一三维坐标，包括：
140.对于多张rgbd图像中的每一张rgbd图像，对每一张rgbd图像中的第一rgb图像的二值图像进行柯西边缘提取，得到对应的边缘图像；
141.对边缘图像进行形态学变换，得到边缘图像中的至少一个形态学轮廓；
142.基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓；
143.根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标；
144.采用每一张rgbd图像中鼻咽拭子的头部的三维坐标，计算得到第一三维坐标。
145.再一个实施例中，处理器810执行基于第一rgb图像和至少一个形态学轮廓，确定每一张rgbd图像中鼻咽拭子的边缘轮廓，包括：
146.将第一rgb图像转换到hsv色彩空间，在hsv色彩空间中提取第一rgb图像中的鼻咽拭子的白色前景区域；
147.将第一rgb图像中的鼻咽拭子的白色前景区域与至少一个形态学轮廓进行匹配，以从至少一个形态学轮廓中确定出边缘轮廓。
148.再一个实施例中，处理器810执行根据边缘轮廓，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标，包括：
149.提取边缘轮廓的中心线；
150.确定边缘轮廓的中心线上在第一rgb图像的图像坐标系中横坐标值最大的目标像素点；
151.根据每一张rgbd图像中的深度图像，得到目标像素点的深度值；
152.基于目标像素点在第一rgb图像中的二维坐标和目标像素点的深度值得到目标像
素点的三维坐标；
153.将目标像素点的三维坐标转换到采样机器人的三维坐标系中，得到每一张rgbd图像中鼻咽拭子的头部的三维坐标。
154.再一个实施例中，处理器810还用于：
155.根据边缘轮廓确定鼻咽拭子的轴线；
156.计算第一三维坐标到鼻咽拭子的轴线的垂直距离；
157.在垂直距离大于或等于预设阈值的情况下，控制第一机械臂更换鼻咽拭子。
158.再一个实施例中，处理器810执行根据人脸rgbd图像，确定受检人的鼻孔目标点的第二三维坐标，包括：
159.对人脸rgbd图像中的第二rgb图像进行人脸特征点检测，得到受检人的多个人脸特征点；
160.根据人脸rgbd图像中的深度图像，得到多个人脸特征点的深度值；
161.基于多个人脸特征点在第二rgb图像中的二维坐标及多个人脸特征点的深度值，得到多个人脸特征点的三维坐标，多个人脸特征点中包括多个鼻部关键点；
162.根据多个鼻部关键点的三维坐标，计算得到鼻孔目标点的候选三维坐标；
163.将候选三维坐标转换到采样机器人的三维坐标系中，得到第二三维坐标。
164.再一个实施例中，处理器810执行多个人脸特征点中还包括鼻中线上的关键点、上下嘴唇的中点和两个耳垂关键点，包括：
165.利用第一三维坐标和第二三维坐标进行运动规划，控制第一机械臂向鼻孔目标点移动，以使鼻咽拭子的头部位于鼻孔目标点；
166.根据多个人脸特征点控制第一机械臂调整鼻咽拭子的角度，并确定鼻咽拭子的头部的当前三维坐标；
167.利用鼻中线上的关键点、上下嘴唇的中点中的至少一个点在采样机器人的三维坐标系中的三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第一向量；
168.获取两个耳垂关键点的中点在采样机器人的三维坐标系中的第三三维坐标；
169.利用第三三维坐标和鼻咽拭子的头部的当前三维坐标，计算得到第二向量；
170.基于第一向量和第二向量进行鼻咽拭子采样。
171.示例性的，上述电子设备可以是采样机器人或者与采样机器人通信连接的电脑、服务器等，该服务器可以是独立的物理服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备可包括但不仅限于处理器810、输入设备820、输出设备830以及存储器840。还可以包括内存、电源、应用客户端模块等。输入设备820可以是键盘、触摸屏、射频接收器等，输出设备830可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
172.需要说明的是，由于电子设备的处理器810执行计算机程序时实现上述的鼻咽拭子采样中的视觉标定方法中的步骤，因此上述鼻咽拭子采样中的视觉标定方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
173.本技术实施例还提供了一种计算机存储介质(memory)，计算机存储介质是信息处理设备或信息发送设备或信息接收设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关鼻咽拭子采样中的视觉标定方法中的相应步骤。
174.以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。