颅骨孔洞姿态估计方法、装置、电子设备及存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种颅骨孔洞姿态估计方法、装置、电子设备及存储介质。


背景技术：

2.众所周知，脑机接口是指人或动物与外部设备之间创建的直接连接，实现脑与外部设备的信息交换，并且，当脑机接口应用于脑部时可以估计颅骨孔洞姿态，以便于基于估计的颅骨孔洞姿态为颅底骨折的诊断及颅脑创伤的综合判断及治疗提供理论依据。
3.相关技术中，针对颅骨孔洞姿态，通常先利用双目相机拍摄颅骨孔洞图像，并通过调整高斯模糊核、canny算法阈值的方式提取颅骨孔洞边缘，再针对提取的颅骨孔洞边缘拟合椭圆方程，并将椭圆方程的圆平面的法向量确定为颅骨孔洞的法向姿态角。
4.然而，由于调整高斯模糊核和canny算法阈值需要人为手动调整参数，并且手动调整参数至提取的颅骨孔洞边缘足够准确时才能成功拟合椭圆方程，不仅调整过程耗时费力，而且调整后的参数也只适用于当前场景，从而导致颅骨孔洞姿态估计的效率低且适用范围受限。


技术实现要素：

5.本发明提供一种颅骨孔洞姿态估计方法、装置、电子设备及存储介质，用以解决现有技术中依赖于手动调整参数至颅骨孔洞边缘足够准确才能针对当前场景进行颅骨孔洞姿态估计所导致的颅骨孔洞姿态估计的效率低且适用范围受限的缺陷，实现简化估计颅骨孔洞姿态的过程，减少人工干预，提高估计颅骨孔洞姿态的自动化性能，同时针对场景的变换也具有更强的鲁棒性。
6.本发明提供一种颅骨孔洞姿态估计方法，包括：
7.获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；
8.基于所述多组目标双目二维圆心坐标，确定所述双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标；
9.基于所述多个目标三维圆心坐标，确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计值。
10.根据本发明提供的一种颅骨孔洞姿态估计方法，所述获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，包括：
11.将双目颅骨孔洞图像输入到预设holenet网络模型中，得到所述预设holenet网络模型输出的多个孔洞的多组预测双目二维圆心坐标；
12.对所述多组预测双目二维圆心坐标进行几何过滤，确定初匹配的多组双目二维圆心坐标；
13.对所述初匹配的多组双目二维圆心坐标进行图像特征过滤，确定所述双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；
14.其中，所述预设holenet网络模型用于提取所述双目颅骨孔洞图像的底层图像特征，并对所述底层图像特征进行学习和预测，基于学习所得的每个孔洞的圆心局部特征和预测所得的每个孔洞内含的圆心坐标，确定所述多个孔洞的多组预测双目二维圆心坐标。
15.根据本发明提供的一种颅骨孔洞姿态估计方法，所述多组预测双目二维圆心坐标包括左目颅骨孔洞图像的多个孔洞中分布的多个预测左目二维圆心坐标和右目颅骨孔洞图像的多个孔洞中分布的多个预测右目二维圆心坐标，所述对所述多组预测双目二维圆心坐标进行几何过滤，确定初匹配的多组双目二维圆心坐标，包括：
16.确定所述多个预测左目二维圆心坐标中预测左目二维圆心坐标对应所述右目颅骨孔洞图像中的第一极线；
17.将所述多个预测右目二维圆心坐标中与所述第一极线之间的距离超过第一预设距离阈值的预测右目二维圆心坐标删除，确定多个目标预测右目二维圆心坐标；
18.确定所述多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应所述左目颅骨孔洞图像中的第二极线；
19.将所述多个预测左目二维圆心坐标中与所述第二极线之间的距离超过第二预设距离阈值的预测左目二维圆心坐标删除，确定多个目标预测左目二维圆心坐标；
20.基于所述多个目标预测右目二维圆心坐标和所述多个目标预测左目二维圆心坐标，确定初匹配的多组双目二维圆心坐标。
21.根据本发明提供的一种颅骨孔洞姿态估计方法，所述对所述初匹配的多组双目二维圆心坐标进行图像特征过滤，确定所述双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，包括：
22.基于所述初匹配的多组双目二维圆心坐标对所述底层图像特征进行特征采集，确定多组图像特征；
23.确定每组图像特征的余弦相似度；
24.基于所述余弦相似度与预设余弦相似度阈值的比较结果，对所述初匹配的多组双目二维圆心坐标进行精细过滤，确定所述双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。
25.根据本发明提供的一种颅骨孔洞姿态估计方法，所述预设holenet网络模型的训练过程，包括：
26.确定样本颅骨孔洞图像以及初始holenet网络模型，所述初始holenet网络模型具备底层特征提取功能、颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能；
27.使用所述样本颅骨孔洞图像对所述初始holenet网络模型进行训练，确定预设holenet网络模型。
28.根据本发明提供的一种颅骨孔洞姿态估计方法，所述基于所述多组目标双目二维圆心坐标，确定所述双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标，包括：
29.获取双目相机的相机内外参数；
30.基于所述相机内外参数和所述多组目标双目二维圆心坐标，确定所述双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。
31.根据本发明提供的一种颅骨孔洞姿态估计方法，所述基于所述多个目标三维圆心
坐标，确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计值，包括：
32.基于所述多个目标三维圆心坐标，确定所述双目颅骨孔洞图像中多个不共线的目标孔洞所在平面的目标平面方程；
33.确定所述目标平面方程的法线向量；
34.基于所述法线向量，确定所述双目颅骨孔洞图像中所述多个孔洞的法向姿态角估计值。
35.本发明还提供一种颅骨孔洞姿态估计装置，包括：
36.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述颅骨孔洞姿态估计方法。
37.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述颅骨孔洞姿态估计方法。
38.本发明提供的颅骨孔洞姿态估计方法、装置、电子设备及存储介质，其中颅骨孔洞姿态估计方法，终端设备先获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标、再确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标、后确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值，不仅简化了估计颅骨孔洞姿态的过程，减少了人工干预，而且也能提高估计颅骨孔洞姿态的自动化性能，从而大幅提高了颅骨孔洞姿态估计的效率，同时针对场景的变换也具有更强的鲁棒性。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的颅骨孔洞姿态估计方法的流程示意图；
41.图2是本发明提供的颅骨孔洞姿态估计装置的结构示意图；
42.图3是本发明提供的电子设备的结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.下面结合图1-图3描述本发明的颅骨孔洞姿态估计方法、装置、电子设备及存储介质，其中颅骨孔洞姿态估计方法的执行主体可以为终端设备，也可以为服务器；服务器可以是指一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等；终端设备可以为个人计算机(personal computer，pc)、便携式设备、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等其它电子设备。服务器或终端设备至少具备数据获取功能、数据存储功能和数据处理功能。本发明对服务器或终端设备的具体形式不做限定。下述方法实施
例以执行主体为终端设备为例进行说明。
45.参照图1，为本发明实施例提供的颅骨孔洞姿态估计方法的流程示意图，如图1所示，该颅骨孔洞姿态估计方法，包括以下步骤：
46.步骤110、获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。
47.其中，双目颅骨孔洞图像可以为使用双目相机的左右两个摄像头拍摄颅骨的孔洞后生成的图像且可以包括左目颅骨孔洞图像和右目颅骨孔洞图像，双目相机所拍摄颅骨的孔洞数量可以至少为3个，颅骨的孔洞可以是待测对象头部上的骨架的孔洞，待测对象可以为人或动物；左目颅骨孔洞图像和右目颅骨孔洞图像中分布的孔洞数量相同且一一对应，左目颅骨孔洞图像和右目颅骨孔洞图像存在一定视差。并且，多组目标双目二维圆心坐标中每组目标双目二维圆心坐标对应一个孔洞且包括至少一个目标左目二维圆心坐标和至少一个目标右目二维圆心坐标，也即，左目颅骨孔洞图像中的每个孔洞分布有至少一个目标左目二维圆心坐标，右目颅骨孔洞图像中的每个孔洞中分布有至少一个目标右目二维圆心坐标，每个目标左目二维圆心坐标可以均为不含噪声的左目二维圆心坐标且分别为左目颅骨孔洞图像中对应孔洞中的关键圆心点，每个目标右目二维圆心坐标也可以均为不含噪声的右目二维圆心坐标且分别为右目颅骨孔洞图像中对应孔洞中的关键圆心点。
48.具体的，终端设备获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，可以是终端设备检测到自身通过脑机接口与待测对象连接时，获取针对待测对象的颅骨的双目颅骨孔洞图像以及双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，终端设备可以从预先存储的图像集中直接选取待测对象的颅骨的双目颅骨孔洞图像，也可以通过先启动双目摄像功能、后拍摄待测对象的颅骨的方式获取待测对象的颅骨的双目颅骨孔洞图像。并且，针对获取的双目颅骨孔洞图像，终端设备可以进一步针对左目颅骨孔洞图像中的多个孔洞和右目颅骨孔洞图像中的多个孔洞，通过先获取孔洞中圆心二维坐标、后进行去噪的方式，获取多组目标双目二维圆心坐标；终端设备也可以将待测对象的颅骨的双目颅骨孔洞图像发送至用户终端，并指示用户终端对应用户反馈双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，以此获取多组目标双目二维圆心坐标。此处对获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标的方式不作具体限定。
49.步骤120、基于多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。
50.具体的，由于脑机接口任务中，颅骨的孔洞直径约为300微米，相邻孔洞之间的距离约为1000微米，因此可以考虑将双目颅骨孔洞图像中多个孔洞所在区域为平面，通过估计3个及3个以上不共线的孔洞的3维圆心坐标，即可拟合多个孔洞所在区域的平面方程的方式估计颅骨孔洞姿态。基于此，终端设备针对双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，可以利用三角化方法确定多个孔洞的多个目标三维圆心坐标，再从多个孔洞的多个目标三维圆心坐标中确定多个不共线的目标孔洞的多个目标三维圆心坐标。
51.步骤130、基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
52.具体的，终端设备针对双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标，可以基于预先存储的平面方程构建算法计算多个目标孔洞所在区域的目标平面方程，从而确定目标平面方程的法线向量即为双目颅骨孔洞图像中多个孔洞的法向姿态
角估计值。
53.本发明实施例提供的颅骨孔洞姿态估计方法，终端设备先获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标、再确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标、后确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值，不仅简化了估计颅骨孔洞姿态的过程，减少了人工干预，而且也能提高估计颅骨孔洞姿态的自动化性能，从而大幅提高了颅骨孔洞姿态估计的效率，同时针对场景的变换也具有更强的鲁棒性。
54.可选的，步骤110的具体实现过程可以包括：
55.首先，将双目颅骨孔洞图像输入到预设holenet网络模型中，得到预设holenet网络模型输出的多个孔洞的多组预测双目二维圆心坐标；再进一步对多组预测双目二维圆心坐标进行几何过滤，确定初匹配的多组双目二维圆心坐标；然后，对初匹配的多组双目二维圆心坐标进行图像特征过滤，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。
56.其中，预设holenet网络模型用于提取双目颅骨孔洞图像的底层图像特征，并对底层图像特征进行学习和预测，基于学习所得的每个孔洞的圆心局部特征和预测所得的每个孔洞内含的圆心坐标，确定多个孔洞的多组预测双目二维圆心坐标。
57.具体的，由于双目颅骨孔洞图像包括左目颅骨孔洞图像和右目颅骨孔洞图像，并且左目颅骨孔洞图像和右目颅骨孔洞图像中分布的孔洞数量相同且一一对应，因此为了提高颅骨孔洞姿态估计的准确性，本发明可以使用预先训练所得的预设holenet网络模型精准预测双目颅骨孔洞图像中每个孔洞所含圆心点的二维坐标，从而输出多个孔洞的多组预测双目二维圆心坐标，多组预测双目二维圆心坐标中每组预测双目二维圆心坐标对应一个孔洞且包括至少一个预测左目二维圆心坐标和至少一个预测右目二维圆心坐标，也即左目颅骨孔洞图像中的每个孔洞至少分布一个预测左目二维圆心坐标并且右目颅骨孔洞图像中的每个孔洞至少分布一个预测右目二维圆心坐标。
58.此外，预设holenet网络模型中含有训练好的resnet网络、训练好的圆心卷积核和训练好的head1网络的网络模型，当双目颅骨孔洞图像输入至预设holenet网络模型中时，使用训练好的resnet网络提取双目颅骨孔洞图像的底层图像特征，使用训练好的圆心卷积核对底层图像特征进行学习且学习结果为每个孔洞的圆心局部特征，使用训练好的head1网络对圆心局部特征进行颅骨孔洞边框圆心预测且预测结果为每个孔洞边框的预测圆心坐标，然后基于圆心局部特征和预设的偏移量计算方法确定圆心偏移量，并将预测圆心坐标和圆心偏移量相加所得结果，确定为对应孔洞的一组预测二维圆心坐标。以此得到多个孔洞的多组预测双目二维圆心坐标。
59.由于经过预设holenet网络模型的学习和预测处理，虽然可以提高处理速率和精确度，但是学习和预测处理过程中也不可避免的会受到噪声干扰，因此针对预设holenet网络模型输出的多个孔洞的多组预测双目二维圆心坐标，首先使用几何过滤器进行几何过滤，将左目颅骨孔洞图像和右目颅骨孔洞图像中每个孔洞含有的噪声圆心点均过滤掉，以此实现对双目颅骨孔洞图像中多个孔洞所含的圆心点进行初步匹配的目的，从而确定初匹配的多组双目二维圆心坐标；再通过使用图像特征过滤器，对初匹配的多组双目二维圆心坐标再次进行图像特征过滤，也即对初匹配的多组双目二维圆心坐标中每个二维圆心坐标
的特征相似度，并将初匹配的多组双目二维圆心坐标中特征相似度达到预设相似度要求的双目二维圆心坐标确定为双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，以此实现对初匹配的多组双目二维圆心坐标进行精细匹配的目的。
60.需要说明的是，当经过几何过滤和图像特征过滤后保留的目标双目二维圆心坐标的数量少于2个，则可以通过轻微移动双目相机位姿的方式，实现改变视野寻找到更多的孔洞或者从更好的视角拍摄孔洞的目的，检索计算误差；也可以改变光源亮度的方式增强检测孔洞的能力，从而实现增加目标双目二维圆心坐标为至少3个的目的。
61.本发明实施例提供的颅骨孔洞姿态估计方法，终端设备针对双目颅骨孔洞图像，通过使用预设holenet网络模型、几何过滤器和图像特征过滤器的方式，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标双目本，以此结合网络模型学习预测以及不同过滤方式提高了获取多组目标双目二维圆心坐标的准确性和可靠性。
62.可选的，在多组预测双目二维圆心坐标包括左目颅骨孔洞图像的多个孔洞中分布的多个预测左目二维圆心坐标和右目颅骨孔洞图像的多个孔洞中分布的多个预测右目二维圆心坐标的情况下，对多组预测双目二维圆心坐标进行几何过滤，确定初匹配的多组双目二维圆心坐标，其实现过程可以包括：
63.首先，确定多个预测左目二维圆心坐标中预测左目二维圆心坐标对应右目颅骨孔洞图像中的第一极线；再将多个预测右目二维圆心坐标中与第一极线之间的距离超过第一预设距离阈值的预测右目二维圆心坐标删除，确定多个目标预测右目二维圆心坐标；然后，确定多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应所述左目颅骨孔洞图像中的第二极线；再进一步将多个预测左目二维圆心坐标中与第二极线之间的距离超过第二预设距离阈值的预测左目二维圆心坐标删除，确定多个目标预测左目二维圆心坐标；最后，基于多个目标预测右目二维圆心坐标和多个目标预测左目二维圆心坐标，确定初匹配的多组双目二维圆心坐标。
64.具体的，基于张正友标定法，可以确定多个预测左目二维圆心坐标中预测左目二维圆心坐标的齐次坐标对应右目颅骨孔洞图像中的第一极线，第一极线也可以认为是预测左目二维圆心坐标的投影在右目颅骨孔洞图像中形成的一条线，然后判断每个预测右目二维圆心坐标与第一极线之间的距离是否超过第一预设距离阈值，并将多个预测右目二维圆心坐标中超过第一预设距离阈值的预测右目二维圆心坐标过滤掉，保留并确定未超过第一预设距离阈值的剩余预测右目二维圆心坐标为多个目标预测右目二维圆心坐标；同样的，也可以确定多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标的齐次坐标对应左目颅骨孔洞图像中的第二极线，然后判断每个预测左目二维圆心坐标与第二极线之间的距离是否超过第二预设距离阈值，并将多个预测左目二维圆心坐标中超过第二预设距离阈值的预测左目二维圆心坐标过滤掉，保留并确定未超过第二预设距离阈值的剩余预测左目二维圆心坐标为多个目标预测左目二维圆心坐标，然后确定多个目标预测左目二维圆心坐标和多个目标预测右目二维圆心坐标为针对多组预测双目二维圆心坐标进行几何过滤后所得的初匹配的多组双目二维圆心坐标，也即对多组预测双目二维圆心坐标进行了初次匹配。可选的，第一预设距离阈值和第二预设距离阈值可以均为0.5。
65.本发明实施例提供的颅骨孔洞姿态估计方法，终端设备通过将多个预测右目二维圆心坐标中偏离第一极线远的预测右目二维圆心坐标过滤，以及将多个预测左目二维圆心
坐标中偏离第二极线远的预测左目二维圆心坐标过滤的方式，实现对多组预测双目二维圆心坐标进行几何过滤的目的，以此结合极线几何和张正友标记法能够有效提高初步匹配的精确性和可靠性。
66.可选的，对初匹配的多组双目二维圆心坐标进行图像特征过滤，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标，其实现过程可以包括
67.首先，基于初匹配的多组双目二维圆心坐标对底层图像特征进行特征采集，确定多组图像特征；再进一步确定每组图像特征的余弦相似度；然后，基于余弦相似度与预设余弦相似度阈值的比较结果，对初匹配的多组双目二维圆心坐标进行精细过滤，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。
68.具体的，由于几何过滤无法过滤到第一极线和第二极线上所含的噪声圆心点，因此可以考虑通过比对初匹配的多组双目二维圆心坐标的图像特征相似度进行图像特征过滤的方式实现精细过滤，基于此，可以使用初匹配的多组双目二维圆心坐标的位置在预设holenet网络模型提取的底层图像特征上对应采集图像特征，从而确定多组图像特征，每组图像特征对应初匹配的一组双目二维圆心坐标；然后确定每组图像特征的余弦相似度，设定其中一组图像特征为l1和l2，则该组图像特征的余弦相似度为cos(∠l1，l2)，∠l1，l2表示l1和l2的夹角，当∠l1，l2的值为0
°
时，l1和l2的余弦相似度为1；当∠l1，l2的值为90
°
时，l1和l2的余弦相似度为0。此时，将每组图像特征的余弦相似度与预设余弦相似度阈值进行比较，并保留且确定超过预设余弦相似度阈值的余弦相似度所对应的双目二维圆心坐标为双目颅骨孔洞图像的目标双目二维圆心坐标。以此确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。从而完成了针对初匹配的多组双目二维圆心坐标进行精细匹配的目的。
69.本发明实施例提供的颅骨孔洞姿态估计方法，终端设备通过基于初匹配的多组双目二维圆心坐标在底层图像特征上对应采集图像特征的方式，确定多组图像特征，并基于每组图像特征的余弦相似度与预设余弦相似度阈值的比较结果，对初匹配的多组双目二维圆心坐标进行精细过滤，以此结合网络模型提取的底层图像特征对应采集图像特征以及图像特征相似度对比方法，有效提高了针对初匹配的多组双目二维圆心坐标进行精细过滤的可靠性和准确性，从而为后续颅骨孔洞姿态估计的准确性奠定基础。
70.可选的，预设holenet网络模型的训练过程，可以包括：
71.首先，确定样本颅骨孔洞图像以及初始holenet网络模型，初始holenet网络模型具备底层特征提取功能、颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能；然后，使用样本颅骨孔洞图像对初始holenet网络模型进行训练，确定预设holenet网络模型。
72.具体的，样本颅骨孔洞图像可以通过针对样本待测对象拍摄双目图像的方式确定，样本待测对象可以是人也可以是动物，样本颅骨孔洞图像的数量为多个；初始holenet网络模型可以为含有resnet网络、圆心卷积核和head1网络的网络模型，resnet网络用于提取底层特征，圆心卷积核用于学习颅骨孔洞特征，head1网络用于预测颅骨孔洞边框圆心。基于此，使用样本颅骨孔洞图像对初始holenet网络模型进行多次训练，针对每次训练，使用resnet网络提取单个样本颅骨孔洞图像的样本底层图像特征，使用圆心卷积核对样本底层图像特征进行学习且学习结果为每个孔洞的样本圆心局部特征，使用head1网络对样本圆心局部特征进行颅骨孔洞边框圆心预测且预测结果为每个孔洞边框的样本预测圆心坐
标，然后基于样本圆心局部特征和预设的偏移量计算方法确定样本圆心偏移量，并将样本预测圆心坐标和样本圆心偏移量相加所得结果，确定为对应孔洞的样本预测二维圆心坐标，至此完成针对单个样本颅骨孔洞图像的一次训练，并且以此训练方式对初始holenet网络模型进行预设次数的训练，确定预设次数的训练后的中间holenet网络模型，判断该中间holenet网络模型的损失值是否达到预设损失阈值，若该中间holenet网络模型的损失值达到预设损失阈值，则停止训练，并将训练停止时对应的holenet网络模型确定为预设holenet网络模型；反之，若该中间holenet网络模型的损失值未达到预设损失阈值，则继续训练，直至满足训练停止条件。
73.需要说明的是，训练停止条件可以通过训练后所得中间holenet网络模型的损失值达到预设损失阈值确定，也可以通过当前训练后的累计训练次数达到预设训练次数时确定。此处不作具体限定。
74.本发明实施例提供的颅骨孔洞姿态估计方法，终端设备通过使用样本颅骨孔洞图像对含有底层特征提取功能、颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能的初始holenet网络模型进行训练的方式，确定训练至收敛且精度最高时所得的预设holenet网络模型，提高了模型训练的精准性和可靠性，从而也进一步提高了颅骨孔洞姿态估计的准确性。
75.可选的，步骤120的具体实现过程可以包括：
76.获取双目相机的相机内外参数；基于相机内外参数和多组目标双目二维圆心坐标，确定每组目标双目二维圆心坐标的目标三维圆心坐标；基于目标三维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。
77.具体的，利用双目相机拍摄棋盘格标定板，确定双目棋盘格图像，并使用opencv库识别双目棋盘格图像，确定2n个关键格点的3维坐标，n为大于1的正整数；然后使用张正友标定法，将每个3维坐标中z轴坐标值置0，从而对应得到简化的3维空间至2维空间的投影转换关系如下式所示。
[0078][0079]
其中，[x y 1]表示每个关键格点的2维空间坐标，[x y 0 1]表示对应关键格点的3维空间坐标，k表示双目相机的内参矩阵，r表示双目相机的外参旋转矩阵，t表示双目相机的外参平移向量。由于每个关键格点的2维空间坐标和3维空间坐标均是已知的，因此当拍摄且识别到的关键格点充足时，可以通过构建线性方程且求解线性方程最优解的方式确定双目相机的相机内外参数，双目相机的相机内外参数包括双目相机的内参矩阵k、双目相机的外参旋转矩阵r和双目相机的外参平移向量t。并且，针对双目相机，可以确定左相机的内参矩阵为k1、右相机的内参矩阵为k2，以左相机坐标系为参考坐标系，基于此，设定左目颅骨孔洞图像中第j个孔洞的目标左目二维圆心坐标的齐次话二维图像坐标为x1，对应右目颅骨孔洞图像中第j个孔洞的目标右目二维圆心坐标的齐次化坐标为x2，则当左目颅骨孔洞图像和右目颅骨孔洞图像中第j个孔洞的目标三维圆心坐标为x时，将x投影到左目颅骨
孔洞图像和右目颅骨孔洞图像上时满足下述方程组：
[0080]
d1x1＝k1x
[0081]
d2x2＝k2[r|t]x
[0082]
其中，d1表示第j个孔洞在左相机坐标系下的深度值，d2表示第j个孔洞在右相机坐标系下的深度值。通过利用最下二乘法求解上述方程组，从而确定两个深度值d1和d2。进而计算参考相机坐标系下第j个孔洞的目标三维圆心坐标以此方式计算得到m个孔洞的目标三维圆心坐标，j＝1、2、
……
、m，m为双目颅骨孔洞图像中孔洞的数量。
[0083]
此时再基于每个孔洞的目标三维圆心坐标，计算每个孔洞距离参考相机的距离值，确定m个距离值，然后计算每个距离值的平均值u和标准差s，最后将m个距离值中满足[u-s，u+s]范围内的孔洞确定为目标孔洞，且确定目标孔洞的数量为n个，n小于m；针对n个目标孔洞遍历所有含有3个及3个以上目标孔洞的组合，均可确定为3个以上不共线的目标孔洞，进而确定3个及3个以上不共线的目标孔洞的多个目标三维圆心坐标。
[0084]
本发明实施例提供的颅骨孔洞姿态估计方法，终端设备基于双目相机的相机内外参数和多组目标双目二维圆心坐标，确定多个不共线的目标孔洞的多个目标三维圆心坐标，提高了确定目标三维圆心坐标的可靠准确性和有效稳定性。
[0085]
可选的，步骤130的具体实现过程可以包括：
[0086]
首先，基于多个目标三维圆心坐标，确定颅骨孔洞图像中多个不共线的目标孔洞所在平面的目标平面方程；再进一步确定目标平面方程的法线向量；然后，基于法线向量，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0087]
具体的，基于3个及3个以上不共线的目标孔洞的目标三维圆心坐标，可以拟合3个及3个以上不共线的目标孔洞所在平面的目标平面方程为ax+by+cz+d＝0，并确定目标平面方程的法线向量为(a,b,c)，法线向量也即目标孔洞插入方向，目标孔洞的圆心即为参考相机坐标系下对应孔洞的目标三维圆心坐标。因此，可以确定目标平面方程的法线向量即为双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0088]
需要说明的是，针对n个目标孔洞遍历所有含有3个及3个以上目标孔洞的组合，每个组合均可拟合目标平面方程，并且也能得到每个目标平面方程的法线向量，也即所需插入孔洞的方向。
[0089]
比如，针对4个目标孔洞abcd，可以组合为abc、abd、bcd和acd这4种组合，当a含有噪声时会造成abc、abd和acd平面计算有误，因此abc、abd和acd的法线向量都不在计算范围内，从而4个目标孔洞abcd都会被过滤掉；亦比如，当目标孔洞的数量增多为5个时，也即abcde，当a含有噪声时，abc、acd、ace和ade也不在保留范围内，由于abc、acd、ace和ade的交集是a，因此a被去除后，将剩余的目标孔洞bcde拟合目标平面方程，从而得到法线向量。
[0090]
本发明实施例提供的颅骨孔洞姿态估计方法，终端设备通过拟合多个不共线的目标孔洞的多个目标三维圆心坐标为平面的方式，确定目标平面方程及目标平面方程的法线向量，进而确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值，以此通过拟合孔洞圆心而非拟合整个圆心的边界的方式以及求解拟合所得平面方程的方式能够有效提高颅骨孔洞姿态估计的效率，以及提高估计颅骨孔洞姿态的自动化性能，同时针对场景的变换也具有更强的鲁棒性。
[0091]
下面对本发明实施例提供的颅骨孔洞姿态估计装置进行描述，下文描述的颅骨孔
洞姿态估计装置与上文描述的颅骨孔洞姿态估计方法可相互对应参照。
[0092]
图2为本发明实施例提供的颅骨孔洞姿态估计装置的结构示意图，如图2所示，该颅骨孔洞姿态估计装置200，包括：
[0093]
获取模块210，用于获取双目颅骨孔洞图像的多组目标双目二维圆心坐标；
[0094]
确定模块220，用于基于多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标；
[0095]
姿态估计模块230，用于基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0096]
可选的，获取模块210，具体可以用于将双目颅骨孔洞图像输入到预设holenet网络模型中，得到预设holenet网络模型输出的多个孔洞的多组预测双目二维圆心坐标；对多组预测双目二维圆心坐标进行几何过滤，确定初匹配的多组双目二维圆心坐标；对初匹配的多组双目二维圆心坐标进行图像特征过滤，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；其中，预设holenet网络模型用于提取双目颅骨孔洞图像的底层图像特征，并对底层图像特征进行学习和预测，基于学习所得的每个孔洞的圆心局部特征和预测所得的每个孔洞内含的圆心坐标，确定多个孔洞的多组预测双目二维圆心坐标。
[0097]
可选的，确定模块220，具体可以用于确定多个预测左目二维圆心坐标中预测左目二维圆心坐标对应右目颅骨孔洞图像中的第一极线；将多个预测右目二维圆心坐标中与第一极线之间的距离超过第一预设距离阈值的预测右目二维圆心坐标删除，确定多个目标预测右目二维圆心坐标；确定多个目标预测右目二维圆心坐标中目标预测右目二维圆心坐标对应左目颅骨孔洞图像中的第二极线；将多个预测左目二维圆心坐标中与第二极线之间的距离超过第二预设距离阈值的预测左目二维圆心坐标删除，确定多个目标预测左目二维圆心坐标；基于多个目标预测右目二维圆心坐标和多个目标预测左目二维圆心坐标，确定初匹配的多组双目二维圆心坐标。
[0098]
可选的，确定模块220，具体还可以用于基于初匹配的多组双目二维圆心坐标对底层图像特征进行特征采集，确定多组图像特征；确定每组图像特征的余弦相似度；基于余弦相似度与预设余弦相似度阈值的比较结果，对初匹配的多组双目二维圆心坐标进行精细过滤，确定双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标。
[0099]
可选的，本发明装置还可以包括训练模块，用于确定样本颅骨孔洞图像以及初始holenet网络模型，初始holenet网络模型具备底层特征提取功能、颅骨孔洞特征学习功能和颅骨孔洞圆心坐标预测功能；使用样本颅骨孔洞图像对初始holenet网络模型进行训练，确定预设holenet网络模型。
[0100]
可选的，确定模块220，具体还可以用于获取双目相机的相机内外参数；基于相机内外参数和多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标。
[0101]
可选的，确定模块220，具体还可以用于基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞所在平面的目标平面方程；确定目标平面方程的法线向量；基于法线向量，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0102]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备300可以包括：处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)
330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行颅骨孔洞姿态估计方法，该方法包括：
[0103]
获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；
[0104]
基于多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标；
[0105]
基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0106]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0107]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的颅骨孔洞姿态估计方法，该方法包括：
[0108]
获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；
[0109]
基于多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标；
[0110]
基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0111]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的颅骨孔洞姿态估计方法，该方法包括：
[0112]
获取双目颅骨孔洞图像中多个孔洞的多组目标双目二维圆心坐标；
[0113]
基于多组目标双目二维圆心坐标，确定双目颅骨孔洞图像中多个不共线的目标孔洞的多个目标三维圆心坐标；
[0114]
基于多个目标三维圆心坐标，确定双目颅骨孔洞图像中多个孔洞的法向姿态角估计值。
[0115]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0116]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0117]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。