标记点的顺序识别方法、手术机器人系统和存储介质与流程

1.本技术涉及医学影像处理技术领域，特别是涉及标记点的顺序识别方法、手术机器人系统和存储介质。


背景技术：

2.c型臂x光机广泛应用于骨科手术机器人系统，用于获取术中髋关节的实时x光影像，为了实现精准的术中实时导航，需要将图1所示的标定靶与患者一起暴露在c型臂x光机的成像视野范围内，用于获取包含标定靶和标记小球的x光影像，然后进行相机标定。标定过程需要将x光影像中标记点的坐标进行排序，所以基于x光影像的标记点顺序识别算法对于整个骨科术中导航系统至关重要。然而在术中拍摄x光影像的过程中，由于标定靶在c型臂x光机的成像视野内是任意姿态的，往往会存在标记点被骨组织遮挡，位于界外等一些复杂情况，导致标定不够准确。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供标记点的顺序识别方法、手术机器人系统和存储介质，能够重建被遮挡的标记点，以及剔除位于影像界外的标记点。
4.第一方面，本技术提供了一种标记点的顺序识别方法。所述方法包括：
5.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
6.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
7.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
8.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
9.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
10.在其中一个实施例中，所述任一标记点集包括多个标记点；所述基于所述任一标记点集构建所述任一标记点集对应的坐标系，包括：
11.在所述任一标记点集中确定每个标记点的最邻近标记点，并基于每个标记点的最邻近标记点，在所述任一标记点集中，选取坐标系原点和多个基准点；
12.根据在所述任一标记点集中选取的坐标系原点和多个基准点，构建所述任一标记点集对应的坐标系。
13.在其中一个实施例中，所述任一标记点集对应的映射点集至少包括：映射原点和多个映射基准点，其中，所述映射原点是所述坐标系原点映射至所述坐标系后得到的点，所述映射基准点是所述基准点映射至所述坐标系后得到的点；所述基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，包括：
14.基于所述任一标记点集对应的坐标系和映射点集，确定所述映射点集中的伪点；
15.剔除所述映射点集中的伪点和所述多个映射基准点，得到候选点集；
16.基于所述候选点集确定所述任一标记点集对应的重建点集。
17.在其中一个实施例中，所述基于所述任一标记点集对应的坐标系和映射点集，确定所述映射点集中的伪点，包括：
18.对于所述任一标记点集对应的映射点集中的任一映射点，基于所述映射点集确定多条连线，若所述多条连线中不存在与所述坐标系的两个方向轴分别平行的两条连线，则确定所述任一映射点为伪点，其中，每条连线均包括所述任一映射点。
19.在其中一个实施例中，所述基于所述候选点集确定所述任一标记点集对应的重建点集，包括：
20.对所述候选点集进行聚类处理，得到行方向步长和列方向步长；
21.根据所述映射原点、所述行方向步长和所述列方向步长，重建所述任一标记点集对应的坐标系下的参考点集；
22.将所述参考点集转换至所述二维影像的影像坐标系下，得到所述任一标记点集对应的重建点集。
23.在其中一个实施例中，所述基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，包括：
24.按照所述任一标记点集对应的预设顺序，对所述任一标记点集对应的重建点集进行标号，得到所述任一标记点集对应的多个标号后的重建点；
25.在所述多个标号后的重建点中，选取处于所述二维影像中的多个目标标记点。
26.在其中一个实施例中，所述多个标定点包括多个第一预设标定点和多个第二预设标定点，所述标定靶包括相互平行的第一靶面和第二靶面，所述第一靶面上设置有多个第一预设标定点，所述第二靶面上设置有多个第二预设标定点，所述第一预设标定点的半径与所述第二预设标定点的半径不同，所述多个第一预设标定点中包括第一预设原点和多个第一预设基准点，所述多个第二预设标定点中包括第二预设原点和多个第二预设基准点。
27.在其中一个实施例中，所述检测所述二维影像中的标记点，得到多个标记点集，包括：
28.确定所述二维影像的分割掩膜，并基于所述分割掩膜检测标记点，得到初始标记点集；
29.基于预设半径区间将所述初始标点集划分为第一标记点集和第二标记点集，其中，所述第一标记点集中第一标记点的半径，与所述第二标记点集中第二标记点的半径不同。
30.第二方面，本技术还提供了一种手术机器人系统。所述系统包括：
31.二维影像获取设备和处理器；
32.所述二维影像获取设备，用于获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
33.所述处理器，用于检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到
所述任一标记点集对应的映射点集；基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
34.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
35.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
36.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
37.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
38.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
39.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
40.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
42.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
43.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
44.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
45.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
46.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
47.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
48.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
49.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
50.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
51.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
52.上述标记点的顺序识别方法中，标定靶包括多个靶面，每个靶面上包括多个标定点，获取拍摄标定靶和目标对象得到的二维影像，检测二维影像中的标记点，得到多个标记
点集，多个标记点集与多个靶面一一对应，根据靶面对应的标记点集确定该靶面上多个标定点的坐标系，将该标记点集映射到该坐标系下，得到映射点集，根据该映射点集中多个映射点的坐标值和该坐标系，重建得到影像坐标系下的重建点集，重建点集包括的多个重建点与该靶面上的多个标定点一一对应；重建点集中包括未检测到的标记点，根据重建点集确定处于二维影像内的所有目标标记点，以及每个目标标记点的顺序；根据上述标记点的顺序识别方法可以重建未检测到的标记点，并且剔除二维影像界外的标记点，进而检测出二维影像内的所有标记点，提高了标记点顺序检测的准确度。
附图说明
53.图1为一个实施例中标记点的顺序识别方法的应用环境图；
54.图2为一个实施例中标记点的顺序识别方法的流程示意图；
55.图3为一个实施例中标定靶的示意图；
56.图4为一个实施例中第一靶面上多个第一预设标定点的示意图；
57.图5为一个实施例中第二靶面上多个第二预设标定点的示意图；
58.图6为一个实施例中处理器获取的二维影像的示意图；
59.图7为图6的分割掩膜；
60.图8为一个实施例中第一坐标系的示意图；
61.图9为一个实施例中第二坐标系的示意图；
62.图10为一个实施例根据二维影像检测出的标记点包括伪点的示意图；
63.图11为一个实施例中，根据标记点的顺序识别方法，确定位于图10所示的二维影像内的所有目标标记点，以及每个目标标记点的标号的示意图；
64.图12为一个实施例中计算机设备的内部结构图。
具体实施方式
65.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
66.本技术实施例提供的一种标记点的顺序识别方法，可以应用于如图1所示的手术机器人系统，手术机器人系统用于在手术中实时导航，在实时手术导航的过程中需要用到相机标定算法，相机标定算法的精度会影响实时手术导航的精度；手术机器人系统包括：二维影像设备102和处理器104；目标对象处于手术床上，调整二维影像设备102的位姿，使得二维影像设备102可以拍摄到目标对象的病灶，将标定靶放置在二维影像设备102的相机和目标对象之间，通过二维影像设备102拍摄得到包含标定靶和目标对象的病灶的二维影像，处理器104获取二维影像，确定二维影像中的所有目标标记点，以及每个目标标记点的标号，得到所有标号后的目标标记点，用于在实时手术导航过程中进行相机标定。所述处理器104可以是个人计算机、笔记本电脑、智能手机、平板电脑等。
67.在一个实施例中，如图2所示，提供了一种标记点的顺序识别方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：
68.s101、获取拍摄标定靶和目标对象得到的二维影像。
69.其中，标定靶包括多个靶面，多个靶面包括至少两个靶面，靶面上开设有通孔，通孔用于安装多个标定点，标定点可以是金属标记小球；目标对象为人体；二维影像是二维影像设备拍摄标定靶和目标对象得到的，二维影像设备可以是c型臂x光机、直接数字化x射线影像(direct digit radiography，ddr)等。
70.具体地，在标定靶位于目标对象和二维影像设备的摄像头之间的情况下，二维影像设备拍摄标定靶和目标对象，得到二维影像；在保证标定靶的靶面与二维影像的成像面平行的条件下，可以将标定靶以任意姿态放置在目标对象和二维影像设备的摄像头之间。处理器可以从二维影像设备的存储器中获取二维影像，也可以从二维影像设备中实时地获取二维影像。
71.s102、检测所述二维影像中的标记点，得到多个标记点集。
72.具体地，标记点是标定靶上的标定点在二维影像中成像得到的点；处理器确定二维影像的分割掩膜，采用现有的圆形检测算法检测分割掩膜，得到多个标记点，并将多个标记点划分为多个标记点集。
73.多个标记点集与标定靶的多个靶面一一对应，不同靶面上的标定点的半径不同，进而不同靶面上的标定点在二维影像中成像得到的标记点的半径也不同，可以根据多个标记点的半径，将检测得到的多个标记点划分为多个标记点集。多个标记点集包括至少两个标记点集。
74.由于标定靶以任意姿态放置在目标对象和二维影像设备的摄像头之间，可能存在部分标定点与人体组织、体内医疗器械重叠，无法在二维影像中成像，还可能存在部分标定点不在二维影像设备的视野范围内，无法在二维影像中成像，以及可能存在部分标定点已经在二维影像中成像，但是未能检测出来，以上无法在二维影像中成像，或虽已成像但未能检测出来的点，都可视作在二维影像中未检测到的标记点，通过以下步骤重建无法在二维影像中检测到的所有标记点，并且确定处于二维影像内的多个目标标记点，以及每个目标标记点的标号。
75.s103、对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集。
76.具体地，处理器在任一标记点集中确定用于构建坐标系的坐标系原点，以及多个基准点，根据确定的坐标系原点和多个基准点构建任一标记点集对应的坐标系，确定该坐标系和二维影像的影像坐标系之间的映射矩阵，根据确定的映射矩阵，将任一标记点集映射至该坐标系，得到任一标记点对应的映射点集。
77.s104、基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集。
78.具体地，在映射点集中剔除多个基准点对应的映射点，根据映射点集中的多个剩余映射点，获取行方向上相邻的两个剩余映射点之间的行距离，得到多个行距离，获取列方向上相邻的两个剩余映射点之间的列距离，得到多个列距离，根据多个行距离确定行方向步长，根据多个列距离确定列方向步长，根据坐标系原点、行方向步长和列方向步长，确定任一标记点集在影像坐标系下对应的重建点集。任一标记点集对应的重建点集包括的多个重建点，与任一标记点集对应的靶面上的多个标定点一一对应。
79.重建点集中包括未检测到的标记点，也就是说，包括由于标定点与人体组织、体内
医疗器械重叠，以及标定点不在二维影像设备的视野范围内，而未能二维影像中成像，以及标定点已经在二维影像中成像，但是未能检测出来的标记点。
80.s105、基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号。
81.其中，多个目标标记点均处于二维影像内，目标标记点的标号用于反映目标标记点的顺序。
82.具体地，按照任一标记点集对应的预设顺序，对任一标记点集对应的重建点集进行标号，在标号后的重建点集中选取处于二维影像内的重建点，将选取的重建点作为目标标记点。由于是先对重建点集进行标号，再将标号后的重建点集中处于二维影像内的重建点作为目标标记点，因此目标标记点的标号是根据任一标记点集的预设顺序确定的，不会因为处于二维影像界外的其他重建点改变。
83.上述标记点的顺序识别方法中，标定靶包括多个靶面，每个靶面上包括多个标定点，获取拍摄标定靶和目标对象得到的二维影像，检测二维影像中的标记点，得到多个标记点集，多个标记点集与多个靶面一一对应，根据靶面对应的标记点集确定该靶面上多个标定点的坐标系，将该标记点集映射到该坐标系下，得到映射点集，根据该映射点集中多个映射点的坐标值和该坐标系，重建得到影像坐标系下的重建点集，重建点集包括的多个重建点与该靶面上的多个标定点一一对应；重建点集中包括未检测到的标记点，根据重建点集确定处于二维影像内的所有目标标记点，以及每个目标标记点的顺序；根据上述标记点的顺序识别方法可以重建未检测到的标记点，并且剔除二维影像界外的标记点，进而检测出二维影像内的所有标记点，提高了标记点顺序检测的准确度。
84.在一个实施例中，示例性地，如图3所示，标定靶包括第一靶面b1和第二靶面b2，多个标定点包括多个第一预设标定点和多个第二预设标定点，第一靶面b1上设置有多个第一预设标定点，第二靶面b2上设置有多个第二预设标定点，第一预设标定点的半径与第二预设标定点的半径不同，多个第一预设标定点中包括第一预设原点和多个第一预设基准点，多个第二预设标定点中包括第二预设原点和多个第二预设基准点。
85.其中，第一预设原点和多个第一预设基准点用于构建第一坐标系，第二预设原点和多个第二预设基准点用于构建第二坐标系。
86.为了便于说明，将多个第一预设标定点中除了多个第一预设基准点以外的标定点，记为第一普通标定点(包括第一预设原点)，将多个第二预设标定点中除了多个第二预设基准点以为的标定点，记为第二普通标定点(包括第二预设原点)。
87.多个第一普通标定点在第一靶面上，按照预设的第一行距离和第一列距离间隔设置，并呈矩阵分布，第一行距离和第一列距离可以相同；多个第二普通标定点在第二靶面上，按照预设的第二行距离和第二列距离间隔设置，并呈矩阵分布，第二行距离和第二列距离可以相同，第二行距离和第一行距离也可以相同，第二列距离和第一列距离也可以相同。
88.在第一预设原点的第一轴向和第二轴向上分别设置若干第一预设基准点，第一轴向和第二轴向正交，可以设定第一轴向上设置的若干第一预设基准点的数量，大于第二轴向上设置的若干第一预设基准点的数量；在第一预设原点的第一轴向上设置的若干第一预设基准点，处于第一预设原点，和与第一预设原点在第一轴向上邻近的第一普通标定点之间，也就是说，第一轴向上任意两个第一预设基准点之间的距离，小于相邻的任意两个第一
普通标定点之间的距离(第一行距离或者第一列距离)；在第一预设原点的第二轴向上设置的若干第一预设基准点，处于第一预设原点，和与第一预设原点在第二轴向上邻近的第一普通标定点之间，也就是说，第二轴向上任意两个第一预设基准点之间的距离，小于相邻的任意两个第一普通标定点之间的距离(第一行距离或者第一列距离)。
89.在第二预设原点的第三轴向和第四轴向上分别设置若干第二预设基准点，第三轴向和第四轴向正交，可以设定第三轴向上设置的若干第二预设基准点的数量，大于第四轴向上设置的若干第二预设基准点的数量；在第二预设原点的第三轴向上设置的若干第二预设基准点，处于第二预设原点，和与第二预设原点在第三轴向上邻近的第二普通标定点之间，也就是说，第三轴向上任意两个第二预设基准点之间的距离，小于相邻的任意两个第二普通标定点之间的距离(第二行距离或者第二列距离)；在第二预设原点的第四轴向上设置的若干第二预设基准点，处于第二预设原点，和与第二预设原点在第四轴向上邻近的第二普通标定点之间，也就是说，第四轴向上任意两个第二预设基准点之间的距离，小于相邻的任意两个第二普通标定点之间的距离(第二行距离或者第二列距离)。
90.第一靶面上的多个第一普通标定点按照第一预设顺序进行标号，第二靶面上的多个第二普通标定点按照第二预设顺序进行标号。
91.示例性地，如图4所示，第一靶面上设置有30个第一预设标定点(图4中的圆圈)，30个第一预设标定点中包括1个第一预设原点和5个第一预设基准点；如图4所示，第一靶面上的25个第一普通标定点呈5行5列的矩阵分布，按照第一预设顺序对25个第一普通标定点进行标号，第一预设顺序用于反映标号为1至25的第一普通标定点的顺序。
92.示例性地，如图5所示，第二靶面上设置有21个第二预设标定点(图5中的圆点)；21个第一预设标定点中包括1个第二预设原点和5个第二预设基准点；如图5所示，第二靶面上的16个第二普通标定点呈4行4列的矩阵分布，按照第二预设顺序对16个第二普通标定点进行标号，第二预设顺序用于反映标号为1至16的第二普通标定点的顺序。
93.可以理解的是，上述示例只是一种可能的方式，第一靶面上的第一预设标定点的数量、第一预设基准点的数量、第一预设原点的位置，第一预设基准点的位置、第一预设顺序、第二靶面上的第二预设标定点的数量、第二预设基准点的数量、第二预设原点的位置，第二预设基准点的位置以及第二预设顺序均可以根据实际需求进行调整。
94.在一个实施例中，在标定靶包括第一靶面和第二靶面的情况下，s102包括：
95.s211、确定所述二维影像的分割掩膜，并基于所述分割掩膜检测标记点，得到初始标记点集。
96.具体地，二维影像是x射线透过处于二维影像设备的视野范围的人体组织、体内医疗器械、标定靶等物体，根据透过物体吸收x射线的程度不同，将三维空间的物体投影叠加到成像面上得到的，由此可知，二维影像的成像环境非常复杂，若将标记点作为二维影像的前景，则标记点受到背景噪声的干扰较为严重，二维影像不同区域的灰度差异较大，因此，本实施例中，处理器采用局部阈值分割方法确定二维影像的分割掩膜，以滤除二维影像中的背景噪声；采用现有的圆形检测算法检测分割掩膜，得到多个标记点，初始标记点集包括检测得到的多个标记点。
97.需要说明的是，由于可能存在部分标定点与人体组织、体内医疗器械重叠，无法在二维影像中成像，还可能存在部分标定点不在二维影像设备的视野范围内，无法在二维影
像中成像，以及可能存在标定点已经在二维影像中成像，但是未能检测出来，因此检测得到多个标记点，可能对应于标定靶上设置的部分标定点，并非全部标定点。
98.示例性地，处理器获取的二维影像如图6所示，采用局部阈值分割方法，确定该二维影像的分割掩膜，分割掩膜如图7所示。
99.s212、基于预设半径区间将所述初始标点集划分为第一标记点集和第二标记点集。
100.其中，所述第一标记点集中第一标记点的半径，与所述第二标记点集中第二标记点的半径不同。
101.具体地，标定靶的第一靶面上设置的标定点(第一预设标定点)的半径，与第二靶面上设置的标定点的半径不同，因此第一靶面上设置的标定点在二维影像中成像的标记点，与第二靶面上设置的标定点(第二预设标定点)在二维影像中成像的标记点的半径不同；从如图6所示的二维影像，以及如图7所示的分割掩膜中，均可以看出存在半径不同的标记点，比如，图6中标记点r1的半径大于标记点r2的半径。
102.处理器获取初始标记点集中每个标记点的半径，将半径处于预设半径区间内的标记点作为第一标记点，将半径不处于预设半径区间内的标记点作为第二标记点；所述预设半径区间，可以根据第一靶面上设置的标定点的半径，以及第二靶面上设置的标定点的半径确定。
103.在一个实施例中，s103中，基于所述任一标记点集构建所述任一标记点集对应的坐标系，包括：
104.s311、在所述任一标记点集中确定每个标记点的最邻近标记点，并基于每个标记点的最邻近标记点，在所述任一标记点集中，选取坐标系原点和多个基准点。
105.具体地，在标定靶包括第一靶面和第二靶面的情况下，任一标记点集可以是第一标记点集，也可以是第二标记点集；在第一标记点集中选取第一坐标系原点和多个第一基准点，在第二标记点集中选取第二坐标系原点和多个第二基准点。
106.在第一标记点集中确定每个第一标记点的最邻近标记点，获取每个第一标记点与其最邻近标记点之间的距离，若任一第一标记点与其最邻近标记点之间的距离处于第一区间内，则将该任一第一标记点作为第一建系点。所述第一区间包括第一最小值和第一最大值，第一最大值小于相邻的任意两个第一普通标定点之间的距离，第一最小值和第一最大值可以根据实际需要设定。
107.确定任意两个相邻第一建系点之间的连线，得到多条第一连线，将多条第一连线延长，以使得处于同一条线上的第一连线合并，得到两条正交的第一合并连线，将多个第一建系点中，两条第一合并连线的交点作为第一坐标系原点；多个第一建系点中除了第一坐标系原点以外的第一建系点作为第一基准点。
108.在第二标记点集中确定每个第二标记点的最邻近标记点，获取每个第二标记点与其最邻近标记点之间的距离，若任一第二标记点与其最邻近标记点之间的距离处于第二区间内，则将该任一第二标记点作为第二建系点。所述第二区间包括第二最小值和第二最大值，第二最大值小于相邻的任意两个第二普通标定点之间的距离，第二最小值和第二最大值可以根据实际需要设定，第二区间可以与第一区间相同。
109.确定任意两个相邻第二建系点之间的连线，得到多条第二连线，将多条第二连线
延长，以使得处于同一条线上的第二连线合并，得到两条正交的第二合并连线，将多个第二建系点中，两条第二合并连线的交点作为第二坐标系原点；多个第二建系点中除了第二坐标系原点以外的第二建系点作为第二基准点。
110.s312、根据在所述任一标记点集中选取的坐标系原点和多个基准点，构建所述任一标记点集对应的坐标系。
111.具体地，根据在第一标记点集中选取的第一坐标系原点和多个第一基准点，构建第一标记点集对应的第一坐标系。确定任意两个相邻的第一基准点之间的连线，将确定的连线延长，以使得处于同一条线上的连线合并，可以得到正交的两条合并连线，根据正交的两条合并连线确定第一坐标的两个方向轴，其中，一个方向轴经过第一坐标系原点，以及一条合并连线上的多个第一基准点，另一个方向轴经过第一坐标系原点，以及另一条合并连线上的多个第一基准点；根据两个方向轴包括的第一基准点的数量，确定第一横坐标轴和第一纵坐标轴。可以将包括第一基准点数量较多的方向轴作为第一横坐标轴x1，可以将包括第一基准点数量较少的方向轴作为第一纵坐标轴y1，还可以设定方向轴上，第一坐标系原点至第一基准点的方向为正方向。
112.第一靶面上设置的多个第一预设基准点的数量为奇数，第一预设原点的一侧设置的第一预设基准点的数量，多于第一预设原点的另一侧设置的第一预设基准点的数量，示例性地，如图4所示，标号为9的标定点为第一预设原点，第一预设原点左侧设置了三个第一预设基准点，第一预设原点下侧设置了两个第一预设基准点；该第一靶面对应的多个第一基准点中，在一条合并连线上有三个第一基准点，另一条合并连线上有两个第一基准点，将过三个第一基准点的方向轴作为x1轴，将过两个第一基准点的方向轴作为y1轴，可以确定如图8所示的第一坐标系。
113.同样地，根据在第二标记点集中选取的第二坐标系原点和多个第二基准点，构建第二标记点集对应的第二坐标系。第二坐标系包括第二横坐标轴x2和第二纵坐标轴y2。
114.第二靶面上设置的多个第二预设基准点的数量为奇数，第二预设原点的一侧设置的第二预设基准点的数量，多于第二预设原点的另一侧设置的第二预设基准点的数量，示例性地，如图5所示，标号为7的标定点为第二预设原点，第二预设原点右侧设置了三个第二预设基准点，第二预设原点上侧设置了两个第二预设基准点；该第二靶面对应的多个第二基准点中，在一条合并连线上有三个第二基准点，另一条合并连线上有两个第二基准点，将过三个第二基准点的方向轴作为x2轴，将过两个第一基准点的方向轴作为y2轴，可以确定如图9所示的第二坐标系。
115.在一个实施例中，确定二维影像的影像坐标系和第一坐标系之间的第一映射矩阵t1，通过t1将第一标记点集映射到第一坐标系下，得到第一映射点集，第一映射点集包括多个第一映射点，多个第一映射点至少包括第一坐标系原点映射得到的第一映射原点，以及多个第一基准点映射得到的第一映射基准点。
116.确定二维影像的影像坐标系和第二坐标系之间的第二映射矩阵t2，通过t2将第二标记点集映射到第二坐标系下，得到第二映射点集，第二映射点集包括多个第二映射点，多个第二映射点至少包括第二坐标系原点映射得到的第二映射原点，以及多个第二基准点映射得到的第二映射基准点。
117.在一个实施例中，s104中，包括：
118.s411、基于所述任一标记点集对应的坐标系和映射点集，确定所述映射点集中的伪点。
119.具体地，检测的多个标记点中可能存在一些误检测点，这些误检测点并不是标定靶上的标定点在二维影像中成像得到的，将这些误检测点称为伪点。
120.对于任一标记点集对应的映射点集中的任一映射点，基于所述映射点集确定多条连线，若所述多条连线中不存在与所述坐标系的两个方向轴分别平行的两条连线，则确定所述任一映射点为伪点，其中，每条连线均包括所述任一映射点。
121.在标定靶包括第一靶面和第二靶面的情况下，基于所述任一标记点集对应的坐标系和映射点集，确定所述映射点集中的伪点，包括：基于第一标记点集对应的第一坐标系和第一映射点集，确定第一映射点集中的伪点，以及基于第二标记点集对应的第二坐标系和第二映射点集，确定第二映射点集中的伪点。
122.基于第一标记点集对应的第一坐标系和第一映射点集，确定第一映射点集中的伪点，包括：对于任一第一映射点，确定该任一第一映射点与其余每个第一映射点之间的连线，得到多条连线，若该任一第一映射点的多条连线中，不包括与第一横坐标轴x1平行的一条连线，以及与第一纵坐标轴y1平行的另一条连线，则确定该任一第一映射点是伪点；若该任一第一映射点的多条连线中，存在两条连线，该两条连线与第一横坐标轴x1和第一纵坐标轴y1分别平行，则确定该任一第一映射点不是伪点。
123.基于第二标记点集对应的第二坐标系和第二映射点集，确定第二映射点集中的伪点，包括：对于任一第二映射点，确定该任一第二映射点与其余每个第二映射点之间的连线，得到多条连线，若该任一第二映射点的多条连线中，不包括与第二横坐标轴x2平行的一条连线，以及与第二纵坐标轴y2平行的另一条连线，则确定该任一第二映射点是伪点；若该任一第二映射点的多条连线中，存在两条连线，该两条连线与第二横坐标轴x2和第二纵坐标轴y2分别平行，则确定该任一第二映射点不是伪点。如图10所示，e1、e2、e3和e4是伪点。
124.s412、剔除所述映射点集中的伪点和所述多个映射基准点，得到候选点集，基于所述候选点集确定所述任一标记点集对应的重建点集。
125.具体地，在标定靶包括第一靶面和第二靶面的情况下，剔除第一映射点集中的伪点和多个第一映射基准点，得到第一候选点集，基于第一候选点集确定第一标记点集对应的第一重建点集。剔除第二映射点集中的伪点和多个第二映射基准点，得到第二候选点集，基于第二候选点集确定第二标记点集对应的第二重建点集。
126.第一重建点集包括多个第一重建点，多个第一重建点与第一靶面上的多个第一普通标定点一一对应；第二重建点集包括多个第二重建点，多个第二重建点与第二靶面上的多个第二普通标定点一一对应；也就是说，第一重建点集和第二重建点集包括了通过二维影像未检测得到的标记点。
127.在一个实施例中，通过以下步骤确定任一标记点集对应的重建点集：
128.s4121、对所述候选点集进行聚类处理，得到行方向步长和列方向步长。
129.具体地，在标定靶包括第一靶面和第二靶面的情况下，以确定第一标记点集对应的第一重建点集为例进行说明。第一靶面上的多个第一普通标定点按照预设的第一行距离和第一列距离间隔设置，并呈矩阵分布；在理想情况下，多个第一普通标定点在二维影像中成像得到的多个第一标记点，也是按照预设的第一行距离和第一列距离间隔设置，并呈矩
阵分布，进而将第一标记点集映射到第一坐标系下，剔除伪点和多个第一映射基准点，得到多个第一候选点，多个第一候选点也是按照预设的第一行距离和第一列距离间隔设置，并呈矩阵分布；但是实际上可能存在部分标定点未检测出，因此，多个第一候选点可能无法呈完整矩阵分布。
130.根据多个第一候选点的坐标值对多个第一候选点进行聚类处理，得到多个聚类，每个聚类中的第一候选点的横坐标相同，或者每个聚类中的第一候选的纵坐标相同。
131.在每个横坐标相同的聚类中，确定每个第一候选点与其邻近候选点之间的纵向距离，得到每个横坐标相同的聚类所对应的多个纵向距离，将多个纵向距离中占比最大的纵向距离作为列方向步长。
132.在每个纵坐标相同的聚类中，确定每个第一候选点与其邻近候选点之间的横向距离，得到每个纵坐标相同的聚类所对应的多个横向距离，将多个横向距离中占比最大的横向距离作为行方向步长。
133.s4122、根据所述映射原点、所述行方向步长和所述列方向步长，重建所述任一标记点集对应的坐标系下的参考点集。
134.具体地，在标定靶包括第一靶面和第二靶面的情况下，以重建第一标记点集对应的第一坐标系下的第一参考点集为例进行说明。
135.第一参考点集包括多个第一参考点，多个第一参考点与第一靶面上的多个第一普通标定点一一对应；多个第一参考点排列得到的矩阵，与第一靶面上多个第一普通标定点排列得到的矩阵相同；第一映射原点在多个第一参考点对应的矩阵中的位置，与第一预设原点在多个第一普通标定点对应的矩阵中的位置相同。获取第一靶面上多个第一普通标定点对应的矩阵的行数和列数，以及第一坐标原点在该矩阵中的位置，根据获取的行数、列数和位置，以及第一映射原点、行方向步长和列方向步长，重建得到第一参考点集。
136.例如，第一靶面上多个第一普通标定点排列得到的矩阵的行数和列数均为5，即该矩阵是5行5列的矩阵，第一坐标原点在该矩阵中的位置是(2,4)，即第一坐标原点位在该矩阵中的位置是第二行第四列；由此可知，多个第一参考点排列得到的矩阵也是5行5列的矩阵，并且第一映射原点在该多个第一参考点排列得到的矩阵中的位置也是(2,4)；根据第一参考点集对应的矩阵的行数为5、列数为5，第一映射原点在矩阵中的位置为(2,4)、行方向步长和列方向步长，可以确定第一参考点集对应的矩阵中位置为(1,1)至(5,5)的所有第一参考点。
137.s4123、将所述参考点集转换至所述二维影像的影像坐标系下，得到所述任一标记点集对应的重建点集。
138.具体地，在标定靶包括第一靶面和第二靶面的情况下，将第一参考点集转换至影像坐标系下，得到第一标定点集对应的第一重建点集，将第二参考点集转换至影像坐标系下，得到第二标定点集对应的第二重建点集。
139.根据第一坐标系和影像坐标系的第一映射矩阵t1，确定第一坐标系和影像坐标系的第一逆映射矩阵t1-1
，根据第一逆映射矩阵t1-1
将第一参考点集转换至影像坐标系下，得到第一重建点集；根据第二坐标系和影像坐标系的第二映射矩阵t2，确定第二坐标系和影像坐标系的第二逆映射矩阵t2-1
，根据第二逆映射矩阵t2-1
将第二参考点集转换至影像坐标系下，得到第二重建点集。
140.在一个实施例中，s105包括：
141.s511、按照所述任一标记点集对应的预设顺序，对所述任一标记点集对应的重建点集进行标号，得到所述任一标记点集对应的多个标号后的重建点。
142.具体地，在任一标记点集为第一标记点的情况下，任一标记点集对应的预设顺序为第一预设顺序，在任一标记点集为第二标记点的情况下，任一标记点集对应的预设顺序为第二预设顺序。按照第一预设顺序对第一重建点集中的多个第一重建点标号，得到多个标号后的第一重建点，按照第二预设顺序对第二重建点集中的多个第二重建点标号，得到多个标号后的第二重建点。
143.第一预设顺序是预先为第一靶面上的多个第一普通标定点设置的顺序，第二预设顺序是预先为第二靶面上的多个第二普通标定点设置的顺序，因此，标号后的多个第一重建点的顺序和多个第一普通标定点的顺序相同，标号后的多个第二重建点的顺序和多个第二普通标定点的顺序相同。
144.s512、在所述多个标号后的重建点中，选取处于所述二维影像中的多个目标标记点。
145.具体地，在标定靶包括第一靶面和第二靶面的情况下，在多个标号后的第一重建点中，选取处于二维影像中的第一重建点，将选取的第一重建点作为目标标记点，在多个标号后的第二重建点中，选取处于二维影像中的第二重建点，将选取的第二重建点作为目标标记点。
146.在确定了重建点的顺序之后(对重建点进行标号后)，再剔除二维影像界外的重建点，使得在确定了处于二维影像内的所有目标标记点的同时，还保证了不会因为未检测到的标记点导致目标标记点的顺序检测出错。
147.示例性地，如图10所示，标定靶上存在部分标定点不在二维影像设备的视野范围内，因此，部分标定点未显示在二维影像中；如图11所示，根据上述标记点的顺序识别方法，确定位于图10所示的二维影像内的所有目标标记点，以及每个目标标记点的标号。根据图11中白底黑字的标号，可以看出第一靶面上标号为3、4、5的第一预设标定点不在二维影像设备的视野范围内，标号11的第一预设标定点被骨钉遮挡；根据图11中黑底白字的标号，可以看出第二靶面上标号为12的第二预设标定点的部分被骨钉遮挡；根据该示例可知，根据上述标记点的顺序识别方法，可以重建未检测出的标记点，并剔除处于二维影像界外标记点，得到处于二维影像内的所有目标标记点，并且，未检测出的标记点并未影响其他目标标记点的顺序。
148.上述标记点的顺序识别方法中，标定靶包括多个靶面，每个靶面上包括多个标定点，获取拍摄标定靶和目标对象得到的二维影像，检测二维影像中的标记点，得到多个标记点集，多个标记点集与多个靶面一一对应，根据靶面对应的标记点集确定该靶面上多个标定点的坐标系，将该标记点集映射到该坐标系下，得到映射点集，根据该映射点集中多个映射点的坐标值和该坐标系，重建得到影像坐标系下的重建点集，重建点集包括的多个重建点与该靶面上的多个标定点一一对应；重建点集中包括未检测到的标记点，根据重建点集确定处于二维影像内的所有目标标记点，以及每个目标标记点的顺序；根据上述标记点的顺序识别方法可以重建未检测到的标记点，并且剔除二维影像界外的标记点，因此标定靶不需要固定设置在二维影像设备的摄像头下，标定靶可以以任意姿态摆放在目标对象和二
维影像设备的摄像头之间，使得标定靶的使用更随意，上述标记点的顺序识别方法可以准确检测出二维影像内的所有目标标记点，提高了标记点顺序检测的准确度。
149.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
150.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的标记点的顺序识别方法的手术机器人系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个手术机器人系统实施例中的具体限定可以参见上文中对于标记点的顺序识别方法的限定，在此不再赘述。
151.在一个实施例中，提供了一种手术机器人系统，包括：二维影像获取设备和处理器；
152.所述二维影像获取设备，用于拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
153.所述处理器，用于获取所述二维影像，检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
154.上述标记点的顺序识别系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
155.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种标记点的顺序识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
156.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
157.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
158.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
159.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
160.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
161.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
162.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
163.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
164.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
165.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
166.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
167.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
168.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
169.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
170.获取拍摄标定靶和目标对象得到的二维影像，其中，所述标定靶包括多个标定点；
171.检测所述二维影像中的标记点，得到多个标记点集，其中，所述标记点是所述标定点在所述二维影像中成像的点；
172.对于任一标记点集，基于所述任一标记点集构建所述任一标记点集对应的坐标系，将所述任一标记点集映射至所述坐标系，得到所述任一标记点集对应的映射点集；
173.基于所述任一标记点集对应的坐标系和映射点集，确定所述任一标记点集对应的重建点集，其中，所述重建点集中包括未检测到的标记点；
174.基于所述任一标记点集对应的重建点集，确定所述任一标记点集对应的多个目标标记点，以及每个目标标记点的标号，其中，所述多个目标标记点均处于所述二维影像内。
175.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
176.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
177.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
178.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。