打孔点的确定方法、操作设备和计算机可读存储介质与流程

1.本说明书属于医疗设备技术领域，尤其涉及打孔点的确定方法、操作设备和计算机可读存储介质。


背景技术：

2.通常医生在对患者进行微创手术前，大多需要先通过人工测量，根据人工测量结果在患者身体相应位置处标记出打孔点，再进行具体的手术打孔。
3.基于上述方法具体实施时，医生操作相对较为繁琐、复杂，并且在标记打孔点时主要依赖于医生的个人经验，容易出现误差。
4.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本说明书提供了一种打孔点的确定方法、操作设备和计算机可读存储介质，可以智能地确定出与针对目标操作的目标打孔点，并将上述目标打孔点以全息投影的方式准确地投影到用户基于操作设备的当前视野中，方便用户定位和观测，从而可以有效简化用户操作，使得用户能便捷、高效地进行后续的目标操作。
6.本说明书提供了一种打孔点的确定方法，应用于操作设备，所述方法包括：获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
7.本说明书还提供了一种打孔点的确定方法，应用于服务器，所述方法包括：接收操作设备发送的关键局部图像；其中，所述操作设备获取用户当前视野中的目标图像；并确定出目标图像中的关键局部图像；利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；计算出关注区域中的质心坐标；将关注区域中的质心坐标发送至操作设备；其中，所述操作设备根据关注区域中的质心坐标，确定出目标图像中目标关注点的坐标参数；所述操作设备还根据目标关注点的坐标参数，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
8.本说明书还提供了一种操作系统，至少包括：操作设备和服务器，其中，所述操作设备用于获取用户当前视野中的目标图像，并确定出目标图像中的关键局部图像，以及目标操作的目标操作类型；其中，所述目标图像至少包含感兴趣目标；所述操作设备还用于将所述关键局部图像发送至服务器；所述服务器用于利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；并计算出关注区域中的质心坐标；所述服务器还用于将所述关注区域中的质心坐标发送至操作设备；所述操作设备用于根据
目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
9.本说明书还提供了一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述打孔点的确定方法的相关步骤。
10.本说明书还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现以下步骤：获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
11.基于本说明书提供的打孔点的确定方法、操作设备和计算机可读存储介质，用户在使用操作设备具体进行目标操作前，操作设备可以先获取用户当前视野中包含感兴趣目标的目标图像；并确定出目标图像中的关键局部图像，以及待进行的目标操作的目标操纵类型；再基于关键局部图像，获取目标图像中目标关注点的坐标参数；然后，根据目标关注点的坐标参数和目标操纵类型，自动确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。从而可以智能地自动确定出针对目标操作的目标打孔点，并将上述目标打孔点通过全息投影等方式准确地投影到用户基于操作设备的当前视野中，方便用户操作时的定位和观测，可以有效简化用户操作，使得用户能便捷、高效地进行后续的目标操作。
附图说明
12.为了更清楚地说明本说明书实施例，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是本说明书的一个实施例提供的打孔点的确定方法的流程示意图；
14.图2是在一个场景示例中，应用基于本说明书实施例提供的打孔点的确定方法的操作设备对目标患者进行手术操作的场景示意图；
15.图3是本说明书的一个实施例提供的操作设备的结构组成示意图；
16.图4是在一个场景示例中，用户利用操作设备投影的主界面触发获取目标图像的场景示意图；
17.图5是在一个场景示例中，用户利用操作设备投影的菜单界面确定关键局部图像的场景示意图；
18.图6是在一个场景示例中，用户利用操作设备投影的菜单界面确定目标定位点的场景示意图；
19.图7是在一个场景示例中，用户利用操作设备投影术式选择界面确定目标操作的操纵类型的场景示意图；
20.图8是在一个场景示例中，用户利用操作设备投影的菜单界面进行手术打孔点定位的场景示意图；
21.图9是在一个场景示例中，针对胆囊切除术所确定出的目标打孔点的位置示意图；
22.图10是在一个场景示例中，针对前列腺切除术所确定出的目标打孔点的位置示意图；
23.图11是在一个场景示例中，针对前肾脏切除术所确定出的目标打孔点的位置示意图；
24.图12是本说明书的另一个实施例提供的打孔点的确定方法的流程示意图；
25.图13是本说明书的一个实施例提供的服务器的结构组成示意图；
26.图14是本说明书的一个实施例提供的打孔点的确定装置的结构组成示意图；
27.图15是本说明书的另一个实施例提供的打孔点的确定装置的结构组成示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
29.参阅图1所示，本说明书实施例提供了一种打孔点的确定方法，其中，该方法具体应用于操作设备一侧。具体实施时，该方法可以包括以下内容：
30.s101：获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；
31.s102：确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；
32.s103：基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；
33.s104：根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；
34.s105：根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
35.在一些实施例中，参阅图2所示，上述打孔点的确定方法具体可以应用于操作设备一侧。其中，上述操作设备具体可以是一种支持ar功能的操作设备。上述操作设备还可以与服务器相连。具体的，上述操作设备可以一种辅助医生进行手术操作的手术设备，也可以是一种辅助工程师进行施工操作的施工设备，还可以是一种辅助维修工对大型电器系统进行检测维护的维护设备等。当然，需要说明的是，上述所列举的操作设备只是一种示意性说明。具体实施时，根据具体的应用场景和处理需求，上述操作设备还可以包括其他类型的操作设备。对此，本说明书不作限定。
36.其中，上述ar(augmented reality，增强现实)具体可以是指一种将虚拟信息与真实世界巧妙融合的技术，大多采用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，使得两种信息可以互为补充，从而实现对真实世界的“增强”。
37.具体的，参阅图2所示，上述操作设备具体可以是一种ar头戴设备，例如，支持用户手术操作的ar眼镜或ar头盔。具体的，例如，用户在对感兴趣目标进行目标操作时(例如，负
责手术操作的医生对患者进行目标手术操作)，可以佩戴上述ar头戴设备，观测操作环境(例如，手术环境)，以及感兴趣目标(例如，待进行手术的目标患者)，再进行具体的目标操作。
38.进一步，参阅图3所示，上述操作设备具体可以包括：观测窗、摄像头、处理器，以及信号收发器等结构。
39.其中，上述观测窗可以为用户提供观测视野，用户可以通过该观测窗观测到真实的操作环境，以及待进行手术的患者。此外，上述观测窗还可以内嵌有显示屏。相应的，通过该观测窗还可以向用户展示出诸如操作界面、字符标记、图案等虚拟元素。
40.上述摄像头具体可以设置于观测窗的邻近位置处，用于采集用户视野中的图像。上述处理器可以支持操作设备在本地进行处理过程相对较简单、涉及处理量相对较小的数据处理。
41.上述信号收发器可以通过有线或无线的方式与服务器相连，以便于与服务器进行数据交互。其中，上述服务器具体可以包括云服务器，也可以包括部署于本地的终端服务器等。上服务器可以利用服务器的处理资源，协助操作设备完成处理过程相对较复杂、涉及处理量相对较大的数据处理。
42.其中，上述服务器具体可以为能够实现数据传输、数据处理等功能的后台服务器。具体的，所述服务器例如可以为一个具有数据运算、存储功能以及网络交互功能的电子设备。或者，所述服务器也可以为运行于该电子设备中，为数据处理、存储和网络交互提供支持的软件程序。在本实施例中，并不具体限定所述服务器的数量。所述服务器具体可以为一个服务器，也可以为几个服务器，或者，由若干服务器形成的服务器集群。
43.具体实施时，用户可以佩戴上述操作设备为目标患者进行涉及诸如腹腔的微创手术等具体操作(可以记为目标操作)。在具体进行目标操作之前，用户可以通过操作设备的观测窗观测到真实的操作环境，以及感兴趣目标(例如，目标患者的身体)；同时，操作设备可以通过摄像头采集到用户当前视野中包含感兴趣目标的目标图像。进一步，操作设备可以通过处理器在上述目标图像中确定并截取出包含有关注区域(例如，目标患者的肚脐区域)的关键局部图像；再通过信号收发器将该关键局部图像发送给服务器。
44.服务器在接收到关键局部图像之后，可以利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；再计算出关注区域中的质心坐标，并将关注区域中的质心坐标反馈给操作设备。
45.操作设备在通过信号收发器接收到关注区域中的质心坐标之后，可以通过处理器先将二维平面的质心坐标转换空间坐标，得到三维空间的目标关注点的坐标参数；再根据目标操作的目标操纵类型以及目标关注点的坐标参数，自动确定出针对目标操作的目标打孔点的位置参数。进一步，操作设备可以根据目标打孔点的位置参数，基于增强现实技术，在用户基于该操作设备的观测窗的视野中，通过全息投影的方式投影出对应的目标打孔点。
46.这样，用户可以根据视野中的目标打孔点，进行导航定位，便捷、准确地对感兴趣目标进行打孔，以及后续的其他目标操作。
47.当然，需要说明的是，上述所列举的操作设备只是一种示意性说明。具体实施时，还可以将上述打孔点的确定方法应用于手术机器人。具体的，例如，手术机器人可以通过上
述方法获取并根据投影有目标打孔点的视野，自动对目标患者进行相应的手术操作。
48.在一些实施例中，用户在佩戴操作设备后，可以通过操作设备的观测窗或显示屏所提供视野观测到当前操作环境，以及待进行目标操作的感兴趣目标。同时，用户可以通过该操作设备发起触发操作。相应的，操作设备可以响应该触发操作采集用户当前视野中的目标图像。其中，上述目标图像至少包含感兴趣目标。具体的，例如，在手术场景中，上述感兴趣目标可以是待进行目标手术操作的目标患者，上述目标患者具体可以平躺于固定的手术床上。
49.具体实施时，参阅图4所示，用户在佩戴操作设备后，用户在通过操作设备的观测窗或显示屏所提供视野观测当前操作环境，以及待进行目标操作的感兴趣目标的同时，上述观测窗或显示屏还可以基于增强现实技术，在用户视野中展示出主界面，主界面中至少布设有辅助定位系统的图标。用户可以通过点击主界面中的辅助定位系统的图标，以发起触发操作。相应的，操作设备接收并响应用户的触发操作，采集用户当前视野中包含有感兴趣目标的图像，作为目标图像。
50.此外，操作设备还可以监听用户发起的语音指令；再监听到用户语音指令包含有对应的触发关键词(例如，“获取图像”等)时，判断用户发起了触发操作；进而可以采集用户当前视野中的目标图像。
51.在一些实施例中，所述关键局部图像具体可以理解为目标图像中包含有关注区域的局部图像。
52.其中，上述关注区域具体可以理解为在打孔中用于参照定位的区域。具体的，例如，在手术场景中，针对腹腔手术，上述关注区域可以包括肚脐区域。又例如，在维修场景中，上述关注区域可以包括存在故障的区域的外部保护壳等。当然，需要说明的是，上述所列举的肚脐区域只是一种示意性说明。具体实施时，针对具体的应用场景，上述关注区域还可以包括其他类型的区域。对此，本说明书不作限定。
53.具体实施时，可以由用户自定义框选出目标图像中的关键局部图像，也可以是由操作设备智能选出目标图像中的关键局部图像，以便后续可以仅对目标图像中的关键局部图像进行精细化的图像识别处理，从而可以避免浪费处理资源和处理时间处理目标图像中除关键局部图像以外的图像区域，提高图像识别处理效率。
54.在一些实施例中，上述确定出目标图像中的关键局部图像，具体实施时，可以包括：接收用户针对目标图像的区域选择操作；根据区域选择操作，在目标图像中确定并截取用户选中的区域图像作为所述关键局部图像。
55.具体的，参阅图5所示，在手术场景中，上述观测窗或显示屏还可以基于增强现实技术，在用户视野中展示出菜单界面。其中，上述菜单界面具体可以包括诸如“放置头部”、“目标选取”、“打孔定位”、“清除标记”等功能图标。
56.具体的，例如，参阅图5所示，用户可以点击“目标选取”图标，以触发用户自定义框选关键局部图像。相应的，操作设备可以响应用户的上述操作，在用户视野中生成一个虚拟的选择框；用户可以将该选择框移动到视野中的关注区域处，并利用该选择框框选住关注区域，以得到所需要的关键局部图像。
57.具体进行框选时，用户还可以根据当前视野中关注区域的具体形状和尺寸，通过相应的手势操作，调整选择框的形状和大小，以便能更加精准地框选出所需要的关键局部
图像。
58.在一些实施例中，上述确定出目标图像中的关键局部图像，具体实施时，还可以包括以下内容：利用预设的图像识别模型处理目标图像，得到对应的目标图像识别结果；根据目标图像识别结果，从所述目标图像中确定并截取相应区域的图像作为所需要的关键局部图像。
59.其中，上述预设的图像识别模型具体可以部署于操作设备本地。上述预设的图像识别模型具体可以是一种涉及处理量相对较小，能够从图像中粗略地识别出包含有关注区域的图像区域，并能从图像中进一步自动分割出该图像区域的神经网络模型。
60.具体实施时，操作设备可以通过利用上述预设的图像识别模型自动从目标图像中确定并截取出关键局部图像。
61.具体实施前，可以按照以下方式训练得到上述预设的图像识别模型：获取第一样本图像；其中，所述第一样本图像包含有关注区域；在第一样本图像中框选出关注区域，并进行标注，得到标注后的第一样本数据；构建包含有初始的分类网络和初始的分割网络的第一初始模型；利用标注后的第一样本数据训练所述第一初始模型，以得到精度符合要求的预设的图像识别模型。
62.在一些实施例中，用户还可以在当前视野中设置定位点，以便后续可以利用定位点参数，更加准确地确定目打孔点的位置参数。
63.具体的，例如，参阅图6所示，用户可以点击视野中所展示的菜单界面中的“放置头部”图标。相应的，操作设备可以响应用户的上述操作，在用户的视野中生成一个虚拟的定位点；用户可以将该定位点移动至视野中目标患者的头部位置处，作为后续用于确定目标打孔点的目标定位点。并记录下目标定位点的坐标参数，以备后续使用。
64.当然，具体实施时，根据具体情况和处理需求，用户还可以根据界面引导，将上述虚拟的定位点移动至视野中目标患者的鼻子或者脖子等位置处，作为所述目标定位点。
65.在一些实施例中，具体实施时，用户还可以通过操作设备设置目标操作的操纵类型。相应的，操作设备可以确定出目标操作的操纵类型作为目标操纵类型。
66.在一些实施例中，上述确定目标操作的目标操纵类型，具体实施时，可以包括：在用户基于操作设备的当前视野中投影出操纵类型选择界面(例如，术式选择界面)；接收并响应用户针对操纵类型选择界面的操纵类型选择操作，将用户选中的操纵类型确定为目标操作的目标操纵类型。
67.具体的，例如，参阅图7所示，操作设备还可以基于增强现实技术，通过投影的方式在用户视野中展示出术式选择界面。其中，所述术式选择界面中可以包含有多个可供选择的操纵类型，例如，肾切除术、前列腺切除术、胆囊切除术、肝脏切除术等等。这时，用户可以根据手术需要点击术式选择界面中的“前列腺切除术”。相应的，操作设备可以接收并响应用户的上述操作，确定出待进行的目标操作的目标操纵类型为前列腺切除术。
68.在一些实施例中，操作设备在确定出目标图像中的关键局部图像之后，可以将上述关键局部图像发送至服务器，以便可以利用服务器的处理资源来高效、准确地确定出所需要的目标图像中目标关注点的坐标参数。
69.其中，上述目标关注点具体可以理解为关注区域中的质心(或者中心)。
70.具体实施时，例如，参阅图8所示，用户可以点击视野中所展示的菜单界面中的“打
孔点定位”图标。相应的，操作设备可以响应用户的上述操作，将上述关键局部图像发送至服务器；进而操作设备可以接收服务器处理关键局部图像所得到的目标关注点的坐标参数；并根据目标关注点的坐标参数，自动定位出针对目标操作的目标打孔点；并在用户的当前视野中通过投影的方式展现出上述目标打孔点，以便用户进行打孔定位，可以参阅图8所示。
71.在一些实施例中，上述基于所述关键局部图像，获取目标图像中目标关注点的坐标参数，具体实施时，可以包括以下内容：
72.s1：将所述关键局部图像发送至服务器；其中，所述服务器至少配置有预设的图像语义分割模型；所述服务器利用预设的图像语义分割模型处理关键局部图像，从关键局部图像中识别并分割出关注区域；并计算出关注区域中的质心坐标；
73.s2：接收关注区域中的质心坐标；
74.s3：根据预设的坐标转换关系，将所述关注区域中的质心坐标转换为对应的空间坐标，得到目标关注点的坐标参数。
75.其中，上述预设的图像语义分割模型具体可以部署于服务器一侧。上述预设的图像语义分割模型具体可以是一种涉及处理量相对较大，能够从图像中精细地识别出关注区域所在的图像区域的神经网络模型。上述预设的坐标转换关系具体可以是预先通过对操作设备进行测试，获取并根据测试数据，对相关坐标系进行配准后所得到的。
76.具体实施时，服务器可以利用预设的图像语义分割模型处理关键局部图像，得到对应的处理结果；根据该处理结果，在关键局部图像中精细地确定出关注区域的轮廓区域；再结合上述轮廓区域，在关键局部图像中确定出关注区域中的质心；并计算得到对应的质心坐标。
77.进一步，服务器可以将上述关注区域中的质心坐标发送给操作设备。相应的，操作设备可以获取关注区域中的质心坐标。
78.但是，这时操作设备所直接获取的是二维平面的坐标，而用户视野中所展现的往往是真实的三维立体的图像。这时，为了能够与用户真实的视野相匹配，操作设备还可以根据预设的坐标转换关系，将关注区域中二维平面的质心坐标，转换为对应的三维立体的空间坐标，进而可以得到所需要的目标关注点的坐标参数。
79.具体的，在手术场景中，上述目标关注点例如可以是视野中患者的肚脐区域的质心或中心。
80.当然需要补充的是，在操作设备本地处理器性能允许的情况下，上述预设的图像语义分割模型也可以部署于操作设备本地。相应的，操作设备可以在本地利用预设的图像语义分割模型确定出所需要的目标关注点的坐标参数。
81.在一些实施例中，具体实施前，可以按照以下方式训练得到预设的图像语义分割模型：获取包含有关注区域的第二样本图像；在第二样本图像中沿关注区域的轮廓线标注出关注区域，得到标注后的第二样本图像；利用标注后的第二样本图像训练第二初始模型，以得到符合要求的预设的图像语义分割模型。
82.在一些实施例中，上述根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数，具体实施时，可以包括以下内容：
83.s1：根据目标操纵类型，从预设的操纵数据库中确定出相匹配的目标初始化打孔
点参数；
84.s2：根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数。
85.其中，上述预设的操纵数据库可以存储有多个初始化打孔点参数，其中，每个初始化打孔点参数分别对应一个操纵类型。每个初始化打孔点参数至少包含有一个或多个与目标关注点相关联的打孔点的位置参数。
86.具体实施前，可以先获取多个历史打孔记录；其中，所述历史打孔记录至少包含有目标关注点的位置参数，以及打孔点的位置参数；根据历史打孔记录所针对的操作的操纵类型，将多个历史打孔记录划分为多个数据组；其中，每个数据组对应一个操纵类型；针对各个数据组中所包含的历史打孔记录进行聚类处理，确定出目标关注点的位置参数与打孔点的位置参数之间的共性关系，得到针对各个操纵类型的初始化打孔点参数。
87.具体实施时，可以将目标关注点的坐标参数代入目标初始化打孔点参数中，计算得到关于该目标关注点的目标打孔点的位置参数，从而确定出针对目标操作的目标打孔点。
88.具体实施时，可以参阅图9，图10，以及图11所示，对于不同的操纵类型，由于所使用的初始化打孔点参数是不同的，即使使用相同的目标关注点，所确定出的目标打孔点也可以是完全不同的。其中，上述目标关注点可以是目标打孔点中的一个打孔点，也可以是与目标打孔点邻近的一个参照点。
89.具体的，在手术场景中，例如，图9对应的操纵类型为胆囊切除术，涂黑的点3为目标关注点，所确定出的目标打孔点包括：点1、点2、点3和点4，目标关注点本身同时也是一个目标打孔点。
90.又例如，图10对应的操纵类型为肾脏切除术，涂黑的点a为目标关注点，所确定出的目标打孔点包括：点1、点2、点3和点4，目标关注点本身不是目标打孔点。
91.再例如，图11对应的操纵类型为前列腺切除术，涂黑的点3为目标关注点，所确定出的目标打孔点包括：点1、点2、点3和点4，目标关注点本身同时也是一个目标打孔点。
92.在一些实施例中，上述根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数，具体实施时，可以包括以下内容：
93.s1：获取当前视野中的目标定位点的坐标参数；
94.s2：根据目标关注点的坐标参数和目标定位点的坐标参数，构建针对感兴趣目标的中垂线；
95.s3：根据所述中垂线、目标关注点的坐标参数，以及目标初始化打孔点参数，确定出目标打孔点的位置参数。
96.具体实施时，参阅图9，图10，以及图11所示，根据目标关注点的坐标参数和目标定位点的坐标参数，通过连接目标关注点和目标定位点，可以获得沿感兴趣目标纵向的中垂线，例如，坐标轴的y轴。进而可以使用中垂线进行辅助定位，再利用目标关注点的坐标参数，以及目标初始化打孔点参数，确定出目标打孔点的位置参数。
97.基于上述实施例，通过引入并利用基于目标定位点与目标关注点所构建的中垂线，结合目标关注点的坐标参数以及目标初始化打孔点参数，能够更加精准地确定出目标打孔点的位置参数。
98.在一些实施例中，在根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数之后，所述方法具体实施时，还可以包括以下内容：
99.s1：获取感兴趣目标的特征参数；
100.s2：根据感兴趣目标的特征参数，调整目标打孔点的位置参数。
101.在手术场景中，上述感兴趣目标的特征参数，例如可以是目标患者的体型特征参数。其中，上述体型特征参数包括以下至少之一：身高、体重、腰围、肩宽、体脂率等等。
102.具体实施时，可以根据感兴趣目标的特征参数，确定出感兴趣目标的类型(例如，目标患者的体型类型：瘦、正常、胖等)；进而可以根据感兴趣目标的类型对所确定出的目标打孔点的位置参数进行针对性的调整，以使得调整的目标打孔点与感兴趣目标更加适配。
103.具体的，例如，对于体型类型为胖的目标患者，可以有针对性地增加相邻目标打孔点之间的间距。譬如，将相邻目标打孔点之间的间距由原来的5厘米，增加为7厘米。基于上述调整后的目标打孔点，用户可以更好地对目标患者进行手术打孔。
104.在一些实施例中，上述根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点，具体实施时，可以包括以下内容：基于增强现实技术，根据目标打孔点的位置参数，通过全息投影的方式在用户基于操作设备的当前视野中投影出对应的目标打孔点。
105.基于上述实施例，可以充分利用ar技术的优势，将所确定出的目标打孔点以全息投影的方式投影在用户的视野中，这时在用户基于操作设备所获得的真实的观测视野中就能够直接显示出虚拟的目标打孔点，从而可以使得用户能够便捷、直观地利用视野中直接显示出的虚拟的目标打孔点进行打孔定位；同时，也不需要在感兴趣目标上做另外的标记，减少了对感兴趣目标的损伤。
106.在一些实施例中，在根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点之后，所述方法具体实施时，还可以包括以下内容：
107.s1：接收用户针对目标打孔点的调整操作；
108.s2：根据调整操作，调整目标打孔点在当前视野中的位置。
109.具体的，参阅图8所示，对于投影在当前视野中的目标打孔点，用户还可以结合具体情况和个人经验，在预设范围内挪动目标打孔点的位置，以与感兴趣目标的打孔更加匹配。
110.此外，操作设备在检测到目标打孔点的挪动幅度超过预设范围时，可以判断当前所确定出的目标打孔点的位置存在误差。这时，可以获取用户输入的修正数据，并基于修正数据，重新确并展示目标打孔点。
111.在一些实施例中，具体实施时，当用户完成打孔操作，不需要继续使用目标打孔点时，用户还可以点击视野中所展示的菜单界面中的“清除标记”图标。相应的，操作设备可以响应用户的上述操作，消除用户基于操作设备的当前视野中的目标打孔点，避免对用户后续的目标操作产生干扰。
112.由上可见，基于本说明书实施例提供的打孔点的确定方法，用户在使用操作设备进行目标操作前，操作设备可以先获取用户当前视野中包含有待进行目标操作的目标患者的目标图像；并确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；再基于关键局部图像，获取目标图像中目标关注点的坐标参数；然后，根据目标关注点的坐标参数
和目标操纵类型，自动确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。从而可以智能地确定出针对目标操作的目标打孔点，并将上述目标打孔点准确地投影到用户当前视野中，方便用户定位和观测，有效地简化了用户操作，使得用户能便捷、高效地进行后续的目标操作。
113.参阅图12所示，本说明书实施例还提供了另一种打孔点的确定方法，应用于服务器一侧。其中，该方法具体实施时，可以包括以下内容：
114.s1201：接收操作设备发送的关键局部图像；其中，所述操作设备获取用户当前视野中的目标图像；并确定出目标图像中的关键局部图像；
115.s1202：利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；
116.s1203：计算出关注区域中的质心坐标；
117.s1204：将关注区域中的质心坐标发送至操作设备；其中，所述操作设备根据关注区域中的质心坐标，确定出目标图像中目标关注点的坐标参数；所述操作设备还根据目标关注点的坐标参数，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
118.本说明书实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器具体实施时可以根据指令执行以下步骤：获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
119.为了能够更加准确地完成上述指令，参阅图13所示，本说明书实施例还提供了一种服务器，其中，所述服务器包括网络通信端口1301、处理器1302以及存储器1303，上述结构通过内部线缆相连，以便各个结构可以进行具体的数据交互。
120.其中，所述网络通信端口1301，具体可以用于接收操作设备发送的关键局部图像；其中，所述操作设备获取用户当前视野中的目标图像；并确定出目标图像中的关键局部图像。
121.所述处理器1302，具体可以用于利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；计算出关注区域中的质心坐标；将关注区域中的质心坐标发送至操作设备；其中，所述操作设备根据关注区域中的质心坐标，确定出目标图像中目标关注点的坐标参数；所述操作设备还根据目标关注点的坐标参数，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
122.所述存储器1303，具体可以用于存储相应的指令程序。
123.在本实施例中，所述网络通信端口1301可以是与不同的通信协议进行绑定，从而可以发送或接收不同数据的虚拟端口。例如，所述网络通信端口可以是负责进行web数据通信的端口，也可以是负责进行ftp数据通信的端口，还可以是负责进行邮件数据通信的端
口。此外，所述网络通信端口还可以是实体的通信接口或者通信芯片。例如，其可以为无线移动网络通信芯片，如gsm、cdma等；其还可以为wifi芯片；其还可以为蓝牙芯片。
124.在本实施例中，所述处理器1302可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
125.在本实施例中，所述存储器1303可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如ram、fifo等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、tf卡等。
126.参阅图2所示，本说明书实施示例还提供了一种操作系统，至少可以包括：操作设备和服务器，其中，
127.所述操作设备具体可以用于获取用户当前视野中的目标图像，并确定出目标图像中的关键局部图像，以及目标操作的目标操作类型；其中，所述目标图像至少包含有待进行目标操作的目标患者；所述操作设备还用于将所述关键局部图像发送至服务器；
128.所述服务器具体可以用于利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；并计算出关注区域中的质心坐标；所述服务器还用于将所述关注区域中的质心坐标发送至操作设备；
129.所述操作设备具体可以用于根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
130.本说明书实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述打孔点的确定方法的相关步骤。其中，上述计算机设备具体可以包括操作设备和/或服务器等。
131.本说明书实施例还提供了一种基于上述打孔点的确定方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现以下步骤：获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
132.本说明书实施例还提供了另一种基于上述打孔点的确定方法的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现以下步骤：接收操作设备发送的关键局部图像；其中，所述操作设备获取用户当前视野中的目标图像；并确定出目标图像中的关键局部图像；利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；计算出关注区域中的质心坐标；将关注区域中的质心坐标发送至操作设备；其中，所述操作设备根据关注区域中的质心坐标，确定出目标图像中目标关注点的坐标参数；所述操作设备还根据目标关注点的坐标
参数，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
133.在本实施例中，上述存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)或者存储卡(memory card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
134.在本实施例中，该计算机可读存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
135.参阅图14所示，在软件层面上，本说明书实施例还提供了一种打孔点的确定装置，该装置具体可以包括以下的结构模块：
136.第一获取模块1401，具体可以用于获取用户当前视野中的目标图像；其中，所述目标图像至少包含感兴趣目标；
137.第一确定模块1402，具体可以用于确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；
138.第二获取模块1403，具体可以用于基于所述关键局部图像，获取目标图像中目标关注点的坐标参数；
139.第二确定模块1404，具体可以用于根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；
140.投影模块1405，具体可以用于根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
141.在一些实施例中，上述第一确定模块1402具体实施时，可以按照以下方式确定出目标图像中的关键局部图像：接收用户针对目标图像的区域选择操作；根据区域选择操作，在目标图像中确定并截取用户选中的区域图像作为所述关键局部图像。
142.在一些实施例中，上述第一确定模块1402具体实施时，还可以按照以下方式确定出目标图像中的关键局部图像：利用预设的图像识别模型处理目标图像，得到对应的目标图像识别结果；根据目标图像识别结果，从所述目标图像中确定并截取相应区域的图像作为所述关键局部图像。
143.在一些实施例中，上述第一确定模块1402具体实施时，可以按照以下方式确定目标操作的目标操纵类型：在用户基于操作设备的当前视野中投影出操纵类型选择界面；接收并响应用户针对操纵类型选择界面的操纵类型选择操作，将用户选中的操纵类型确定为目标操作的目标操纵类型。
144.在一些实施例中，上述第二获取模块1403具体实施时，可以按照以下方式基于所述关键局部图像，获取目标图像中目标关注点的坐标参数：将所述关键局部图像发送至服务器；其中，所述服务器至少配置有预设的图像语义分割模型；所述服务器利用预设的图像语义分割模型处理关键局部图像，从关键局部图像中识别并分割出关注区域；并计算出关注区域中的质心坐标；接收关注区域中的质心坐标；根据预设的坐标转换关系，将所述关注区域中的质心坐标转换为对应的空间坐标，得到目标关注点的坐标参数。
145.在一些实施例中，上述第二确定模块1404具体实施时，可以按照以下方式根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数：根
据目标操纵类型，从预设的操纵数据库中确定出相匹配的目标初始化打孔点参数；根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数。
146.在一些实施例中，上述第二确定模块1404具体实施时，可以按照以下方式根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数：获取当前视野中的目标定位点的坐标参数；根据目标关注点的坐标参数和目标定位点的坐标参数，构建针对感兴趣目标的中垂线；根据所述中垂线、目标关注点的坐标参数，以及目标初始化打孔点参数，确定出目标打孔点的位置参数。
147.在一些实施例中，在根据目标关注点的坐标参数和目标初始化打孔点参数，确定出目标打孔点的位置参数之后，所述装置具体实施时，还可以用于获取感兴趣目标的特征参数；根据感兴趣目标的特征参数，调整目标打孔点的位置参数。
148.在一些实施例中，上述投影模块1405具体实施时，可以按照以下方式，根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点：基于增强现实技术，根据目标打孔点的位置参数，通过全息投影的方式在用户基于操作设备的当前视野中投影出对应的目标打孔点。
149.在一些实施例中，在根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点之后，所述装置具体实施时，还可以用于接收用户针对目标打孔点的调整操作；根据调整操作，调整目标打孔点在当前视野中的位置。
150.参阅图15所示，在软件层面上，本说明书实施例还提供了另一种打孔点的确定装置，该装置具体可以包括以下的结构模块：
151.接收模块1501，具体可以用于接收操作设备发送的关键局部图像；其中，所述操作设备获取用户当前视野中的目标图像；并确定出目标图像中的关键局部图像；
152.处理模块1502，具体可以用于利用预设的图像语义分割模型处理关键局部图像，以从关键局部图像中识别并分割出关注区域；
153.计算模块1503，具体可以用于计算出关注区域中的质心坐标；
154.发送模块1504，具体可以用于将关注区域中的质心坐标发送至操作设备；其中，所述操作设备根据关注区域中的质心坐标，确定出目标图像中目标关注点的坐标参数；所述操作设备还根据目标关注点的坐标参数，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户基于操作设备的当前视野中投影出对应的目标打孔点。
155.需要说明的是，上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
156.由上可见，基于本说明书实施例提供的打孔点的确定装置，用户在使用操作设备
进行手术操作前，操作设备可以获取用户当前视野中包含有待进行目标操作的目标患者的目标图像；并确定出目标图像中的关键局部图像，以及目标操作的目标操纵类型；再基于关键局部图像，获取目标图像中目标关注点的坐标参数；再根据目标关注点的坐标参数和目标操纵类型，确定出针对目标操作的目标打孔点的位置参数；并根据目标打孔点的位置参数，在用户的当前视野中投影出对应的目标打孔点。从而可以智能地确定出针对目标操作的目标打孔点，并将上述目标打孔点准确地投影到用户当前视野中，有效地简化了用户操作，使得用户能便捷、高效地进行后续的目标操作。
157.虽然本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
158.本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
159.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机可读存储介质中。
160.通过以上的实施例的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
161.本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
162.虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变
形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。