多人沉浸式支气管镜教学的处理系统的制作方法

1.本实用新型涉及支气管镜教学领域，尤其涉及一种多人沉浸式支气管镜教学的处理系统。


背景技术：

2.在肺部疾病诊断过程中，经常通过支气管镜对气管、支气管及肺组织及肺组织的观察、活检、细菌学、细胞学检查等来明确诊断，也有一些气管、支气管及肺病变需要通过使用气管镜进行经支气管治疗。但是由于支气管镜技术是一项操作性极强的技能，要求操作人员在支气管树解剖结构的基础上，能通过ct阅片识别变异支气管分支并进行支气管镜操作，其临床操作及教学均有一定难度。
3.现有相关技术中，为培养操作人员(例如医生)操作支气管镜的技能，通常只能结合实体的支气管树模型进行现场教学，然而，该方式无法满足实际的教学需求，影响了教学质量和效率。例如，无法满足远程共同学习的需求，学习人员无法深入体验实际操作过程中的观感，无法提供直观的支气管镜内窥图像及对应ct图像的展示，无法提供模拟病灶进行仿真支气管镜操作教学，学习人员难以学习在多样形态支气管树上的操作以提升经验等。


技术实现要素：

4.本实用新型提供一种多人沉浸式支气管镜教学的处理系统，以解决无法满足实际教学需求的问题。
5.根据本实用新型，提供了一种多人沉浸式支气管镜教学的处理系统，包括服务器、多个头戴式显示设备，以及用于对所述头戴式显示设备所展示的内容进行转播的实时转播设备，所述服务器被配置为能够与多个头戴式显示设备通讯，所述多个头戴式显示设备包括老师的第一头戴式显示设备与学生的第二头戴式显示设备。
6.可选的，所述实时转播设备连接于至少之一所述头戴式显示设备。
7.可选的，所述实时转播设备连接于所述服务器。
8.可选的，所述的多人沉浸式支气管镜教学的处理系统，还包括ct扫描设备，所述ct扫描设备直接或间接与所述服务器通讯连接。
9.可选的，所述的多人沉浸式支气管镜教学的处理系统，还包括：用于与用户交互的交互装置；所述交互装置集成于所述头戴式显示设备，或与所述头戴式显示设备通信连接。
10.可选的，所述交互装置包括用于检测用户手势的手势动作采集装置。
11.可选的，所述交互装置包括用于检测用户眼睛变化的眼动追踪装置。
12.可选的，所述交互装置包括用于检测用户声音信号的声音检测装置。
13.可选的，所述的多人沉浸式支气管镜教学的处理系统，还包括：用于对所述头戴式显示设备所显示的内容进行录制的录制设备；所述录制设备通信连接所述头戴式显示设备或所述服务器。
14.可选的，所述头戴式显示设备为头戴式混合现实显示器。
15.本实用新型提供的多人沉浸式支气管镜教学的处理系统中，通过服务器与多个头戴式显示设备构建处理系统，不同用户(老师与学生)可各自佩戴头戴式显示设备而一同参与教学，便于实现远程教学，满足支气管镜教学中远程共同学习的需求。同时，针对不便于佩戴头戴式显示设备的用户，本实用新型还引入了实时转播设备，可见，本实用新型有效兼顾了远程教学的各种硬件条件可能性，充分满足各种远程教学需求。
16.此外，采用头戴式显示设备(例如头戴式混合现实显示器)的情况下，可有效提高教学时的视觉体验，改善教学质量。
附图说明
17.为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本实用新型实施例中示例性的一种多人沉浸式支气管镜教学的处理系统的构造示意图；
19.图2是本实用新型实施例中示例性的另一种多人沉浸式支气管镜教学的处理系统的构造示意图；
20.图3是本实用新型实施例中示例性的再一种多人沉浸式支气管镜教学的处理系统的构造示意图；
21.图4是本实用新型实施例中示例性的能实现交互的一种多人沉浸式支气管镜教学的处理系统的构造示意图；
22.图5是本实用新型实施例中示例性的一种头戴式显示设备的一种显示结果示意图；
23.图6是本实用新型实施例中示例性的一种头戴式显示设备的显示结果的实景示意图；
24.图7是本实用新型实施例中示例性的一种实时转播设备的转播过程的原理示意图。
具体实施方式
25.下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
26.本实用新型的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本实用新型的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或
对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.下面以具体地实施例对本实用新型的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
28.请参考图1，本实用新型实施例提供给了一种多人沉浸式支气管镜教学的处理系统，包括：服务器11，以及多个头戴式显示设备12。
29.所述服务器11能够与所述头戴式显示设备12直接或间接通讯，例如，服务器11可基于互联网、局域网、物联网等至少之一与头戴式显示设备12通信，也可直接与头戴式显示设备12通信。
30.其中的服务器11，可以指具有数据处理能力与对外通信能力的任意设备或设备的组合。
31.其中的头戴式显示设备12，可以为能够佩戴于用户头部，并在佩戴后将信息呈现于眼前的任意设备，例如可以为头戴式混合现实显示器；其中的混合现实，亦即mr，具体为mixed reality，可理解为现实元素和虚拟元素混合展示的一种方式。
32.请参考图1与图2，所述多个头戴式显示设备包括老师的第一头戴式显示设备与学生的第二头戴式显示设备。老师的第一头戴式显示设备、学生的第二头戴式显示设备的数量可以为一个，也可以为多个。此外，除了老师与学生的第一头戴式显示设备、第二头戴式显示设备，多个头戴式显示设备还可包括其他第三头戴式显示设备、第四头戴式显示设备、第五头戴式显示设备等，不论数量、使用者如何变化，均不脱离本实用新型实施例的范围。
33.所述多个头戴式显示设备被配置为能够同步展现n个展示对象。具体的，可以接收来自服务器的展示对象的数据而进行展示。
34.所述n个展示对象包括虚拟支气管树的模拟内窥图像；其中，n≥1。
35.其中的虚拟支气管树，可理解为用于模拟人体中真实的支气管树的虚拟模型；对应的，虚拟支气管树的数据可以指对虚拟支气管树进行描述的任意信息。具体的，虚拟支气管树可基于某人体的ct数据(即指定ct数据)而形成，进而，虚拟支气管树形成后可存储于服务器或虚拟数据存储装置。
36.具体的，所述服务器还用于：
37.获取指定ct数据，所述虚拟支气管树是基于所述指定ct数据形成的；
38.基于所述指定ct数据，构建所述虚拟支气管树。
39.以图4所示为例，指定ct数据可源自ct扫描设备16，该ct扫描设备可被配置为与服务器11通信。
40.其中的指定ct数据，可以指对人体进行ct扫描从而得到的数据，具体可以是对肺部进行ct扫描而得到的数据，ct数据可主要体现出肺部的各种气管的形态(也可理解为支气管树的形态)，
41.ct数据可以包括ct图像，例如，通过ct扫描，可针对于支气管树的多个位置中的每个位置形成一组ct图像，每组中的ct图像的数量可以为一个，也可以为多个。
42.其中一种实施方式中，请参考图4，所述系统还可包括交互装置15，所述交互装置例如可以包括以下至少之一：
43.检测用户手势的手势动作采集装置151，对应的，检测到的交互信息可包括手势信息；
44.检测用户眼睛变化的眼动追踪装置152；对应的，交互信息可包括眼睛变化信息；其中的眼睛变化可例如眼珠的位置、朝向的变化(也可视作注视点)、眼睛是否眨眼等；
45.检测用户声音信号的声音检测装置(未图示)，对应的交互信息可包括声音信号。
46.以上交互装置可装配于头戴式显示设备12，也可外接于头戴式显示设备12，进而，交互装置可基于头戴式显示设备实现与服务器的通信；还可被配置为能够与服务器通信而不经头戴式显示设备对外通信。
47.基于声音检测装置，头戴式显示设备12可采集声音信号而通过服务器实现各头戴式显示设备之间声音信号的共享，进而，老师所讲的内容可被学生听到，学生讲的内容也可被老师听到，提高教学体验。
48.本实用新型实施例中，所述服务器11用于：
49.获取老师反馈的当前操作信息，并根据所述当前操作信息，更新所述头戴式显示设备中虚拟支气管树的模拟内窥图像，
50.其中的当前操作信息对应表征了支气管镜的一种或多种操作，其中的操作可例如包括以下至少之一：支气管镜旋转的操作、支气管镜行进的操作、支气管镜后退的操作、支气管镜弯曲的操作。
51.其中的支气管镜可理解为在进入人体的气管后，能够利用图像采集部采集实时内窥图像的装置或装置的组合。其中，支气管镜可以包括弯曲管(例如主动弯曲管和/或被动弯曲管)，图像采集部可设于弯曲管的一端，此外，不论采用何种支气管镜，均不脱离本实用新型实施例的范围。
52.其中的模拟内窥图像的变化模拟了支气管镜的相应操作对支气管镜所内窥到图像的影响；
53.例如，当前操作信息为支气管镜前进一段距离时，支气管镜内窥到的图像理应也伸入一段距离，对应的模拟内窥图像即可模拟出这种伸入而更新为虚拟支气管树的伸入一段距离后的图像；再例如：当前操作信息为支气管镜旋转一定角度时，支气管镜内窥到的图像理应发生一定旋转，对应的模拟内窥图像即可模拟出这种旋转，例如也对应的发生旋转。
54.其中一种实施方式中，所述服务器在根据所述当前操作信息，更新所述头戴式显示设备中虚拟支气管树的模拟内窥图像时，具体用于：
55.根据所述当前操作信息，确定针对于所述虚拟支气管树的当前内窥位置、当前内窥角度；
56.基于所述当前内窥位置与所述当前内窥角度，更新所述模拟内窥图像。
57.进一步举例中，所述服务器在根据所述当前操作信息，确定针对于所述虚拟支气管树的当前内窥位置、当前内窥角度时，具体用于：
58.根据所述当前操作信息，以及获取到所述当前操作信息之前针对于所述虚拟支气管镜的历史内窥位置、历史内窥角度，确定所述当前内窥位置、当前内窥角度。
59.其中的历史内窥位置、历史内窥角度，可理解为上一次获取到当前操作信息之后所确定的内窥位置、内窥角度(即那时候的当前内窥位置、当前内窥角度)。
60.其中的内窥位置，可理解为在虚拟支气管树截取出模拟内窥图像的位置(也可视作模拟内窥图像的位置)；
61.其中的内窥角度，可理解为在虚拟支气管树截取出模拟内窥图像时的视角，其可
模拟支气管镜图像采集部采集图像时的视角。
62.以上方案中，老师、学生可利用头戴式显示设备同步共享各种展示对象，其中，老师、学生可观察到虚拟支气管树的虚拟内窥图像，直观获悉支气管镜的内窥结果，同时，在老师操作时，针对于当前操作信息，所有头戴式显示设备均可看到操作的结果(表现为虚拟内窥图像的更新)，学生可直观地获悉操作结果。
63.本实用新型还通过服务器与多个头戴式显示设备构建处理系统，进而，不同用户(老师与学生)可各自佩戴头戴式显示设备而一同参与学习，便于实现远程教学，满足支气管镜教学中远程共同学习的需求。
64.其中一种实施方式中，所述服务器在获取老师反馈的当前操作信息，并根据所述当前操作信息更新所述虚拟支气管树的模拟内窥图像时，具体用于：
65.在所述头戴式显示设备展现支气管镜的部分或全部模型，然后，可在老师操作该模型时，获取对应的当前操作信息，例如，老师针对该模型而实施旋转的操作时，对应可获取到旋转的操作的当前操作信息。
66.另一种实施方式中，所述服务器在获取老师反馈的当前操作信息，并根据所述当前操作信息更新所述虚拟支气管树的模拟内窥图像时，具体用于：
67.在所述头戴式显示设备展现多个操作选项；
68.基于老师对所述多个操作选项的选择，确定所述当前操作信息。
69.每个操作选项表征了支气管镜的一种或多种操作；进而，可以利用任意方式而实现对操作选项的选择。此外，操作选项可展现为某种符号、某些文本等。
70.一种举例中，所述服务器在基于老师对所述多个操作选项的选择，确定所述当前操作信息时，具体用于：
71.在手势动作采集装置采集老师对所述多个操作选项的当前选择动作后，基于所述当前选择动作，确定老师所选择的目标操作选项，得到对应的所述当前操作信息。
72.进一步的，各操作选项可直接全部展现，也可以菜单的形式分层次展现，还可基于老师的滑动手势动作而切换所展示的操作选项，然后，可基于老师的点击手势选中某操作选项，被选中的操作选项即目标操作选项，其所表征的操作即当前操作信息所表征的操作。整个操作过程可展示于所述头戴式显示设备。
73.另一举例中，所述服务器在基于老师对所述多个操作选项的选择，确定所述当前操作信息时，具体用于：
74.在眼动追踪装置追踪到老师针对所述多个操作选项的当前注视点后，基于所述当前注视点，确定老师所选择的目标操作选项，得到所述当前操作信息。
75.进一步的，各操作选项可直接全部展现，也可以菜单的形式分层次展现，还可基于老师的滑动手势动作而切换所展示的操作选项，然后，可基于注视点的位置而实现操作选项的选择或预选，若实现的是预选，则可在老师眨眼一次或多次之后实现操作选项的确认。
76.所述服务器还用于：
77.在所述头戴式显示设备展现出所述当前操作信息。
78.展现当前操作信息的方式可以是任意的。
79.一种举例中，可通过将所选中的目标操作选项突出显示(例如令其颜色、尺寸、形态等与其他操作选项区别开来)，展示出目标操作选项(亦即对当前操作信息的一种展示)。
80.另一种举例中，可另行展示一种反馈文本、图形等来展示出当前操作信息。
81.可见，以上方案中，可展示出老师的当前操作信息(例如展示所选择的目标操作选项从而体现出当前操作信息，或直接展示当前操作信息)，从而令学生可清楚、直观地获悉老师的操作及操作结果的关系，实现支气管镜操作直观的教学。
82.其中一种实施方式中，所述服务器还用于：
83.将所述指定ct数据发送至所述头戴式显示设备，以利用所述指定ct数据中的ct图像作为所述多个展示对象中的一个展示对象。
84.进一步方案中，所展示的ct图像还可适配于当前操作信息而变化，即：
85.所述服务器还用于：
86.根据所述当前操作信息，更新所述头戴式显示设备中所显示的ct图像。
87.具体的，所述服务器在根据所述当前操作信息，更新所述头戴式显示设备中所显示的ct图像时，具体用于：
88.根据所述当前操作信息，确定针对于所述虚拟支气管树的当前内窥位置；
89.基于所述当前内窥位置，在指定ct数据中找到匹配位置的当前ct图像；
90.将所述头戴式显示设备中所显示的ct图像更新为所述当前ct图像。
91.其中，由于虚拟支气管树是基于真实人体的ct数据而构建的，故而，ct数据中的每一组ct图均可指向于真实人体的一个位置，对应即指向于虚拟支气管树的一个位置，可见，其中的匹配位置，可理解为指向于真实人体的同一个位置的ct图像与内窥位置，也可理解为：当前ct图像与当前内窥位置对应于真实人体的同一位置。
92.所述服务器在根据所述当前操作信息，确定针对于所述虚拟支气管树的当前内窥位置时，具体用于：
93.根据所述当前操作信息，以及获取到所述当前操作信息之前针对于所述虚拟支气管镜的历史内窥位置，确定所述当前内窥位置。
94.以上方案中，通过ct图像的展示，以及随操作的及时更新，可便于直观感知支气管镜操作过程带来的ct图像变化，还可便于观察ct图像与模拟内窥图像等的关系。
95.其中一种实施方式中，所述服务器还用于：
96.在所述头戴式显示设备中展示所述虚拟支气管树的外观模型，以利用所述外观模型作为所述多个展示对象中的一个展示对象。
97.其中的外观模型，可理解为：虚拟支气管树外表面所形成的模型，也可理解为：该外观模型满足：通过对该外观模型的展示，虚拟支气管树内部的内容未展示出来(即无法被观察到)。
98.进而，在教学时，可提供直观的支气管树形态，并且，由于该虚拟支气管树是非实体的，且为对应人体的虚拟支气管树，所以，采用虚拟支气管树的情况下，可便于展示多样人体的支气管树形态，满足支气管镜教学中兼顾不同人支气管树形态的需求。
99.进一步的方案中，所述服务器还用于：
100.获取病灶位置数据，所述病灶位置数据表征了所述虚拟支气管树与病灶区域的相对位置；
101.在所述头戴式显示设备展示所述外观模型时，基于所述病灶位置数据，在所述头戴式显示设备所展示的外观模型中展示出所述病灶区域。
102.例如，可在虚拟支气管树的外观模型中利用指定颜色的显示元素标记出病灶区域。
103.所述病灶位置数据表征了所述虚拟支气管树与病灶区域的相对位置，进而，可通过虚拟支气管树与病灶区域的相对位置表征出真实的支气管树与真实的病灶部位的相对位置。病灶位置数据可以是人工标记而形成的，也可以是自动识别而形成的。
104.所述服务器还用于：
105.获取目标路径的数据，
106.在所述头戴式显示设备展示所述外观模型时，在所述头戴式显示设备所展示的外观模型中展示出所述目标路径。
107.例如，可在虚拟支气管树的外观模型中利用指定颜色的显示元素标记出目标路径。
108.所述目标路径模拟了所述支气管镜进入所述人体后到达病灶的路径；该目标路径可以是在病灶位置数据与虚拟支气管树的基础上而规划形成的。
109.其中一种实施方式中，所述服务器还用于：
110.在所述头戴式显示设备中展示所述虚拟支气管树的三维透视模型，以利用所述三维透视模型作为所述多个展示对象中的一个展示对象。
111.其中的三维透视模型，可理解为：针对于虚拟支气管树，虚拟摄像源在虚拟支气管树外观察虚拟支气管树(还可同时观察虚拟支气管树之外的虚拟肌肉、虚拟血管等虚拟生理构造)而形成的一种模型，并且，在该模型中，可将虚拟支气管树(及其他虚拟生理构造)中的部分或全部点云显示为透明的点。此外，在三维透视模型中，还可将点云着色，也可筛除虚拟支气管树、虚拟生理构造的部分点云。
112.进一步的方案中，所述服务器还用于：
113.获取病灶位置数据，所述病灶位置数据表征了所述虚拟支气管树与病灶区域的相对位置；
114.在所述头戴式显示设备展示所述三维透视模型时，基于所述病灶位置数据，在所述头戴式显示设备所展示的三维透视模型中展示出所述病灶区域。
115.例如，可在虚拟支气管树的三维透视模型中利用指定颜色的显示元素标记出病灶区域。
116.所述服务器还用于：
117.获取目标路径的数据；
118.在所述头戴式显示设备展示所述虚拟支气管树的三维透视模型时，在所述头戴式显示设备所展示的三维透视模型中展示出所述目标路径。
119.例如，可在虚拟支气管树的三维透视模型中利用指定颜色的显示元素标记出目标路径。
120.以上病灶位置数据、目标路径，可参照前文中的相关描述理解。
121.其中，通过对目标路径、病灶区域等的展示，用户可获悉所规划的目标路径、病灶区域位置，从而直观地学习针对于该目标路径、病灶区域，可以如何进行操作，操作过程中会感知(例如看到)什么样信息。
122.此外，一种举例中，在显示目标路径的同时，还可同步显示当前位置，该真实位置
的位置变化可适配于内窥视频的变化。例如，可利用特定颜色、形状的显示元素显示出当前内窥位置。
123.其中一种实施方式中，多个所述头戴式显示设备所显示的内容可以保持同步。进而，可支持多个混合现实显示装置协同操作，例如，某用户旋转外观模型后，另一用户可对旋转后的外观模型进行放大，用户可均看到该旋转与放大。进而，在远程教学时，可实时共享各种数据，提高教学的质量与效率。
124.其中一种实施方式中，不同用户对所述调整中内容的操作权限是不同的，其中的操作权限可例如允许实施某种或某些调整的操作权限，也可例如禁止实施某种或某些调整的操作权限；例如，部分用户只具有放大、缩小所述外观模型这两种调整的操作权限，再例如，部分用户不具有放大、缩小某个展示窗口的操作权限。
125.可见，基于多人沉浸式支气管镜教学的处理方法进行教学时，只需要通过头戴式显示设备，即可将支气管镜的内窥视频，ct图像，虚拟支气管树的模型(例如外观模型、三维透视模型等)呈现在眼前，实现沉浸式教学。同时，多人同时在同一场景中，可便于在学习的同时互相交流，汲取别人的操作经验，共同完成多次支气管镜操作的经验共享。
126.其中一种实施方式中，所述服务器，还用于：
127.响应于交互信息，对所述头戴式显示装置所展示的内容进行调整，所述交互信息是交互装置检测到的，所述交互装置集成于所述头戴式显示设备，或被配置为能够与所述头戴式显示设备通信。
128.具体举例中，所述调整包括以下至少之一：
129.缩小所述外观模型；
130.放大所述外观模型；
131.旋转所述外观模型；
132.改变所述外观模型的展示位置；
133.关闭所述外观模型的展示；
134.开启所述外观模型的展示；
135.缩小展示窗口；
136.放大所述展示窗口；
137.改变所述展示窗口的位置；
138.所述展示窗口的开启；
139.所述展示窗口的关闭；
140.其中，所述展示窗口为用于展示指定展示对象的窗口。所述指定展示对象包括以下任意之一：所述模拟内窥图像、ct图像、所述虚拟支气管树的三维透视模型。
141.以上方案中，通过展示对象的调整，可便于在教学中随时调整所展示的内容，使得调整后的展示结果可充分满足教学的需求。
142.图5与图6所示实施例中，提供了一种头戴式显示装置的一种显示结果，其中，可利用展示窗口21展示虚拟支气管树的三维透视模型，利用展示窗口22展示模拟内窥图像，利用展示窗口24显示ct图像，同时，虚拟支气管树的外观模型可显示于指定区域23内。此外，还可在头戴式显示装置的显示背景中显示并播放现实场景视频。
143.请参考图4，所述的多人沉浸式支气管镜教学的处理系统，还包括录播设备14；
144.所述录播设备14用于对所述头戴式显示设备所展现的n个展示对象的画面进行录制并存储。
145.一种举例中，所述录播设备连接于至少之一头戴式显示设备。另一举例中，所述录播设备被配置为能够与所述服务器通信。不论哪种方式，只要实时转播设备可获取到头戴式显示设备所展示内容，就不脱离本实用新型实施例的范围。
146.请参考图2至图4，多人沉浸式支气管镜教学的处理系统，还包括：实时转播设备13，所述实时转播设备13用于：对所述头戴式显示设备所展示的内容进行转播。
147.一种举例中，所述实时转播设备可连接于至少之一头戴式显示设备，另一举例中，所述实时转播设备被配置为能够与所述服务器通信，不论哪种方式，只要实时转播设备可获取到头戴式显示设备所展示内容，就不脱离本实用新型实施例的范围。
148.其中所展示的内容可以包括n个展示对象，也不排除还包括其他内容的方案。
149.部分方案中，可直接将所展示的内容(例如n个展示对象)传输后进行转播后的展示，而不对其进行采样、压缩等处理。
150.另部分方案中，由于所需传输的内容较多，可对其进行一定处理。
151.所述实时转播设备在对所述头戴式显示设备所展示的内容进行转播时，具体用于：
152.对所述展示对象进行采样，得到采样后数据；
153.对所述采样后数据进行传输；
154.在传输后，对所述采样后数据进行重建，得到重建结果。
155.以上三个步骤可例如是实时转播设备的不同设备单元而实现的，例如可包括：
156.接收处理单元，用于对所述展示对象进行采样，得到采样后数据；
157.传输单元，用于对所述采样后数据进行传输；例如可以是有线传输方式的传输线，也可以是无线传输方式的通信单元，也可既采用传输线，又采用通信单元；
158.重建处理单元，用于在传输后，对所述采样后数据进行重建，得到重建结果。
159.所述实时转播设备在对所述展示对象进行采样，得到采样后数据时，具体用于：
160.将所述展示对象输入对应的第一卷积网络，以利用所述对应的第一卷积网络的卷积处理对所述展示对象进行压缩感知采样，得到所述采样后数据。
161.由于n个展示对象的内容、维度是不同的，故而，可分别采用不同类的卷积处理，例如：
162.所述n个展示对象中的模拟内窥图像对应的第一卷积网络实现的卷积处理为2d卷积；
163.所述n个展示对象中所述虚拟支气管树的外观模型对应的第一卷积网络实现的卷积处理为1d卷积；
164.所述n个展示对象中所述虚拟支气管树的三维透视模型对应的第一卷积网络实现的卷积处理为1d卷积；
165.所述n个展示对象中ct图像对应的第一卷积网络实现的卷积处理为1d卷积。
166.具体举例中，请参考图7，由于对不同展示对象实现了不同的卷积处理，所以，第一卷积网络31的采样可理解为多模态压缩感知采样，从而关注于多模态的数据：三维透视模型，ct图像(例如一组ct图像所形成的3d的ct图像)，模拟内窥图像，点云渲染的外观模型。
它们采用不同维度的卷积采样，进而，该举例中可无需对数据做分块采样，所以重建不会有块效应。
167.例如，请参见以下公式：
168.y＝w
φ
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
169.公式1是现有技术中常见的压缩感知采样的公式，y代表采样结果，x代表原始数据，因为采样矩阵的尺寸，所以需要把x切成固定的块做采样，重建之后再做合并。但采用第一卷积网络进行卷积时，引入不同维度的卷积采样后，公式如下：
[0170][0171]
n代表x的维度，进而，可通过x的维度选取卷积核，因为卷积的特性，可以处理可变尺寸的数据，所以不需要分块，不会有块效应。
[0172]
考虑到三维透视模型和外观模型可以统一为点云数据，进而可采用点云数据传输，用1d的卷积做压缩感知采样。而模拟内窥图像是2d数据，可以采用2d的卷积做压缩感知采样。而3d的ct图像可理解为是3d数据，进而可采用3d的卷积做压缩感知采样。
[0173]
其中一种实施方式中，所述实时转播设备在对所述采样后数据进行重建，得到重建结果时，具体用于：
[0174]
利用第二卷积网络对所述采样后数据进行卷积处理，得到一次恢复后的数据；
[0175]
利用浅度卷积网络对所述一次恢复后的数据进行卷积处理，得到二次恢复后的数据；所述浅度卷积网络在训练时经深度卷积网络进行知识蒸馏；
[0176]
利用注意力网络对所述二次恢复后的数据进行数据增强，得到每个展示对象的重建结果。
[0177]
其中，所述第一卷积网络、所述第二卷积网络、所述浅度卷积网络、所述深度卷积网络、所述注意力网络可以是一同训练的，进而，所述第一卷积网络、所述第二卷积网络、所述浅度卷积网络、所述深度卷积网络、所述注意力网络可具备准确地采样、重构的能力，保障转播结果可准确、高清地还原各展示对象的实际内容。
[0178]
具体举例中，请参考图7，第二卷积网络32可以为深度可分离卷积的卷积网络，其输出结果可表征为：
[0179]
其中，考虑到头戴式显示设备所需传输的数据量巨大，采用普通的卷积网络，计算量巨大，故而采用深度可分离卷积的卷积网络来处理这个问题，具体以网络里的2d卷积为例子，可以采用32个3
×3×
32的2d卷积核，其参数为3
×3×
32
×
32＝9216，
[0180]
而采用深度可分离卷积，32个3
×3×
32的2d卷积核可分离为1个3
×3×
32的2d卷积核，和32个1
×1×
32的2d卷积核，参数一共是1
×3×3×
32+32
×1×1×
32＝1312个参数。参数量减少了85％。
[0181]
其中一种实施方式中，在训练时，所述第二卷积网络的输出数据将分别传输至所述深度卷积网络与所述浅度卷积网络，在对所述采样后数据进行所述重建时，所述第二卷积网络的输出数据仅传输至所述浅度卷积网络。
[0182]
具体举例中，请参考图7，deep cnn代表深度卷积网络34，shallow cnn代表浅度卷积网络33，网络训练的时候，可使用知识蒸馏机制。
[0183]
具体的，深度卷积网络34可采用由k个(例如12个)残差模块组成，每个残差模块由3×3×
32的卷积、批次归一化(bn，batch normalization)、校正线性单元(relu)和3
×3×
32的卷积和跳跃连接组成。浅度卷积网络33则采用k/2个(例如6个)残差模块组成.知识蒸馏的损失函数为：
[0184]
l1＝kldiv(f
deep
(x0)-f
shallow
(x0))+||x
label-f
shallow
(x0)||2ꢀꢀ
(3)
[0185]
kldiv代表kl散度，x0为压缩感知初始化重建，x
label
为重建数据的标签，f
deep
(x0)为深度卷积网络输出结果，f
shallow
(x0)为浅度卷积网络输出结果。
[0186]
其中，通过知识蒸馏，在训练时可以把深度卷积网络34的知识传递给浅度卷积网络33。
[0187]
其中一种实施方式中，所述注意力网络的数量为两个，两个注意力网络分别为不带位移的采用窗口法注意力机制的第一注意力网络35，以及带位移的采用窗口法注意力机制的第二注意力网络36。
[0188]
所述二次恢复后的数据依次经所述第一注意力网络35与所述第二注意力网络36处理后，能够形成每个对象的重建结果。
[0189]
具体举例中，请参考图7，ln代表层间的正则化,我们使用方差和期望正则化，mlp代表全连接网络，w-msa(window attention)代表窗口法的注意力机制，sw-msa(shifted window attention)代表带循环移位的窗口法的注意力机制，循环移位对数据进行了数据增强，进而，采用第一注意力网络35与第二注意力网络36的情况下，可使得注意力网络能提供较佳的鲁棒性。
[0190]
此外，其中还利用注意力机制模块来捕捉长距离依赖，窗口法通过对输入进行分块组合，从而减少后面注意力机制计算所需要的时间，有利于实时高清压缩感知重建，得到高清还原的重建结果。
[0191]
其中的算法可以用公式表示为：
[0192][0193]fattention
表示图7中虚线的两个注意力网络。
[0194]
x
l+1
表示重建结果；
[0195]
重建结果的损失函数可以为：
[0196]
l2＝||x
label-x
l+1
||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0197]
x
label
表示训练时使用的标签；
[0198]
||x
label-x
l+1
||2表示二范数的计算。
[0199]
其中一种实施方式中，处理系统还可包括c臂机，其可用于利用x射线扫描人体，获得人体扫描结果，c臂机可与服务器直接或间接通讯连接，以将人体扫描结果反馈至服务器，在此硬件基础的一种举例中，服务器可将人体扫描结果(例如虚拟支气管树对应的人体扫描结果)反馈至头戴式显示设备，以进行展示，另一种举例中，服务器可基于人体扫描结果构建虚拟模型。
[0200]
其中一种实施方式中，处理系统还包括支气管镜，支气管镜可设有传感器，该些传感器可直接或间接与服务器通信连接，进而，服务器可基于传感器的检测数据，判断支气管镜所发生的操作。在此基础上，老师可操作支气管镜，进而产生传感器的检测数据，服务器接收到检测数据后，可基于检测信息产生所述当前操作信息。
[0201]
最后应说明的是：以上各实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述各实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。