用于内窥镜的组织腔体定位方法、装置、介质及设备与流程

1.本公开涉及图像处理领域，具体地，涉及一种用于内窥镜的组织腔体定位方法、装置、介质及设备。


背景技术：

2.近年来由于深度学习的出现，人工智能技术得到了飞速的发展，在许多领域人工智能可以替代人类的工作，如执行重复性的繁琐的工作，可以大大减轻人类工作的负担。
3.在内窥镜检查，如肠镜检查通常分为进镜和退镜两个阶段，其中退镜为医生对病情的检查阶段，但进境往往需要花费医生更多的精力和时间。相关技术中，可以通过自动化导航以节省进镜时间，节省医生工作量。相关技术中，通常可以采用位姿估计和深度估计结合以确定进镜方向，或者基于阈值分割的图像算法等确定进镜方向。然而进镜过程中可能存在很多复杂的情况，例如污物的遮挡、肠道的蠕动、不同人的不同肠道等，通过上述方案难以适应复杂多变的肠道环境，进镜导航的准确度和精度不足。


技术实现要素：

4.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.第一方面，本公开提供一种用于内窥镜的组织腔体定位方法，所述方法包括：接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
6.第二方面，本公开提供一种用于内窥镜的组织腔体定位装置，所述装置包括：接收模块，用于接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；第一确定模块，用于根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络
对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
7.第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
8.第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。
9.通过上述技术方案，基于内窥镜在其所处位置获得的腔体图像和关键点识别模型，确定该腔体图像中的组织腔体的中心点，以基于该中心点确定内窥镜的进镜前进移动位置，使得该组织腔体定位方法可以适用于复杂的腔体环境，并且可以有效提高组织腔体定位的准确度和实时性，为实现内窥镜进镜的自动导航提供准确的数据支持。并且，通过上述技术方案可以使得在关键点识别模型的训练过程中能够结合未标注的训练图像进行训练，一方面可以降低数据标注的工作量，另一方面也可以提高关键点识别模型的泛化性，进一步提高该方法的适用范围。另外，在关键点识别模型中，学生子网络的预测损失的权重可以基于教师子网络的预测标注特征进行动态确定，从而可以进一步提高关键点识别模型训练过程中的损失确定的准确性，提高关键点模型的训练效率和识别准确性，从而提高确定出的组织腔体中心点的准确性，降低内窥镜使用对用户的技术和经验要求，提升用户使用体验本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
10.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：图1是根据本公开的一种实施方式提供的用于内窥镜的组织腔体定位方法的流程图；图2是根据本公开的一种实施方式提供的关键点识别模型的训练的流程图；图3是关键点识别模型的结构示意图；图4是学生子网络包含的两层特征处理网络的结构示意图；图5是基于本公开提供的用于内窥镜的组织腔体定位方法确定的肠腔位置的示意图；图6是基于本公开提供的用于内窥镜的组织腔体定位方法确定的另一肠腔位置的示意图；图7是根据本公开的一种实施方式提供的用于内窥镜的组织腔体定位装置的框图；图8示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
11.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
12.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
13.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
14.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
15.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
16.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
17.图1所示，为根据本公开的一种实施方式提供的用于内窥镜的组织腔体定位方法的流程图，如图1所示，所述方法可以包括：在步骤11中，接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的。
18.其中，在医疗内窥镜图像识别中，内窥镜在生物体，例如人体内部拍摄医疗内窥镜视频流。示例性的，在内窥镜的进镜过程即从人体与外界相通的腔道或者密闭体腔进入人体的目标位置的过程中进行图像拍摄，从而可以基于拍摄的图像或视频确定其当前所处的位置，以为其进镜过程提供导航。示例地，与外界相通的腔道可以是消化道、呼吸道等，密闭体腔可以是胸腔、腹腔等可以通过切口来送入内窥镜的腔体。
19.在步骤12中，根据关键点识别模型和腔体图像，获得腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置。
20.其中，所述腔体图像对应的组织腔体即为该腔体图像中的显示的组织腔体。示例地，该组织腔体可以为肠腔、胃腔等，以肠腔为例，在内窥镜进入肠腔后，其可以在其所述位置拍摄图像从而获得腔体图像，该肠腔的中心点即为肠腔壁所包围空间截面的中心，在内窥镜沿肠腔中心点进行前进移动时，从而实现内窥镜的进镜自动导航。
21.其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
22.在该实施例中，学生子网络用于对输入的图像进行关键点识别，并通过教师子网
络对输入的训练图像的标注特征进行预测，从而评价该学生子网络的预测结果的准确性，从而使得该方法可以应用于半监督学习的模型中，即可以结合未标注的训练图像进行模型的训练。并且，在关键点识别模型的训练过程中，学生子网络对应的预测损失的权重是基于所述教师子网络的预测结果和所述判别子网络确定出的，因此，该学生子网络的预测损失的权重可以基于教师子网络的预测标注特征进行动态确定，使得后续学生子网络的参数调整与学生子网络的预测能力相匹配。
23.由此，通过上述技术方案，基于内窥镜在其所处位置获得的腔体图像和关键点识别模型，确定该腔体图像中的组织腔体的中心点，以基于该中心点确定内窥镜的进镜前进移动位置，使得该组织腔体定位方法可以适用于复杂的腔体环境，并且可以有效提高组织腔体定位的准确度和实时性，为实现内窥镜进镜的自动导航提供准确的数据支持。并且，通过上述技术方案可以使得在关键点识别模型的训练过程中能够结合未标注的训练图像进行训练，一方面可以降低数据标注的工作量，另一方面也可以提高关键点识别模型的泛化性，进一步提高该方法的适用范围。另外，在关键点识别模型中，学生子网络的预测损失的权重可以基于教师子网络的预测标注特征进行动态确定，从而可以进一步提高关键点识别模型训练过程中的损失确定的准确性，提高关键点模型的训练效率和识别准确性，从而提高确定出的组织腔体中心点的准确性，降低内窥镜使用对用户的技术和经验要求，提升用户使用体验。
24.在一种可能的实施例中，所述关键点识别模型可以通过如下方式进行训练，如图2所示，可以包含以下步骤：在步骤21中，获取多组训练样本，其中，所述多组训练样本包括第一训练样本和第二训练样本，所述第一训练样本包含训练图像，所述第二训练样本包含训练图像以及所述训练图像对应的关键点特征，所述关键点特征用于标识所述训练图像对应的组织腔体的中心点。
25.在该训练过程中，针对部分训练图像，可以由专业的医生基于经验对该图像进行标注，示例地，为便于标注，可以将该训练图像中的组织腔体的中心点的位置进行圈注，标注圆圈的中心即为中心点的位置，即所述关键点特征，该部分训练样本即为该第二训练样本。同时，为了进一步提高模型的泛化性，在本公开实施例中该训练样本中可以包含多组未进行标注的训练样本，即第一训练样本，从而使得训练出的关键点识别模型可以使用更加复杂的应用场景。
26.在步骤22中，采用不同的预处理方式对训练图像进行预处理，获得与训练图像对应的第一处理图像和第二处理图像。
27.示例地，该预处理方式可以是数据增强，例如可以是颜色、亮度、色度、饱和度变换等无仿射变换方式，以保证位置不变形。
28.作为示例，为了提高图像处理的准确性，可以在进行数据增强之前对训练图像进行标准化处理，即将该训练图像标准化至预设尺寸，以便于对训练图像的标准化处理。
29.示例地，在该实施例中，可以基于同一训练图像，将其标准化至预设尺寸，如256*256，之后可以从数据增强的方式中选择不同的方式对其进行预处理。示例地，可以通过颜色变换获得第一处理图像，通过亮度变换获得第二处理图像。其中，上述预设尺寸以及不同预处理方式的选择可以根据实际使用场景进行设置，本公开对此不进行限定。
30.在步骤23中，根据第一处理图像和学生子网络，获得第一预测图像，以及根据第二处理图像和教师子网络，获得第二预测图像。
31.示例地，可以将该第一处理图像输入该学生子网络，进而获得第一预测图像，将该第二处理图像输入教师子网络，进而获得第二预测图像。针对学生子网络，可以将该学生子网络输出的特征图标准化至与训练图像相同的尺寸以获得预测特征图，并将该预测特征图中元素值最大的点作为预测出的中心点进行标识，以获得该第一预测图像。其中，该预测特征图可以为热图，其中每一特征值则表示该点为中心点的概率值。如上文所述，学生子网络和教师子网络的结构相同，则针对教师子网络，第二预测图像的获得方式相似，在此不再赘述。
32.在步骤24中，根据第一预测图像、第二预测图像和判别子网络，确定学生子网络的预测损失和预测损失对应的权重。
33.其中，该第一预测图像用于表征学生子网络的预测结果，第二预测图像用于表示教师子网络的预测结果。在本公开实施例中，由于训练样本中包含未进行标注的训练图像，针对此部分训练图像，本公开中可以将教师子网络输出的第二预测图像作为该训练图像的标注特征。因此，在本公开实施例中，可以基于第一预测图像和第二预测图像，确定学生子网络的预测损失。并且，考虑到该第二预测图像也是预测出的标注特征，其与真实的应标注特征之间可能存在差异，则可以同时确定出该预测损失对应的权重，以在确定预测损失时考虑教师子网络的预测准确度的影响。
34.在步骤25中，基于预测损失以及预测损失的权重，确定学生子网络对应的目标损失。
35.示例地，若该第二预测图像与真实的应标注特征之间差异较大，则该权重较小，则该预测损失体现在目标损失中的部分则会相应降低，即可以量该预测损失和该权重对应的乘积作为该学生子网络对应的目标预测损失，进而确定学生子网络的目标损失。
36.在一种可能的实施例中，在所述训练样本为第一训练样本，即该训练样本为未标注的训练图像的情况下，所述基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失的示例性实现方式如下，该步骤可以包括：根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失。
37.其中，在本公开实施例中，可以以学生子网络作为生成器，将判别子网络作为鉴别器形成gan（generative adversarial network，对抗生成网络）模型。其中，生成器用于生成伪数据以混淆鉴别器的真假判别，鉴别器用于区分来自伪数据集和真实数据集的样本。在本公开实施例中，则可以将该学生子网络输出的第一预测特征图像作为伪数据，以确定该学生子网络的生成损失，示例地，该生成损失可以通过softplus loss实现：；其中，用于表示该训练图像和第一预测图像的组合样本。
38.之后，基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果确定为所述目标损失。
39.示例地，该生成损失对应的权重可以以超参数的方式预先进行设置，例如生成损
失对应的权重可以设置为0.01。由此，则可以通过加权求和的方式确定出在训练图像未标注时对应的目标损失。
40.由此，通过上述技术方案，在确定学生子网络的目标损失时，既可以考虑学生子网络的预测损失，同时又能够结合判别子网络以确定该学生子网络的生成损失，从而可以从多个方面综合确定该学生子网络的目标损失，为后续学生子网络的参数调整提供准确且可靠的数据支持。
41.在一种可能的实施例中，在所述训练样本为第二训练样本，即进行特征标准的样本的情况下，所述基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失的另一示例性实现方式，可以包括：根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失。其中，确定生成损失的方式已在上文进行详述，在此不再赘述。
42.计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，获得输出损失。在该实施例中，训练样本中包含训练图像对应的关键点特征，即包含准确标注的中心点的特征，因此，可以通过计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，以进一步确定该学生子网络的预测输出与其对应的真实输出之间的差异，从而保证其更新的准确性。
43.基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果与所述输出损失之和确定为所述目标损失。
44.示例地，可以通过如下公式确定该目标损失l：；其中，用于表示所述输出损失；用于表示所述预测损失对应的权重；用于表示所述预测损失；用于表示所述生成损失对应的权重；用于表示所述生成损失。
45.由此，通过上述技术方案，可以在确定学生子网络的目标损失时，既可以考虑学生子网络的预测损失，同时又能够结合判别子网络以确定该学生子网络的生成损失，并且还能够考量该学生子网络的输出与真实输出之间的差异，从而可以从多个方面综合确定该学生子网络的目标损失，并且在确定目标损失时，针对生成损失和预测损失，可以结合其对应的权重以调整其在目标损失中的比例，进一步提高目标损失计算的准确性，为后续学生子网络的参数调整提供准确且可靠的数据支持，进一步保证基于该关键点识别模型确定中的组织腔体的中心点的准确性。
46.转回图2，在步骤26中，在满足更新条件的情况下，根据目标损失对学生子网络和教师子网络的参数进行更新。
47.作为示例，该更新条件可以为目标损失大于预设的损失阈值，此时表示关键点识别模型的识别准确性不足。作为另一示例，该更新条件可以是迭代次数小于预设的次数阈值，此时认为关键点识别模型迭代次数较少，其识别准确性不足。
48.相应地，在满足更新条件的情况下，可以根据该目标损失对学生子网络和教师子
网络的参数进行更新。其中，基于确定出的目标损失对参数进行更新的方式可以采用本领域中常用的更新方式，在此不再赘述。
49.在不满足该更新条件的情况下，则可以认为该关键点识别模型的识别精确性达到训练要求，此时可以停止训练过程，获得训练完成的关键点识别模型。
50.在步骤27中，确定判别子网络的损失，并根据判别子网络的损失更新判别子网络的参数。其中，所述判别子网络可以为以置信度回归网络替换其中的分类网络的vgg网络。
51.示例地，在对学生子网络进行更新后，可以相应地更新该判别子网络，以保证该判别子网络与学生子网络的匹配度。示例地，在确定判别子网络的损失时，可以从第二训练样本中采样部分数据，进而可以通过如下方式确定判别子网络的损失：；其中，用于表示标注有关键点特征的训练图像和该关键点特征的组合样本，用于表示该训练图像和第一预测图像的组合样本。同样地，在确定出该判别子网络的损失之后，可以采用本领域的常用的参数更新方式进行更新，本公开在此不再赘述。
52.由此，通过上述技术方案，在该关键点识别模型的训练样本中可以包含进行标注的样本的同时包含未标注的样本，从而可以有效提高训练所得的关键点识别模型的泛化性，使得该组织腔体定位方法可以适用于更复杂更广泛的应用场景。同时，在该训练过程中，学生子网络和教师子网络的输入为针对同一训练图像变换出的不同的图像，从而可以进一步提高训练图像的多样不变性，在一定程度上提高关键点识别模型的训练效率，提高该关键点识别模型的稳定性，为内窥镜的进镜导航提供准确的数据支持。
53.在一种可能的实施例中，在步骤24中，根据第一预测图像、第二预测图像和判别子网络，确定学生子网络的预测损失和预测损失对应的权重的示例性实现方式如下，该步骤可以包括：计算所述第一预测图像和所述第二预测图像之间的均方误差，获得预测损失。
54.示例地，可以通过如下公式确定所述预测损失lc：其中，第一预测图像和第二预测图像的尺寸相同，h用于表示预测图像的高度，w用于表示预测图像的宽度；用于表示第一预测图像中的（h,w）处的元素值；用于表示第二预测图像中的（h,w）处的元素值。
55.将所述第二预测图像和所述训练图像进行拼接，获得判别图像。
56.根据所述判别图像和所述判别子网络，获取所述第二预测图像对应的置信度，并将所述置信度确定为所述预测损失对应的权重。
57.其中，可以通过concatenate函数对第二预测图像和训练图像进行拼接，获得判别图像。判别子网络用于判别将第二预测图像作为该训练图像的标注图像的置信度，在该置信度较高时，表示将该第二预测图像作为该训练图像的标注图像是可信的，在该置信度较低时，表示将该第二预测图像作为该训练图像的可信度不足。
58.由此，在本公开中，通过将该置信度作为预测损失的权重，教师子网络对应的第二预测图像作为训练图像的标注图像较为可信时，预测损失对应的权重较大，即此情况下可以充分考虑该预测损失对模型的影响；教师子网络对应的第二预测图像作为训练图像的标注图像可信度不足，预测损失对应的权重较小，即此情况下导致预测损失产生原因可能是由于学生子网络的预测误差，也可能是由于教师子网络的预测误差，此时确定出的预测损失对模型的影响较小。
59.由此，通过上述技术方案，可以根据教师子网络的预测图像的可信程度自适应调整学生子网络的预测损失的权重，有效避免教师子网络的预测误差而导致的误差对模型更新的影响，实现了自适应的预测损失的权重调整，使得关键点识别模型的训练更加稳定、高效。
60.在一种可能的实施例中，所述学生子网络和所述教师子网络中的特征处理网络为多层且层数相同，如图3所示为关键点识别模型的结构示意图，在图3中，可以采用hourglass结构构建特征处理网络。示例地，如图3所示，在学生子网络中，编码器e1和解码器d1形成为一层特征处理网络n1，编码器e2和解码器d2形成为一层特征处理网络n2，相应地，在教师子网络中也包含两层特征处理网络n3和n4，其中特征处理网络n3包含编码器e3和解码器d3，以及特征处理网络n4包含编码器e4和解码器d4。
61.相应地，计算所述第一预测图像和所述第二预测图像之间的均方误差，获得预测损失的示例性实现方式可以包括：根据所述学生子网络和教师子网络中的对应于同一层特征处理网络输出的特征预测图像计算均方误差，其中，所述第一预测图像为所述学生子网络中最后一层特征处理网络输出的特征预测图像，所述第二预测图像为所述教师子网络中最后一层特征处理网络输出的特征预测图像。
62.其中，如图3所述示例，在每一层特征处理网络均会输出特征预测图像，如图4所示，为学生子网络包含的两层特征处理网络的结构示意图。示例地，输入的第一处理图像的尺寸为预设尺寸256
×
256：（1）使用7
×
7的卷积、步长为2、padding为3，从而可以将第一处理图像缩放到128
×
128；（2）之后基于resblock和maxpooling将第一处理图像缩放到64
×
64，通道数为256。如上文所示，一个hourglass结构可以形成为一层特征处理网络，其可以拆分为编码器encoder和解码器decoder两个部分，在解码器decoder进行解码过程，每一层通过上采样后和编码器encoder对应尺度的特征图相加，以获得该层特征处理网络对应的特征预测图像。其中，hourglass结构的设置可以采用本领域中常用的设置方式，具体参数可以根据实际使用场景进行设置，本公开对此不进行限定。由此，可以在该特征预测图像中融合多尺度下的特征信息，以使预测结果更加精确。
63.如图3所示，可以基于特征处理网络n1和n3分别输出的特征预测图像计算均方误差，记为mse1，并基于特征处理网络n2和n4分别输出的特征预测图像计算均方误差，记为mse2。之后，将每一层特征处理网络对应的均方误差的平均值确定为所述预测损失。即可以mse1和mse2的平均值确定为该预测损失。
64.由此，通过上述技术方案，学生子网络和教师子网络可以通过多层特征处理网络进行预测，从而可以提高得出的第一预测图像和第二预测图像的准确性。并且，在该技术方案中，在确定学生子网络的预测损失时，可以针对每层特征处理网络输出的特征预测图像
计算损失，从而结合各层特征处理网络对应的损失以确定该学生子网络的预测损失，使得该预测损失可以准确表示学生子网络的预测过程中的预测偏差，为后续进行参数调整提供准确的数据支持。
65.在一种可能的实施例中，所述学生子网络和所述教师子网络中的特征处理网络为多层且层数相同，其结构示意图如图3所示。
66.相应地，所述计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，获得输出损失的示例性实现方式可以包括：针对所述学生子网络中的每一层特征处理网络输出的特征预测图像，将所述训练图像对应的关键点特征处理为与该特征预测图像的尺寸相同的处理训练图像。
67.其中，由于特征处理网络的参数设置可能使得该特征处理网络输出的特征预测图像与训练图像的尺寸不同，因此，在该实施例中，为了保证数据处理的准确性，可以将训练图像对应的关键点特征处理为与该特征预测图像的尺寸相同的处理训练图像。示例地，特征预测图像的尺寸为64*64，训练图像对应的关键点特征的尺寸为256*256，则可以通过对关键点特征进行下采样以获得尺寸为64*64的处理训练图像。
68.计算每一层特征处理网络输出的特征预测图像与该特征预测图像对应的处理训练图像之间的均方误差，并将每一层特征处理网络对应的均方误差的平均值确定为所述输出损失。
69.示例地，可以通过如下方式确定该输出损失：其中，用于表示特征预测图像的高度，用于表示特征预测图像的宽度；用于表示第n层特征处理网络对应的处理训练图像中的（h,w）处的元素值；用于表示第n层特征处理网络对应的特征预测图像中的（h,w）处的元素值；n用于表示特征处理网络的层数。
70.由此，通过上述技术方案，在确定学生子网络的输出损失时，可以针对每层特征处理网络输出的特征预测图像计算损失，从而结合各层特征处理网络对应的损失以确定该学生子网络的输出损失，使得该输出损失可以准确表示学生子网络各层特征处理网络输出的特征预测图像与标注图像之间的偏差，为后续进行参数调整提供准确的数据支持。
71.在一种可能的实施例中，所述根据所述目标损失对所述学生子网络和教师子网络的参数进行更新的示例性实现方式如下，包括：根据所述目标损失对所述学生子网络的参数进行更新。示例地，在确定出目标损失后，则可以根据该目标损失以梯度下降法对学生子网络的参数进行更新调整，以进一步提高学生子网络的预测准确度。
72.之后，可以根据所述学生子网络更新后的参数通过以下公式对所述教师子网络的参数进行更新：；其中，用于表示所述教师子网络的参数更新后的参数值；
用于表示所述教师子网络的参数当前的参数值；用于表示所述学生子网络的参数更新后的参数值；用于表示更新率。
73.在本公开实施例中，教师子网络用于为学生子网络提供训练图像的预测标注特征，从而在对教师子网络的参数进行更新时，并未直接基于确定出的目标损失进行更新，而是在学生子网络进行更新后，基于该学生子网络进行更新后的参数进一步更新教师子网络的参数。
74.示例地，通过上述方式对教师子网络进行更新时，可以基于教师子网络中各参数的当前参数值，以及学生子网络中各参数的更新值进行调整，即针对子网络中的各个参数，使得更新后的各个参数值中既能够包含教师子网络原本的特征，又能够包含更新后的学生子网络中的参数特征，保证教师子网络的准确性和稳定性。
75.在一种可能的实施例中，根据关键点识别模型和腔体图像，获得腔体图像对应的组织腔体的中心点的示例性实现方式可以包括：将所述腔体图像输入所述关键点识别模型的学生子网络，获得所述学生子网络输出的特征图像。
76.如上文所述，在关键点识别模型的训练过程中，需要同时结合学生子网络、教师子网络和判别子网络进行训练，以对学生子网络的参数进行调整，以使其可以进行准确预测。因此，在该实施例中，可以将该腔体图像直接输入关键点识别模型的学生子网络，直接基于该学生子网络进行关键点识别，无需结合教师子网络进行预测，从而可以降低数据计算量。
77.对所述特征图像进行标准化处理，获得与所述腔体图像尺寸相同的处理特征图像。
78.其中，如上文所述，学生子网络输出的特征图像通常与腔体图像的尺寸不同，为了保证中心点识别的准确性，在本公开实施例中，可以对该特征图像进行标准化处理，例如在所述特征图像的尺寸小于腔体图像的尺寸时，可以通过上采样的方式将该特征图像转换为与所述腔体图像尺寸相同的处理特征图像。
79.之后，将所述处理特征图像中特征值最大的点确定为关键点，并将所述腔体图像中与所述关键点对应的点确定为所述中心点。
80.其中，该处理特征图像可以为heatmap图像，该heatmap图像中每点的特征值为[0,1]区间内的小数，通常表示此处有目标点的概率，即该heatmap可以表征概率分布图，其概率值满足二维高斯分布。因此，在该实施例中，可以直接将该处理特征图像中特征值最大的点确定该为关键点，即该点处有中心点的概率最大。之后，则可以基于该关键点在处理特征图像中的位置确定腔体图像中的中心点。在该实施例中，处理特征图像和腔体图像的尺寸相同，则可以直接将该确定出的关键点的位置确定该腔体图像中的中心点的位置，从而可以为内窥镜的前进导航进行目标定位。
[0081]
由此，通过上述技术方案，在基于关键点识别模型进行中心点确定时，可以直接基于该关键点识别模型中的学生子网络进行图像识别和预测，从而可以一定程度上提高识别效率，并且可以降低关键点识别的复杂度，从而拓宽该用于内窥镜的组织腔体定位方法的适用范围，提高内窥镜自动导航的实时性和准确性，提升用户使用体验。
[0082]
如图5和图6所示，为基于本公开提供的用于内窥镜的组织腔体定位方法确定出的肠腔中心点的示意图，如图5所示，其中a点为标注点，a’点为基于本公开的方法确定出的肠腔的中心点，通过对肠腔的准确定位，以为内窥镜的自动导航提供数据支持。又如图6所示，其中b点为标注点，b’点为基于本公开的方法确定出的肠腔的中心点。由此，基于实验图像所示，通过本公开的方法，可以通过内窥镜进镜过程中获得的图像，准确确定出该图像中的组织腔体的位置，提高组织腔体定位的准确性。
[0083]
本公开还提供一种用于内窥镜的组织腔体定位装置，如图7所示，所述装置10包括：接收模块100，用于接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；第一确定模块200，用于根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
[0084]
可选地，所述关键点识别模型通过训练装置进行训练，所述训练装置包括：获取模块，用于获取多组训练样本，其中，所述多组训练样本包括第一训练样本和第二训练样本，所述第一训练样本包含训练图像，所述第二训练样本包含训练图像以及所述训练图像对应的关键点特征，所述关键点特征用于标识所述训练图像对应的组织腔体的中心点；第一处理模块，用于采用不同的预处理方式对所述训练图像进行预处理，获得与所述训练图像对应的第一处理图像和第二处理图像；第二处理模块，用于根据所述第一处理图像和所述学生子网络，获得第一预测图像，以及根据所述第二处理图像和所述教师子网络，获得第二预测图像；第二确定模块，用于根据所述第一预测图像、所述第二预测图像和所述判别子网络，确定所述学生子网络的预测损失和所述预测损失对应的权重；第三确定模块，用于基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失；第一更新模块，用于在满足更新条件的情况下，根据所述目标损失对所述学生子网络和教师子网络的参数进行更新；第二更新模块，用于确定所述判别子网络的损失，并根据所述判别子网络的损失更新所述判别子网络的参数。
[0085]
可选地，所述第二确定模块包括：第一计算子模块，用于计算所述第一预测图像和所述第二预测图像之间的均方误差，获得预测损失；拼接子模块，用于将所述第二预测图像和所述训练图像进行拼接，获得判别图像；
第一确定子模块，用于根据所述判别图像和所述判别子网络，获取所述第二预测图像对应的置信度，并将所述置信度确定为所述预测损失对应的权重。
[0086]
可选地，所述学生子网络和所述教师子网络中的特征处理网络为多层且层数相同；所述第一计算子模块包括：第二计算子模块，用于根据所述学生子网络和教师子网络中的对应于同一层特征处理网络输出的特征预测图像计算均方误差，其中，所述第一预测图像为所述学生子网络中最后一层特征处理网络输出的特征预测图像，所述第二预测图像为所述教师子网络中最后一层特征处理网络输出的特征预测图像；第二确定子模块，用于将每一层特征处理网络对应的均方误差的平均值确定为所述预测损失。
[0087]
可选地，在所述训练样本为第一训练样本的情况下，所述第三确定模块包括：第三确定子模块，用于根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失；第四确定子模块，用于基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果确定为所述目标损失。
[0088]
可选地，在所述训练样本为第二训练样本的情况下，所述第三确定模块包括：第三确定子模块，用于根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失；第三计算子模块，用于计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，获得输出损失；第五确定子模块，用于基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果与所述输出损失之和确定为所述目标损失。
[0089]
可选地，所述学生子网络和所述教师子网络中的特征处理网络为多层且层数相同；所述第三计算子模块包括：第一处理子模块，用于针对所述学生子网络中的每一层特征处理网络输出的特征预测图像，将所述训练图像对应的关键点特征处理为与该特征预测图像的尺寸相同的处理训练图像；第四计算子模块，用于计算每一层特征处理网络输出的特征预测图像与该特征预测图像对应的处理训练图像之间的均方误差，并将每一层特征处理网络对应的均方误差的平均值确定为所述输出损失。
[0090]
可选地，所述第一更新模块包括：第一更新子模块，用于根据所述目标损失对所述学生子网络的参数进行更新；第二更新子模块，用于根据所述学生子网络更新后的参数通过以下公式对所述教师子网络的参数进行更新：；
其中，用于表示所述教师子网络的参数更新后的参数值；用于表示所述教师子网络的参数当前的参数值；用于表示所述学生子网络的参数更新后的参数值；用于表示更新率。
[0091]
可选地，所述第一确定模块包括：输入子模块，用于将所述腔体图像输入所述关键点识别模型的学生子网络，获得所述学生子网络输出的特征图像；第二处理子模块，用于对所述特征图像进行标准化处理，获得与所述腔体图像尺寸相同的处理特征图像；第六确定子模块，用于将所述处理特征图像中特征值最大的点确定为关键点，并将所述腔体图像中与所述关键点对应的点确定为所述中心点。
[0092]
下面参考图8，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0093]
如图8所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（rom）602中的程序或者从存储装置608加载到随机访问存储器（ram）603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出（i/o）接口605也连接至总线604。
[0094]
通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
[0095]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
[0096]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储
器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd
‑
rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
[0097]
在一些实施方式中，客户端、服务器可以利用诸如http（hypertext transfer protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“lan”），广域网（“wan”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
[0098]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0099]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
[0100]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（lan）或广域网（wan）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
[0101]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注
意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0102]
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“接收待识别的腔体图像的模块”。
[0103]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
[0104]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd
‑
rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0105]
根据本公开的一个或多个实施例，示例1提供了一种用于内窥镜的组织腔体定位方法，其中，所述方法包括：接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出的。
[0106]
根据本公开的一个或多个实施例，示例2提供了示例1的方法，其中，所述关键点识别模型通过如下方式进行训练：获取多组训练样本，其中，所述多组训练样本包括第一训练样本和第二训练样本，所述第一训练样本包含训练图像，所述第二训练样本包含训练图像以及所述训练图像对应的关键点特征，所述关键点特征用于标识所述训练图像对应的组织腔体的中心点；采用不同的预处理方式对所述训练图像进行预处理，获得与所述训练图像对应的第一处理图像和第二处理图像；根据所述第一处理图像和所述学生子网络，获得第一预测图像，以及根据所述第二处理图像和所述教师子网络，获得第二预测图像；根据所述第一预测图像、所述第二预测图像和所述判别子网络，确定所述学生子网络的预测损失和所述预测损失对应的权重；
基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失；在满足更新条件的情况下，根据所述目标损失对所述学生子网络和教师子网络的参数进行更新；确定所述判别子网络的损失，并根据所述判别子网络的损失更新所述判别子网络的参数。
[0107]
根据本公开的一个或多个实施例，示例3提供了示例2的方法，其中，所述根据所述第一预测图像、所述第二预测图像和所述判别子网络，确定所述学生子网络的预测损失和所述预测损失对应的权重，包括：计算所述第一预测图像和所述第二预测图像之间的均方误差，获得预测损失；将所述第二预测图像和所述训练图像进行拼接，获得判别图像；根据所述判别图像和所述判别子网络，获取所述第二预测图像对应的置信度，并将所述置信度确定为所述预测损失对应的权重。
[0108]
根据本公开的一个或多个实施例，示例4提供了示例3的方法，其中，所述学生子网络和所述教师子网络中的特征处理网络为多层且层数相同；所述计算所述第一预测图像和所述第二预测图像之间的均方误差，获得预测损失，包括：根据所述学生子网络和教师子网络中的对应于同一层特征处理网络输出的特征预测图像计算均方误差，其中，所述第一预测图像为所述学生子网络中最后一层特征处理网络输出的特征预测图像，所述第二预测图像为所述教师子网络中最后一层特征处理网络输出的特征预测图像；将每一层特征处理网络对应的均方误差的平均值确定为所述预测损失。
[0109]
根据本公开的一个或多个实施例，示例5提供了示例2的方法，其中，在所述训练样本为第一训练样本的情况下，所述基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失，包括：根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失；基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果确定为所述目标损失。
[0110]
根据本公开的一个或多个实施例，示例6提供了示例2的方法，其中，在所述训练样本为第二训练样本的情况下，所述基于所述预测损失以及所述预测损失的权重，确定所述学生子网络对应的目标损失，包括：根据所述第一预测图像以及所述第一预测图像对应的预设标签特征，确定所述学生子网络的生成损失；计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，获得输出损失；基于所述生成损失和所述预测损失分别对应的权重，对所述生成损失和所述预测损失进行加权求和，并将所得的结果与所述输出损失之和确定为所述目标损失。
[0111]
根据本公开的一个或多个实施例，示例7提供了示例6的方法，其中，所述学生子网
络和所述教师子网络中的特征处理网络为多层且层数相同；所述计算所述第一预测图像与所述训练图像对应的关键点特征之间的均方误差，获得输出损失，包括：针对所述学生子网络中的每一层特征处理网络输出的特征预测图像，将所述训练图像对应的关键点特征处理为与该特征预测图像的尺寸相同的处理训练图像；计算每一层特征处理网络输出的特征预测图像与该特征预测图像对应的处理训练图像之间的均方误差，并将每一层特征处理网络对应的均方误差的平均值确定为所述输出损失。
[0112]
根据本公开的一个或多个实施例，示例8提供了示例2的方法，其中，所述根据所述目标损失对所述学生子网络和教师子网络的参数进行更新，包括：根据所述目标损失对所述学生子网络的参数进行更新；根据所述学生子网络更新后的参数通过以下公式对所述教师子网络的参数进行更新：；其中，用于表示所述教师子网络的参数更新后的参数值；用于表示所述教师子网络的参数当前的参数值；用于表示所述学生子网络的参数更新后的参数值；用于表示更新率。
[0113]
根据本公开的一个或多个实施例，示例9提供了示例1的方法，其中，所述根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，包括：将所述腔体图像输入所述关键点识别模型的学生子网络，获得所述学生子网络输出的特征图像；对所述特征图像进行标准化处理，获得与所述腔体图像尺寸相同的处理特征图像；将所述处理特征图像中特征值最大的点确定为关键点，并将所述腔体图像中与所述关键点对应的点确定为所述中心点。
[0114]
根据本公开的一个或多个实施例，示例10提供了一种用于内窥镜的组织腔体定位装置，其中，所述装置包括：接收模块，用于接收待识别的腔体图像，所述腔体图像是由内窥镜在其所处位置获取到的；第一确定模块，用于根据关键点识别模型和所述腔体图像，获得所述腔体图像对应的组织腔体的中心点，所述中心点用于表示所述内窥镜在其所处位置的下一目标移动位置；其中，所述关键点识别模型包含学生子网络、教师子网络以及判别子网络，所述学生子网络和所述教师子网络的网络结构相同，所述教师子网络用于确定所述学生子网络中的训练图像对应的预测标注特征，在所述关键点识别模型的训练过程中，所述学生子网络对应的预测损失的权重是基于所述教师子网络的预测标注特征和所述判别子网络确定出
的。
[0115]
根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理装置执行时实现示例1
‑
9中任一示例所述方法的步骤。
[0116]
根据本公开的一个或多个实施例，示例12提供了一种电子设备，其中，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1
‑
9中任一示例所述方法的步骤。
[0117]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
[0118]
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
[0119]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。