医疗辅助操作方法、装置、设备和计算机存储介质与流程

本公开的示例性实现方式涉及医疗辅助的技术领域，进一步地，涉及医疗辅助的信息处理方法、装置、设备和计算机存储介质，并且更具体地，涉及医疗辅助操作方法、装置、设备和计算机存储介质。

背景技术：

针对患者执行的医学检查过程通常涉及复杂的人工操作。目前，计算机技术的发展已经为医疗辅助操作提供了越来越多的支持。例如，在内窥镜检查中，医生需要在患者体内移动内窥镜，以便获取患者体内的多个位置处的图像数据。不同医生的操作可能存在差异，例如，经验丰富的医生可以独立地完成全套内窥镜检查过程，而经验不足的医生可能会错过某些预定的关键点位置和/或由于内窥镜的不当运动而引起患者不适。因而，期望可以提供一种有效的技术方案来提供医疗辅助，进而指导内窥镜检查的操作。

技术实现要素：

本公开的示例性实现方式提供了医疗辅助操作的技术方案。

根据本公开的第一方面，提出了一种医疗辅助操作方法。在该方法中，从内窥镜获取输入数据；以及基于输入数据确定与内窥镜的操作行为相关的信息。

根据本公开的第二方面，提出了一种医疗辅助操作装置。该装置包括：输入模块，配置用于从内窥镜获取输入数据；以及输出模块，配置用于输出以及基于输入数据所确定与内窥镜的操作行为相关的信息。

根据本公开的第三方面，提出了一种医疗辅助操作设备。该设备包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得设备执行根据第一方面所描述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于执行根据第一方面所描述的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开的示例性实现方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开的示例性实现方式中，相同的参考标号通常代表相同部件。

图1示意性地示出了本公开示例性实现方式的可以在其中执行内窥镜检查的人体环境的框图；

图2示意性地示出了根据本公开的示例性实现方式的医疗辅助操作的框图；

图3示意性地示出了根据本公开的示例性实现方式的医疗辅助操作方法的流程图；

图4a示意性地示出了根据本公开的示例性实现方式的运动模型的框图；

图4b示意性地示出了根据本公开的示例性实现方式的获取运动模型的过程的框图；

图5示意性地示出了根据本公开的示例性实现方式的将图像序列中的一组图像序列映射至一组关键点位置的过程的框图；

图6示意性地示出了根据本公开的示例性实现方式的选择与关键点位置相关联的图像以用于存储的过程的框图；

图7a示意性地示出了根据本公开的示例性实现方式的运动轨迹的数据结构的框图；

图7b示意性地示出了根据本公开的示例性实现方式的提供下一目的地位置的过程的框图；

图8示意性地示出了根据本公开的示例性实现方式的提供医疗辅助操作的用户界面的框图；

图9示意性地示出了根据本公开的示例性实现方式的提供医疗辅助操作的另一用户界面的框图；

图10示意性地示出了根据本公开的示例性实现方式的医疗辅助操作装置的框图；以及

图11示意性地示出了根据本公开的示例性实现方式的医疗辅助操作设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选示例性实现方式。虽然附图中显示了本公开的优选示例性实现方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的示例性实现方式所限制。相反，提供这些示例性实现方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例示例性实现方式”和“一个示例性实现方式”表示“至少一个示例示例性实现方式”。术语“另一示例性实现方式”表示“至少一个另外的示例性实现方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

机器学习技术已经被应用于包括医学在内的多种应用领域。医学检查设备通常涉及复杂的操作过程，尤其是，对于内窥镜检查而言，需要将内窥镜插入患者体内以便采集各个人体位置的图像。检查过程需要确保获取一组关键点位置处的图像。内窥镜可以按照医生的操作来沿着不同的运动轨迹移动，不当的操作可能导致遗漏某些原本应当检查的关键点位置。因而，如何以更加有效的方式来提供医疗辅助操作，成为一个研究热点。

内窥镜可以应用于多个人体部位的检查，例如，按照人体部位可以划分为食道镜、胃镜、十二指肠境、肠镜等多种类型。在下文中，将仅以胃镜为示例来描述本公开的示例性实现方式的细节。首先参见图1描述本公开的示例性实现方式的应用环境。图1示意性地示出了本公开示例性实现方式的可以在其中执行内窥镜检查的人体环境的框图100。根据内窥镜操作规范，内窥镜在检查期间应当到达一组预定关键点位置，并应当在这些关键点位置处采集图像以确定该位置处是否出现异常。如图1所示，在将内窥镜插入人体胃部的过程中，可以经过多个关键点位置110、112、114、116、118以及120等。

内窥镜可以首先经过咽部并到达关键点位置110，如箭头130所示，内窥镜可以沿着食道向下进入胃部，并且可以到达关键点位置112。进一步，如箭头132所示，内窥镜可以到达关键点位置114。将会理解，由于人体内部存在较大的空间并且由于医生的操作方式不同，内窥镜可以在胃部内沿着不同方向移动。例如，当内窥镜到达关键点位置114时，可以沿着箭头134所示方向到达关键点位置118，或者还可以沿着箭头136所示方向到达关键点位置116。尽管在操作规范中已经定义了一组关键点位置，然而医生仅能基于自身的经验来调整内窥镜的运动轨迹，并且可能会出现运动轨迹仅能覆盖一部分关键点位置的情况。

为了至少部分地解决内窥镜检查中的上述缺陷，根据本公开的示例性实现方式，提供了一种医疗辅助操作的技术方案。首先参见图2描述该技术方案的概要。图2示意性地示出了根据本公开的示例性实现方式的医疗辅助操作的框图200。如图2所示，随着内窥镜210被插入人体并且在人体内移动，内窥镜210可以采集到视频220，并且医生可以实时地观察到视频220。

将会理解，可以基于视频220获取输入数据230(例如包括图像数据序列)。例如，输入数据230可以包括一个或多个视频片段，一个视频片段可以包括有关内窥镜210经过人体咽部附近的图像，另一视频片段可以包括有关内窥镜210经过人体食道附近的图像。将会理解，在本公开的上下文中并不限制输入数据230的格式。例如，输入数据230可以是视频数据、视频中的按照时间顺序排列的一组图像序列，或者还可以是具有时间信息的多个图像数据。根据本公开的示例性实现方式，输入数据可以以原始视频格式来保存，或者还可以以自定义的中间格式来保存。

将会理解，可以利用唯一的标识符来标识输入数据。例如，可以利用医生id与执行检查的时间作为标识符，可以利用内窥镜设备id与执行检查的时间作为标识符，可以利用患者id与执行检查的时间作为标识符，或者还可以将以上进行组合来获得唯一标识符。继而，可以基于输入数据230确定与内窥镜210的操作行为240相关的信息。

以此方式，可以向医生提供有效的医疗辅助并指导医生(尤其是经验不足的医生)的操作，以便避免出现遗漏某个/某些关键点位置的情况。进一步，利用本公开的示例性实现方式，可以指导医生尽快遍历全部关键点位置，这可以提高内窥镜检查的效率，缩短内窥镜210位于患者体内的时间进而降低患者的不良体验。

具体地，可以在医生执行内窥镜检查期间实时地提供医疗辅助操作。可以基于内窥镜的当前位置来实时地提供与内窥镜的操作行为相关的信息。例如，可以实时地提供以下中的至少任一项：内窥镜当前所在的关键点位置、有关关键点位置的图像、内窥镜已经经过的运动轨迹、内窥镜的下一目的地位置、以及内窥镜操作的统计信息，等等。例如，可以在专用显示装置上显示上述信息，备选地和/或附加地，还可以在内窥镜设备的显示装置上显示上述信息。

在下文中，将参见图3描述医疗辅助操作的更多细节。图3示意性地示出了根据本公开的示例性实现方式的医疗辅助操作方法300的流程图。在框310处，可以从内窥镜210获取输入数据230。将会理解，随着内窥镜210在人体内移动，可以获取在不同位置处的输入数据。

输入数据230可用于确定内窥镜检测所需的信息或数据，进一步，输入数据230还可以用于确定与所述内窥镜操作行为有关的信息或数据。示例性地，输入数据230可以包括在内窥镜210的运动期间在多个位置处被采集的图像数据。将会理解，在此的图像数据可以是原始采集的数据，也可以是处理(例如，降噪处理、亮度处理等)后的数据。基于内窥镜210的图像采集装置的采集频率，图像数据例如可以包括每秒30帧(或者其他帧率)的图像。将会理解，在本公开的上下文中，并不限定输入数据230的格式。

在此的输入数据230可以包括以下中的至少任一项：视频数据、按照时间顺序排列的一组图像序列、以及具有时间信息的多个图像数据。例如，视频数据可以包括视频流格式并且可以支持多种视频格式的标准。又例如，图像序列还可以包括一系列的单独图像。此时，随着内窥镜检查的进行，获得的输入数据230的数量可以逐渐增加。例如，当内窥镜到达咽部时，可以获取咽部的图像序列；当内窥镜到达食道时，可以进一步获取食道的图像序列。

此外，可以进一步获取或确定与所述输入数据230相对应的标识，来标识所述输入数据230。不同的标识可以区分如下中的一种或多种的组合：不同的患者、不同的检测时间、不同的检测部位以及不同的检测操作者。

根据本公开的示例性实现方式，在框320处，基于输入数据确定与内窥镜的操作行为相关的信息。在此信息可以包括多方面的内容，例如，内窥镜的当前位置、在当前位置采集到的图像数据、内窥镜的运动轨迹、内窥镜的下一目的地位置、输入数据的统计信息、以及操作行为的统计信息，等等。在下文中，将参见图4a和图4b描述更多相关细节。

示例性地，可以根据输入数据230的时序关系来确定与内窥镜的操作行为相关的信息。此外，根据本公开的示例性实现方式，可以基于机器学习技术并利用输入数据230，来确定操作行为240相关的多方面信息。例如，可以确定内窥镜210的当前位置、运动轨迹、以及运动轨迹是否到达了期望被检查的关键点位置，等等。进一步，可以确定下一步应当到达的目的地位置。具体地，可以利用历史操作期间采集到的样本数据，并基于机器学习技术获得运动模型410a。图4a示意性地示出了根据本公开的示例性实现方式的运动模型410a的框图400a。该运动模型410a可以包括样本输入数据412a和样本运动轨迹414a之间的关联关系。在此，样本输入数据412a可以是在执行内窥镜检查期间在多个样本位置处被采集，并且样本运动轨迹414a可以包括用于采集样本输入数据412a的内窥镜的运动轨迹。

将会理解，在此的样本输入数据412a和样本运动轨迹414a可以是用于训练运动模型410的样本训练数据。根据本公开的示例性实现方式，可以使用样本输入数据412a和相对应的样本运动轨迹414a来执行一次训练。在本公开的上下文中，可以分别利用来自一个或多个内窥镜检查的样本训练数据，来执行一次或多次训练。

将会理解，上文仅示意性示出了运动模型410a的示例，根据本公开的示例性实现方式，还可以提供其他模型。例如，另一模型可以包括在执行内窥镜检查期间在多个样本位置处被采集的样本输入数据与该样本输入数据被采集的多个位置的相应关键点位置之间的关联关系。使用该模型，可以将输入数据230中的各个图像数据分别映射至相应的关键点位置。因而，基于该模型、输入数据，可以确定内窥镜所经过的关键点位置。进一步，基于图像数据的采集时间和上述关键点位置，可以确定内窥镜的运动轨迹。

示例性地，可以基于循环神经网络(recurrentneuralnetwork，rnn)、长短期记忆网络(longshorttermmemory，lstm)等技术来执行训练以便获得运动模型410a。根据本公开的示例性实现方式，可以利用上述训练方法，基于在历史检查期间采集到的样本输入数据和相应的样本运动轨迹，来获取运动模型410a。根据本公开的示例性实现方式，可以由医生执行内窥镜检查操作，并且将采集到的数据作为样本来训练上述模型。

例如，可以由经验丰富的医生，按照内窥镜操作规范来操作内窥镜的运动。此时，内窥镜的样本运动轨迹将会覆盖医学检查所需要的全部关键点位置。对于一次内窥镜检查期间获取到的输入数据，可以基于标注的方式，来标识输入数据中的每个样本图像与该样本图像在运动轨迹中所处位置之间的关联关系。

例如，经验丰富的医生可以多次执行内窥镜检查，以便获取有关多个样本运动轨迹的相关样本图像序列。又例如，多个经验丰富的医生可以分别执行一次或者多次内窥镜检查，以便可以获取更为丰富的训练数据。在已经获得足够训练数据的情况下，可以基于样本图像序列和样本运动轨迹，来训练运动模型410a。在此，内窥镜操作规范定义了全部待检查的关键点位置，并且经验丰富的医生可以确保所执行的检查能够最大程度地满足规范中的要求。通过利用以此方式获得的训练数据来执行训练，可以确保获取的运动模型410a能够准确地反映图像和运动轨迹之间的关联关系。此外，也可通过计算机模拟的方式获得所述运动模型410a。

为方便描述起见，在下文中将仅以图像序列作为输入数据210的示例来描述根据本公开的示例性实现方式。当输入数据210以其他格式存储时，处理方式也是类似的。例如，当输入数据210为视频格式时，可以获取视频中的图像序列，并且针对图像序列进行处理。

在下文中，将参见图4b描述有关获得运动模型410a的过程。图4b示意性地示出了根据本公开的示例性实现方式的用于获取运动模型410a的过程的框图400b。可以基于历史检查过程中采集到的样本图像序列和样本运动轨迹来执行训练。可以将多个样本图像序列划分为多个分组，每个分组包括n＞3个图像。继而，可以将多帧样本图像410b(例如，从第t-n帧开始的连续n帧图像)的分组输入神经网络层412b、可以将多帧样本图像420b(例如，从第t帧开始的连续n帧图像)的分组输入神经网络层422b；可以将多帧样本图像430b(例如，从第t+n帧开始的连续n帧图像)的分组输入神经网络层432b。以此方式，可以获得图像序列与运动轨迹之间的关联关系。

将会理解，上文仅参见图4b示意性示出了可以用于获得运动模型410a的一个实现方式。根据本公开的示例性实现方式，可以根据目前已知的和/或将在未来开发的其他机器学习技术，来获得运动模型410a。

可以基于运动模型410a和输入数据，确定内窥镜210的运动轨迹。根据本公开的示例性实现方式，内窥镜210的运动轨迹包括内窥镜210的运动期间的一组关键点位置。在此，一组关键点位置包括在内窥镜检查期间内窥镜210的一组预定人体位置中的至少一部分，并且内窥镜的运动期间所经过的多个位置可以位于关键点位置周围的预定范围内。

将会理解，在此的一组关键点位置可以是根据内窥镜检查规范定义的位置。例如，可以包括咽部、食道、贲门、幽门等位置。假设内窥镜经过咽部并且在运动期间已经在咽部附近的多个位置(例如，达到咽部前0.5cm、咽部、离开咽部后0.5cm)处采集了3个图像，此时可以确定运动轨迹包括关键点位置“咽部”。随着内窥镜210的进一步运动，运动轨迹可以包括更多的关键点位置，例如，咽部、食道等。上述位置还可以被进一步细分为更多位置，例如，对于食道而言，可以进一步包括食道上部、中部、下部等更多位置。换言之，在此的运动轨迹可以包括内窥镜210的运动所经过的一个或多个关键点位置。

根据本公开的示例性实现方式，可以按照与获取运动模型410a类似的方式，来将采集到的输入数据230输入至运动模型410a。例如，可以将输入数据230划分为多个分组(每个分组包括n帧图像)，并且将多个分组依次输入运动模型410a中。此时，在运动模型410a中的某一层处，可以持续输出当前n帧图像对应的特征(作为隐变量)，并将该特征迭代地输入到下一层的位置。运动模型410a可以根据输入的输入数据，输出内窥镜的运动轨迹。

根据本公开的示例性实现方式，利用运动模型410a，可以将输入数据分别映射至一组关键点位置。继续参见图4b，如图4b右侧所示，clsc(t)表示从第t帧开始的连续n帧图像所属于的关键点位置的预测，clsn(t)表示后续n帧图像所属于的关键点位置的预测，clsp(t)表示先前n帧图像所属于的关键点位置的预测，以及y(t)表示当前图像序列所属于的运动轨迹的预测。在此的运动轨迹的预测可以包括多个关键点位置。例如，一个运动轨迹的预测可以包括：关键点位置110->关键点位置112->关键点位置114；运动轨迹的预测可以包括：关键点位置110->关键点位置112->关键点位置116。根据当前输入的n帧图像，运动轨迹的预测可以包括不同的关键点。可以基于运动轨迹的预测来确定下一目的地位置。进一步，可以以类似方式确定与其他帧相关联的信息。

图5示意性地示出了根据本公开的示例性实现方式的用于将输入数据映射至一组关键点位置的过程的框图500。如图5所示，随着内窥镜210在人体内运动时间的增加，输入数据210将包括越来越多的图像。图5仅示意性示出了内窥镜检查初期的情况，此时内窥镜210已经采集了在关键点位置110、112和114附近的大量图像。

利用上文描述的方法，可以将这些图像映射至相应的关键点位置。例如，可以将一个图像序列中的一组图像数据510映射至关键点位置110，以表示一组图像数据510是在该关键点位置110附近采集到的图像。类似地，可以将一个图像序列中的一组图像数据512映射至关键点位置112，可以将一个图像序列中的一组图像数据514映射至关键点位置114，等等。

利用本公开的示例性实现方式，可以基于内窥镜210的运动期间所采集到的输入数据230，确定各个图像数据被采集的位置。相比于完全依赖医生个人经验判断的技术方案而言，上述技术方案可以以更加准确的方式来确定与图像数据相关联的关键点位置，进而有助于后期选择存储哪些图像。

根据本公开的示例性实现方式，可以基于与关键点位置相关联的图像序列被采集的时间顺序，确定运动轨迹。继续参见图5，已经确定一组图像数据510与关键点位置110相关联，一组图像数据512与关键点位置112相关联，并且一组图像数据514与关键点位置114相关联。假设各个图像的采集的时间顺序为：一组图像数据510、一组图像数据512、以及一组图像数据514。此时，可以确定运动轨迹1包括：关键点位置110->关键点位置112->关键点位置114。

将会理解，运动轨迹包括按照时间顺序排列的关键点位置。因而，如果一组关键点位置的顺序不同，则表示不同的运动轨迹。例如，运动轨迹2可以包括：关键点位置110->关键点位置114->关键点位置112。则该运动轨迹2与运动轨迹1是不同的运动轨迹。

此外，运动轨迹也可以为基于输入数据确定的内窥镜的在人体部位中的实际运动轨迹。该实际运动轨迹既包括关键点位置，也包括非关键点位置，从而以实时地反映所述内窥镜的操作行为，进而可以更好地分析以及辅助指导内窥镜的检查操作。

利用本公开的示例性实现方式，可以基于各个图像数据被采集的时间顺序，来以更为准确的方式记录内窥镜210的运动轨迹。进一步，确定的运动轨迹还可以用于后期处理，例如，可以基于内窥镜210已经到达的关键点位置，来确定应当到达的关键点位置。

通常而言，在执行内窥镜检查的过程中，医生一方面要操纵内窥镜到达期望的关键点位置，另一方面还需要存储用于后期诊断的图像。由于检查过程期间采集到的图像序列将会占据大量存储空间，通常医生仅在到达关键点位置附近后，基于自身经验来选择合适的角度来采集并存储图像。例如，在内窥镜检查设备处可以设置脚踏板，医生可以踩下脚踏板以便存储图像。这可能会导致医生遗漏某些关键点位置和/或存储的图像质量较差并且不能用于诊断的情况。

根据本公开的示例性实现方式，还可以针对已经确定的一组图像执行图像分析，以便从中选择最能反映某个关键点位置处的人体状态的图像。在下文中，将参见图6描述有关选择和存储图像的更多细节。图6示意性地示出了根据本公开的示例性实现方式的选择与关键点位置相关联的图像以用于存储的过程的框图600。具体地，针对一组关键点位置中的给定关键点位置，可以确定输入数据中的被映射至给定关键点位置的一组给定图像。

如图6所示，可以基于一组给定图像数据的图像质量，分别确定一组给定图像的图像质量评价。继而，可以基于确定的图像质量评价，选择用于存储的图像。在图6中，已经确定了涉及关键点位置110的一组图像数据510，此时，可以针对一组图像数据510确定图像质量评价。继而，可以基于图像质量评价来从一组图像数据510中获取选择的图像数据610存储至存储设备620中。类似地，可以从一组图像数据512中获取选择的图像数据612，并将其存储在存储设备620中；并且可以从一组图像数据514中获取选择的图像数据614，并将其存储在存储设备620中。继而，可以向医生显示所存储的图像的相关信息，例如，已经存储的图像的数量，相关联的关键点位置等。

将会理解，在此的图像质量可以包括多方面的含义。例如：可较佳地反映待检查关键点位置的图像。例如，图像质量可以包括以下中的一个或多个：内窥镜所采集的图像中的人体粘膜的清晰程度、粘膜是否被污染、粘膜是否被分泌物等覆盖、内窥镜的拍摄角度，等等。如果人体粘膜清晰可见、未被污染、未被分泌物遮盖，则可以确定该图像具有较高质量。反之，可以确定该图像具有较低质量。

将会理解，在此可以采用多种方式来确定图像质量。例如，可以基于图像处理的方法来确定图像的清晰度等，进而获得图像质量评价。又例如，可以基于机器学习的方式，利用预先标记的样本数据来建立质量预测模型。根据本公开的示例性实现方式，还可以采用目前已经开发和/或将在未来开发的其他图像处理技术来获得图像质量评价。

利用本公开的示例性实现方式，可以从在给定关键点位置处获取的大量图像中选择具有最佳图像质量的一个或多个图像。相比于基于医生的个人经验来人工选择并存储图像的技术方案而言，可以显著提高选择图像的效率，缩短医生选择和存储图像所占用的时间，进而提高内窥镜检查的效率。另一方面，由于图像的映射、选择和存储以自动方式进行，还可以尽量避免由于医生失误而造成遗漏的情况。此外，进一步地，可根据获取的输入数据的时序关系(如图像序列或者关键点位置图像之间的关联关系)来辅助选择图像质量较佳的图像。

根据本公开的示例性实现方式，可以基于内窥镜210的运动轨迹和内窥镜检查的预定运动轨迹，确定运动轨迹的评价。在此的预定运动轨迹可以是根据内窥镜操作规范定义的一系列关键点位置的顺序。例如，预定运动轨迹可以包括咽部->食道->贲门->幽门等。期望医生可以按照预定运动轨迹来操作内窥镜的运动，因而可以基于内窥镜210的真实运动轨迹与预定运动轨迹的一致性，来确定该评价。

根据本公开的示例性实现方式，评价可以包括多种类型。例如，可以以某个范围内的评分(诸如，0-1之间的实数)来表示评价；可以以等级(诸如，高、中、低)的方式来表示评价；可以以文字描述方式表示评价；或者还可以以图像或者其他方式来表示评价。

在下文中，将参见图7a描述有关确定运动轨迹的评价的更多细节。图7a示意性地示出了根据本公开的示例性实现方式的运动轨迹的数据结构的框图700a。在图7a中，内窥镜210的运动轨迹710包括3个关键点位置：关键点位置110、112和114。此时，内窥镜210位于关键点位置114，并且可以基于比较运动轨迹710和内窥镜检查的预定运动轨迹，来确定运动轨迹710的评价。进一步，可以向医生显示相关的评价。

将会理解，在此可以采用多种方式来确定评价。可以指定评价的数值范围，例如，可以在0-1的范围内表示评价。假设预定运动轨迹包括：关键点位置110->关键点位置112->关键点位置114->关键点位置118…，并且此时的运动轨迹710包括关键点位置110->关键点位置112->关键点位置114。可以确定运动轨迹710完全匹配于预定运动轨迹的开始部分，因而可以针对运动轨迹710给出较高评价712，例如，评价712可以被设置为最高分1。又例如，假设预定运动轨迹偏离预定运动轨迹，则此时可以降低评价的数值，例如，可以将评价设置为0.8。

将会理解，上文仅以示意性方式描述了确定评价的原理。根据本公开的示例性实现方式，可以基于机器学习的方式，利用预先标记的样本数据来建立评价预测模型。根据本公开的示例性实现方式，还可以采用目前已经开发和/或将在未来开发的其他预测技术来获得运动轨迹的评价。

在下文中，将参见图7b描述有关确定下一目的地位置的更多细节。根据本公开的示例性实现方式，可以基于运动轨迹中的最后关键点位置附近的一个或多个关键点位置，来确定一组候选位置。图7b示意性地示出了根据本公开的示例性实现方式的用于提供下一目的地位置的过程的框图700b。如图7b所示，可以首先确定内窥镜210在下一时间点的一组候选位置。继续上文的示例，内窥镜210的当前位于关键点位置114，并且在关键点位置114附近存在关键点位置116和118。此时，一组候选位置可以包括关键点位置116和118。继而，可以确定一组候选位置中的各个候选位置的评价，并且基于确定的评价来从一组候选位置中选择下一目的地位置。

具体地，针对一组候选位置中的给定候选位置，可以基于运动轨迹和候选位置，生成内窥镜210的候选运动轨迹。如图7b所示，基于运动轨迹710和关键点位置116，可以生成候选运动轨迹720；基于运动轨迹710和关键点位置118，可以生成运候选动轨迹730。继而，可以采用上文描述的方法，基于候选运动轨迹720、730以及内窥镜检查的预定运动轨迹，分别确定两个候选运动轨迹720、730的评价722和732。如图7b所示，由于评价732高于评价722，因而可以向关键点位置118赋予较高的评价，并且将关键点位置118来作为下一目的地位置。

利用本公开的示例性实现方式，可以优先地向医生推荐最为匹配于内窥镜210的预定运动轨迹的关键点位置，来作为移动内窥镜210的下一目的地位置。以此方式，可以针对医生的移动操作给出指导，在提高内窥镜检查的效率的同时，还可以降低遗漏关键点位置的潜在风险。进一步，由于内窥镜在人体内运动可能会导致患者的不适，提高检查效率可以缩短内窥镜检查的时间长度，因而可以降低患者的痛苦。

将会理解，尽管在上文中参见附图描述了提供下一目的地位置的具体示例。根据本公开的示例性实现方式，还可以提供后续推荐路径，该推荐路径可以包括一个或多个关键点位置。医生可以沿着推荐路径移动内窥镜，以便覆盖内窥镜检查所要求的全部关键点。

根据本公开的示例性实现方式，还可以基于运动模型410a和输入数据，直接生成内窥镜的候选运动轨迹。将会理解，在训练阶段可以基于端对端的方式来建立运动模型410a。此时，可以指定运动模型410a的输入为图像序列，并且可以指定运动模型410a的输出为候选运动轨迹。在此，候选运动轨迹可以包括与输入的图像序列所对应的一组关键点位置以及下一候选关键点位置。在使用运动模型410a时，可以将内窥镜当前采集到的一组图像序列输入至运动模型410a，以便获得候选运动轨迹。此时，医生可以操作内窥镜来沿着候选运动轨迹移动，以便遍历全部关键点位置。

根据本公开的示例性实现方式，通过使用具有标记的历史样本图像序列和历史样本候选运动轨迹，可以直接获得包括图像序列与候选运动轨迹之间的关联关系的运动模型410a。利用本公开的示例性实现方式，可以直接基于历史样本数据来执行训练过程并且获得相应的模型。以此方式，可以简化操作过程进而提高获取候选运动轨迹的效率。

根据本公开的示例性实现方式，进一步地，可以传输和/或存储与所述内窥镜的操作行为有关的信息。

根据本公开的示例性实现方式，可以实时地输出与当前医生操作相关的信息、并且相应地提供统计和分析功能。例如，上文描述的方法300可以进一步提供如下功能：确定内窥镜检查的持续时间，确定已经扫描的关键点位置的信息，确定尚未扫描的关键点位置的信息，确定下一目的地位置的信息，确定医生在执行内窥镜检查的操作评价，确定已经采集的有关各个关键点位置的图像是否合格，等等。

在下文中，将参见图8和图9描述相关的输出与操作行为相关信息的功能。根据本公开的示例性实现方式，可以将输出上述信息的功能与现有的内窥镜显示界面相结合。图8示意性地示出了根据本公开的示例性实现方式的提供医疗辅助操作的用户界面800的框图。如图8所示，用户界面800可以包括：图像显示部分810，用于实时地显示由内窥镜210采集到的视频220；运动轨迹管理部分820，用于显示内窥镜210已经经过的运动轨迹以及下一目的地位置的提示；以及统计信息部分830，用于显示在内窥镜检查期间采集到的图像的相关信息。

如运动轨迹管理部分820所示，实线表示内窥镜210已经经过的运动轨迹为：关键点位置110->关键点位置112->关键点位置114。虚线部分表示从内窥镜210的当前位置(即，关键点位置114)到下一目的地位置(即，关键点位置116和118)的轨迹。可以基于上文参见图7b描述的方法来将下一目的地位置设置为关键点位置118。进一步，可以利用星形标记822来表示推荐的下一目的地位置为关键点位置118。此时，医生可以在下一时间点将内窥镜210移动至关键点位置118。

如统计信息部分830所示，可以显示有关采集到的图像的相关信息。例如，对于关键点位置110而言，已经选择了10张图像，并且10张图像的综合评价为0.8。将会理解，可以预先定义期望针对每个关键点采集的图像数量的上限，例如，可以将上限定义为10。在此所示出的10张图像可以是按照上文参见图6描述的方法而选择的具有较高图像质量的图像，并且在此的评价0.8可以是基于各个图像质量评价获得的综合评价。

根据本公开的示例性实现方式，还可以设置有关图像质量评价的下限。例如，可以设置仅选择评价高于0.6的图像。根据本公开的示例性实现方式，还可以基于图像数量上限和图像质量评价的下限两者来选择期望存储哪些图像。统计信息部分830进一步示出了有关其他关键点位置的统计信息：对于关键点位置112而言，已经选择了5张图像，并且5张图像的综合评价为0.6；以及对于关键点位置114而言，已经选择了7张图像，并且7张图像的综合评价为0.9。

根据本公开的示例性实现方式，可以将用于管理内窥镜210的运动的用户界面与现有的内窥镜显示界面相分离。图9示意性地示出了根据本公开的示例性实现方式的提供医疗辅助操作的另一用户界面900的框图。如图9所示，可以在单独的用户界面900中显示有关医疗辅助操作的相关信息。在用户界面900中，可以输出与操作行为相关信息。

根据本公开的示例性实现方式，还可以在区域910中显示关于关键点位置的已经选择的图像的信息。例如，区域910可以包括图像的缩略图。假设内窥镜检查过程需要采集有关6个关键点位置的图像，已经采集了4个关键点位置的图像，并且尚未采集其余2个关键点位置的图像。可以采用图例912、914和916来分别表示不同类型的关键点位置的图像。例如，图例912表示已经在某个关键点位置处采集到合格的图像，图例914表示尚未在某个关键点位置处采集到合格的图像，以及图例916表示尚未扫描某个关键点位置。利用本公开的示例性实现方式，可以以可视化方式向医生显示已经被扫描、尚未被扫描以及图像不合格的关键点位置，进而便于医生的后续操作。

根据本公开的示例性实现方式，在已经选择了用于存储的图像之后，可以基于选择的图像，识别与给定关键点位置相关联的图像异常。进一步，可以显示识别的图像异常。具体地，可以基于目前已知的和/或将在未来开发的图像识别技术来分析图像的内容，以便确定该关键点位置处可能出现的图像异常。例如，可以图像异常可以指示溃疡、肿瘤等。利用本公开的示例性实现方式，可以识别可能出现异常的图像，进而辅助医生的诊断。

根据本公开的示例性实现方式，基于输入数据，识别内窥镜210的工作状态。将会理解，内窥镜210的工作期间可能会涉及多种工作状态。例如，在启动内窥镜210并且将内窥镜210插入患者体内的过程中，内窥镜210所采集到的图像内容将是不同的。可以基于内窥镜210所采集的图像的分析来确定正在被检查的患者，可以确定内窥镜目前处于患者体内还是体外，可以确定当前的检查部位(例如，胃部或者肠部，等等)。例如，如果图像序列中的一部分图像涉及体外图像并且后续的一部分图像转换为体内图像，则可以确定出现体外/体内切换。进一步，可以识别的工作状态的切换。

又例如，在针对两个患者的检查之间，可以基于内窥镜210所采集的输入数据的分析来确定出现患者切换。具体地，当图像序列中包括体内图像、体外图像、继而又包括与先前检查不同的体内图像时，可以确定出现患者切换。又例如，内窥镜检查可以涉及不同人体部位。此时，可以基于内窥镜210所采集的图像的分析来确定检查位置切换。具体地，可以确定食道镜、胃镜、十二指肠境以及肠镜等检查位置的切换。利用本公开的示例性实现方式，可以基于检测到的切换来选择医疗辅助操作的相关配置。例如，可以针对胃镜和肠镜来选择相应的运动模型。

将会理解，内窥镜检查需要将内窥镜210插入患者体内，在检查之前需要执行准备工作。根据本公开的示例性实现方式，可以基于输入数据，识别正在执行内窥镜检查的人员的准备状态。在此准备状态描述人员的身体状态对于执行内窥镜检查的合格程度。对于患者而言，准备工作例如禁止饮食、排空消化道、按照医嘱服用药物以排空并清洗消化道等。对于医生而言，准备工作例如清洗胃部、对胃部吹气以便需要检查的褶皱部位等。

具体地，如果采集到的胃镜图像包括食物残渣等，则可以确定患者的准备状态较差并且没有达到排空消化道的要求。如果采集到的胃镜图像包括大量分泌物等，则可以确定医生的清洗操作不充分，并且可以提示医生进一步执行清洗操作。进一步，可以输出识别的准备程度。输出可以为显示或其它提示方式。利用本公开的示例性实现方式，可以基于准备状态来分别提示患者和医生相应的注意事项。

将会理解，尽管上文中描述了基于输入数据230中的图像来确定准备状态的具体示例，根据本公开的示例性实现方式，还可以基于部署在内窥镜处的专用传感器(例如，监视体内环境参数的传感器)来确定准备状态。

内窥镜210在人体内移动期间，如果移动过快则将会导致遗漏关键点位置，并且还可能给患者造成恶心、疼痛等不适。因而还期望可以基于运动的平稳度来监视内窥镜210的运动状态，以便使得内窥镜的运动轨迹可以覆盖全部关键点位置，以及降低患者的不适。根据本公开的示例性实现方式，可以基于内窥镜210到达一组关键点位置的一组时间点，识别内窥镜210的运动的平稳度。在此的平稳度可以表示内窥镜210在患者体内运动的平稳程度。进一步，可以显示识别的平稳度。

根据本公开的示例性实现方式，可以基于平稳度来确定内窥镜210的运动速度的速度评价。例如，如果内窥镜210在较短时间内移动了较大距离，则表示内窥镜210的运动较为剧烈，因而应当避免。此时，可以给出较低的速度评价，并且可以提示医生运动过于剧烈并且应当减速以便防止出现遗漏关键点位置的情况。

又例如，如果内窥镜210运动适中，则可以给出较高的速度评价。又例如，如果内窥镜210在较长时间内仅移动了较小的距离，此时尽管移动较为平滑但是将会增加内窥镜检查的整体时间，因而可以降低速度评价并且提示医生尽快将内窥镜210移动至下一目的地位置。又例如，还可以对内窥镜检查期间的速度分布进行监视，假设内窥镜210在整个检查的前一半时间停留在5个关键点位置附近，并且在后一半时间快速通过了其余的33个关键点位置，则后一半检查很可能并不充分，此时可以给出较低速度评价。

相对于基于整体检查时间是否达到期望时间(例如，10分钟)来确定医生操作是否充分的技术方案，利用本公开的示例性实现方式，可以基于内窥镜210的速度分布来确定医生的操作是否达到预定标准。将会理解，尽管上文中描述了基于输入数据230中的图像来确定平稳度的具体示例，根据本公开的示例性实现方式，还可以基于部署在内窥镜处的速度传感器来确定平稳度。

上文已经参见2至图9描述了医疗辅助操作方法的细节。在下文中，将参见图10描述医疗辅助操作装置中的各个模块。图10示意性地示出了根据本公开的示例性实现方式的医疗辅助操作装置1010(或者为医疗辅助信息处理装置1010)的框图1000。如图10所示，提供了一种医疗辅助操作装置1010，包括：输入模块1012，配置用于从内窥镜获取输入数据；以及输出模块1018，配置用于输出基于输入数据确定的与内窥镜的操作行为相关的信息。

根据本公开的示例性实现方式，输入数据包括在内窥镜的运动期间在多个位置处被采集的图像数据。

根据本公开的示例性实现方式，装置1010进一步包括：处理模块1014，配置用于基于输入数据，确定所述与内窥镜的操作行为相关的信息。

根据本公开的示例性实现方式，处理模块1014进一步配置用于基于输入数据，确定内窥镜的下一目的地位置。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：基于输入数据，确定内窥镜的运动轨迹。

根据本公开的示例性实现方式，运动轨迹以预定的一组关键点位置表示。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：基于运动轨迹，确定内窥镜的下一目的地位置。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：确定内窥镜在下一时间点的一组候选位置；确定一组候选位置中的各个候选位置的评价；以及基于确定的评价，从一组候选位置中选择下一目的地位置。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：针对一组候选位置中的给定候选位置，基于运动轨迹和给定候选位置，生成内窥镜的候选运动轨迹；以及基于候选运动轨迹和内窥镜检查的预定运动轨迹，确定候选位置的评价。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：确定运动轨迹的评价。

根据本公开的示例性实现方式，装置1010进一步包括识别模块1016，配置用于：识别内窥镜的工作状态，工作状态包括以下中的至少任一项：患者标识、体内体外、以及检查部位。

根据本公开的示例性实现方式，识别模块1016进一步配置用于：识别工作状态的切换。

根据本公开的示例性实现方式，装置1010进一步包括识别模块1016，配置用于：基于输入数据，识别内窥镜检查部位的准备状态，准备状态指示检查部位对于执行内窥镜检查的合格程度。

根据本公开的示例性实现方式，装置1010进一步包括识别模块1016，配置用于：基于内窥镜到达一组关键点位置的一组时间点，确定内窥镜的运动的平稳度。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：基于输入数据获取一组关键点位置；以及基于与关键点位置相关联的输入数据的时间顺序，确定运动轨迹。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：确定输入数据中的被映射至关键点位置的一组图像数据；基于一组图像数据的图像质量，分别确定一组图像数据的图像质量评价；以及基于确定的图像质量评价，选择一组图像数据中的图像数据以用于存储。

根据本公开的示例性实现方式，装置1010进一步包括识别模块1016，配置用于：基于选择的图像数据，识别关键点位置的图像异常。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：获取描述内窥镜检查的第一模型，第一模型包括在执行内窥镜检查期间在多个样本位置处被采集的样本输入数据与用于采集样本输入数据的内窥镜的样本运动轨迹之间的关联关系；以及基于第一模型和输入数据，确定运动轨迹。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：获取按照内窥镜操作规范执行的内窥镜检查中所采集的样本输入数据；获取与样本输入数据相关联的样本运动轨迹；以及基于样本输入数据和样本运动轨迹，训练第一模型。

根据本公开的示例性实现方式，处理模块1014进一步配置用于：获取描述内窥镜检查的第二模型，第二模型包括在执行内窥镜检查期间在多个样本位置处被采集的样本输入数据与样本输入数据被采集的多个位置的相应关键点位置之间的关联关系；以及基于第二模型、输入数据、以及图像数据的采集时间，确定内窥镜的运动轨迹。

根据本公开的示例性实现方式，基于输入数据确定与内窥镜的操作行为相关的信息包括确定以下中的至少任一项：内窥镜的当前位置；在当前位置采集到的图像数据；内窥镜的运动轨迹；内窥镜的下一目的地位置；输入数据的统计信息；以及操作行为的统计信息。

根据本公开的示例性实现方式，输入数据包括以下中的至少任一项：视频数据；按照时间顺序排列的一组图像序列；以及具有时间信息的多个图像数据。

根据本公开的示例性实现方式，输出模块1018进一步配置用于：传输与内窥镜的操作行为相关的信息。

根据本公开的示例性实现方式，所述医疗辅助操作装置1010的各个模块可以一个或多个处理电路来实现。

图11示出了可以用来实施本公开内容的示例性实现方式的示例设备1100的示意性框图。例如，如图1所示的计算设备130可以由设备1100来实施。如图所示，设备1100包括中央处理单元(cpu)1101，其可以根据存储在只读存储器(rom)1102中的计算机程序指令或者从存储单元1108加载到随机访问存储器(ram)1103中的计算机程序指令，来执行各种适当的动作和处理。在ram1103中，还可存储设备1100操作所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。

设备1100中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法300，可由处理单元1101执行。例如，在一些示例性实现方式中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些示例性实现方式中，计算机程序的部分或者全部可以经由rom1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序被加载到ram1103并由cpu1101执行时，可以执行上文描述的方法300的一个或多个动作。

根据本公开的示例性实现方式，提供了一种医疗辅助操作设备，包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得该设备执行如上文所述的方法300。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是、但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些示例性实现方式中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开示例性实现方式的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个示例性实现方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。