目标现象监测方法、装置、计算机设备和存储介质与流程

1.本技术涉及医疗仿真控制和图形处理技术领域，特别是涉及一种目标现象监测方法、装置、计算机设备和存储介质。


背景技术：

2.微创手术是一种主要通过内窥镜及各种显像技术，使外科医生在无需对患者造成巨大伤口的情况下施行的手术，因其创伤小、恢复快等特点已成为目前手术发展的趋势。术中出血是手术的主要并发症，出血量过大直接威胁患者生命，造成术中危险和手术风险的提高，因此临床上急需实时监测术中出血量的技术和装备。
3.然而，在现有的机器人手术系统中，针对手术中出血状态的监测是通过出血检测单元分析采集景象中的像素数据，并确定景象中是否存在一个或多个初始血液位点。在检测到初始血液位点后，通过显示单元上显示的景象中的初始位点图标来识别区域，因此无法获悉已积血区域的组织信息。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种目标现象监测方法、装置、计算机设备和存储介质。
5.第一方面，本技术提供了一种目标现象监测方法，所述目标现象监测方法包括：
6.获取医疗用镜采集的当前医学图像；
7.根据所述当前医学图像得到与目标现象对应的识别结果和/或所述医疗用镜的污染结果；
8.根据所述识别结果和/或所述医疗用镜的污染结果得到所述当前医学图像的处理控制信息；
9.根据所述处理控制信息对所述当前医学图像进行处理以得到所述目标现象的监测信息。
10.第二方面，本技术还提供了一种目标现象监测系统，其特征在于，包括医疗用镜和图像处理设备，所述医疗用镜与所述图像处理设备相通信，所述医疗用镜用于采集当前医学图像；所述图像处理设备用于执行上述目标现象监测方法。
11.第三方面，本技术还提供了一种目标现象监测装置，其特征在于，所述目标现象监测装置包括：
12.获取单元，用于获取医疗用镜采集的当前医学图像；
13.分析单元，用于根据所述当前医学图像得到与目标现象对应的识别结果和/或所述医疗用镜的污染结果；
14.处理控制信息生成单元，用于根据所述识别结果和/或所述医疗用镜的污染结果得到所述当前医学图像的处理控制信息；
15.监测信息生成单元，用于根据所述处理控制信息对所述当前医学图像进行处理以
得到所述目标现象的监测信息。
16.第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
17.第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
18.第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
19.上述目标现象监测方法、装置、计算机设备和存储介质，通过获取医疗用镜采集的当前医学图像；根据所述当前医学图像得到与目标现象对应的识别结果和/或所述医疗用镜的污染结果；根据所述识别结果和/或所述医疗用镜的污染结果得到所述当前医学图像的处理控制信息；根据所述处理控制信息对所述当前医学图像进行处理以得到所述目标现象的监测信息。本技术手术机器人术中出血监测方法，解决了现有技术中需要增加额外的传感器，而影响医生和机械臂的操作空间的技术问题。有效提高手术安全性和可靠性，不需要额外的传感器，降低了生产、设计和使用成本，相对于传统非接触式方法提升了机器人的操作空间，提升了与医生一起协作的效率。
附图说明
20.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为一个实施例中目标现象监测方法的应用环境图；
22.图2为一个实施例中目标现象监测方法的流程示意图；
23.图3为一个实施例中目标现象监测方法的污染结果的生成方式流程示意图；
24.图4为一个实施例中目标现象监测方法的识别结果流程示意图；
25.图5为一个实施例中目标现象监测方法的处理控制信息生成示意图；
26.图6为一个实施例中目标现象监测方法的目标现象的监测信息流程示意图；
27.图7为一个实施例中目标现象监测方法的目标现象监测应用示意图；
28.图8为一个实施例中目标现象监测方法的图像融合流程示意图；
29.图9为一个实施例中目标现象监测方法的图像融合应用示意图；
30.图10为一个实施例中目标现象监测方法的第一次图像融合示意图a；
31.图11为一个实施例中目标现象监测方法的第一次图像融合示意图b；
32.图12为一个实施例中目标现象监测方法的第一次图像融合示意图c；
33.图13为一个实施例中目标现象监测方法的未开启出血监测显示模式的图像融合示意图a；
34.图14为一个实施例中目标现象监测方法的未开启出血监测显示模式的图像融合示意图b；
35.图15为一个实施例中目标现象监测方法的未开启出血监测显示模式的图像融合示意图c；
36.图16为一个实施例中目标现象监测方法的出血显示示意图a；
37.图17为一个实施例中目标现象监测方法的出血显示示意图b；
38.图18为一个实施例中目标现象监测方法的出血显示示意图c；
39.图19为一个实施例中目标现象监测方法的图像融合与重建示意图；
40.图20为一个实施例中目标现象监测方法的特征点配准流程示意图；
41.图21为一个实施例中目标现象监测方法的图像匹配示意图；
42.图22为一个实施例中目标现象监测方法的叠加拼接示意图；
43.图23为一个实施例中目标现象监测方法的图像叠加示意图；
44.图24为一个实施例中目标现象监测方法的目标现象的监测流程示意图；
45.图25为一个实施例中目标现象监测方法的当前医学图像重建示意图；
46.图26为另一个实施例中目标现象监测方法的当前医学图像重建示意图；
47.图27为一个实施例中目标现象监测方法的数据增强示意图；
48.图28为一个实施例中目标现象监测方法的数据增强示意图；
49.图29为一个实施例中目标现象监测方法的曝光控制流程示意图；
50.图30为一个实施例中目标现象监测方法的应用示意图；
51.图31为一个实施例中目标现象监测方法的图像采集与显示硬件示意图；
52.图32为一个实施例中目标现象监测方法的控制框图；
53.图33为一个实施例中计算机设备的内部结构图。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
55.本技术实施例提供的一种目标现象监测方法，可以应用于如图1所示的应用环境中。其中，目标现象监测方法可应用于手术系统，下述以手术系统进行示例性的进行说明，在手术系统中，手术系统可包括医生控制台、患者手术台车以及图像平台。其中医生控制台是医生进行操作的平台，通过在医生控制台的操作实现整个手术过程的操作。患者手术台车用于放置病床。图像平台包括内窥镜、图像处理器和中央处理器，其中内窥镜与图像处理器相通信，图像处理器与中央处理器相通信，中央处理器还可以接收医生控制台发送的控制指令，并将图像处理器发送的图像进行处理后发送至医生控制台进行显示。外科医生可利用医生控制台控制内窥镜臂带动内窥镜运动，并根据医生控制平台显示的图像观察患者体腔内部的景象，内窥镜同时采集体腔的左右眼观察到的场景景象，送给图像处理器，图像处理器对图像进行处理，并得到与目标现象对应的识别结果和/或医疗用镜的污染结果，这样根据目标现象对应的识别结果和/或医疗用镜的污染结果进行图像融合等处理，并将处理后的图像发送至中央处理器，以使得中央处理器对融合后的图像进行视频拼接等处理后，发送至医生控制台进行显示。在其中一个实施例中，中央处理器和图像处理器可以采用同一处理器，以减少硬件成本。在另外的实施例中，中央处理器和图像处理器可以独立设
置，以提高处理效率，例如通过单独的图像处理器，例如gpu来实现图像的处理，通过中央处理器，例如cpu等对图像处理器处理后的图像进行后续处理。
56.在一个实施例中，如图2所示，提供了一种目标现象监测方法，以该方法应用于如图1所示的图像处理器以及中央处理器为例进行说明，包括以下步骤：
57.s202：获取医疗用镜采集的当前医学图像。
58.其中，医疗用镜为应用于内窥镜手术的内窥镜。当前医学图像为内窥镜手术中患者的体腔内部当前的景象。
59.具体地，图像处理器获取医疗用镜采集的当前医学图像，这里可以是图像处理器通过内窥镜采集患者体腔内部当前的景象。
60.s204：根据当前医学图像得到与目标现象对应的识别结果和/或医疗用镜的污染结果。
61.具体地，图像处理器获取当前医学图像，并且，图像处理器基于当前医学图像，进而获知目标现象是否存在和/或图像处理器基于当前医学图像获知医疗用镜的污染情况，这里的污染情况可以是由于患者体腔内部出血对医疗用镜产生的污染。
62.其中目标现象可以是指出血现象，即患者体腔内部是否出现出血，污染是指医疗用镜的污染情况，例如由于出血导致医疗用镜被污染。
63.s206：根据识别结果和/或医疗用镜的污染结果得到当前医学图像的处理控制信息。
64.具体地，图像处理器首先获取目标现象是否存在识别结果和/或医疗用镜被污染的结果，例如，患者的体腔内部出血，导致目标现象出现和/或患者出血污染了医疗用镜。再基于识别结果和/或医疗用镜被污染的结果得到当前医学图像的处理控制信息，以便形成融合的影像，其中，影像可为3d影像。
65.s208：根据处理控制信息对当前医学图像进行处理以得到目标现象的监测信息。
66.具体地，图像处理器根据获得的处理控制信息对当前医学图像进行处理，例如，图像处理器置根据得到的处理控制信息形成影像，以便将目标现象通过影像的方式实时呈现，再由图像处理器通过影像对目标现象进行监测，得到目标现象的监测信息。
67.在该实施例中，图像处理器通过获取医疗用镜采集的当前医学图像；再根据当前医学图像得到与目标现象对应的识别结果，和/或医疗用镜的污染结果来判断是否存在出血状态；根据识别结果，和/或医疗用镜的污染结果得到当前医学图像的处理控制信息，将患者体腔内部当前的景象形成实时的影像；根据处理控制信息对当前医学图像进行处理以得到目标现象的监测信息，依据处理控制信息的影像对当前医学图像进行监测和显示，并得到监测信息。
68.如图3所示，在其中一个实施例中，医疗用镜的污染结果的生成方式包括：
69.s302：计算当前医学图像的图像信息熵。
70.具体地，图像处理器通过医疗用镜将患者体腔内图像数据传送给镜头污染监测模块，图像处理器的镜头污染监测模块接收当前医学图像，并将当前医学图像送入信息熵提取模块，在信息熵提取模块中提取图像的信息熵，以便计算当前医学图像的信息熵。
71.s304：将图像信息熵与预先训练得到的信息熵阈值进行比较，当图像信息熵小于等于预先训练得到的信息熵阈值，生成医疗用镜被污染的污染结果；当图像信息熵大于预
先训练得到的信息熵阈值，生成成医疗用镜未被污染的污染结果。
72.具体地，图像处理器将提取出的信息熵与预先训练好的医疗用镜的图像数据信息熵阈值进行比较，得到医疗用镜的污染结果，以便依据污染结果得到当前医学图像的处理控制信息。
73.在该实施例中，图像处理器通过计算当前医学图像的图像信息熵，再将得到的信息熵与预先训练得到的信息熵阈值进行比较，进而得到医疗用镜的污染结果，以便比较后得到的医疗用镜的污染结果传输给图像处理器的图像融合模块和图像处理器的3d重建模块。
74.如图4所示，在其中一个实施例中，根据当前医学图像得到与目标现象对应的识别结果，包括：
75.s402：对当前医学图像进行目标提取。
76.具体地，图像处理器接收当前医学图像，将当前医学图像送入图像处理器的候选目标提取模块，以便候选目标提取模块对目标做进一步判断。例如，图像处理器的出血监测模块接收图像数据，再将图像数据送入候选目标提取模块，其中，血监测模块接收的图像数据是由目标现象监测装置的内窥镜控制单元发出的。
77.s404：当提取到目标时，则得到目标现象是否存在的存在的判断结果识别结果；当未提取到目标时，则得到目标现象不存在的识别结果。
78.具体地，图像处理器提取到当前医学图像中的目标时，对目标进行判断筛选，以便将筛选出的目标传输给图像融合模块和3d重建模块。例如，图像处理器的候选目标提取模块提取到患者体腔内部当前的景象所形成的图像数据，并对图像数据中是否有出血进行判断，将出血的图像数据筛选出，并将筛选出的图像数据通过融合模块进行融合，形成图像，并且通过3d重建模块重建3d模型。
79.在该实施例中，图像处理器对获取到的当前医学图像进行目标提取，再通过对获取的目标进一步判断，筛选出含有预设结果的目标，得到的含有预设结果的目标能够方便后续对目标的处理。
80.在其中一个实施例中，对当前医学图像进行目标提取之前，还包括：对当前医学图像亮度和/或对比度进行调节。
81.具体地，图像处理器在接收当前医学图像之后，对当前医学图像进行亮度和/或对比度的调节，以便后续对当前医学图像进行判断。例如，图像处理器的出血监测模块在接收镜头污染监测模块的图像数据后，先将图像数据送入图像处理器的预处理模块，预处理模块对图像数据进行亮度和对比度进行调节，经过预处理的图像数据送入候选目标提取模块。
82.在该实施例中，图像处理器的预处理模块对当前医学图像亮度和/或对比度进行调节，提高后续步骤中对当前医学图像判断的准确率。
83.如图5所示，在其中一个实施例中，根据识别结果和/或医疗用镜的污染结果得到当前医学图像的处理控制信息，包括：
84.s502：当识别结果为存在时，则生成开始图像融合的处理控制信息。
85.具体地，图像处理器根据当前医学图像得到目标现象存在的识别结果，图像处理器将生成当前医学图像融合的处理控制信息。例如，图像处理器的出血监测模块对接收到
的左右场景分别进行出血监测，在检测到出血情况，图像处理器将发送图像融合开始命令发送给图像融合模块与3d重建模块。
86.s504：当识别结果为存在，且医疗用镜的污染结果为污染时，则生成终止图像融合的处理控制信息。
87.具体地，图像处理器根据获取的医疗用镜的污染情况，判断医疗用镜的污染结果为污染时，图像处理器将生成终止当前医学图像融合的处理控制信息。例如，图像处理器的镜头污染监测模块对接收的左右场景图像分别进行镜头污染监测，在检测到镜头污染超过预设的阈值时，将发送当前医学图像融合终止命令给图像融合模块与3d重建模块。
88.在本实施例中，图像处理器根据目标现象的识别结果，生成开始图像融合的处理控制信息和/或医疗用镜的污染结果生成终止图像融合的处理控制信息。以便图像处理器将当前医学图像实时呈现，例如，将3d重建模块当前重建得到的图像映射到屏幕上，以显示出积血区域的组织信息。
89.如图6和图7所示，在其中一个实施例中，根据处理控制信息对当前医学图像进行处理以得到目标现象的监测信息，包括：
90.s602：当处理控制信息为对当前医学图像进行融合处理时，获取目标现象的显示模式。
91.具体地，图像处理器根据可根据前医学图像得到目标现象是存在的识别结果时和/或医疗用镜的污染结果时，对当前医学图像进行融合处理，获取用以显示当前融合结果的显示模式，例如图像处理器的出血监测模块监测手术中患者患处的出血情况和/或镜头污染检测模块监测内窥镜镜头污染情况，当监测到出血情况时，启动手术中图像融合功能，再获取图像处理器的出血监测显示模式功能，以便显示融合结果。
92.s604：根据显示模式对当前医学图像进行目标现象的监测和显示。
93.具体地，图像处理器根据显示模式的显示功能所显示出的当前医学图像融合情况，对目标现象进行监测，以便实时获取目标现象的实时情况，例如，出血监测显示模式功能将最新融合结果进行3d重建，形成实时的3d影像映射到屏幕上，以显示出患者的积血区域的组织信息，医生可对积血区域的组织信息进行监测和显示。
94.在本实施例中，图像处理器根据前医学图像得到目标现象是存在的识别结果时和/或医疗用镜的污染结果时，对当前医学图像进行融合，并将融合的结果通过显示模式显示出来，以便对融合的结果进行实时监测，例如在内窥镜手术系统中，通过对患者术中的当前医学图像进行融合，以显示出积血区域的组织信息，并对融合的结果进行实时监测，以便解决患者大出血时积血区域组织信息被掩盖问题。
95.如图8和图9所示，在其中一个实施例中，根据显示模式对当前医学图像进行目标现象的监测和显示，包括：
96.s702：对第一通道的当前帧图像与上一帧图像进行特征点提取。
97.具体地，图像处理器获取第一通道的当前帧图像与上一帧图像，并对两幅图像进行特征点提取，以便图像处理器依据特征点进行比较，例如，图像处理器的镜头污染测模块获取左景象的当前帧可见光图像与上一帧的可见光图像，并对两幅图像进行特征点提取，其中，图像处理器的镜头污染监测模块对右景象的当前帧图像以及上一帧图像的处理方式同左景象，不在赘述。如图10及图11，图11可为第一通道的当前帧图像，图10可为上一帧图
像，图像处理器的镜头污染监测模块获取图10及图11，以便对图10及图11做后续的处理。
98.s704：对当前帧图像与上一帧图像的特征点进行配准。
99.具体地，图像处理器对提取到的第一通道的当前帧图像与上一帧图像的特征点，进行配准，例如，第一通道的当前帧图像与上一帧图像的边缘图像不重叠时，基于两个图像的特征点，对两幅图像配准，以便后续操作中确定两幅图像的位置关系。
100.s706：根据配准结果对当前帧图像与上一帧图像的重叠部分进行叠加，不重叠部分的边界区域，进行叠加拼接处理得到融合后的图像。
101.具体地，图像处理器根据第一通道的当前帧图像与上一帧图像的特征点的配准情况，确定两幅图像的位置关系，并对两幅图像进行叠加，即可将图a及图b两幅图叠加，以使后续对两幅图像处理中相同的图像内容能够重叠。
102.具体地，图像处理器获取第一通道的当前帧图像与上一帧图像的叠加情况后，两幅图像的边缘可能会出现不重叠部分，将两幅图像不重叠部分的边界区域进行叠加拼接处理，以便将两幅图像融合，形成一幅融合后的图像，即将图10及图11融合后形成图12。
103.s710：根据融合后的图像进行目标现象的监测和显示。
104.具体地，图像处理器获取由第一通道的当前帧图像与上一帧图像融合后的图像后，根据融合后的图像对目标现象进行监测和显示，例如，图像处理器的镜头污染监测模块获取到左景象的当前帧可见光图像与上一帧的可见光图像的融合图像，可将融合图像存储到存储器中，即将图12存储在存储器中，以便后续再调用存储器中存储的融合图像与当前帧可见光图像进行图像配准。基于该融合图像可以获知患者手术中出血情况，并对出血情况进行监测和显示。
105.具体地，图像处理器未开启出血监测显示模式的图像融合如图13、图14和图15。目图像处理器开启出血监测显示模式的图像融合如图16、图17和图18。
106.在本实施例中，图像处理器获取第一通道的当前帧图像以及上一帧图像，提取两幅图像的特征点，并将特征点进行配准，而后在对两幅图像进行叠加，不重叠部分的边界区域进行拼接，方便图像处理器对目标现象进行实时监测和显示。
107.如图19和图20所示，在其中一个实施例中，对当前帧图像与上一帧图像的特征点进行配准，包括：
108.s802：获取当前帧图像中的第一预设数量的第一待处理像素点与上一帧图像中的第一预设数量的第二待处理像素点。
109.如图21所示，具体地，目标现象监测装置分别获取第一通道的当前帧图像中的第一预设数量的第一待处理像素点以及上一帧图像中的第一预设数量的第二待处理像素点，以便后续第一通道的当前帧图像以及上一帧图像配准使用。例如，图10中示例性的示出了第一通道的当前帧图像中预设的四个像素点，四个像素点中包括第一待处理像素点p1,其中，p1的坐标为(x1,y)以及上一帧图像中预设的四个像素点，四个像素点中包括第二待处理像素点q1,其中，q1的坐标为(x1,y1)。
110.s804：以其中一个待处理像素点为原点，计算另一帧图像内满足要求的第二预设数量的像素点。
111.具体地，图像处理器可以将第一待处理像素点作为原点，来计算第一通道的当前帧图像的第二预设数量的像素点。
112.具体地，图像处理器先为每个像素点生成模板，例如，第一待处理像素点p1以及第二待处理像素点q1附近的2x2个像素点组成的模板。然后基于模板的处理来得到另一帧图像内满足要求的第二预设数量的像素点
113.例如，图像处理器可以将第一待处理像素点p1作为原点，来计算另一帧图像中像素点模板中模板像素差最小的4个像素点。
114.s806：对满足要求的像素点进行筛选得到目标像素点。
115.其中，为了方便说明，引入dmin，dmin为模板内像素值的数值差异之和，模板可由2
×
2个像素点组成。
116.具体地，图像处理器获取满足要求第二预设数量的像素点的平均绝对差中出现频率最高的平均绝对差，或者获取第二预设数量的像素点的平均绝对差的平均值最接近的平均绝对差。例如，图像处理器获取第一通道的当前帧图像中第一待处理像素点p1附近的2x2个像素点模板中像素差最小的4个像素点，取4个最小平均绝对差中出现频率最高的dmin，或者取与这4个最小平均绝对差dmin的平均值最接近的dmin。
117.s808：将原点和目标像素点的间距作为视差。
118.具体地，图像处理器获取数值差异之和所对应的像素点，在当前帧图像和上一帧图像中的位置之间的间距作为视差。例如，图像处理器获取第一待处理像素点p1(x1，y1)，计算图a中像素的模板像素差最小的4个像素点，取4个最小平均绝对差中出现频率最高的dmin，或者取与这4个最小平均绝对差dmin的平均值最接近的dmin，对应的像素点在图a与图b中的位置之间的间距即为视差。
119.s810：根据视差对当前帧图像和/或上一帧图像的待处理像素点进行移动处理。
120.具体地，图像处理器获取对应的像素点在图a与图b中的位置之间的间距所形成的视差后，对当前帧图像和/或上一帧图像的待处理像素点进行移动处理。例如，图像处理器获取视差后，依据水平和垂直视差使得图b的像素相对于图a进行移动处理。
121.s812：将像素点移动处理后的当前帧图像与上一帧图像进行叠加，以对当前帧图像与上一帧图像的特征点进行配准。
122.具体地，图像处理器将像素点移动处理后的当前帧图像与上一帧图像进行叠加，并且，图像处理器对当前帧图像与上一帧图像的特征点进行配准，以便当前帧图像与上一帧图像融合。
123.在本实施例中，图像处理器获取当前帧图像与上一帧图像后，将一幅图像中的像素点移动处理，以使得该幅图像与另一幅图像叠加，进而实现两幅图像的配准，以便两幅图像叠加的边界区域进行叠加拼接处理，融合为一副由左景象或右景象的当前帧图像与上一帧图像所形成的一幅整图。
124.如图22所示，在其中一个实施例中，将当前帧图像与上一帧图像的不重叠部分的边界区域进行叠加拼接处理得到融合后的图像，包括：
125.s902：获取当前帧图像的第一亮度权重和上一帧图像的第二亮度权重。
126.具体地，图像处理器分别获取当前帧图像的第一亮度权重和上一帧图像的第二亮度权重，以便依据当前帧图像的亮度权重和上一帧图像的亮度权重对后续的当前帧图像和上一帧图像进行处理。
127.s904：根据第一亮度权重和第二亮度权重以及像素值差值，对当前帧图像和上一
帧图像的重叠区域的亮度进行叠加处理根据第一亮度权重和第二亮度权重以及像素值差值，对当前帧图像和上一帧图像的第一待叠加图像和第二待叠加图像的重叠区域的亮度进行叠加处理。
128.如图23所示，具体地，图像处理器根据当前帧图像的第一亮度权重和上一帧图像的第二亮度权重，对当前帧图像的第一待叠加图像和上一帧图像的第二待叠加图像的重叠区域的亮度进行叠加处理。例如，图像处理器根据预设的正态分布曲线示意图，优选正态分布曲线的数学期望u＝128，方差δ＝50，亮度值越趋于数学期望，其所占的权重越大，由此，通过采用上述的正态分布的方式对两幅图像进行叠加拼接处理，可以使得获得合适的叠加效果。计算公式如下：
129.两幅图像的非重叠区域：
130.result＝p1或p2
131.两幅图像的图像叠加方式1采用如下公式计算：
[0132][0133]
其中，p1为第一亮度；p2为第二亮度；w1为第一亮度p1的权重；w2为第二亮度p2的权重；
△
为像素值的差异阀值，通过调试获取，d1和d2为两幅图像中像素点的像素值。
[0134]
图像叠加方式2采用如下公式计算：
[0135]
result＝(p1*w1+p2*w2)/(w1+w2)
[0136]
在本实施例中，图像处理器分别获取当前帧图像以及上一帧图像的亮度权重，并根据两幅图像的亮度权重对第一待叠加图像和第二待叠加图像的重叠区域的亮度进行叠加处理，以便对第一待叠加图像和第二待叠加图像的非重叠区域的亮度，进行像素值的差异调整，进而完成两幅图像的融合。
[0137]
如图24所示，在其中一个实施例中，根据显示模式对当前医学图像进行目标现象的监测和显示，包括：
[0138]
s1002：当显示模式为正常显示时，则将当前医学图像和上一帧图像进行叠加，并存储。
[0139]
具体地，图像处理器获取的显示模式为正常显示时，将当前医学图像进行叠加，当前医学图像可包括当前医学图像以及存储器中存储的可读取的可见光图像，将叠加后的图像存储，加以显示。例如，图像处理器收到正常显示命令时，将左景象图像当前帧可见光图像与从存储器中读取的可见光图像，先进行特征点提取，再对两幅图像的特征点进行配准。依据配准结果对两幅图像采用图像叠加方式1，并将两幅图像不重叠部分的边界区域进行叠加拼接处理。最后将融合后的图像存储到存储器中，以此循环。其中，右景象图像与左景象图像处理方式相同，不在赘述。
[0140]
进一步地，图像叠加方式1应用在未开启出血监测显示模式时，其结果并不会直接应用于显示。采用该方式后，其积血区域的信息不会随着叠加次数的增加而削弱组织信息。
[0141]
s1004：当显示模式为出血显示，则对当前医学图像进行重建，并显示出血监测模式。
[0142]
具体地，图像处理器获取的显示模式为出血显示时，对当前医学图像进行重建，当前医学图像可包括当前医学图像以及存储器中存储的可读取的可见光图像，并显示出血监
测模式。其中，当图像处理器收到接受到开启出血监测显示命令后，将左景象图像当前帧可见光图像与从存储器中读取的可见光图像，先进行特征点提取，再对两幅图像的特征点进行配准。依据配准结果对两幅图像采用图像叠加方式2，图像叠加方式2最新的叠加效果并不存储到存储器中，也就是说，当前帧可见光图像与存储器中读取的可见光图像形成的融合图像不会存储到存储器中，而是形成3d重建中的图像数据，最后将做左右景象图像叠加后图像进行3d重建。
[0143]
进一步地，图像叠加方式2应用在开启出血监测显示模式时，其结果并不会存储在存储器中，但会直接应用于显示，用户可观察到积血的范围同时可观察到组织信息。
[0144]
在本实施例中，图像处理器根据接收到的不同命令，对融合的图像进行不同的处理，例如，图像处理器接收到正常显示命令时，将融合后的图像存储到存储器中，以此循环；图像处理器接收到出血监测显示命令时，最新叠加融合的图像并不存储到存储器中，而是作为3d重建的图像数据，将做左右景象图像叠加后图像进行3d重建。
[0145]
如图25和图26所示，在其中一个实施例中，当显示模式为出血显示，则对当前医学图像进行重建，并显示出血监测模式，包括：当所述显示模式为出血显示，则将各路采集设备所采集的所述当前医学图像和所述上一帧图像进行叠加，并将各路采集设备叠加后的图像。
[0146]
具体地，图像处理器获取双路当前医学图像的相对运动图像，再依据双路当前医学图像的运动图像重建当前医学图像的3d模型。例如，图a中对于平行放置的双传感器采集的视频焦平面等效于无穷远处，若不进行视差处理无法获得立体影像。基于该原因，需要图像处理器对获取的双路当前医学图像进行相对运动，才可实现3d重建。如图b中，对于左眼景象采集处于右侧图像，对于右眼景象采集处于左侧图像。使得左右景象的图像拥有正视差，最终可获得较好的3d重建结果。
[0147]
在本实施例中，图像处理器获取双路当前医学图像，即获取两个当前医学图像的相对运动图像，再依据双路当前医学图像的运动图像可实现3d重建，以便取得实时的3d重建结果。
[0148]
如图27所示，在其中一个实施例中，获取医疗用镜采集的当前医学图像，包括：
[0149]
s1102：获取医疗用镜的图像传感器所采集组织的反射光。
[0150]
具体地，图像处理器获取反射光是通过医疗用镜的图像传感器来采集。例如，图像处理器获取反射光是通过内窥镜的图像传感器和内窥镜的驱动模块，图像传感器有两片传感器,分别处于内窥镜前段，用于接收来积血区域的自组织的反射光，内窥镜的驱动模块用于对两片传感器分别进行初始化参数的配置，并实时配置从后端内窥镜控制单元传输过来的参数。
[0151]
其中，mipi为mobile industry processor interface，移动行业处理器接口，是mipi联盟发起的为移动应用处理器制定的开放标准。lvds为low-voltage differential signaling，低电压差分信号，使得信号能在差分pcb线对或平衡电缆上以几百mbps的速率传输，其低压幅和低电流驱动输出实现了低噪声和低功耗。
[0152]
需要说明的是，图像传感器，采集的图像以mipi协议或lvds协议的方式输出，经桥接芯片转换后以光信号进行远距离传输送入到图像处理器，驱动模块通过rs485通信接口或rs232等接口与图像处理器进行通信，并将获取的信息，通过iic协议发送给图像传感器，
控制输出格式、模式和帧率等。驱动模块采集按键信号通过rs485与图像处理器进行通信。
[0153]
图像处理器，通过桥接芯片接收内窥镜传输过来的数据，并送入图像解析模块解析成固定合适的图像数据，分别送给图像处理模块和内窥镜控制模块。内窥镜控制模块通过对图像进行分析处理，将控制信息通过rs485发送给内窥镜，通过rs485接收按键信号。
[0154]
内窥镜控制单元接收内窥镜驱动模块传输来的左右景象，并分别对景象图像处理，计算合适反馈值，反馈给内窥镜驱动模块。
[0155]
s1104：根据反射光得到当前医学图像。
[0156]
具体地，图像处理器根据获取的反射光，可得到当前医学图像。例如，图像处理器根据获取的反射光，可得到患者的体腔内部当前的景象，以便后续操作中对当前景象进行融合等操作。
[0157]
在本实施例中，图像处理器通过获取医疗用镜的图像传感器所采集组织的反射光，再依据反射光获取当前医学图像，可以方便后续基于当前医学景象的融合和3d重建等操作。
[0158]
如图5所示，在其中一个实施例中，目标现象监测方法还包括：根据当前亮度对当前医学图像进行曝光控制。
[0159]
具体地，图像处理器获取当前医学图像的亮度，根据预设的目标亮度范围，对当前医学图像的亮度进行曝光控制，以使得当前医学图像在预设的目标亮度范围。
[0160]
在本实施例中，图像处理器获取当前医学图像的亮度后，判断当前医学图像的亮度是否在预设的亮度范围内，若不在预设的亮度范围内，对当前医学图像的曝光进行控制，以使得当前医学图像的亮度处于预设的亮度范围内。
[0161]
如图28所示，在其中一个实施例中，根据当前亮度对当前医学图像进行曝光控制，包括：
[0162]
s1202：当当前医学图像的当前亮度低于目标亮度范围的下限值时，通过增大当前医学图像传感器曝光量以调节图像亮度。
[0163]
具体地，图像处理器获取当前医学图像的亮度，若亮度低于目标亮度范围的下限值时，可通过增大当前医学图像传感器曝光量以调节图像亮度。例如，目标亮度范围值为(b
min
，b
max
)，图像处理器获取左景象图像的当前医学图像的亮度为b,b低于目标亮度范围的下限值bmin时，通过增大可见光图像传感器曝光量以调节图像亮度。优先提高曝光时间。
[0164]
s1204：当当前医学图像的当前亮度高于目标亮度范围的上限值时，通过减小当前医学图像传感器的曝光量以调节图像亮度。
[0165]
具体地，图像处理器获取当前医学图像的亮度，若亮度高于目标亮度范围的上限值时，可通过减小当前医学图像传感器曝光量以调节图像亮度。例如，图像处理器获取左景象图像的当前医学图像的亮度为b,b高于目标亮度范围的上限值bmax时，通过减小可见光图像传感器曝光量以调节图像亮度。优先提高曝光时间。同理同步调节右景象图像，不在赘述。
[0166]
在本实施例中，图像处理器通过获取当前医学图像的亮度，判断当前医学图像的亮度是否在预设的目标亮度范围值内，若不在范围值内对当前医学图像的亮度进行调整，以使得当前医学图像的亮度在目标亮度范围内，方便当前医学图像的后续图像处理以及观看。
[0167]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0168]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的目标现象监测方法的目标现象监测系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标现象监测系统实施例中的具体限定可以参见上文中对于目标现象监测方法的限定，在此不再赘述。
[0169]
如图29、图30、图31和图32所示，在其中一个实施例中，一种目标现象监测系统，包括医疗用镜和图像处理设备，医疗用镜与图像处理设备相通信，医疗用镜用于采集当前医学图像；图像处理设备用于执行上述任意一项实施例中目标现象监测方法。
[0170]
具体地，用户根据用户界面控制信息，通过图像处理设备控制模块控制光源输出的功率和色温，光源通过导光束为医疗用镜提供照明。用户根据用户界面控制信息，通过图像处理设备控制模块将控制信息传递给医疗用镜控制单元，以控制图像传感器输出图像的模式、格式、帧率。医疗用镜控制单元依据图像处理设备控制模块传输过来的控制信息控制传感器输出图像的模式、格式、帧率。依据接受的图像数据包含的信息，控制传感器感光特性。将图像数据传输给镜头污染监测模块和出血监测模块。镜头污染监测模块对接收的左右场景分别进行镜头污染监测，一旦检测到镜头污染较严重，将发送图像融合终止命令给图像融合与3d重建模块。
[0171]
具体地，出血监测模块对接收的左右场景分别进行出血监测，一旦检测到出血情况，将发送图像融合开始命令给图像融合与3d重建模块。并将接收的左右景象图像数据发送给图像融合与3d重建模块。图像融合与3d重建模块依据镜头污染监测模块和出血监测模块的控制信息，分别控制左景象图像融合模块和右景象图像融合模块。并将左右景象图像融合结果送入3d重建进行当前医学图像重建。用户也可依据显示器上的模式选择按键，选择显示方式，即目标现象监测显示模式和正常显示模式。
[0172]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的目标现象监测方法的目标现象监测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标现象监测装置实施例中的具体限定可以参见上文中对于目标现象监测方法的限定，在此不再赘述。
[0173]
在一个实施例中，提供了一种出血监测装置，包括：获取模块、分析单元、处理控制信息生成单元以及监测信息生成单元，其中：
[0174]
获取单元，用于获取医疗用镜采集的当前医学图像；
[0175]
分析单元，用于根据当前医学图像得到与目标现象对应的识别结果和/或医疗用镜的污染结果；
[0176]
处理控制信息生成单元，用于根据识别结果和/或医疗用镜的污染结果得到当前医学图像的处理控制信息；
[0177]
监测信息生成单元，用于根据处理控制信息对当前医学图像进行处理以得到目标现象的监测信息。
[0178]
在其中一个实施例中，医疗用镜的污染结果的生成方式包括：
[0179]
分析单元，用于计算当前医学图像的图像信息熵；
[0180]
比较单元，用于将图像信息熵与预先训练得到的信息熵阈值进行比较，当图像信息熵小于等于预先训练得到的信息熵阈值，生成医疗用镜被污染的污染结果；当图像信息熵大于预先训练得到的信息熵阈值，生成医疗用镜未被污染的污染结果。
[0181]
在其中一个实施例中，根据当前医学图像得到与目标现象对应的识别结果，包括：
[0182]
目标提取单元，用于对当前医学图像进行目标提取；
[0183]
判断单元，用于当提取到目标时，则得到目标现象是否存在的判断结果识别结果；当未提取到目标时，则得到目标现象不存在的识别结果。
[0184]
在其中一个实施例中，对当前医学图像进行目标提取之前，还包括：
[0185]
调节单元，用于对当前医学图像亮度和/或对比度进行调节。
[0186]
在其中一个实施例中，根据识别结果和/或医疗用镜的污染结果得到当前医学图像的处理控制信息，包括：
[0187]
融合处理控制信息生成单元，用于当识别结果为存在时，则生成开始图像融合的处理控制信息；
[0188]
终止融合处理控制信息生成单元，用于当识别结果为存在且医疗用镜的污染结果为污染时，则生成终止图像融合的处理控制信息；当识别结果为不存在，则输出医疗用镜的移动指令。
[0189]
在其中一个实施例中，根据处理控制信息对当前医学图像进行处理以得到目标现象的监测信息，包括：
[0190]
显示模式获取单元，用于当处理控制信息为对当前医学图像进行融合处理时，获取目标现象的显示模式；
[0191]
监测和显示单元，用于根据显示模式对当前医学图像进行目标现象的监测和显示。
[0192]
在其中一个实施例中，根据显示模式对当前医学图像进行目标现象的监测和显示，包括：
[0193]
提取单元，用于对第一通道的当前帧图像与上一帧图像进行特征点提取；
[0194]
配准单元，用于对当前帧图像与上一帧图像的特征点进行配准；
[0195]
叠加单元，用于根据配准结果对当前帧图像与上一帧图像的重叠部分进行叠加，不重叠部分的边界区域，进行叠加拼接处理得到融合后的图像；
[0196]
监测和显示单元，用于根据融合后的图像进行目标现象的监测和显示。
[0197]
在其中一个实施例中，对当前帧图像与上一帧图像的特征点进行配准，包括：
[0198]
获取单元，用于获取当前帧图像中的第一预设数量的第一待处理像素点与上一帧图像中的第一预设数量的第二待处理像素点；
[0199]
分析单元，用于以其中一个待处理像素点为原点，计算另一帧图像内满足要求的第二预设数量的像素点；
[0200]
获取单元，用于对满足要求的像素点进行筛选得到目标像素点；
[0201]
视差生成单元，用于将原点和目标像素点的间距作为视差；
[0202]
移动处理单元，用于根据视差对当前帧图像和/或上一帧图像的待处理像素点进行移动处理；
[0203]
配准单元，用于将像素点移动处理后的当前帧图像与上一帧图像进行叠加，以对当前帧图像与上一帧图像的特征点进行配准。
[0204]
在其中一个实施例中，将当前帧图像与上一帧图像的不重叠部分的边界区域进行叠加拼接处理得到融合后的图像，包括：
[0205]
获取单元，用于获取当前帧图像的第一亮度权重和上一帧图像的第二亮度权重；
[0206]
叠加处理单元，用于根据第一亮度权重和第二亮度权重以及像素值差值，对当前帧图像和上一帧图像的重叠区域的亮度进行叠加处理；
[0207]
调整单元，用于保持当前帧图像和上一帧图像的非重叠区域的亮度不变。
[0208]
在其中一个实施例中，根据显示模式对当前医学图像进行目标现象的监测和显示，包括：
[0209]
正常显示单元，用于当显示模式为正常显示时，则将当前医学图像和上一帧图像进行叠加，并存储；
[0210]
出血显示单元，用于当显示模式为出血显示，则将当前医学图像和上一帧图像进行叠加后进行重建，并显示。
[0211]
在其中一个实施例中，当显示模式为出血显示，则对当前医学图像进行重建，并显示出血监测和显示模式，包括：
[0212]
重建单元，用于对双路当前医学图像进行相对运动，实现当前医学图像重建。
[0213]
在其中一个实施例中，获取医疗用镜采集的当前医学图像，包括：
[0214]
获取单元，用于获取医疗用镜的图像传感器所采集组织的反射光；
[0215]
当前医学图像生成单元，用于根据反射光得到当前医学图像。
[0216]
在其中一个实施例中，目标现象监测方法，还包括：
[0217]
曝光控制单元，用于根据当前亮度对当前医学图像进行曝光控制。
[0218]
在其中一个实施例中，根据当前亮度对当前医学图像进行曝光控制，包括：
[0219]
第一调节单元，用于当当前医学图像的当前亮度低于目标亮度范围的下限值时，通过增大当前医学图像传感器曝光量以调节图像亮度；
[0220]
第二调节单元，用于当当前医学图像的当前亮度高于目标亮度范围的上限值时，通过减小当前医学图像传感器的曝光量以调节图像亮度。
[0221]
上述目标现象监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0222]
在其中一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图33所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储周期任务分配数据，例如配置文件、理论运行参数和理论偏
差值范围、任务属性信息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种出血监测方法。本领域技术人员可以理解，图33中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体地计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0223]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0224]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0225]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0226]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0227]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0228]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。