具有高清视像处理和电磁抑制功能的智能腔镜系统的制作方法

文档序号:16781137发布日期:2019-02-01 19:08阅读:122来源:国知局
具有高清视像处理和电磁抑制功能的智能腔镜系统的制作方法
本发明涉及腔镜系统
技术领域
,具体涉及一种具有高清视像处理和电磁抑制功能的智能腔镜系统。
背景技术
:目前,外科手术腔镜化已经越来越深入人心,微创手术已经成为外科医生和患者的共识。腔镜系统能够提供高清放大的手术画面,能清楚显示体内组织的细微结构,与传统开放手术相比,视野更清晰,因此手术更加准确、精细,有效避免了手术部位以外脏器受到不必要的干扰,且术中出血少,手术更安全。但是目前的腔镜系统存在以下缺点:(1)由于医生操作的问题,有可能导致腔镜镜头的大幅度晃动,进而出现了一些模糊帧,手术产生一定的影响;(2)内窥镜一体机采用屏蔽盒屏蔽内部的各个功能模块对空间的辐射,从而提高对空间辐射的抗干扰能力。但是各功能模块在工作时自身产生的电磁干扰信号通过工作电源线传导到其他功能模块,从而导致各功能模块之间互相干扰,从而影响内窥镜的图像质量。技术实现要素:(一)解决的技术问题针对现有技术的不足,本发明提供了一种具有高清视像处理和电磁抑制功能的智能腔镜系统。(二)技术方案为实现以上目的,本发明通过以下技术方案予以实现:本发明提供一种具有高清视像处理和电磁抑制功能的智能腔镜系统,所述具有高清视像处理和电磁抑制功能的智能腔镜系统包括一体化腔镜系统和处理系统,其中:所述一体化腔镜系统包括多个功能模块、控制所述多个功能模块工作的中央控制单元和为所述多个功能模块提供电源的电源装置;所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机,所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元;所述冷光源和所述摄像机均连接光学内窥镜;所述冷光源为所述光学内窥镜提供光源;所述摄像机将所述光学内窥镜采集到的光信号转换为视频,并将所述视频发送至所述人机交互屏进行腔镜视像展示;其中:所述电源装置包括开关电源和多个电磁干扰抑制电路;所述开关电源包括依次连接的第一整流电路、变压器和多个第二整流电路;所述第一整流电路用于将其输入的交流电转变为所述变压器所需的单向电压;所述变压器包括一个初级绕组和多个次级绕组,所述初级绕组与所述第一整流电路的输出端连接,所述多个次级绕组与所述多个第二整流电路的输入端一一对应连接;每一个第二整流电路用于将对应次级绕组的输出电压转变为对应功能模块所需的直流电压;所述多个电磁干扰抑制电路,其输入端与所述多个第二整流电路的输出端一一对应连接,其输出端用于与所述多个功能模块的输入端一一对应连接,用于抑制所述多个功能模块与所述开关电源之间的双向电磁干扰;其中,所述次级绕组、所述第二整流电路、所述电磁干扰抑制电路和所述功能模块的数量均相同;所述处理系统用于执行:s’100、获取所述摄像机转换得到的视频;s’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像;s’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像;s’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频,并将所述清晰视频进行显示。(三)有益效果本发明实施例提供了一种具有高清视像处理和电磁抑制功能的智能腔镜系统,具有以下效果:(1)在开关电源中,针对每一个功能模块,设置了一个次级绕组和一个第二整流电路,进而形成了针对该功能模块的一条电源电路。针对n个功能模块,形成了n条相互独立的电源电路,使各功能模块之间不能通过共用的电源线传输干扰信号。在此基础上,在每一个功能模块和对应的第二整流电路中还设置了一个电磁干扰抑制电路,用来抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输,同时也抑制开关电源通过工作电源线向功能模块电磁干扰,也就是说,抑制功能模块和开关电源之间双向的电磁干扰,进而避免各功能模块之间互相传输电磁干扰信号;(2)处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理,然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频,可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题,为手术或检查过程提供实时且清晰的腔镜视频,提高目标定位的准确性,减轻医生的诊断或手术负担。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1示出了本发明一实施例中具有高清视像处理和电磁抑制功能的智能腔镜系统的结构示意图;图2示出了本发明一实施例中开关单元的结构示意图;图3示出了本发明一实施例中电磁干扰抑制电路的结构示意图;图4示出了本发明一实施例中模糊处理的流程示意图;图5示出了本发明一实施例中生成对抗网络的训练过程示意图;1第一整流电路2变压器3开关稳压控制单元4次级反馈单元5第二整流电路21初级绕组22次级绕组10肖特基二极管11差模电感12~14第一电容15共模电感16、17第二电容具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明提供一种具有高清视像处理和电磁抑制功能的智能腔镜系统,如图1所示,该具有高清视像处理和电磁抑制功能的智能腔镜系统包括一体化腔镜系统和处理系统,其中:所述一体化腔镜系统包括多个功能模块、控制所述多个功能模块工作的中央控制单元和为所述多个功能模块提供电源的电源装置;所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机,所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元;所述冷光源和所述摄像机均连接光学内窥镜;所述冷光源为所述光学内窥镜提供光源;所述摄像机将所述光学内窥镜采集到的光信号转换为视频,并将所述视频发送至所述人机交互屏进行腔镜视像展示。处理系统用于进行图像处理以获得清晰视频。下面对具有高清视像处理和电磁抑制功能的智能腔镜系统中的各部分进行详细说明:(1)针对各个功能模块以及中央控制单元对各功能模块的控制(1.1)针对中央控制单元上述中央控制单元可以称为ccu,可以采用32位单片机,适用自创性通讯规范,中央控制单元作为主机,各功能模块作为从机,中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信,中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包,发送给人机交互屏,并显示在人机交互屏,中央控制单元还可以通过dvi通信接口将相关信息(例如,视频)发送给pc端(例如,示教室、会议室)。其中,通信规范即通信协议,采用rtu模式,数据帧结构为:帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(n个字节)、crc校验(2个字节)组成(指令都以十六进制发送),规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。中央控制单元具体可以采用多任务协调方法对各个任务进行处理,具体为:中央控制单元需要处理的主要任务类型包括:外界控制信息(例如,冷光源的控制信息、气腹仪的控制信息等)以及警报信息、内部控制信息(例如,气腹仪的自动调节信息和反馈等)、信息上传任务和显示任务。为了更合理的处理好每个任务,我们使用优先级调度算法,将上述任务分级,按优先级决定先处理的任务,优先级由高到低为:外界控制信息以及警报信息、内部自身控制信息、信息上传任务和显示任务;以上每个类型的任务中又包含一些小任务,因此在同一级的任务中我们采取时间片轮转算法对其进行处理。(1.2)针对冷光源冷光源包括光源模组、恒流板和散热器,其中:所述光源模组包括led灯泡、聚光筒和导光束;所述恒流板和所述散热器均连接至所述中央控制单元,所述中央控制单元用于采用pid算法控制所述恒流板对所述光源模组的输出电流进行偏差调整,并实时监控所述光源模组的光源温度,并在光源温度升高到一定值时驱动所述散热器进行散热。可理解的是,聚光筒和导光束可以对led灯泡产生的光进行处理,使得输出的光更加满足使用需求。可理解的是,由于中央控制单元采用pid算法控制输出电流,保证恒流板能够快速的对偏差进行调整,维持恒流输出的稳定性。可理解的是,由于中央控制单元实时监控光源温度,在光源温度升高到一定值时可以驱动散热器降低光线热量,避免了在微创手术中光线长时间照射在伤口附近而引起内部组织灼伤的情况发生。(1.3)针对摄像机所述摄像机包括ccd摄像头和摄像主板,其中:所述ccd摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号,所述摄像主板用于将所述电信号转换为视频,并将该视频发送至人机交互屏和处理系统。(1.4)针对人机交互屏人机交互屏,也可以称为监视器,还可以显示光学内窥镜、气腹仪、冷光源等功能模块的工作情况,这样的话,所述中央控制单元还用于将所述气腹仪、所述冷光源和所述光学内窥镜的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示。当然,人机交互屏还可以有气腹仪、冷光源的操控信息的输入界面,以供医护人员对气腹仪、冷光源操控信息进行输入。可理解的是,各个功能模块集成为一体,实现一体化,例如集成在机箱内,形成便于携带的智能微创腔镜装备且具有腔镜视像处理功能。由于智能微创腔镜设备采用一体式结构,占地面积小,移动携带方便,兼容性好,可用于各种环境下的微创手术。(2)针对电源装置电源装置包括开关电源和多电磁干扰抑制电路;其中:如图2所示,所述开关电源包括依次连接的第一整流电路1、变压器2和多个第二整流电路5;所述第一整流电路1用于将其输入的交流电转变为所述变压器2所需的单向电压;所述变压器2包括一个初级绕组21和多个次级绕组22,所述初级绕组21与所述第一整流电路1的输出端连接,所述多个次级绕组22与所述多个第二整流电路5的输入端一一对应连接;每一个第二整流电路5用于将对应次级绕组22的输出电压转变为对应功能模块所需的直流电压;所述多个电磁干扰抑制电路,其输入端与所述多个第二整流电路5的输出端一一对应连接,其输出端用于与多个功能模块的输入端一一对应连接,用于抑制所述多个功能模块与所述开关电源之间的双向电磁干扰。可理解的是,第一整流电路1能够将输入的交流电转换为变压器2所需的单向高电压,例如,将供电电网提供~ac220v进行转换。第一整流电路1可以采用emi及整流电路,也就是说,第一整流电路1包括电磁干扰滤波模块和整流滤波模块。当然,第一整流电路1还可以采用其他电路模块实现对交流电的转换。在实际中,次级绕组22的输出电压可以为非直流电,也就是说,次级绕组22输出的电压呈一定的波形变化,但是波形上的各个电压值均为正值。而每一个第二整流电路5则将对应的次级绕组22输出的电压转变为直流电,以供对应的功能模块所使用。可理解的是,当本发明提供的电源装置应用于内窥镜一体机时,内窥镜一体机内有n个功能模块,则可以在电源装置中设置n个次级绕组22,设置n个第二整流电路5和n个电磁干扰抑制电路,n个次级绕组22和n个第二整流电路5一一对应连接,n个第二整流电路5和n个电磁干扰抑制电路一一对应连接。可理解的是,在图2示出的开关电源中,右侧为开关电源的输入端,左侧为开关电源的输出端。在开关电源中,针对每一个功能模块,设置了一个次级绕组22和一个第二整流电路5,进而形成了针对该功能模块的一条电源电路。针对n个功能模块,形成了n条相互独立的电源电路,使各功能模块之间不能通过共用的电源线传输干扰信号。在此基础上,在每一个功能模块和对应的第二整流电路5中还设置了一个电磁干扰抑制电路,用来抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输,同时也抑制开关电源通过工作电源线向功能模块电磁干扰,也就是说,抑制功能模块和开关电源之间双向的电磁干扰,进而避免各功能模块之间互相传输电磁干扰信号。在一些实施例中,开关电源除了包括第一整流电路1、变压器2和第二整流电路5之外,还可以包括设置在所述多个次级绕组22中一个次级绕组22上的次级反馈单元4和设置在所述初级绕组21上的开关稳压控制单元3,其中:所述次级反馈单元4用于将所述次级绕组22的电压信号反馈给所述开关稳压控制单元3,所述开关稳压控制单元3用于根据所述电压信号对次级绕组22的输出电压进行稳压控制。这里,次级反馈单元4将次级绕组22上电压信号反馈给开关稳压控制单元3,进而开关稳压控制单元3根据电压信号对次级绕组22的输出电压进行调节,以实现稳压控制,进一步保证开关电源的工作性能。在一些实施例中,电磁干扰抑制电路可以由多种结构形式实现,如图3所示,其中一种可选的结构形式为:每一个电磁干扰抑制电路包括依次连接的肖特基二极管10、差模lc滤波单元和共模lc滤波单元;其中:所述肖特基二极管10的正极连接对应第二整流电路5的正输出端;所述差模lc滤波单元包括差模电感11和至少两个并联的第一电容;所述差模电感11的一端连接所述肖特基二极管10的负极,所述至少两个并联的第一电容设置在所述差模电感11的另一端和所述对应第二整流电路5的负输出端之间,所述对应第二整流电路5的负输出端接地;所述共模lc滤波单元包括共模电感15和至少两个并联的第二电容,所述共模电感15中一个绕组的一端连接所述差模电感11的另一端,所述共模电感15中另一个绕组的一端连接所述对应第二整流电路5的负输出端,所述至少两个并联的第二电容设置在所述共模电感15的一个绕组的另一端和所述共模电感15的另一个绕组的另一端之间;所述共模电感15的一个绕组的另一端作为该电磁干扰抑制电路的正输出端,该正输出端用于连接对应功能模块的正输入端;所述共模电感15的另一个绕组的另一端作为该电磁干扰抑制电路的负输出端,该负输出端用于连接对应功能模块的负输入端。可理解的是,肖特基二极管10具有超快电流恢复及单向截止导电特性,只能允许开关电源向功能模块传输信号,降低甚至阻止功能模块通过工作电源线向开关电源传输电磁干扰信号,这样可以抑制所服务的功能模块通过工作电源线对其他功能模块造成的电磁干扰。在实际应用时,差模lc滤波单元中的差模电感11可以采用10uh磁环电感,这种电感具有防止电流突变的特性。差模lc滤波单元中的至少两个并联的第一电容的数量可以根据需要设置,例如,设置三个并联的第一电容,这三个第一电容可以采用10uf的npo材质电容12、100nf的npo材质电容13和100pf的npo材质电容14,这样可以在1mhz到300mhz频率范围内具有较低的等效电阻,对电磁干扰信号有很好的吸收抑制作用,这样差模lc滤波单元能够有效的抑制1mhz到300mhz的外部差模电磁干扰信号导入到工作电路中,同时对自身的电磁干扰信号向开关电源的传导起到良好的抑制作用。可理解的是,共模lc滤波单元中的共模电感15可以对工作电源线上耦合的共模信号有很好的抑制作用,可以降低外部电磁干扰信号耦合到功能模块的工作电源线上,从而抑制以共模干扰的形式通过工作电源线传输。共模lc滤波单元中的至少两个并联的第二电容的数量可以根据需要选择,例如,设置两个并联的第二电容16和17。第二电容可以采用退耦高频电容。共模电感15和第二电容16、17组成滤波电路。可理解的是,在图3示出的电磁干扰抑制电路中,左侧为电磁干扰抑制电路的输入端,右侧为电磁干扰抑制电路的输出端。由于工作电源线上的差模干扰信号和共模干扰是共存的,通过肖特基二极管10、差模lc滤波单元、共模lc滤波单元组合形成的双向电磁干扰抑制电路,既可以有效抑制开关电源通过工作电源线向功能模块传输电磁干扰信号,又可以有效抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输,并降低功能模块的电磁干扰通过空间辐射向外部传输,提高功能模块的工作电源的品质。在电磁干扰抑制电路的上述具体结构中,第二整流电路5的负输出端接地,具体实现方式可以是将第二整流电路5的负输出端直接接地,还可以是将第二整流电路5的负输出端间接接地,例如,将第二整流电路5的负输出端连接内窥镜一体机的金属壳,所述金属壳通过三相电源线的保护地线与供电电网地线连接,以实现第二整流电路5的负输出端接地。(3)针对处理系统处理系统还用于执行以下方法,以实现获得清晰视频的目的:s’100、获取所述摄像机转换得到的视频;s’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像;可理解的是,步骤s’200中包括两种分类,一种是对图像所属的腔体部位进行分类,一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序,例如,可以先对图像所属的腔体部位进行分类,再将各部位的图像分为清晰图像和模糊图像,具体过程如下:s’2001a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比,以确定所述视频中各帧图像各自对应的腔体部位;其中,部位分类模型可以采用图形分类网络alexnet、googlenet或者其他模型。标签库中存储有腔体内各个部位的标准图像。s’2002a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率;若所述概率大于预设值,则确定该帧图像为清晰图像,否则确定该帧图像为模糊图像。其中,清晰度二分类器采用卷积神经网络,该卷积神经网络的结构中的最后一层为一个全连接层,将图像输入该卷积神经网络之后,该全连接层可以输出一个范围在[0,1]之间的概率值,当该概率值大于预设值,则该图像可以归为清晰图像,当该概率值低于或等于预设值,则该图像可以归为模糊图像。可理解的是,卷积神经网络(convolutionalneuralnetwork,cnn)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理具有出色的表现,它具体可以包括卷积层(convolutionallayer)和池化层(poolinglayer)。可理解的是,所谓的清晰图像和模糊图像是相对的概念,是通过图像作为清晰图像的概率与预设值的比较而确定的,其中预设值的大小与清晰图像和模糊图像的分界线有关,如果预设值较大,说明只有清晰度较高才能被认为是清晰图像,否则会被认为是模糊图像。举例来说,首先通过步骤s’2001a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹,每一个文件夹中存储有一个腔体部位对应的图像,然后通过步骤s’1022a将每一个文件夹中的图像进行细分,确认其属于清晰图像还是模糊图像。当然,还可以先将图像分为清晰图像和模糊图像,再对图像所属的腔体部位进行分类,具体过程如下:s’2001b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率;若所述概率大于预设值,则确定该帧图像为清晰图像,否则确定该帧图像为模糊图像;s’2002b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比,以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。可理解的是,s’2001b和s’2002b中有关内容的解释可以参考步骤s’2001a和s’2002a。举例来说,首先通过步骤s’2001a将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹,然后通过步骤s’2001b确定每一个文件夹中的图像所对应的腔体部位。以上两种方式都可以确定各个部位对应的清晰图像和模糊图像,但是后一种方式的处理速度更快一点,使得整个方法的处理流程的实时性更好一些。s’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像;也就是说,通过预先训练的生成对抗网络对每一张模糊图像进行去模糊处理,得到该张模糊图像对应的去模糊图像。其中,生成对抗网络的训练过程包括如下步骤:a1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理,得到至少两帧去模糊图像;其中,所述第一训练样本为模糊图像;其中,至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择,例如,超分辨率卷积神经网络(简称为srcnn)、高效亚像素卷积神经网络(espcn)和基于统一网络(unet)的卷积神经网络中的至少两个。当然,还可以选择其他类型的卷积神经网络。例如,如图4所示,将第一训练样本分别输入srcnn、espcn和基于unet的卷积神经网络中,srcnn在对第一训练样本进行去模糊处理后,会输出对应的去模糊图像,espcn在对第一训练样本进行去模糊处理后,会输出对应的去模糊图像,基于unet的卷积神经网络在对第一训练样本进行去模糊处理后,会输出对应的去模糊图像。a2、对所述至少两帧去模糊图像进行融合处理,得到所述第一训练样本对应的去模糊图像;由于通过步骤a1可以得到多张去模糊图像,因此需要采用一定的方式对这多张去模糊图像进行融合处理,得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。其中,融合处理的方式有多种,例如,采用加权的方式对多张去模糊图像进行融合。再例如,对多张去模糊图像进行逐个对准的方式,得到包括多层图像的拼接图像,然后将多层图像投影到某一坐标系中,得到多张图像,然后对这多张图像采用加权的方式进行融合。在卷积神经网络的数量为3个的情况下,三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像,上述后一种举例的融合方式可以包括如下步骤:a21、将所述第二去模糊图像c2对准所述第一去模糊图像c1生成两层的第一拼接图像m1;a22、将所述第三去模糊图像c3对准所述第一拼接图像m1生成三层的第二拼接图像m2;a23、将所述三层的第二拼接图像m2投影到全局坐标系中,得到三张投影图像;a24、采用线性加权法将所述三张图像的重叠区域进行像素融合,得到所述第一训练样本对应的去模糊图像。当然,还可以存在其他的方式对图像进行融合处理,得到第一训练样本最终对应的去模糊图像。a3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率,并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像:若是,则所述生成对抗网络的训练过程结束;否则,将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练,得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值,根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整,并返回步骤a1。其中,所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。其中,总损失值的计算过程可以包括如下过程:a31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值;a32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加,得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。举例来说,损失函数分别记为d_loss1、d_loss2、d_loss3,利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值,然后将得到的三个损失值求和,得到总损失值。举例来说,判别器对去模糊处理后的图像进行判别的概率在[0,1]之间,如果概率小于所定阈值,则代表去模糊图像相对于同部位的清晰图像差距较大,不能将第一训练样本对应的去模糊图像认定为清晰图像,所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整,以降低总损失值,然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像,进而再次判断该去模糊图像是否为清晰图像,不断循环,直至得到的去模糊图像可以认为是清晰图像为止其中,如图5所示,生成对抗网络可包括两个子网络-去模糊子网络和判别子网络,其中的去模糊子网络可以执行上述步骤a1和步骤a2,判别子网络可以执行上述步骤a3和步骤a4,参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型,是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型,generativemodel)和判别子网络(也可以称为判别模型,discriminativemodel)的互相博弈学习,能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络,只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络,一个好的生成对抗网络需要有良好的训练方法,否则可能由于神经网络模型的自由性而导致输出不理想。s’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频,并将所述清晰视频进行显示。由于去模糊图像为清晰图像,因此将去模糊图像和原始的清晰图像按照时间顺序合成之后,便可以得到原始视频对应的清晰视频,该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧,从而使得整个视频都比较清晰。这里,处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理,然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频,可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题,为手术或检查过程提供实时且清晰的腔镜视频,提高目标定位的准确性,减轻医生的诊断或手术负担。可理解的是,上述处理系统为独立于一体化腔镜系统的装置,该装置的具体硬件可以包括处理器、存储器和显示器,存储器中存储有计算机程序,当这些计算机程序被执行时可以实现上述方法,显示器用于显示执行上述方法得到的清晰视频。该装置与一体化腔镜系统中的摄像机连接,获取摄像机转换得到的视频,并基于视频进行图像处理,以得到清晰视频,然后进行显示,以供医护人员参考。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1