智能一体化机器人腔镜系统的制作方法

本发明涉及腔镜系统
技术领域：
，具体涉及一种智能一体化机器人腔镜系统。
背景技术：
：目前，外科手术腔镜化已经越来越深入人心，微创手术已经成为外科医生和患者的共识。腔镜系统能够提供高清放大的手术画面，能清楚显示体内组织的细微结构，与传统开放手术相比，视野更清晰，因此手术更加准确、精细，有效避免了手术部位以外脏器受到不必要的干扰，且术中出血少，手术更安全。但是目前的腔镜系统存在以下缺点：(1)在腔镜手术过程中，由于移动救治中腔镜抖动带来的微创手术视野的噪声特性，对于目标的定位和对目标特征的挖掘产生一定的影响；(2)由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，手术产生一定的影响；(3)内窥镜一体机采用屏蔽盒屏蔽内部的各个功能模块对空间的辐射，从而提高对空间辐射的抗干扰能力。但是各功能模块在工作时自身产生的电磁干扰信号通过工作电源线传导到其他功能模块，从而导致各功能模块之间互相干扰，从而影响内窥镜的图像质量。技术实现要素：(一)解决的技术问题针对现有技术的不足，本发明提供了一种智能一体化机器人腔镜系统。(二)技术方案为实现以上目的，本发明通过以下技术方案予以实现：本发明提供一种智能一体化机器人腔镜系统，所述智能一体化机器人腔镜系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块、控制所述多个功能模块工作的中央控制单元和为所述多个功能模块提供电源的电源装置；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：所述电源装置包括开关电源和多个电磁干扰抑制电路；所述开关电源包括依次连接的第一整流电路、变压器和多个第二整流电路；所述第一整流电路用于将其输入的交流电转变为所述变压器所需的单向电压；所述变压器包括一个初级绕组和多个次级绕组，所述初级绕组与所述第一整流电路的输出端连接，所述多个次级绕组与所述多个第二整流电路的输入端一一对应连接；每一个第二整流电路用于将对应次级绕组的输出电压转变为对应功能模块所需的直流电压；所述多个电磁干扰抑制电路，其输入端与所述多个第二整流电路的输出端一一对应连接，其输出端用于与所述多个功能模块的输入端一一对应连接，用于抑制所述多个功能模块与所述开关电源之间的双向电磁干扰；其中，所述次级绕组、所述第二整流电路、所述电磁干扰抑制电路和所述功能模块的数量均相同；所述处理系统用于执行：s’100、获取所述摄像机转换得到的视频；s’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；s’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；s’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；所述处理系统还用于执行：s100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；s200、将各张关键帧图像输入预设训练的yolo目标检测模型，得到多张带有目标定位框和目标类别标识的图像；s300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述yolo目标检测模型的训练过程至少包括：采用k-centers聚类方法对训练样本数据集进行聚类。(三)有益效果本发明实施例提供了一种智能一体化机器人腔镜系统，具有以下效果：(1)在开关电源中，针对每一个功能模块，设置了一个次级绕组和一个第二整流电路，进而形成了针对该功能模块的一条电源电路。针对n个功能模块，形成了n条相互独立的电源电路，使各功能模块之间不能通过共用的电源线传输干扰信号。在此基础上，在每一个功能模块和对应的第二整流电路中还设置了一个电磁干扰抑制电路，用来抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输，同时也抑制开关电源通过工作电源线向功能模块电磁干扰，也就是说，抑制功能模块和开关电源之间双向的电磁干扰，进而避免各功能模块之间互相传输电磁干扰信号；(2)处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担；(3)处理系统首先提取出上述视频或清晰视频中的关键帧图像，然后采用预先训练的yolo目标检测模型对关键帧图像中的目标进行定位并确定目标类型，再将带有目标定位框和目标类别标识的图像进行合成，得到动态的目标定位视频。由于预先训练的yolo目标检测模型的训练过程中包括采用k-centers聚类方法对训练样本数据集进行聚类，而采用k-centers聚类的方式可以有效改善“噪声”敏感问题，从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别，其处理效率高、处理速度快，能够做到实时的目标定位和目标类型识别。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本发明一实施例中智能一体化机器人腔镜系统的结构示意图；图2示出了本发明一实施例中开关单元的结构示意图；图3示出了本发明一实施例中电磁干扰抑制电路的结构示意图；图4示出了本发明一实施例中模糊处理的流程示意图；图5示出了本发明一实施例中生成对抗网络的训练过程示意图；1第一整流电路2变压器3开关稳压控制单元4次级反馈单元5第二整流电路21初级绕组22次级绕组10肖特基二极管11差模电感12～14第一电容15共模电感16、17第二电容具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明提供一种智能一体化机器人腔镜系统，如图1所示，该智能一体化机器人腔镜系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块、控制所述多个功能模块工作的中央控制单元和为所述多个功能模块提供电源的电源装置；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示。处理系统用于进行目标定位和进行图像处理以获得清晰视频。下面对智能一体化机器人腔镜系统中的各部分进行详细说明：(1)针对各个功能模块以及中央控制单元对各功能模块的控制(1.1)针对中央控制单元上述中央控制单元可以称为ccu，可以采用32位单片机，适用自创性通讯规范，中央控制单元作为主机，各功能模块作为从机，中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信，中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包，发送给人机交互屏，并显示在人机交互屏，中央控制单元还可以通过dvi通信接口将相关信息(例如，视频)发送给pc端(例如，示教室、会议室)。其中，通信规范即通信协议，采用rtu模式，数据帧结构为：帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(n个字节)、crc校验(2个字节)组成(指令都以十六进制发送)，规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。中央控制单元具体可以采用多任务协调方法对各个任务进行处理，具体为：中央控制单元需要处理的主要任务类型包括：外界控制信息(例如，冷光源的控制信息、气腹仪的控制信息等)以及警报信息、内部控制信息(例如，气腹仪的自动调节信息和反馈等)、信息上传任务和显示任务。为了更合理的处理好每个任务，我们使用优先级调度算法，将上述任务分级，按优先级决定先处理的任务，优先级由高到低为：外界控制信息以及警报信息、内部自身控制信息、信息上传任务和显示任务；以上每个类型的任务中又包含一些小任务，因此在同一级的任务中我们采取时间片轮转算法对其进行处理。(1.2)针对冷光源冷光源包括光源模组、恒流板和散热器，其中：所述光源模组包括led灯泡、聚光筒和导光束；所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用pid算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热。可理解的是，聚光筒和导光束可以对led灯泡产生的光进行处理，使得输出的光更加满足使用需求。可理解的是，由于中央控制单元采用pid算法控制输出电流，保证恒流板能够快速的对偏差进行调整，维持恒流输出的稳定性。可理解的是，由于中央控制单元实时监控光源温度，在光源温度升高到一定值时可以驱动散热器降低光线热量，避免了在微创手术中光线长时间照射在伤口附近而引起内部组织灼伤的情况发生。(1.3)针对摄像机所述摄像机包括ccd摄像头和摄像主板，其中：所述ccd摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将该视频发送至人机交互屏和处理系统。(1.4)针对人机交互屏人机交互屏，也可以称为监视器，还可以显示光学内窥镜、气腹仪、冷光源等功能模块的工作情况，这样的话，所述中央控制单元还用于将所述气腹仪、所述冷光源和所述光学内窥镜的运行状态信息进行整合和打包发送至所述人机交互屏上进行显示。当然，人机交互屏还可以有气腹仪、冷光源的操控信息的输入界面，以供医护人员对气腹仪、冷光源操控信息进行输入。可理解的是，各个功能模块集成为一体，实现一体化，例如集成在机箱内，形成便于携带的智能微创腔镜装备且具有腔镜视像处理功能。由于智能微创腔镜设备采用一体式结构，占地面积小，移动携带方便，兼容性好，可用于各种环境下的微创手术。(1.5)一体化腔镜系统还可以包括：持镜机器人模块，该模块连接所述处理系统和所述光学内窥镜；对应的，所述处理系统还用于对所述持镜机器人模块进行操作，以实现对所述光内窥镜的持镜操作。具体来说，持镜机器人模块可以包括多个单元，例如，电源连接器、操纵杆连接器、连接微创手术床装置、可移动伸出臂关节、探针和紧急停止按钮。其中：电源连接器为持镜机器人模块中的其他各个单元连接，从而为其他各个单元提供持续稳定的续航能力；操作杆连接器，连接可移动伸出臂关节和处理系统，处理系统对操作杆连接器进行控制，以实现对可移动伸出臂关节进行操作，进而实现对光学内窥镜的操控，处理系统还可以对光学内窥镜的位置进行保存(例如，记忆特殊位置)，还可以精准调节可移动伸出臂关节的移动速度；连接微创手术床装置，连接微创手术床；可移动伸出臂关节，可以全自由度的按照临床医生的操作实现同向位移；探针，连接光学内窥镜，用于固定和微调光学内窥镜；在紧急情况下，按下紧急停止按钮，可以停止持镜机器人模块的一切操作，保障微创手术的安全。这里，增加了持镜机器人模块，可以解决持镜助手和临床医生的站位拥挤问题，解决扶镜助手和临床医生经常配合不默契的情况，可以解决扶镜助手不能长时间保持稳定持镜状态的问题。(2)针对电源装置电源装置包括开关电源和多电磁干扰抑制电路；其中：如图2所示，所述开关电源包括依次连接的第一整流电路1、变压器2和多个第二整流电路5；所述第一整流电路1用于将其输入的交流电转变为所述变压器2所需的单向电压；所述变压器2包括一个初级绕组21和多个次级绕组22，所述初级绕组21与所述第一整流电路1的输出端连接，所述多个次级绕组22与所述多个第二整流电路5的输入端一一对应连接；每一个第二整流电路5用于将对应次级绕组22的输出电压转变为对应功能模块所需的直流电压；所述多个电磁干扰抑制电路，其输入端与所述多个第二整流电路5的输出端一一对应连接，其输出端用于与多个功能模块的输入端一一对应连接，用于抑制所述多个功能模块与所述开关电源之间的双向电磁干扰。可理解的是，第一整流电路1能够将输入的交流电转换为变压器2所需的单向高电压，例如，将供电电网提供～ac220v进行转换。第一整流电路1可以采用emi及整流电路，也就是说，第一整流电路1包括电磁干扰滤波模块和整流滤波模块。当然，第一整流电路1还可以采用其他电路模块实现对交流电的转换。在实际中，次级绕组22的输出电压可以为非直流电，也就是说，次级绕组22输出的电压呈一定的波形变化，但是波形上的各个电压值均为正值。而每一个第二整流电路5则将对应的次级绕组22输出的电压转变为直流电，以供对应的功能模块所使用。可理解的是，当本发明提供的电源装置应用于内窥镜一体机时，内窥镜一体机内有n个功能模块，则可以在电源装置中设置n个次级绕组22，设置n个第二整流电路5和n个电磁干扰抑制电路，n个次级绕组22和n个第二整流电路5一一对应连接，n个第二整流电路5和n个电磁干扰抑制电路一一对应连接。可理解的是，在图2示出的开关电源中，右侧为开关电源的输入端，左侧为开关电源的输出端。在开关电源中，针对每一个功能模块，设置了一个次级绕组22和一个第二整流电路5，进而形成了针对该功能模块的一条电源电路。针对n个功能模块，形成了n条相互独立的电源电路，使各功能模块之间不能通过共用的电源线传输干扰信号。在此基础上，在每一个功能模块和对应的第二整流电路5中还设置了一个电磁干扰抑制电路，用来抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输，同时也抑制开关电源通过工作电源线向功能模块电磁干扰，也就是说，抑制功能模块和开关电源之间双向的电磁干扰，进而避免各功能模块之间互相传输电磁干扰信号。在一些实施例中，开关电源除了包括第一整流电路1、变压器2和第二整流电路5之外，还可以包括设置在所述多个次级绕组22中一个次级绕组22上的次级反馈单元4和设置在所述初级绕组21上的开关稳压控制单元3，其中：所述次级反馈单元4用于将所述次级绕组22的电压信号反馈给所述开关稳压控制单元3，所述开关稳压控制单元3用于根据所述电压信号对次级绕组22的输出电压进行稳压控制。这里，次级反馈单元4将次级绕组22上电压信号反馈给开关稳压控制单元3，进而开关稳压控制单元3根据电压信号对次级绕组22的输出电压进行调节，以实现稳压控制，进一步保证开关电源的工作性能。在一些实施例中，电磁干扰抑制电路可以由多种结构形式实现，如图3所示，其中一种可选的结构形式为：每一个电磁干扰抑制电路包括依次连接的肖特基二极管10、差模lc滤波单元和共模lc滤波单元；其中：所述肖特基二极管10的正极连接对应第二整流电路5的正输出端；所述差模lc滤波单元包括差模电感11和至少两个并联的第一电容；所述差模电感11的一端连接所述肖特基二极管10的负极，所述至少两个并联的第一电容设置在所述差模电感11的另一端和所述对应第二整流电路5的负输出端之间，所述对应第二整流电路5的负输出端接地；所述共模lc滤波单元包括共模电感15和至少两个并联的第二电容，所述共模电感15中一个绕组的一端连接所述差模电感11的另一端，所述共模电感15中另一个绕组的一端连接所述对应第二整流电路5的负输出端，所述至少两个并联的第二电容设置在所述共模电感15的一个绕组的另一端和所述共模电感15的另一个绕组的另一端之间；所述共模电感15的一个绕组的另一端作为该电磁干扰抑制电路的正输出端，该正输出端用于连接对应功能模块的正输入端；所述共模电感15的另一个绕组的另一端作为该电磁干扰抑制电路的负输出端，该负输出端用于连接对应功能模块的负输入端。可理解的是，肖特基二极管10具有超快电流恢复及单向截止导电特性，只能允许开关电源向功能模块传输信号，降低甚至阻止功能模块通过工作电源线向开关电源传输电磁干扰信号，这样可以抑制所服务的功能模块通过工作电源线对其他功能模块造成的电磁干扰。在实际应用时，差模lc滤波单元中的差模电感11可以采用10uh磁环电感，这种电感具有防止电流突变的特性。差模lc滤波单元中的至少两个并联的第一电容的数量可以根据需要设置，例如，设置三个并联的第一电容，这三个第一电容可以采用10uf的npo材质电容12、100nf的npo材质电容13和100pf的npo材质电容14，这样可以在1mhz到300mhz频率范围内具有较低的等效电阻，对电磁干扰信号有很好的吸收抑制作用，这样差模lc滤波单元能够有效的抑制1mhz到300mhz的外部差模电磁干扰信号导入到工作电路中，同时对自身的电磁干扰信号向开关电源的传导起到良好的抑制作用。可理解的是，共模lc滤波单元中的共模电感15可以对工作电源线上耦合的共模信号有很好的抑制作用，可以降低外部电磁干扰信号耦合到功能模块的工作电源线上，从而抑制以共模干扰的形式通过工作电源线传输。共模lc滤波单元中的至少两个并联的第二电容的数量可以根据需要选择，例如，设置两个并联的第二电容16和17。第二电容可以采用退耦高频电容。共模电感15和第二电容16、17组成滤波电路。可理解的是，在图3示出的电磁干扰抑制电路中，左侧为电磁干扰抑制电路的输入端，右侧为电磁干扰抑制电路的输出端。由于工作电源线上的差模干扰信号和共模干扰是共存的，通过肖特基二极管10、差模lc滤波单元、共模lc滤波单元组合形成的双向电磁干扰抑制电路，既可以有效抑制开关电源通过工作电源线向功能模块传输电磁干扰信号，又可以有效抑制功能模块自身产生的电磁干扰通过工作电源线向开关电源传输，并降低功能模块的电磁干扰通过空间辐射向外部传输，提高功能模块的工作电源的品质。在电磁干扰抑制电路的上述具体结构中，第二整流电路5的负输出端接地，具体实现方式可以是将第二整流电路5的负输出端直接接地，还可以是将第二整流电路5的负输出端间接接地，例如，将第二整流电路5的负输出端连接内窥镜一体机的金属壳，所述金属壳通过三相电源线的保护地线与供电电网地线连接，以实现第二整流电路5的负输出端接地。(3)针对处理系统(3.1)处理系统还用于执行以下方法，以实现获得清晰视频的目的：s’100、获取所述摄像机转换得到的视频；s’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；可理解的是，步骤s’200中包括两种分类，一种是对图像所属的腔体部位进行分类，一种是将图像分为清晰图像和模糊图像。这两种分类没有先后顺序，例如，可以先对图像所属的腔体部位进行分类，再将各部位的图像分为清晰图像和模糊图像，具体过程如下：s’2001a、采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；其中，部位分类模型可以采用图形分类网络alexnet、googlenet或者其他模型。标签库中存储有腔体内各个部位的标准图像。s’2002a、采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。其中，清晰度二分类器采用卷积神经网络，该卷积神经网络的结构中的最后一层为一个全连接层，将图像输入该卷积神经网络之后，该全连接层可以输出一个范围在[0,1]之间的概率值，当该概率值大于预设值，则该图像可以归为清晰图像，当该概率值低于或等于预设值，则该图像可以归为模糊图像。可理解的是，卷积神经网络(convolutionalneuralnetwork,cnn)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色的表现，它具体可以包括卷积层(convolutionallayer)和池化层(poolinglayer)。可理解的是，所谓的清晰图像和模糊图像是相对的概念，是通过图像作为清晰图像的概率与预设值的比较而确定的，其中预设值的大小与清晰图像和模糊图像的分界线有关，如果预设值较大，说明只有清晰度较高才能被认为是清晰图像，否则会被认为是模糊图像。举例来说，首先通过步骤s’2001a将视频中的各帧图像分为m(m为腔体内部位的数量)个文件夹，每一个文件夹中存储有一个腔体部位对应的图像，然后通过步骤s’1022a将每一个文件夹中的图像进行细分，确认其属于清晰图像还是模糊图像。当然，还可以先将图像分为清晰图像和模糊图像，再对图像所属的腔体部位进行分类，具体过程如下：s’2001b、采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；s’2002b、采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。可理解的是，s’2001b和s’2002b中有关内容的解释可以参考步骤s’2001a和s’2002a。举例来说，首先通过步骤s’2001a将视频中的各帧图像划分为两个文件夹-清晰图像文件夹和模糊图像文件夹，然后通过步骤s’2001b确定每一个文件夹中的图像所对应的腔体部位。以上两种方式都可以确定各个部位对应的清晰图像和模糊图像，但是后一种方式的处理速度更快一点，使得整个方法的处理流程的实时性更好一些。s’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；也就是说，通过预先训练的生成对抗网络对每一张模糊图像进行去模糊处理，得到该张模糊图像对应的去模糊图像。其中，生成对抗网络的训练过程包括如下步骤：a1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；其中，至少两个不同的卷积神经网络可以从众多的卷积神经网络中选择，例如，超分辨率卷积神经网络(简称为srcnn)、高效亚像素卷积神经网络(espcn)和基于统一网络(unet)的卷积神经网络中的至少两个。当然，还可以选择其他类型的卷积神经网络。例如，如图4所示，将第一训练样本分别输入srcnn、espcn和基于unet的卷积神经网络中，srcnn在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，espcn在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像，基于unet的卷积神经网络在对第一训练样本进行去模糊处理后，会输出对应的去模糊图像。a2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；由于通过步骤a1可以得到多张去模糊图像，因此需要采用一定的方式对这多张去模糊图像进行融合处理，得到一张去模糊图像作为第一训练样本最终对应的去模糊图像。其中，融合处理的方式有多种，例如，采用加权的方式对多张去模糊图像进行融合。再例如，对多张去模糊图像进行逐个对准的方式，得到包括多层图像的拼接图像，然后将多层图像投影到某一坐标系中，得到多张图像，然后对这多张图像采用加权的方式进行融合。在卷积神经网络的数量为3个的情况下，三个不同的卷积神经网络对所述第一训练样本进行去模糊处理后得到第一去模糊图像、第二去模糊图像和第三去模糊图像，上述后一种举例的融合方式可以包括如下步骤：a21、将所述第二去模糊图像c2对准所述第一去模糊图像c1生成两层的第一拼接图像m1；a22、将所述第三去模糊图像c3对准所述第一拼接图像m1生成三层的第二拼接图像m2；a23、将所述三层的第二拼接图像m2投影到全局坐标系中，得到三张投影图像；a24、采用线性加权法将所述三张图像的重叠区域进行像素融合，得到所述第一训练样本对应的去模糊图像。当然，还可以存在其他的方式对图像进行融合处理，得到第一训练样本最终对应的去模糊图像。a3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：若是，则所述生成对抗网络的训练过程结束；否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤a1。其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。其中，总损失值的计算过程可以包括如下过程：a31、采用至少两个不同的损失函数分别计算所述第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值；a32、将所述至少两个不同的损失函数计算得到的至少两个损失值进行累加，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值。举例来说，损失函数分别记为d_loss1、d_loss2、d_loss3，利用这三个损失函数分别计算第一训练样本对应的去模糊图像相对于所述第二训练样本的损失值，然后将得到的三个损失值求和，得到总损失值。举例来说，判别器对去模糊处理后的图像进行判别的概率在[0,1]之间，如果概率小于所定阈值，则代表去模糊图像相对于同部位的清晰图像差距较大，不能将第一训练样本对应的去模糊图像认定为清晰图像，所以需要对去模糊处理过程中的去模糊参数和/或融合过程中的融合参数进行调整，以降低总损失值，然后采用调整后的去模糊参数进行去模糊处理和/或采用调整后的融合参数进行融合处理再次得到第一训练样本对应的去模糊图像，进而再次判断该去模糊图像是否为清晰图像，不断循环，直至得到的去模糊图像可以认为是清晰图像为止其中，如图5所示，生成对抗网络可包括两个子网络-去模糊子网络和判别子网络，其中的去模糊子网络可以执行上述步骤a1和步骤a2，判别子网络可以执行上述步骤a3和步骤a4，参数调整的过程也是调整去模糊子网络中的网络参数的过程。生成对抗网络作为一种深度学习模型，是近年来针对复杂分布上无监督学习最具前景的方法之一。通过去模糊子网络(也可以称为生成模型，generativemodel)和判别子网络(也可以称为判别模型，discriminativemodel)的互相博弈学习，能产生相当好的输出结果。去模糊子网络和判别子网络并不一定都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实际应用中一般均使用深度神经网络作为去模糊子网络和判别子网络，一个好的生成对抗网络需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。s’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示。由于去模糊图像为清晰图像，因此将去模糊图像和原始的清晰图像按照时间顺序合成之后，便可以得到原始视频对应的清晰视频，该清晰视频是将原始视频中的模糊帧进行一定处理后成为清晰帧，从而使得整个视频都比较清晰。这里，处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担。(3.2)所述处理系统还用于执行以下方法，以实现动态目标定位：s100、根据所述视频中各帧图像的时间和颜色，从所述视频中选取出关键帧图像；可理解的是，根据图像的时间和颜色提取关键帧，实际上是采用图像的时间与颜色的变化的方法提取关键帧。时间变化能够充分体现图像的全局信息，颜色特征能够反映图像的局部变化信息。举例来说，可以通过以下步骤提取关键帧图像：s201、将视频中的第一帧图像作为一张关键帧图像，并令d＝2；可理解的是，d表示所述视频中图像的帧号，例如，d＝2表示视频中的第2帧图像的帧号。s202、计算其中，si为所述视频中的第i帧图像，si＝s(ti，ci)，ti为第i帧图像在所述视频中所处的时间点，ci为第i帧图像的颜色矩阵。举例来说，s'2＝s2-s1，s'3＝(s2-s1)+(s3-s2)。s203、判断s'd是否大于对应的预设阈值，其中s'd对应的预设阈值为m*β，m为当前关键帧图像的总帧数，β为常数：若是，则将所述视频中的第d帧图像作为一张关键帧图像，并进入步骤s204；否则，进入步骤s204。可理解的是，s′d用于度量基于时间和颜色变化特征的图像之间的差异性，s′d越大表示图像之间的差异性越大，这样可以剔除相似性高的图像，保留差异性明显的图像作为关键帧图像。这里，通过s′d与预设阈值的比较判定视频中的第d帧图像是否为关键帧图像。s204、判断d是小于所述视频的总帧数：若是，则将d的数值增加1，并返回步骤s202；否则，结束关键帧图像提取过程；这里，通过对d与总帧数的比较，只有当d等于总帧数时才结束关键帧图像提取过程，从而实现对视频中各帧图像的遍历。当然，还可以采用其他方式提取视频中的关键帧，以上步骤s201～s204仅为其中一种具体方式。s200-、根据所述腔镜镜头的视野参数对所述关键帧图像的边沿黑边进行平滑处理，采用高通滤波器对平滑处理后的图像进行滤波去噪，并采用中值滤波器对滤波去噪后的图像进行滤波增强。可理解的是，对关键帧图像的边沿黑边进行平滑处理，可以得到边界清晰的腔镜图像。再采用高通滤波器和中值滤波器进行滤波，得到去掉关键帧图像中的噪声而保留关键帧图像中的高频部分。这里在步骤s200设置了步骤s200-，该步骤主要实现对关键帧图像的优化处理，这对于实现本发明的基本目的而言并不是必须的，因此在某些实施例中可以不包括步骤s200-。s200、将各张关键帧图像输入预设训练的yolo目标检测模型，得到多张带有目标定位框和目标类别标识的图像；其中，所述yolo目标检测模型的训练过程至少包括：采用k-centers聚类方法对训练样本数据集进行聚类。上述采用k-centers聚类方法对训练样本数据集进行聚类的具体过程包括：每次迭代后的质点是从聚类的样本点中选取，选取标准为选用簇中离平均值最近的对象作为簇中心，这样可以有效改善“噪声”敏感问题。采用k-centers聚类方法可对训练样本数据集中的实际集(即groundtruthbox)进行聚类，从而找到groundtruthbox的统计规律。以聚类个数k为候选框(即anchorboxes)的个数，以k个聚类中心的框的宽高维度为候选框的维度。然而，现有技术中原yolo神经网络所使用的k-means聚类方法对“噪声”十分敏感，所以导致移动腔镜下的图像存在“噪声”问题。相比之下，本发明能够有效改善“噪声”敏感问题，提高画面质量。除此之外，本发明提供的yolo目标检测模型还有其他不同之处：所述yolo目标检测模型的网络结构中包括池化层，所述池化层能够将n个激活函数值从小到大依次排序，将n个权重值从小到大依次排序，将n个权重值分别与对应的激活函数值相乘，计算n个相乘结果的平均值，并将所述平均值作为最终的激活函数值。本发明中采用的池化层可以称作sort-pooling，具体按照渐增的顺序排列n个激活函数：{a1，a2，a3...an}(a1＜a2＜a3＜...)，而不是选择最大的那个。用n个权重{w1，w2，w3...wn}与之相乘得到n个值，取这n个值的平均值，即采用这种方式，神经网络依然能够学习对应于{w1，w2，w3...wn}＝{0,0,0…1}的良好的、旧的最大池化，且后面的层可以获取更多信息，反向传播时梯度流过上一层中的所有值。sort-pooling能够实现更快更好地收敛，优化迭代时间，保留更多的图像信息，同时也突出重要的图像信息，从而使得目标定位与识别更加精确和处理效率更高。然而，现有技术中的池化层为max-pooling，是指选取n个激活函数中最大的那个，删除其他激活函数。所以max-pooling存在空间信息损失、不能使用来自多次激活函数的信息和反向传播只能改善最大池化激活函数等问题。这里，通过对k-centers聚类方法和sort-pooling，可以实现对目标检测模型的优化。在该步骤中，采用yolo目标检测模型确定带有目标定位框和目标类别标识的图像的过程具体可以包括：s201、将每一张关键帧图像划分为s*s个网格，s为大于1的整数；s202、针对每一个网格，采用多个候选框确定目标的位置、置信度和目标类别概率，将每一个候选框对应的所述置信度和所述目标类别概率相乘，得到该网络的该候选框中的目标属于每一目标类别的置信得分；s203、将低于预设阈值的置信得分对应的候选框滤除，保留高于等于所述预设阈值的置信得分对应的候选框；s204、对每一张关键帧图像中保留的各个候选框均进行非极大值抑制(即nms)处理，得到一张带有目标定位框和目标类别标识的图像；其中，所述目标定位框和所述目标类别标识一一对应。s300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示。在实际应用时，可以将目标类别标识设置在目标定位框的旁边，以对目标的类别进行说明。这里，处理系统首先获取腔镜视像，然后提取出其中的关键帧图像，然后采用预先训练的yolo目标检测模型对关键帧图像中的目标进行定位并确定目标类型，再将带有目标定位框和目标类别标识的图像进行合成，得到动态的目标定位视频。由于预先训练的yolo目标检测模型的训练过程中包括采用k-centers聚类方法对训练样本数据集进行聚类，而采用k-centers聚类的方式可以有效改善“噪声”敏感问题，从而可以提高目标定位视频的画面质量。同时本发明由于采用目标检测模型进行目标定位和目标类型的识别，其处理效率高、处理速度快，能够做到实时的目标定位和目标类型识别。可理解的是，虽然上述目标定位过程是针对摄像机转换得到的视频进行的，也可以针对(3.1)中得到的清晰视频进行，也就是说，处理器首先对摄像机转换得到的视频进行处理得到清晰视频，然后在清晰视频的基础上进行目标定位，这样得到的目标定位视频也是清晰的，并于医护人员参考。可理解的是，处理系统所执行的上述方法是基于图像处理技术实现的，其中的目标可以根据需要设置，例如，腔体内的一些异常情况，通过上述目标定位方法可以识别出异常情况的部位和异常情况的种类。可理解的是，上述处理系统为独立于一体化腔镜系统的装置，该装置的具体硬件可以包括处理器、存储器和显示器，存储器中存储有计算机程序，当这些计算机程序被执行时可以实现上述方法，显示器用于显示执行上述方法得到的清晰视频和/或目标定位视频。该装置与一体化腔镜系统中的摄像机连接，获取摄像机转换得到的视频，并基于视频进行图像处理，以得到清晰视频和/或目标定位视频，然后进行显示，以供医护人员参考。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12