医用内窥镜人工智能系统的硬件架构及图像处理方法与流程

本发明涉及图像处理以及医用领域，具体涉及一种医用内窥镜人工智能系统的硬件架构及该架构的图像处理方法。

背景技术：

内窥镜是集中了传统光学、人体工程学、数学、精密机械、微电子设别以及软件等于一体的检测仪器。内窥镜具有图像传感器、光学镜头、光源照明等，它可以经人体的天然孔道，或者是经手术做的小切口进入人体内，采集图像，并将采集的图像传输到医护人员可以看到的显示终端上，例如内窥镜经口腔进入胃内。利用内窥镜可以使医护人员看到x射线不能显示的病变，对医生诊断以及病人的治疗都非常有用。

目前内窥镜利用光源照明，利用光学镜头以及图像传感器采集人体内的图像，并将采集的图像传输给远程服务端，远程服务中对接收的图像进行计算和处理，最后供医护人员进行诊断。

现在的内窥镜虽然能够采集并传输图像，但是其传输到远程服务端的是从内窥镜进入人体到离开人体这段时间内的所有图像，大量的图像数据的传输造成了相当大的通信负载。同时，现有的内窥镜将采集到的所有图像都以原始的状态展示给相关的工作人员，不能够提供特定的图像信息，增大了相关人员识别图像的工作量，降低了工作效率，并且降低了检测的实时性。另外，现有的内窥镜存储的是从内窥镜进入人体到离开人体这段时间内的所有图像，严重浪费了存储空间。

技术实现要素：

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种医用内窥镜人工智能系统的硬件架构及图像处理方法，克服了现有技术中图像处理过程中通信负载大、不能提供特定的图像信息、不能达到实时的目标检测以及存储空间浪费的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种医用内窥镜人工智能系统的硬件架构，包括：

视像采集模块，用于连续采集待拍摄物体的图像，并将采集的图像传输给数据处理模块；

数据处理模块，用于接收所述视像采集模块采集的图像，检测每帧图像是否具有预定特征区域，并对检测出的所述预定特征区域进行标注；所述数据处理模块还用于计算预定特征区域的置信度，并将所述置信度超过预定阀值的所述预定特征区域对应的图像传输给存储模块以及远程通信模块；

存储模块，用于接收并存储所述置信度超过所述预定阀值的所述预定特征区域对应的图像；

远程通信模块，用于接收所述置信度超过所述预定阀值的所述预定特征区域对应的图像，并转发给远程服务端。

结合第一方面，在第一种可能的实现方式中，所述数据处理模块包括集成了卷积神经网络模型的人工智能芯片，所述卷积神经网络模型用于计算所述置信度，以及检测每帧图像是否具有所述预定特征区域。

结合第一方面，在第二种可能的实现方式中，所述架构还包括监视显示模块；所述视像采集模块将采集的图像传输给所述监视显示模块；所述数据处理模块将标注有所述预定特征区域的图像传递给所述监视显示模块；

所述监视显示模块包括第一显示子模块、第二显示子模块和第三显示子模块；

所述第一显示子模块用于接收并显示所述视像采集模块采集的图像；

所述第二显示子模块用于接收并显示数据处理模块处理后的图像；

所述第三显示子模块连接所述远程通信模块，用于接收包含特定图像的远程画面。

结合第一方面，在第三种可能的实现方式中，所述远程通信模块包括压缩加密子模块，所述压缩解密子模块用于将接收的所述置信度超过所述预定阀值的预定特征区域对应的图像进行压缩和加密，并将压缩和加密后的图像发送给远程服务端。

结合第一方面，在第四种可能的实现方式中，所述远程通信模块还包括远程信息接收子模块，所述远程信息接收子模块用于接收所述远程服务端发送的信息。

结合第一方面，在第五种可能的实现方式中，所述存储模块包括信息发送子模块，所述信息发送子模块用于将所述置信度超过所述预定阀值的预定特征区域对应的图像传送给远程通信模块；

第二方面，提供了一种图像处理方法，所述方法包括如下步骤：

连续采集待拍摄物体的图像；

检测每帧图像是否具有预定特征区域，并对检测出的所述预定特征区域进行标注；

计算每个所述预定特征区域的置信度，选取所述置信度超过预定阀值的预定特征区域对应的图像，得到待处理图像；

将所述待处理图像进行存储，并传送到远程服务端。

结合第二方面，在第一种可能的实现方式中，所述方法还包括如下步骤：

显示所述连续采集的所述待拍摄物体的图像；

显示标注有所述预定特征区域的图像；

显示包含特定图像的远程画面。

结合第二方面，在第二种可能的实现方式中，所述方法还包括如下步骤：

将所述置信度超过所述预定阀值的预定特征区域对应的图像进行压缩和加密，并将压缩和加密后的图像发送给远程服务端。

(三)有益效果

本发明实施例提供了一种医用内窥镜人工智能系统的硬件架构及图像处理方法。具备以下有益效果：

通过设置数据处理模块筛选置信度超过预定阀值的图像，并将这部分图像传送给远程服务端，实现了实时目标检测，并且降低了远程传输的图像数量，即降低了通信负载。包含该数据处理模块的内窥镜需要远程传输的数据量也相应的得到降低，从而降低了内窥镜的通信负载。

通过设置数据处理模块，将预定特征区域进行标注，从而将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。包含该数据处理模块的内窥镜也可以将具有特定的图像信息的图像展示给相关的工作人员，提高相关工作人员的工作效率，提高检测的实时性。

通过设置数据处理模块筛选置信度超过预定阀值的图像，后续只需要存储这部分置信度超过预定阀值的图像，能够有效减少需要的存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的医用内窥镜人工智能系统的硬件架构结构示意图；

图2是本发明再一实施例的医用内窥镜人工智能系统的硬件架构结构示意图；

图3是本发明又一实施例的医用内窥镜人工智能系统的硬件架构结构示意图；

图4是本发明又一实施例的医用内窥镜人工智能系统的硬件架构结构示意图；

图5是本发明一实施例的图像处理方法流程图；

图6是本发明再一实施例的图像处理方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当说明的是本发明实施例的医用内窥镜人工智能系统的硬件架构中的部件可以但不限于用于内窥镜，可以用于其他任何图像处理装置中。本发明的以下实施例以内窥镜为例进行说明。

一种医用内窥镜人工智能系统的硬件架构，如图1所示，该架构包括视像采集模块、数据处理模块、存储模块以及远程通信模块。

视像采集模块，用于连续采集待拍摄物体的图像，并将采集的图像传输给数据处理模块；

这里的待拍摄物体可以是人体的某个器官的内部，例如待拍摄物体为胃、大肠等。视像采集模块采集连续的图像形成视频流，并实时传输给数据处理模块。

视像采集模块可以包括手持式内窥镜设备、面向移动设备的视像拍摄组件以及移动设备等，其利用手持式内窥镜以及视像摄像组件拍摄人体内病灶，即预定特征区域并生成视频，整个视频包括从内窥镜进入到离开人体的过程，其可由医生操控对疑似病灶，即预定特征区域的位置进行重点拍摄以便于后续数据处理。

数据处理模块，用于接收视像采集模块采集的图像，检测每帧图像是否具有预定特征区域，并对检测出的预定特征区域进行标注；数据处理模块还用于计算预定特征区域的置信度，并将置信度超过预定阀值的预定特征区域对应的图像传输给存储模块以及远程通信模块；

这里的数据处理模块集成了卷积神经网络模型的人工智能芯片，卷积神经网络模型用于计算置信度，以及检测每帧图像是否具有预定特征区域。

数据处理模块输入的数据是视像采集模块采集的所有图像，实现的功能是目标检测，其将目标区域预测(即预定特征区域预测)和目标类别预测(即置信度计算)整合于单个神经网络模型(即卷积神经网络模型)中，实现在准确率较高的情况下快速目标检测与识别。其将单个卷积神经网络应用于完整图像，该卷积网络将图像划分为区域并且预测每个区域的边界框和置信度，每帧处理完成后会实时传至监视显示模块进行显示，同时该模块内部设有控制器将置信度高于预定阀值的帧传至存储模块以及远程通信模块。

数据处理模块发送给存储模块以及远程通信模块的置信度超过预定阀值的具有预定特征区域图像，即数据处理模块发送置信度超过预定阀值，并且具有至少一个预定特征区域的图像传送给远程通信模块以及存储模块。经过筛选发送给存储模块和远程通信模块的图像能够呈现给相关工作人员可靠性强(即置信度高)的、具有特定的图像信息的图像(即具有预定特征信息的图像)，从而降低了需要传输的图像的数量，即降低了通信负载，避免了在应用过程中需要设置专用的通讯线才能达到通讯要求。同时将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。包含该数据处理模块的内窥镜需要传输的数据量也相应的得到降低，从而降低了内窥镜的通信负载。同时，将预定特征区域进行标注，从而将包含该数据处理模块的内窥镜也可以将具有特定的图像信息的图像展示给相关的工作人员，提高相关工作人员的工作效率，提高检测的实时性。存储模块，用于接收并存储置信度超过预定阀值的图像；

存储模块，用于接收并存储置信度超过预定阀值的预定特征区域对应的图像；

这里存储的图像是经过数据处理模块筛选出来的图像，存储的图像数量大幅度减小，有效减少了需要的存储空间。

这里的存储模块，可以根据患者id将对应的图像分别存储到不同的文件夹中，方便相关工作人员的查看和后期调用。

远程通信模块，用于接收置信度超过预定阀值的预定特征区域对应的图像，并转发给远程服务端。

远程服务端接收的图像是经过筛选的少数有效图像，后续进行进一步处理的图像数量得到有效降低，能够大幅度提高后续图像处理的效率，节省人力和时间成本。

本实施例的架构克服了现有技术中图像处理过程中通信负载大、不能实时对目标进行检测、不能提供特定的图像信息以及存储空间浪费的缺陷。

在一个实施例中，如图2所示，医用内窥镜人工智能系统的硬件架构还包括监视显示模块；视像采集模块将采集的图像传输给监视显示模块；数据处理模块将标注有预定特征区域的图像传递给监视显示模块，这里数据处理模块发送给监视显示模块的图像具有预定特征区域，并且置信度超过预定阀值。

监视显示模块包括第一显示子模块、第二显示子模块和第三显示子模块；

第一显示子模块用于接收并显示视像采集模块采集的图像，即显示未经过处理的所有采集到的原始图像，保留了原始图像的所有特征，有利于后续进行图像验证。

第二显示子模块用于接收并显示标注有预定特征区域的图像，即数据处理模块处理后的图像，这样监视显示模块显示具有特定的图像信息的图像，能够直观的提供给相关的工作人员，方便查看。

第三显示子模块连接远程通信模块，用于接收包含特定图像的远程画面，例如显示远程专家的指导画面。

从上面的陈述可知，监视显示模块分为三部分，第一部分显示视像采集模块采集到的所有的图像或视频，其将图像或视频实时、清晰地显示在显示屏中，相关工作人员可以根据显示屏中画面进一步操作医用内窥镜人工智能系统的硬件架构，例如医护人员根据显示屏中画面进一步操作内窥镜，对疑似病灶位置，即预定特征区域突出成像和重点拍摄。第二部分接收数据处理模块处理过的图像，并将其显示在显示屏中。第二部分显示远程画面，实现实时指导。

在一个实施例中，远程通信模块包括压缩加密子模块，压缩解密子模块用于将接收的置信度超过预定阀值的预定特征区域对应的图像进行压缩和加密，并将压缩和加密后的图像发送给远程服务端，可以实现高可靠性的信息通信要求，可以实现高安全性的远程通信需求。

在一个实施例中，远程通信模块还包括远程信息接收子模块，远程信息接收子模块用于接收远程服务端发送的信息，例如接收远程服务端反馈的信息。

在一个实施例中，存储模块包括信息发送子模块，信息发送子模块用于将置信度超过预定阀值的图像传送给远程通信模块；这里信息发送子模块发送的图像是置信度超过预定阀值的特定特征区域对应的图像。

在一个实施例中，如图3所示，医用内窥镜人工智能系统的硬件架构包括视像采集模块、数据处理模块、存储模块、远程通信模块以及监视显示模块。

视像采集模块利用内窥镜摄像头拍摄图像或视频，并将图像和视频传输至监视显示模块以及数据处理模块。

监视显示模块显示内窥镜观察到的情况，医生根据显示画面调整内窥镜位置。

数据处理模块利用深度神经网络模型进行预定特征区域检测并圈注，将处理结果传至监视显示模块和存储模块。

监视显示模块显示数据处理模块处理过后的带有预定特征区域圈注的图像，并以视频的形式显示。

存储模块存储置信度较高的帧，并将其传至远程通讯模块。本实施例的存储模块可以是本地存储模块也可以是远程存储模块。

远程通讯模块将图像传至云端，即远程服务端并接收远程服务端的反馈。

在一个实施例中，如图4所示，医用内窥镜人工智能系统的硬件架构还包括视像采集模块、数据处理模块、存储模块、远程通信模块以及监视显示模块。本实施例与上一实施例的区别是由数据处理模块处理和筛选后的图像传送给远程通信模块和存储模块，存储模块没有向远程通信模块传送图像，这样，数据处理模块直接将图像传送给远程通信模块，省去通过存储模块传输的步骤，延时得到降低，并且不对存储模块的工作造成影响，提高了存储模块的工作效率。

另外，本实施例利用集成线路连接各个模块，完成各个模块间的通信。

本发明的上述实施例可以对预定特征区域进行突出成像，而且成像精度高，并能精确得标注出预定特征区域的位置，从而辅助相关工作人员进行图像识别。上述实施例的医用内窥镜人工智能系统的硬件架构能够在移动环境下实现预定特征区域的识别，增加了便携性。上述实施例集成卷积神经网络模型在ai芯片，利用网络模型的特性在实现动态预定特征区域检测的同时增加了实时性。上述实施例利用远程通讯模块传输的是筛选后的图像，而不是完整的视频，从而降低了通信负载。

本发明实施例还提供了一种图像处理方法，如图5所示，该方法包括如下步骤：

110、连续采集待拍摄物体的图像；

120、检测每帧图像是否具有预定特征区域，并对检测出的预定特征区域进行标注；

130、计算每个预定特征区域的置信度，选取置信度超过预定阀值的预定特征区域对应的图像，得到待处理图像；

140、将待处理图像进行存储，并传送到远程服务端。

在一个实施例中，如图6所示，图像处理方法还包括如下步骤：

210、显示连续采集的待拍摄物体的图像、显示标注有预定特征区域的图像以及显示包含特定图像的远程画面。

在一个实施例中，图像处理方法还包括如下步骤：

将置信度超过预定阀值的预定特征区域对应的图像进行压缩和加密，并将压缩和加密后的图像发送给远程服务端。

上述实施例的图像处理方法，可以对预定特征区域进行突出显像和标注，为相关工作人员提供具有特定的图像信息的图片，有利于相关工作人员对图像进行准确识别，有助于提高相关工作人员的工作效率。远程传输的图像是经过筛选的图像，不是拍摄的所有图像，降低了通信负载，节省通信成本。另外，存储的图像也是筛选得到的图像，有效减少了存储空间。

本发明实施例的方法是本发明实施例的架构在采集处理处理图像时的步骤一一对应的，本发明实施例的架构采集处理图像的每个步骤均包含在本发明实施例的方法中，因此，对于重复的部分，这里不再进行赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。