一种超声图像处理显示方法、系统及存储介质与流程

本发明涉及人工智能技术领域，尤其涉及一种超声图像处理显示方法、系统、装置、电子设备及存储介质。

背景技术：

超声影像检查以其检查无创性、影像实时获取、没有已知副作用等优点而受到广泛应用。然而，超声诊断技术的良莠不齐成为其应用和发展的阻碍。因此，简化超声检查，实现辅助诊断、定制个性化工作流、等需求日益凸显。

但是实现超声波扫描影像的人工智能诊断，比单纯的医疗图像识别需要投入更多的研究，处理起来也麻烦得多。相较于磁共振、ct和心电图等检查结果，超声影像大多是依靠医生采集的不同切面的动态图像进行诊断的，对超声医生个人的操作技术水平要求比较高。

同一个病变，不同医生的手法、切面、仪器调节、经验不同，得出的诊断检查结果也许就不一样。检查医生既要观察动态的视频流图像，也要观察静态的图片图像。但是现有技术中，动态视频流图像及静态图像的获取都需要人工干预，大大降低了诊断效率。

技术实现要素：

本发明的目的在于提供一种超声图像处理显示方法、系统、装置、电子设备及存储介质，用于辅助医生诊断，能够自动判断是否需要由动态视频截取图像，是否要跳转到动态视频模式，无需医生干预，提高诊断效率。

第一方面，本发明实施例提供了一种超声图像处理显示方法，用于辅助医生诊断，包括以下步骤：

对获取的动态视频流进行处理得到单帧图像；

间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；

对比所述抽帧图像的当前帧和后面第30帧图像的像素是否相同；

若相同则截取当前图像以用于识别，若不同则切换动态图像识别。

可选地，所述图像处理显示方法还包括，判断所述抽帧图像是否为黑色，若为黑色则不截取图像。

进一步地，所述图像处理显示方法还包括，将所述动态视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

通过ai模型对所述动态视频流解码得到第一图像；

间隔预定数量的图像帧对所述第一图像抽帧得到第二图像及未抽帧的第三图像；

将所述第二图像输入ai模型，对第二图像进行分类和检出、分割；

将检出、分割的坐标点和分类结果绘制到所述第二图像上得到第四图像；

将所述第三图像及所述第四图像编码成目标视频流并存储或播放显示。

进一步地，所述图像处理显示方法还包括：

将所述抽帧图像输入ai模型，对病灶进行分类和检出、分割；

将检出、分割的坐标点和分类结果绘制到所述抽帧图像上通过http协议发送到客户端进行显示。

第二方面，本发明实施例提供了超声图像处理显示系统，所述图像处理显示系统包括：

超声设备，所述超声设备通过视频线连接到所述视频采集装置；

超声ai主机，所述超声ai主机安装有视频采集装置，所述视频采集装置用于获取所述超声设备的动态视频流；

处理模块，所述处理模块用于将所述原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的目标图片并显示；

所述处理模块还用于，将所述原始视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

软件，其设于所述超声设备中，所述软件包括控件，通过所述控件触发所述超声设备冻结图像。

其中，所述软件用于当捕获到所述超声设备冻结图像时，发出指令给所述超声ai主机来截取一张图像；当捕获到所述超声设备对图像解冻时，发出指令给所述超声ai主机切换到动态视频流。

第三方面，本发明实施例提供了一种超声图像处理显示装置，所述装置包括：

单帧图像获取模块，用于获取动态视频流并对所述动态视频流进行处理得到单帧图像；

抽帧图像获取模块，用于间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；

判断模块，用于对比当前帧和后面第30帧图像的像素是否相同，若相同则截取当前图像以用于识别，若不同则切换动态图像识别。

可选地，所述装置还包括：

处理模块，所述处理模块用于将所述原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的目标图片并显示；

所述处理模块还用于，将所述原始视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

第四方面，本发明提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现上述的方法。

第五方面，本发明提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。

有益效果

本发明提出了一种超声图像处理显示方法，通过对获取的动态视频流进行处理得到单帧图像；间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；对比所述抽帧图像的当前帧和后面第30帧图像的像素是否相同；

若相同则截取当前图像以用于识别，若不同则切换动态图像识别，实现自动判断是否需要由动态视频截取图像，是否要跳转到动态视频模式，无需医生干预，提高诊断效率。

附图说明

图1为本发明实施例的一种超声图像处理显示方法的流程图；

图2为本发明另一种实施例的一种超声图像处理显示方法的流程图；

图3为本发明实施例的一种超声图像处理显示系统的结构框图；

图4为本发明实施例的一种超声图像处理显示装置的结构框图；

图5为本发明实施例的一种电子设备的结构框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图说明和具体实施例对本发明作进一步描述：

图1示出了本发明实施例的一种超声图像处理显示方法的流程图，如图1所示，所述图像处理显示方法用于辅助医生诊断，包括以下步骤：

s20、对获取的动态视频流进行处理得到单帧图像；

s40、间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；

s60、对比所述抽帧图像的当前帧和后面第30帧图像的像素是否相同；若相同则截取当前图像以用于识别，若不同则切换动态图像识别。

本发明实施例通过对获取的动态视频流进行处理得到单帧图像；间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；对比所述抽帧图像的当前帧和后面第30帧图像的像素是否相同；若相同则截取当前图像以用于识别，若不同则切换动态图像识别，实现自动判断是否需要由动态视频截取图像，是否要跳转到动态视频模式，无需医生干预，提高诊断效率。超声医生正常的工作流程是，冻结动态视频，超声设备的显示图像不再变化，此时超声ai主机视频采集卡获取的视频流图像也是不变的，一般超声设备的显示帧率为30fps，每秒显示30帧图像，通过算法判断当前帧和后面第30帧图像每个像素是否相同来判断医生是否冻结图像。冻结图像，则自动截取一张图像进行识别。此后如果判断一直冻结则不再截取图像，如果当前帧和后面第30帧图像变化，则表示医生取消冻结，要进行其他位置检查，此时系统自动切换动态图像识别。

超声设备的智能化，于医院，可以获得更多的资源共享以及技术支持，系统性地降低成本；于医生，可以提高阅片效率、降低误诊的概率、获得诊断辅助；于患者，可以获得更精准的诊断建议以及个性化治疗方案建议。

考虑到，超声探头放到超声探头架内，但探头没关闭，此时图像也是不变的，这种情况需要忽略图像格式固定，基本都为黑色，作为本发明的进一步改进，所述图像处理显示方法还包括，s50、判断所述抽帧图像是否为黑色，若为黑色则不截取图像。

为了辅助医生进行动态图像检查，提高诊断效果，本发明将动态视频流进行人工智能处理，得到带有病灶检测结果的视频流或静态图像供医生参考，如图2所示，所述图像处理显示方法还包括：

s210、将所述动态视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

s220、通过ai模型对所述动态视频流解码得到第一图像；

s230、间隔预定数量的图像帧对所述第一图像抽帧得到第二图像及未抽帧的第三图像；

s240、将所述第二图像输入ai模型，对第二图像进行分类和检出、分割；将检出、分割的坐标点和分类结果绘制到所述第二图像上得到第四图像；

s250、将所述第三图像及所述第四图像编码成目标视频流并存储或播放显示。

本实施例通过获取原始视频流；将所述原始视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示，辅助医生进行动态图像检查，以提高诊断效果。

进一步地，所述图像处理显示方法还包括：

s2101、将所述抽帧图像输入ai模型，对病灶进行分类和检出、分割；

s2102、将检出、分割的坐标点和分类结果绘制到所述抽帧图像上通过http协议发送到客户端进行显示。

本实施例通过截取所述原始视频流中的静态图片；将所述静态图片输入ai模型，得到带有检出、分割的坐标点和分类结果的目标图片并显示；不仅可以辅助医生进行动态图像检查而且可以辅助医生进行静态图像检查，先通过动态视频流查找可疑位置，再进行静态图片进行进一步的病灶判断。

进一步地，所述图像处理显示方法还包括：

s601、将步骤s60中，截取的图片输入ai模型，对病灶进行分类和检出、分割，将检出、分割的坐标点和分类结果绘制到所述截取到的图像上通过http协议发送到客户端进行显示，或将截取到的图像直接通过http协议发送到客户端进行显示。

本实施例所述方法根据动态视频流得到抽帧图像，抽帧预测后，将带有检出、分割的坐标点和分类结果的视频流生成视频流数据，并将所述视频流数据存储或播放显示；根据所述抽帧图像对对病灶进行分类和检出、分割得到静态图片数据，并将所述静态图片数据存储或播放显示，由于动态视频流和静态图片来源一致，ai预测结果相同，产生的检出和分割的坐标点相同，因此当前动态视频抽帧图像和静态图像在图像上标注的位置相同，保存成静态图像(可以为png格式)，发送到客户端显示图片和病灶可疑位置，此时客户端显示的图像和ai结果是正确的，和动态视频中的ai结果是相同的。

如图3所示，本发明实施例还提供了一种超声图像处理显示系统，所述图像处理显示系统包括：

超声设备100，所述超声设备通过视频线连接到所述视频采集装置；

超声ai主机200，所述超声ai主机安装有视频采集装置201，所述视频采集装置201用于获取所述超声设备的动态视频流；

处理模块202，所述处理模块202用于将所述原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的目标图片并显示；

所述处理模块202还用于，将所述原始视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

软件101，其设于所述超声设备100中，所述软件101包括freeze控件，通过所述freeze控件触发所述超声设备100冻结图像。

其中，所述软件101用于当捕获到所述超声设备冻结图像时，发出指令给所述超声ai主机来截取一张图像；当捕获到所述超声设备对图像解冻时，发出指令给所述超声ai主机切换到动态视频流。

本实施例的工作流程是，冻结动态视频，超声设备100的显示图像不再变化，此时超声ai主机200视频采集卡201获取的视频流图像也是不变的，一般超声设备的显示帧率为30fps，每秒显示30帧图像，通过判断当前帧和后面第30帧图像每个像素是否相同来判断医生是否冻结图像。冻结图像，则自动截取一张图像进行识别。此后如果判断一直冻结则不再截取图像，如果当前帧和后面第30帧图像变化，则表示超声设备100取消图像冻结，要进行其他位置检查，此时系统自动切换动态图像识别。

超声ai主机200，所述超声ai主机安装有视频采集装置201，所述视频采集装置201用于获取所述超声设备100的动态视频流；超声ai主机200直接从视频采集卡获取视频流，不存在网络丢帧问题。

所述超声图像处理显示系统还可以包括手柄按键300，超声ai主机200接收到手柄按键300的工作指令截取图片，虽然这种操作方式多了一个控制手柄按键300的过程，但是也很便捷。本实施例中，超声ai主机上安装视频采集卡，超声设备通过视频线如hdmi等视频线连接到超声ai主机上的视频采集上，实现超声ai主机采集超声设备的显示成像画面。通过以上物理架构，超声ai主机可以获得超声设备的视频流和图片图像，从而辅助医生进行动态视频检查和静态图像检查。

如图4所示，本发明实施例还提供了一种超声图像处理显示装置，所述装置包括：

单帧图像获取模块20，用于获取动态视频流并对所述动态视频流进行处理得到单帧图像；

抽帧图像获取模块40，用于间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；

判断模块60，用于对比当前帧和后面第30帧图像的像素是否相同，若相同则截取当前图像以用于识别，若不同则切换动态图像识别。

可选地，所述装置还包括：

处理模块202，所述处理模块202用于将所述原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的目标图片并显示；

所述处理模块202还用于，将所述原始视频流输入ai模型，得到带有检出、分割的坐标点和分类结果的目标视频流并显示；

本发明实施例通过单帧图像获取模块20对获取的动态视频流进行处理得到单帧图像；抽帧图像获取模块40间隔预定数量的图像帧对所述单帧图像进行抽帧得到抽帧图像；判断模块60对比所述抽帧图像的当前帧和后面第30帧图像的像素是否相同；若相同则截取当前图像以用于识别，若不同则切换动态图像识别，实现自动判断是否需要由动态视频截取图像，是否要跳转到动态视频模式，无需医生干预，提高诊断效率。超声医生正常的工作流程是，冻结动态视频，超声设备的显示图像不再变化，此时超声ai主机视频采集卡获取的视频流图像也是不变的，一般超声设备的显示帧率为30fps，每秒显示30帧图像，通过算法判断当前帧和后面第30帧图像每个像素是否相同来判断医生是否冻结图像。冻结图像，则自动截取一张图像进行识别。此后如果判断一直冻结则不再截取图像，如果当前帧和后面第30帧图像变化，则表示医生取消冻结，要进行其他位置检查，此时系统自动切换动态图像识别。

超声设备的智能化，于医院，可以获得更多的资源共享以及技术支持，系统性地降低成本；于医生，可以提高阅片效率、降低误诊的概率、获得诊断辅助；于患者，可以获得更精准的诊断建议以及个性化治疗方案建议。

本申请实施例还提供了一种电子设备，图5示出了可以应用本申请实施例的电子设备的结构示意图，如图5所示，该计算机电子设备包括，中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中一种超声图像处理显示系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的超声图像处理显示方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。