对超声扫描仪中AI网络的连续训练的制作方法

文档序号:25590229发布日期:2021-06-22 17:06阅读:86来源:国知局
对超声扫描仪中AI网络的连续训练的制作方法

某些实施方案涉及超声成像。更具体地,某些实施方案涉及对超声扫描仪中人工智能(ai)网络的连续训练。



背景技术:

超声成像是用于对人体中的器官和软组织进行成像的医学成像技术。超声成像使用实时的、非侵入性高频声波来产生一系列二维(2d)图像和/或三维(3d)图像。

超声图像和/或视频的人工智能处理通常应用于处理图像和/或视频,以帮助超声操作者或查看处理后的图像数据的其他医务人员提供诊断。然而,对超声图像和/或视频的人工智能(ai)处理取决于在训练ai模型中使用的图像的数量。与部署之后遇到的图像的潜在数量相比,训练中的图像的数量是有限的。

通过将此类系统与本申请的其余部分中参考附图阐述的本公开的一些方面进行比较,常规和传统方法的进一步限制和缺点对本领域的技术人员将变得显而易见。



技术实现要素:

公开了对超声扫描仪中人工智能(ai)网络的连续训练。

从以下描述和附图将更全面地理解本公开的这些和其他优点、方面和新颖特征、以及其例示的实施方案的细节。

附图说明

图1a是根据各种实施方案的可操作为促进超声操作者与人工智能(ai)处理器的交互的示例性超声系统的框图。

图1b是根据各种实施方案的与其它电子设备通信的示例性超声系统的框图。

图2是根据各种实施方案的用于设置示例性超声系统以用于连续训练的示例性流程图。

图3是根据各种实施方案的用于提供所校正图像以用于连续训练的示例性流程图。

图4是根据各种实施方案的用于用所校正图像训练ai处理器以用于连续训练的示例性流程图。

具体实施方式

某些实施方案可被发现用于向超声扫描仪内部的人工智能(ai)网络提供连续训练。各种实施方案可具有改进本地超声扫描仪上的ai算法,而无需向例如可位于本地网络外部的中央服务器发送任何图像并且从中央服务器接收训练模型的技术效果。本地网络可包括位于公共防火墙后面的设备,诸如例如路由器、网桥等。与本地超声扫描仪仅接收由中央服务器训练的ai模型的情况相比,本公开的各方面具有本地超声扫描仪更经常地改进ai算法的技术效果。

当结合附图阅读时,将更好地理解前述发明内容以及某些实施方案的以下具体实施方式。就附图示出各种实施方案的功能块的图的范围而言,这些功能块不一定表示硬件电路之间的划分。因此,例如,一个或多个功能框(例如,处理器或存储器)可以在单件硬件(例如,通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中来实现。类似地,程序可以是独立程序,可以作为子例程包含在操作系统中,可以是安装的软件包中的功能等。应当理解,各种实施方案不限于附图中所示的布置和工具。还应当理解,可以组合实施方案,或者可以利用其他实施方案,并且可以在不脱离各种实施方案的范围的情况下做出结构的、逻辑的和电气的改变。因此,以下详述不应视为限制性意义,并且本公开的范围由所附权利要求书及其等同物限定。

如本文所用,以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤,除非明确说明此类排除。此外,对“示例性实施方案”、“各种实施方案”、“某些实施方案”、“代表性的实施方案”等的引用不旨在被解释为排除存在也结合了叙述的特征的附加实施方案。此外,除非明确地相反说明,否则“包含”、“包括”或“具有”具有特定性质的一个元件或多个元件的实施方案可以包括不具有该性质的附加元件。

另外,如本文所用,术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而,许多实施方案生成(或被配置为生成)至少一个可视图像。此外,如本文所用,短语“图像”用于指超声模式,诸如b模式(2d模式)、m模式、三维(3d)模式、cf模式、pw多普勒、cw多普勒、mgd,和/或b模式和/或cf的子模式,诸如剪切波弹性成像(swei)、tvi、angio、b-flow、bmi、bmi_angio,并且在某些情况下还包括mm、cm、tvd,其中“图像”和/或“平面”包括单个波束或多个波束。

此外,如本文所用,术语处理器或处理单元是指可执行各种实施方案需要的所需计算的任何类型的处理单元,诸如单核或多核:cpu、加速处理单元(apu)、图形板、dsp、fpga、asic或它们的组合。

应当指出的是,本文所述的生成或形成图像的各种实施方案可包括用于形成图像的处理,该处理在一些实施方案中包括波束形成,而在其他实施方案中不包括波束形成。例如,可在不进行波束形成的情况下形成图像,诸如通过将解调数据的矩阵乘以系数矩阵,使得乘积为图像,并且其中该过程不形成任何“波束”。另外,可使用可能源自多于一个发射事件的信道组合(例如,合成孔径技术)来执行图像的形成。

虽然为了方便起见关于超声系统进行了各种描述,但是应当理解,本公开的任何实施方案也可与使用人工智能的其它图像扫描机器一起使用并且其中所生成的图像能够由操作者校正。

在各种实施方案中,例如,在软件、固件、硬件或它们的组合中执行超声处理以形成图像,包括超声波束形成,诸如接收波束形成。具有根据各种实施方案形成的软件波束形成器架构的超声系统的一个实现方式在图1a中示出。

图1a是根据各种实施方案的可操作为促进超声操作者与人工智能(ai)处理器140的交互的示例性超声系统100的框图,该人工智能(ai)处理器140被配置为例如对超声图像中的生物结构和/或人工结构进行分类、界标检测、分割、注释、标识和/或跟踪。参考图1a,示出了超声系统100。超声系统100包括发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、a/d转换器122、rf处理器124、rf/iq缓冲器126、用户输入设备130、信号处理器132、图像缓冲器136、显示系统134、档案138、存储器142、通信接口150和训练引擎160。

发射器102可包括可操作以驱动超声探头104的合适逻辑、电路、接口和/或代码。超声探头104可包括二维(2d)压电元件阵列。超声探头104可包括通常构成相同元件的一组发射换能器元件106和一组接收换能器元件108。在某些实施方案中,超声探头104可操作为采集覆盖解剖结构(诸如心脏、血管或任何合适的解剖结构)的至少大部分的超声图像数据。

发射波束形成器110可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以控制发射器102,发射器102通过发射子孔径波束形成器114驱动该组发射换能器元件106以将超声发射信号发射到感兴趣的区域(例如,人、动物、地下空腔、物理结构等)中。发射的超声信号可从感兴趣对象中的结构(如血细胞或组织)反向散射,以产生回波。回波由接收换能器元件108接收。

超声探头104中的这组接收换能器元件108可操作为将所接收的回波转换成模拟信号,通过接收子孔径波束形成器116进行子孔径波束形成,并且然后传送到接收器118。接收器118可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为接收来自接收子孔径波束形成器116的信号。可以将模拟信号传送到多个a/d转换器122中的一个或多个。

多个a/d转换器122可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以将来自接收器118的模拟信号转换为对应的数字信号。多个a/d转换器122设置在接收器118与rf处理器124之间。尽管如此,本公开在这方面并不受限制。因此,在一些实施方案中,多个a/d转换器122可被集成在接收器118内。

rf处理器124可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以解调由多个a/d转换器122输出的数字信号。根据一个实施方案,rf处理器124可包括复解调器(未示出),该复解调器可用于解调数字信号以形成代表对应回波信号的i/q数据对。然后可将rf或i/q信号数据传送到rf/iq缓冲器126。rf/iq缓冲器126可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为提供由rf处理器124生成的rf或i/q信号数据的临时存储。

接收波束形成器120可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以执行数字波束形成处理,以例如对经由rf/iq缓冲器126从rf处理器124接收的延迟信道信号求和并输出波束求和信号。所得到的处理的信息可以是从接收波束形成器120输出并且传送到信号处理器132的波束求和信号。根据一些实施方案,接收器118、多个a/d转换器122、rf处理器124和波束形成器120可被集成到单个波束形成器中,该单个波束形成器可以是数字的。在各种实施方案中,超声系统100包括多个接收波束形成器120。

用户输入设备130可用于输入患者数据、扫描参数、设置、选择协议和/或模板,与人工智能处理器140交互以选择跟踪目标等。在示例性实施方案中,用户输入设备130可操作为配置、管理和/或控制超声系统100中的一个或多个部件和/或模块的操作。就这一点而言,用户输入设备130可用于配置、管理和/或控制发射器102、超声探头104、发射波束形成器110、接收器118、接收波束形成器120、rf处理器124、rf/iq缓冲器126、用户输入设备130、信号处理器132、图像缓冲器136、显示系统134和/或档案138的操作。用户输入设备130可包括一个或多个按钮、一个或多个旋转编码器、触摸屏、运动跟踪、语音识别、鼠标设备、键盘、相机和/或能够接收用户指令的任何其它设备。在某些实施方案中,例如,可将用户输入设备130中的一个或多个用户输入设备集成到其他部件(诸如显示系统134或超声探头104)中。例如,用户输入设备130可包括触摸屏显示器。作为另一个示例,用户输入设备130可包括附接到探头104和/或与探头104集成的加速度计、陀螺仪和/或磁力仪,以提供探头104的姿势运动识别,诸如标识抵靠患者身体的一次或多次探头压缩、预定义探头移动或倾斜操作等。除此之外或另选地,用户输入设备130可包括图像分析处理以通过分析所采集的图像数据来标识探头姿势。

信号处理器132可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以处理超声扫描数据(即,求和的iq信号),以生成用于在显示系统134上呈现的超声图像。信号处理器132可操作为根据所采集的超声扫描数据上的多个可选择超声模态来执行一个或多个处理操作。在示例性实施方案中,信号处理器132可用于执行显示处理和/或控制处理等。随着接收到回波信号,可以在扫描会话期间实时处理采集的超声扫描数据。除此之外或另选地,超声扫描数据可在扫描会话期间暂时存储在rf/iq缓冲器126中并且在在线操作或离线操作中以不太实时的方式处理。在各种实施方案中,处理的图像数据可呈现在显示系统134处和/或可存储在档案138处。档案138可以是本地档案、图片归档和通信系统(pacs),或用于存储图像和相关信息的任何合适的设备。

信号处理器132可以是一个或多个中央处理单元、微处理器、微控制器等。例如,信号处理器132可以是集成部件,或者可分布在各个位置。在示例性实施方案中,信号处理器132可包括人工智能处理器140并且可能够从用户输入设备130和/或档案138接收输入信息,生成可由显示系统134显示的输出,并且响应于来自用户输入设备130的输入信息来操纵输出等。信号处理器132和人工智能处理器140可能够执行例如根据各种实施方案的本文所讨论的方法和/或指令集中的任一者。

超声系统100可操作为以适于所考虑的成像情况的帧速率连续采集超声扫描数据。典型的帧速率在20-120的范围内,但可更低或更高。所采集的超声扫描数据可以与帧速率相同、或更慢或更快的显示速率显示在显示系统134上。图像缓冲器136被包括以用于存储未被安排立即显示的所采集的超声扫描数据的处理的帧。优选地,图像缓冲器136具有足够的容量来存储至少几分钟的超声扫描数据的帧。超声扫描数据的帧以根据其采集顺序或时间易于从其取回的方式存储。图像缓冲器136可体现为任何已知的数据存储介质。

信号处理器132可包括人工智能处理器140,该人工智能处理器140包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为分析所采集的超声图像以对超声图像中的生物结构和/或人工结构进行分类、界标检测、分割、注释、标识和/或跟踪。生物结构可包括例如神经、血管、器官、组织或任何合适的生物结构。人工结构可包括例如针、可植入设备或任何合适的人工结构。人工智能处理器140可包括例如以下中的一者或多者:人工智能图像分析算法、一个或多个深度神经网络(例如,卷积神经网络)和/或可利用被配置为分析所采集的超声图像以对超声图像中的生物结构和/或人工结构进行分类、界标检测、分割、注释、标识和/或跟踪的任何合适形式的人工智能图像分析技术或机器学习处理功能。

人工智能处理器140可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为分析所采集的超声图像以对超声图像中的生物结构和/或人工结构进行分类、界标检测、分割、注释、标识和/或跟踪。例如,分类可包括确定图像或体积可属于的特定类别。界标检测可包括确定特定结构或点可在图像或体积中的位置。分割可以是确定两个结构之间的边界。

在各种实施方案中,人工智能处理器140可被提供为深度神经网络,该深度神经网络可由例如输入层、输出层以及输入层和输出层之间的一个或多个隐藏层构成。每个层可由可称为神经元的多个处理节点构成。例如,人工智能处理器140可包括输入层,该输入层具有用于来自解剖结构的扫描平面的每个像素或一组像素的神经元。输出层可具有对应于多个预定义的生物结构和/或人工结构的神经元。例如,如果执行基于超声的区域麻醉手术,则输出层可包括用于臂丛神经束、腋动脉、麻醉针上的斜面区等的神经元。如果执行心脏相关手术,则输出层可包括用于“瓣膜”、“心室”、“心室壁”、“心房”、“流出道”、“主动脉”、“顶点”、“心肌”、“心内膜边界”、“心包”等的神经元。

其他超声手术可利用输出层,这些输出层包括用于神经、血管、骨、器官、针、可植入设备或任何合适的生物和/或人工结构的神经元。每个层的每个神经元可执行处理功能,并且将处理的超声图像信息传递到下游层的多个神经元中的一个神经元以用于进一步处理。例如,第一层的神经元可学习识别超声图像数据中的结构边缘。第二层的神经元可学习基于来自第一层的检测边缘识别形状。第三层的神经元可学习所识别的形状相对于超声图像数据中的标志的位置。由人工智能处理器140深度神经网络(例如,卷积神经网络)执行的处理可高概率度标识超声图像数据中的生物结构和/或人工结构。

在某些实施方案中,人工智能处理器140可被配置为基于用户指令经由用户输入设备130来标识生物结构和/或人工结构。例如,人工智能处理器140可被配置为经由用户输入设备130与用户进行交互以接收用于搜索超声图像的指令。作为示例,用户可提供语音命令、探头姿势、按钮按压等,它们指示人工智能处理器140搜索特定结构和/或搜索超声图像的特定区域。

虽然本公开的实施方案将信号处理器132描述为包括人工智能处理器140,但是本公开的各种实施方案无需如此限制。例如,人工智能处理器140可以是单独的处理器,或除信号处理器132之外的另一个处理器的一部分。在一些实施方案中,人工智能处理器140可包括由处理器(诸如例如rf处理器124和/或信号处理器132)执行的一个或多个软件模块。

存储器142可包括可由超声系统100中的各种设备使用的易失性存储器、非易失性存储器、存储设备等。例如,可存在可下载到存储器142并且在必要时使用的应用程序。存储器142还可保存可由一个或多个设备(诸如例如rf处理器124、信号处理器132、人工智能处理器140等)使用的各种数据。

仍然参考图1a,训练引擎160可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为训练人工智能分割模块140的深度神经网络的神经元。例如,可训练人工智能处理器140来自动标识和分割在超声扫描平面中提供的生物结构和/或人工结构。例如,训练引擎160可使用各种结构的分类超声图像的数据库来训练例如人工智能处理器140的深度神经网络。

作为示例,人工智能处理器140可由训练引擎160用特定生物结构和/或人工结构的超声图像进行训练,以相对于特定结构的特性来训练人工智能处理器140,诸如结构边缘的外观、基于边缘的结构形状的外观、形状相对于超声图像数据中的界标的位置等。在示例性实施方案中,这些结构可包括臂丛神经束、腋动脉、麻醉针上的斜面区域和/或任何合适的器官、神经、血管、组织、针、可植入设备等。结构信息可包括关于器官、神经、血管、组织、针、可植入设备等的边缘、形状和位置的信息。在各种实施方案中,训练图像的数据库可存储在档案138或任何合适的数据存储介质中。

因此,人工智能处理器140可包括可操作为标记所标识的生物结构和/或人工结构的合适的逻辑、电路、接口和/或代码。例如,人工智能处理器140可标记由深度神经网络的输出层标识的所标识结构。

在某些实施方案中,超声系统100可经由有线通信或无线通信与外部设备通信,该外部设备诸如例如其它超声系统、各种其它类型的医疗设备(包括由医疗人员使用的各种网络设备,诸如例如个人计算机、膝上型计算机等)等。

例如,训练引擎160和/或训练图像数据库可以是使用通信接口150经由有线连接或无线连接通信地耦接到超声系统100的外部系统。通信接口可支持例如一个或多个有线接口(以太网、usb、火线等)和/或一个或多个无线接口(蜂窝、wifi等)。

图1b是根据各种实施方案的与其它电子设备通信的示例性超声系统的框图。参考图1b,示出了包括超声系统100的网络170,该超声系统100经由其通信接口150通过有线与电子设备180和182通信,并且与电子设备184和186无线地通信。电子设备180-186可以是例如其它超声系统、医疗装置、由医疗人员使用的各种类型的计算机等。超声系统100和电子设备180-186可以是例如本地网络的一部分。

网络170还可包括超声系统100,该超声系统100经由其通信接口150通过例如通信网关188与电子设备190……192通信。超声系统100可经由有线或无线地与通信网关188通信。电子设备190……192中的一些可与超声系统100位于相同广域网(wan)中,并且电子设备190……192中的其它可能不是wan的一部分。例如,电子设备190可与超声系统100位于相同wan中,并且电子设备192可以为不是相同wan的一部分的中央服务器并且比电子设备190更远离超声系统100。中央服务器192可例如向多个广泛扩展的超声系统提供信息、训练更新等。

图2是根据各种实施方案的用于设置示例性超声系统以用于连续训练的示例性流程图。参考图2,示出了包括框202至212的流程图200。在框202中,超声系统100可被设置用于连续训练。下面更详细并且关于图3和图4描述了连续训练。连续训练设置可经由例如显示系统134和用户输入设备130来进行。可指出的是,显示系统134可包括触摸屏作为用户输入设备130。

用户(操作者)可例如在任何时间通过输入适当命令、选择菜单项、按下专用按钮等来发起连续训练设置。超声系统100还可例如在超声系统100第一次通电时经由显示系统134显示用于连续训练设置的选项。

在框204处,可在显示系统134上显示是否选择自动模式以用于连续训练。自动模式可保存由操作者校正的所有图像以用于连续训练。如果未选择自动模式,则操作者可能需要输入每个特定的所校正图像是否应用于连续训练。这可响应于例如当操作者校正图像时所显示的提示。

包括注释、分割、分类等的记录图像也可称为“目标图像”。所记录图像可由ai处理器140处理以提供注释、分割、分类等。“所校正图像”可是指对其做出校正的目标图像。虽然可能存在对图像的一些校正,但是应当理解,“所校正图像”还是指对图像分类的校正、对图像上的分割/界标检测的校正、对图像注释的改变等。因此,“所校正图像”可是指对图像数据的改变、对图像的元数据的改变和/或对与图像相关联的其它数据的改变。

可使用初始训练的ai处理器140生成图像。初始训练ai处理器140可在装运超声系统100之前在工厂处进行。一些实施方案可具有自动模式和手动模式,并且选择一种模式可使另一种模式禁用。

操作者可使用ai处理器140检查由超声系统100生成的图像,并且使用例如显示系统134上的测径器做出校正。校正可以是例如对所记录图像的注释、分割、分类等。在自动模式中,可保存所有所校正图像。例如,在实施方案中,超声系统100可将原始图像和/或所校正图像的副本保存在档案138中。然后,超声系统100可将所校正图像的匿名化副本保存在档案138中,其中可从图像的匿名化副本移除所有患者信息。一些实施方案还可从图像的匿名化副本移除时间信息。

本公开的一些实施方案可使原始图像匿名化,并且将匿名化的图像和校正保存为校正数据(或参考数据)。因此,当进行训练时,可能需要处理匿名化原始图像以考虑校正。为了简单起见,将假定训练过程使用匿名化的所校正图像。

在框206处,可选择何时开始用新的所校正图像训练ai处理器140的各种选项。例如,在保存一定数量的所校正图像之后可存在开始训练的选项。这可以是例如从一个图像至更高数量的图像的任何数量的所校正图像。

还可存在在不太可能使用超声系统100的某个时间处开始ai处理器140的训练过程的选项。当训练可在特定时间处开始时,还可存在用于选择特定天数(如果不是每天的话)的选项。

另外,可存在与任何训练会话相关联的结束时间,其中如果训练花费多于一定量的时间,则训练会话终止于训练结束的位置和时间的适当记入消息。这可有助于当训练花费太长时间时检测例如训练过程中的误差,或允许使用超声系统100。各种实施方案还可保存在终止时间处存在的所有信息,使得训练会话可在稍后的时间处(要么在训练开始时间可用时自动地,要么在手动继续时)继续。

在框208处,可指定验证设置。可选择各种不同的验证步骤,包括例如用新的所训练的ai处理器140验证特定测试数据。验证可包括例如自动将由新的所训练的ai处理器140生成的测试图像与存储在例如档案138中的参考图像进行比较。参考图像可能在装运超声系统100之前已在工厂处被加载,或当软件安装在超声系统100上时被加载。还可通过添加更多图像和/或替换一些图像来更新参考图像。操作者还可选择例如需要匹配参考图像以通过验证的测试图像的百分比,以及设定测试图像与参考图像的百分比相关性,以便使测试图像作为良好图像通过。

在框210处,操作者可选择其它超声系统(如图1b中所示)以与其共享所校正图像,使得还可使用所校正图像来训练其它超声系统。操作者还可实现从一个或多个其它超声系统接收所校正图像。其它超声系统可由预先分配的名称/数字、ip地址等标识。也可通过例如选择超声系统100可访问的网络来选择一组超声系统。网络可以是例如本地网络、局域网、广域网或可在例如显示系统134上向操作者显示的任何特定网络。

在框212处,操作者可指定超声系统100是否可与中央服务器(诸如例如中央服务器192)共享其所校正图像。当要与中央服务器共享所校正图像时,可存在关于何时传输所校正图像的另外的选项。类似地,可存在允许从中央服务器接收所训练模型和/或训练数据,以及接收所训练模型和/或训练数据的时间的选项。

应当指出的是,为了简洁起见,本公开的各种实施方案可用的所描述选项的数量受到限制。本公开的各种实施方案可包括其它选项。例如,即使当选择自动模式时,也可向操作者提供关于所校正图像是否应用于未来训练的各种提示。当发生类似情况时,还可存在允许操作者指定“不再询问”或“针对未来情况使用相同答案”的选项。这可防止操作者必须针对不同的所校正图像重复相同答案。因此,这可允许自动模式绕过与操作者交互。各种实施方案可允许与操作者进行不同水平的交互。

各种实施方案可能不具有一些选项。例如,在一些实施方案中,超声系统100可总是与中央服务器共享其所校正图像,并且可总是被允许从中央服务器接收所训练模型和/或训练数据。

虽然在图2中示出了示例性流程图200,但是可指出,可添加或减去各种框,或者可以不同的次序执行一些框。

图3是根据各种实施方案的用于提供所校正图像以用于连续训练的示例性流程图。参考图3,示出了包括框302至312的流程图300。在框302处,超声系统100可经由例如显示系统134显示所扫描图像。处理器(诸如例如信号处理器132或ai处理器140(或另一个处理器))可检测操作者是否对所显示图像做出校正。如果未检测到校正,则下一个步骤可将返回到框302,以等待显示下一个扫描图像。

如果对所显示图像做出改变,则例如ai处理器140可在框306处确定将连续训练模式设定为自动模式还是手动模式。如果设定为自动模式,则ai处理器140可使所校正图像匿名化并且将该匿名化图像保存到例如档案138。然后,下一个步骤可到达框302以等待下一个图像。

如果未将连续训练设定为自动模式,则下一个步骤可前进到框310。在框310处,可向操作者提供提示。例如,提示可要求操作者确定是否保存所校正图像以用于连续训练。如果操作者同意保存所校正图像,则下一个步骤可将前进到框308以使所校正图像匿名化并且保存该匿名化图像。如果操作者拒绝保存所校正图像,则下一个步骤可将前进到框302以等待显示下一个扫描图像。

本公开的实施方案还可提供从不询问是否应保存所校正图像的选项。这可对应于例如关闭连续训练模式。

实施方案还可允许用不同权重对不同匿名化图像进行加权。例如,权重可取决于所需的校正量。另外,还可基于操作者的经验对匿名化图像进行加权。因此,操作者可输入他/她的经验水平。还可使用超声系统100自动跟踪操作者,并且例如ai处理器140可更新与该操作者相关联的图像的数量。操作者还可选择要向图像施加的权重。

在手动模式中,可提示操作者针对所校正图像选择权重,其中操作者可保持默认权重(例如,一)或输入小于一的另一个权重。可存在针对自动模式设定的选项,例如该选项通过操作者验证所有计算的权重,或验证小于一的那些权重,或低于某一阈值的那些权重等,其中阈值也可由操作者设定。

图4是根据各种实施方案的用于用所校正图像训练ai处理器以用于连续训练的示例性流程图。参考图4,示出了包括框402至406的流程图400。在框402处,ai处理器140可确定是执行连续训练的时候。然后,在框404处,ai处理器140可使用训练引擎160以及至少自从上一个训练会话以来已被匿名化并且存储在档案138中的所校正图像来开始训练会话。

在完成训练以生成更新的ai模型之后,验证可在框406处开始。验证可包括在固定数据集上测试更新的ai模型,该固定数据集可存储在档案138中。数据集可能在装运超声系统100之前已在工厂处被加载,或当软件安装在超声系统100上时被加载。还可通过添加更多图像和/或替换一些图像来更新参考图像。然后,可将更新的ai模型的新验证分数与先前ai模型的旧验证分数进行比较。如果新验证分数小于旧验证分数,则不使用更新的ai模型并且将使用先前的ai模型。

验证分数可基于例如相对于已知距离的平均绝对准确度和用于距离测量的特定项的可检测性。当新模型的验证分数等于或大于先前ai模型的验证分数时,可经由例如显示系统134向超声系统100的操作者提供通知。该通知可基于本地更新来说明新ai模型是可用的,并且向操作者提供如下抉择:选择先前的ai模型用于继续使用还是新ai模型用于将来使用。可提供例如验证度量,诸如平均绝对准确度、可检测性等,使得操作者可在做出选择时将其考虑在内。在一些实施方案中,可基于先前ai模型的每个度量相对于更新的ai模型的对应度量的算法自动选择对要使用的ai模型的选择。

例如,可在档案138和/或存储器142中存储度量的各种范围。因此,这些范围中的一个或多个可由操作者选择以用于在确定ai模型的准确度时使用。还可存在输入度量的特定范围(包括特定值而不是范围)的选项。

因此,与例如由中央服务器192周期性地提供所训练模型和/或训练数据的情况相比,超声系统100的ai模型可更经常地更新。各种超声系统还可向例如其它附近的超声系统提供匿名化图像以供其进行训练。

在每个训练会话之后还可自动应用在装运超声系统100之前应用的监管安全过程,以确保ai处理器140的性能尚未降低。然而,在一些情况下,只要准确度高于预先确定的阈值,具有一些降低就可以是可接受的。

另外,虽然为了方便起见而讨论了图像,但是本公开的各种实施方案也可应用于图像循环(电影回放)。

因此,可以看出,各种实施方案提供了流程图200、300和/或400中所描述的方法。连续训练用于超声扫描仪的人工智能(ai)模型的方法可包括:使用ai模型生成目标的图像;由处理器检测操作者对目标图像的校正;以及保存以下中的一者或两者:所校正图像和该目标图像以及该目标图像的校正数据。该超声扫描仪可使用以下中的一者来发起训练该ai模型:该所校正图像和该目标图像以及该目标图像的校正数据。该目标图像可以是例如电影回放。

该目标图像是该超声扫描仪的目标的图像。例如,该目标可以是患者的身体部分或可由超声系统扫描的设备。因此,目标图像可被定义为具有注释、分割、分类等的记录图像。

如本公开中所用,术语“所校正图像”是指可关于图像做出的校正。例如,虽然可能存在对图像的一些校正,但是应当理解,“所校正图像”还是指对图像分类的校正、对图像上的分割/界标检测的校正、对图像注释的改变等。因此,“所校正图像”可是指对图像数据的改变、对图像的元数据的改变和/或对与图像相关联的其它数据的改变。

该超声扫描仪可具有以下中的一者或两者:自动模式,该自动模式使该ai模型能够自动保存所校正图像;以及手动模式,在该手动模式中该超声扫描仪向该操作者提供输入是否保存该所校正图像的提示。当选择该手动模式时,向该操作者显示输入与默认权重不同的该所校正图像的权重的字段。“不再询问”选项可作为待选择的选项显示给该操作者。

该方法可包括使用匿名化图像来用于训练该ai模型,该匿名化图像为匿名化的以下中的一者:该所校正图像和该目标图像。当该目标图像被匿名化时,可用该校正数据处理该目标图像以用于该训练。

本公开的各种实施方案可利用本地超声扫描仪共享该匿名化图像,其中该本地超声扫描仪与该超声扫描仪位于相同本地网络上,并且匿名化图像是以下中的一者:该匿名化的所校正图像和该匿名化的目标图像以及校正数据。

可在第一预设时间处发起该训练,并且可当达到第二预设时间时终止该训练。该训练可包括验证,该验证包括使用验证数据集确定第一验证分数,该第一验证分数可基于例如平均绝对准确度和可检测性。当该第一验证分数大于先前ai模型的所存储验证分数时,可选择所训练的ai模型以供该超声扫描仪使用。当该第一验证分数小于先前ai模型的所存储验证分数时,可选择该先前的ai模型以供该超声扫描仪使用。

该超声扫描仪可从本地超声扫描仪接收外部匿名化图像,其中该本地超声扫描仪与该超声扫描仪位于相同本地网络上。可使用至少该外部匿名化图像来训练该超声扫描仪的该ai模型。

某些实施方案提供一种非暂态计算机可读介质,该非暂态计算机可读介质上存储有计算机程序,该计算机程序具有至少一个代码段。该至少一个代码段可由机器执行以使得该机器执行流程图200、300和/或400中所描述的步骤。

因此,本公开的各种实施方案还可提供一种非暂态计算机可读介质,该非暂态计算机可读介质上存储有计算机程序,该计算机程序具有至少一个代码段,该至少一个代码段能够由机器执行以使得该机器执行包括下列的步骤:使用ai模型生成目标的图像;以及由处理器检测操作者对该目标图像的校正。可保存以下中的一者或两者:所校正图像和该目标图像以及该目标图像的校正数据。使用以下中的一者发起训练超声扫描仪的该ai模型:该所校正图像和该目标图像以及该目标图像的校正数据。该超声扫描仪可具有以下中的一者或两者:自动模式,该自动模式使该ai模型能够自动保存所校正图像;以及手动模式,在该手动模式中该超声扫描仪向该操作者提供输入是否保存该所校正图像的提示。

该非暂态计算机可读介质可包括使用匿名化图像来用于训练该ai模型,该匿名化图像为匿名化的以下中的一者:该所校正图像和该目标图像。该训练可包括验证,该验证包括使用验证数据集确定第一验证分数,该第一验证分数可基于例如平均绝对准确度和可检测性中的至少一者。当该第一验证分数大于先前ai模型的所存储验证分数时,可选择所训练的ai模型以供该超声扫描仪使用。当该第一验证分数小于该先前ai模型的该所存储验证分数时,可选择该先前的ai模型以供该超声扫描仪使用。

如本文所用,术语“电路”是指物理电子部件(即,硬件)以及可配置硬件、由硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。例如,如本文所用,当执行一条或多条第一代码时,特定处理器和存储器可包括第一“电路”,并且在执行一条或多条第二代码时,特定处理器和存储器可包括第二“电路”。如本文所用,“和/或”表示列表中的由“和/或”连结的项中的任一个或多个项。作为一个示例,“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。作为另一个示例,“x、y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。如本文所用,术语“示例性”表示用作非限制性示例、实例或例证。如本文所用,术语“例如(e.g.)”和“例如(forexample)”引出一个或多个非限制性示例、实例或例证的列表。如本文所用,电路“可操作为”和/或“被配置为”每当该电路包括执行功能的必需硬件和代码(如果需要的话)时就执行该功能,不管是否通过某些用户可配置的设置禁用或不启用该功能的执行。

其它实施方案可提供计算机可读设备和/或非暂态计算机可读介质,和/或机器可读设备和/或非暂态机器可读介质,该计算机可读装置和/或非暂态计算机可读介质和/或该机器可读装置和/或非暂态机器可读介质上存储有机器代码和/或具有可由机器和/或计算机执行的至少一个代码段的计算机程序,从而使得机器和/或计算机执行如本文所述的用于促进超声操作者与被配置为对超声图像中的生物结构和/或人工结构进行分类、界标检测、分割、注释、标识和/或跟踪的人工智能模块的交互的步骤。

因此,本公开可在硬件、软件或硬件和软件的组合中实现。本公开可能以集中方式在至少一个计算机系统中实现,或以分布式方式实现,其中不同的元件分布在若干互连的计算机系统上。适于执行本文所述的方法的任何种类的计算机系统或其他设备都是合适的。

各种实施方案也可嵌入计算机程序产品中,该计算机程序产品包括能够实现本文所述的方法的所有特征,并且当加载到计算机系统中时能够执行这些方法。本文中的计算机程序是指以任何语言、代码或符号表示的一组指令的任何表达,这些指令旨在使具有信息处理能力的系统直接执行特定功能或在以下两项或其中一项之后执行特定功能:a)转换为另一种语言、代码或符号;b)以不同的物质形式进行复制。

虽然已经参考某些实施方案来描述了本公开,但是本领域的技术人员应当理解,在不脱离本公开的范围的情况下,可以进行各种改变并可以替换等同物。另外,在不脱离本公开的范围的情况下,可以进行许多修改以使特定情况或材料适应于本公开的教导。因此,本公开不旨在限于所公开的特定实施方案,而是本公开将包括落入所附权利要求书的范围内的所有实施方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1