一种医学图像处理方法、系统、装置和计算机可读介质与流程

文档序号:18516534发布日期:2019-08-24 09:29阅读:247来源:国知局
一种医学图像处理方法、系统、装置和计算机可读介质与流程

本申请涉及图像处理领域,特别涉及一种医学图像处理方法和系统。



背景技术:

正电子发射断层成像(positronemissiontomography,pet)是当今最高层次的核医学影像技术,它在肿瘤学、心血管疾病学、神经系统疾病研究以及新药开发研究等领域中显示出卓越的性能。pet通过对人体内示踪剂的γ光子对进行重构产生反映被扫描对象代谢功能的图像。但是,pet的分辨率较低,且无法提供患者的结构信息,导致只依赖pet图像很难定位病灶位置。因此,有必要提供一种从正电子发射断层成像数据中获取目标对象的结构图像的方法。



技术实现要素:

本申请的一方面提供一种医学图像处理方法。所述方法包括:获取目标对象的第一模态图像数据;基于所述目标对象的第一模态图像数据,利用第一图像重建算法生成所述目标对象的初始衰减图像;利用机器学习模型处理所述目标对象的初始衰减图像,得到所述目标对象的优化衰减图像;根据所述目标对象的优化衰减图像对所述目标对象的第一模态图像数据进行衰减校正,得到经衰减校正的第一模态图像,或者,根据所述目标对象的优化衰减图像确定所述目标对象的第二模态图像。

在一些实施例中,所述利用机器学习模型处理所述目标对象的初始衰减图像,得到所述目标对象的优化衰减图像,包括:s01:用所述机器学习模型处理所述目标对象的初始衰减图像,得到模型处理后的衰减图像;s02:判断是否达到设定迭代条件;s03:如果未达到所述设定迭代条件,则基于所述模型处理后的衰减图像利用所述第一图像重建算法生成更新后的所述目标对象的初始衰减图像,返回s01;s04:如果达到所述设定迭代条件,则停止迭代,将最后一轮迭代时衰减图像优化模型处理后的衰减图像确定为所述目标对象的优化衰减图像。

在一些实施例中,所述设定迭代条件为迭代次数达到设定迭代次数。

在一些实施例中,所述第一模态图像数据为正电子发射断层扫描成像数据或单光子发射计算机断层扫描成像数据。

在一些实施例中,所述正电子发射断层扫描成像数据包括飞行时间数据。

在一些实施例中,所述机器学习模型为衰减图像优化模型;所述衰减图像优化模型基于以下训练方法获得:获取训练集,所述训练集包括多个样本对,样本对包括样本初始衰减图像和与样本初始衰减图像对应的真实衰减图像;利用所述训练集进行模型训练,得到所述衰减图像优化模型;其中,所述样本初始衰减图像通过以下方式得到:获取样本第一模态图像数据;基于所述样本第一模态图像数据,利用所述第一图像重建算法生成样本初始衰减图像。

在一些实施例中,所述样本第一模态图像数据包括基于重建投影模型生成的模拟成像数据和/或利用图像扫描设备获取的成像数据。

在一些实施例中,所述方法还包括:对所述样本初始衰减图像和真实衰减图像进行分割;利用分割后的样本初始衰减图像和分割后的真实衰减图像训练所述初始模型,得到所述衰减图像优化模型。

在一些实施例中,所述利用所述训练集进行模型训练,得到所述衰减图像优化模型,包括:s11:以样本初始衰减图像为输入,以与所述样本初始衰减图像对应的真实衰减图像为参考标准,进行模型训练,得到训练后模型;s12:获取所述训练后模型的输出图像与所述真实衰减图像之间的差异;s13:判断所述差异是否满足设定条件,s14:如果所述差异不满足设定条件,则基于所述训练后模型的输出图像,利用所述第一图像重建算法生成更新后的样本初始衰减图像,返回s11,并更新迭代次数;s15:如果所述差异满足设定条件,则停止迭代,并至少根据最后一轮迭代的模型训练结果确定所述衰减图像优化模型。

在一些实施例中,所述方法还包括:基于最后更新的迭代次数确定设定迭代次数。

在一些实施例中,所述方法还包括:基于所述目标对象的优化衰减图像以及所述目标对象的正电子发射断层扫描成像数据,重建得到所述目标对象的药物浓度分布图。

在一些实施例中,所述第一图像重建算法包括基于衰减和浓度的最大似然重建的算法。

本申请的另一方面提供了一种医学图像处理系统,其特征在于,包括:获取模块,用户获取目标对象的正电子发射断层扫描成像数据;初始衰减图像确定模块,用于基于所述目标对象的正电子发射断层扫描成像数据,利用第一图像重建算法生成所述目标对象的初始衰减图像;衰减图像优化模块,用于利用机器学习模型处理所述目标对象的初始衰减图像,得到所述目标对象的优化衰减图像;图像生成模块,用于根据所述目标对象的优化衰减图像对所述目标对象的第一模态图像数据进行衰减校正,得到经衰减校正的第一模态图像,或者,用于根据所述目标对象的优化衰减图像确定所述目标对象的第二模态图像。

本申请的另一方面提供了一种医学图像处理装置。所述装置包括至少一个处理器以及至少一个存储器;所述至少一个存储器用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如前所述的医学图像处理方法。

本申请的另一方面提供了一种用于医学图像处理的计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当所述计算机指令被处理器执行时实现如前所述的医学图像处理方法。

附图说明

本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:

图1为根据本申请一些实施例所示的衰减图像优化系统的应用场景图;

图2为根据本申请一些实施例所示的用于实现本申请技术方案的专用系统的示例性计算设备的框图;

图3为根据本申请一些实施例所示的衰减图像优化方法的示例性流程图;

图4为根据本申请一些实施例所示的衰减图像优化系统的模块图;

图5为根据本申请一些实施例所示的衰减图像优化方法的另一种示例性流程图;

图6为根据本申请一些实施例所示的衰减图像优化模型训练方法的示例性流程图;

图7为根据本申请一些实施例所示的衰减图像优化模型训练方法的另一种示例性流程图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。

应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”系用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。

应当理解的是,本申请的系统及方法的应用场景仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。

图1为根据本申请一些实施例所示的医学图像处理系统的应用场景图。如图1所示,该医学图像处理系统100可以包括扫描仪110、网络120、终端130、处理设备140和存储设备150。

扫描仪110可以对检测区域内的对象进行扫描,得到该对象的扫描数据。被扫描对象可以是人体或动物的整体或部分器官或组织,如头部等。在一些实施例中,扫描仪110可以是正电子发射断层成像(pet)扫描仪,或者是单光子发射计算机断层成像(spect)扫描仪。

网络120可以包括有助于医学图像处理系统100交换信息和/或数据的任何适合的网络。在一些实施例中,医学图像处理系统100的一个或多个其他组件(例如,扫描仪110、用户终端130、处理设备140、存储设备150等)可以通过网络120相互交换信息和/或数据。例如,处理设备140可以通过网络120从扫描仪110获取图像数据。又例如,处理设备140可以通过网络120获取来自用户终端130的用户指令。网络120可以是和/或包括公共网络(例如,互联网)、专用网络(例如,局域网(lan)、广域网(wan)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、wi-fi网络等)、蜂窝网络(例如,lte网络)、帧中继网络、虚拟专用网络(“vpn”)、卫星网络、电话网络、路由器、集线器、转换器、服务器计算机和/或其中的一种或多种的组合。例如,网络120可以包括电缆网络、有线网络、光纤网络、电信网络、局域网、无线局域网(wlan)、城域网(man)、公用电话交换网(pstn)、蓝牙tm网络、zigbeetm网络、近场通信网络(nfc)等中的一种或多种的组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线和/或无线网络接入点,如基站和/或网络交换点,系统100的一个或多个组件可以通过其接入到网络120以进行数据和/或信息交换。

在一些实施例中,用户可以通过用户终端130操作医学图像处理系统100。用户终端130可以包括移动设备131、平板电脑132、笔记本电脑133等中的一种或多种的组合。在一些实施例中,移动设备131可以包括智能家庭设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等中的一种或多种的组合。在一些实施例中,智能家用设备可以包括智能照明装置、智能电器控制装置、智能监控装置、智能电视、智能摄像机、对讲机等中的一种或多种的组合。在一些实施例中,可穿戴设备可以包括手镯、鞋袜、眼镜、头盔、手表、服装、背包、智能配件等一种或多种的组合。在一些实施例中,移动设备可以包括移动电话、个人数字助理(pda)、游戏设备、导航设备、销售点(pos)设备、笔记本电脑、平板电脑、台式机等中的一种或多种的组合。在一些实施例中,虚拟现实设备和/或增强现实装置可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等中的一种或多种的组合。例如,虚拟现实设备和/或增强现实设备可以包括googleglasstm、oculusrifttm、hololenstm、gearvrtm等。在一些实施例中,用户终端130可以是处理设备140的一部分。

处理设备140可以处理从扫描仪110、用户终端130和/或存储设备150中获得的数据和/或信息。例如,处理设备140可以处理目标对象的pet数据,得到目标对象的衰减图像。在一些实施例中,处理设备140可以是一个服务器或一个服务器群组。服务器群组可以是集中式的或者分布式的。在一些实施例中,处理设备140可以是本地的或远程的。例如,处理设备140可以通过网络120访问存储在扫描仪110、用户终端130和/或存储设备150的信息和/或数据。例如,处理设备140可以直接与扫描仪110、用户终端130和/或存储设备150连接从而访问其存储的信息和/或数据。在一些实施例中,处理设备140可以在云平台上被执行。例如,云平台可以包括私有云、公有云、混合云、社区云、分布式云、互联云、多重云等种的一种或多种的组合。在一些实施例中,处理设备140可以为用户终端130的一部分。在一些实施例中,处理设备140可以由具有一个或多个组件的计算设备200(如图2所述)执行。

存储设备150可以存储数据、指令和/或其他信息。在一些实施例中,存储设备150可以存储从终端130和/或处理设备140中获得的数据。在一些实施例中,存储设备150可以存储处理设备140为执行本申请中描述的示例性方法所执行或使用的数据和/或指令。在一些实施例中,存储设备150可以包括大容量存储器、可移动存储器、易失读写存储器、只读存储器(rom)等中的一种或多种的组合。示例性的大容量存储器可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、拉链盘、磁带等。示例性的易失读写存储器可以包括随机存取存储器(ram)。示例性的随机存取存储器ram可以包括动态随机存储器(dram)、双数据率同步动态随机存取存储器(ddrsdram)、静态随机存取存储器(sram)、晶闸管随机存取存储器(t-ram)和零电容随机存取存储器(z-ram)等。示例性的只读存储器(rom)可以包括掩模只读存储器(mrom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom),光盘只读存储器(cd-rom)和数字多用途光盘等。在一些实施例中,存储设备150可以在云平台上被执行。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等种的一种或多种的组合。

在一些实施例中,存储设备150可以连接到网络120以与系统100中的一个或多个其他组件(例如,处理设备140、终端130等)进行通信。医学图像处理系统100中的一个或多个组件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中,存储设备150可以直接与系统100中的一种或多个其他组件(例如,处理设备140、终端130等)连接或通信。在一些实施例中,存储设备150可以是处理设备140的一部分。

图2是用于实现本申请技术方案的专用系统的示例性计算设备的框图。

如图2所示,计算设备200可以包括处理器210、存储器220、输入/输出接口230和通信端口240。

处理器210可以执行计算指令(程序代码)并执行本申请描述的医学图像处理系统100的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本申请中描述的特定功能)。例如,处理器210可以处理从医学图像处理系统100的任何组件获得的图像数据。在一些实施例中,处理器210可以包括微控制器、微处理器、精简指令集计算机(risc)、专用集成电路(asic)、应用特定指令集处理器(asip)、中央处理器(cpu)、图形处理单元(gpu)、物理处理单元(ppu)、微控制器单元、数字信号处理器(dsp)、现场可编程门阵列(fpga)、高级risc机(arm)、可编程逻辑器件以及能够执行一个或多个功能的任何电路和处理器等,或其任意组合。仅为了说明,图2中的计算设备200只描述了一个处理器,但需要注意的是本申请中的计算设备200还可以包括多个处理器。

存储器220可以存储从医学图像处理系统100的任何其他组件获得的数据/信息。在一些实施例中,存储器220可以包括大容量存储器、可移动存储器、易失性读取和写入存储器和只读存储器(rom)等,或其任意组合。示例性大容量存储器可以包括磁盘、光盘和固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘和磁带等。易失性读取和写入存储器可以包括随机存取存储器(ram)。ram可以包括动态ram(dram)、双倍速率同步动态ram(ddrsdram)、静态ram(sram)、晶闸管ram(t-ram)和零电容(z-ram)等。rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除可编程rom(perom)、电可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字通用盘rom等。

输入/输出接口230可以用于输入或输出信号、数据或信息。在一些实施例中,输入/输出接口230可以使用户与医学图像处理系统100进行联系。在一些实施例中,输入/输出接口230可以包括输入装置和输出装置。示例性输入装置可以包括键盘、鼠标、触摸屏和麦克风等中的一种或以上任意组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等,或其任意组合。示例性显示装置可以包括液晶显示器(lcd)、基于发光二极管(led)的显示器、平板显示器、曲面显示器、电视设备、阴极射线管(crt)等中的一种或以上任意组合。通信端口240可以连接到网络以便数据通信。所述连接可以是有线连接、无线连接或两者的组合。有线连接可以包括电缆、光缆或电话线等,或其任意组合。无线连接可以包括蓝牙、wi-fi、wimax、wlan、zigbee、移动网络(例如,3g、4g或5g等)等中的一种或以上任意组合。在一些实施例中,通信端口240可以是标准化端口,如rs232、rs485等。在一些实施例中,通信端口240可以是专门设计的端口。例如,通信端口240可以根据数字成像和医学通信协议(dicom)进行设计。

图3是根据本申请一些实施例所示的衰减图像优化方法的示例性流程图。在一些实施例中,该方法300可以由本地的处理设备140执行。在一些实施例中,该方法也可以由云端服务器执行,以降低对本地设备的性能要求或减少本地设备的处理数据量。该方法300包括如下步骤:

步骤301,获取目标对象的第一模态图像数据。目标对象可以是人体或动物。第一模态图像数据可以是三维图像和/或二维图像数据。在一些实施例中,第一模态图像数据可以与人或动物的整体或部分器官或组织相关。所述器官包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述组织包括但不限于上皮组织、结缔组织、神经组织、肌肉组织等。在一些实施例中,处理设备140可以从扫描仪110、用户终端130、存储设备150或其他外部数据源处获取第一模态图像数据。在一些实施例中,第一模态图像数据可以包括正电子发射断层扫描成像数据(以下称为“pet数据”)。在一些实施例中,pet数据为由pet扫描仪获取的,用于提供给重建算法重建出目标对象衰减图像和/或药物浓度分布图的数据。在pet扫描前,将示踪剂引入目标对象体内。在pet扫描期间,示踪剂可发射正电子。目标对象体内天然存在大量带有负电荷的电子,正电子具有与电子相同的质量和相反的电荷,当正电子与电子碰撞时会发生湮灭(也称为“湮灭事件”或“符合事件”)。湮灭会产生两个511kev的γ光子,两个γ光子生成后会彼此沿着相反方向行进,探测器可以探测到该γ光子对。连接两个γ光子的线可被称为响应线(lineofresponse,lor)。pet数据可以包括符合事件数据,具体地,可以包括γ光子的轨迹和/或信息,例如,pet数据可以包括湮灭事件的列表、lor的横向和纵向位置等。在一些实施例中,除了符合事件数据外,pet数据还可以包括单事件数据、随机事件数据和/或散射事件数据等。单事件是指湮灭产生的一个γ光子被探测器探测到的事件。随机事件,也称为随机符合事件,是指并非源自同一湮灭的两个γ光子被探测器探测为源自同一湮灭的事件。散射事件,也称为散射符合事件,是指湮灭产生的两个γ光子,其中至少一个在体内发生散射,但探测器仍成功探测到该符合事件的事件。在一些实施例中,pet数据还包括飞行时间(timeofflight,tof)数据。飞行时间是指γ光子从湮灭处到达探测器所用的时间。通过测量同一湮灭的两个γ光子各自的飞行时间,可以计算出两个光子到达探测器的飞行时间差,由于光速已知,由此可以确定lor上发生湮灭的位置,也即示踪剂发生衰变的位置。

在另一些实施例中,第一模态图像数据可以包括单电子发射计算机断层扫描成像数据(以下称为“spect数据”)。spect数据可以由spect扫描仪获取。在spect扫描时,首先目标对象需要摄入含有半衰期适当的放射性同位素药物,在药物到达所需要成像的断层位置后,由于放射性衰变,将从断层处发出γ光子,位于外层的探测器的每个灵敏点探测沿一条投影线上的γ光子,通过闪烁体将探测到的高能γ射线转化为能量较低但数量很大的光信号,通过光电倍增管将光信号转化为电信号并进行放大,得到的测量值代表人体在该投影线上的放射性之和。在同一条直线上的灵敏点可探测人体一个断层上的放射性药物,它们的输出称作该断层的一维投影。spect数据中可以包括散射事件数据。与pet类似,spect中的散射事件也是由γ光子发生散射导致,散射使得投影线以外放射源所产生的γ光子经过散射后进入探测器造成混淆和假计数。

步骤303,基于所述目标对象的第一模态图像数据,利用第一图像重建算法生成所述目标对象的初始衰减图像。

以第一模态图像数据为pet数据为例,在pet数据采集过程中,γ光子在目标对象体内会发生衰减,身体各部分组织对γ光子的衰减程度不均一,从而引起pet图像的失真。不同目标对象具有不同的衰减特性。衰减图像是指反映目标对象衰减特性的图像。目标对象的衰减特性与其结构有关。本申请对第一图像重建算法不做限制,仅作为示例,第一图像重建算法可以包括mlaa算法、最大似然校正因子(maximum,mlacf)算法、最大似然投射重建(maximumlikelihoodtransmissionreconstruction,mltr)算法等。在一些实施例中,还可以结合单事件(singleevents)或延迟事件数据确定目标对象的初始衰减图像。下面以mlaa算法处理三维tof-pet数据为例,说明如何根据目标对象的tof-pet数据得到初始衰减图像。

第一步,采用公式(1),根据tof-pet数据更新目标对象的示踪剂活度图:

其中,为第n+1次迭代的示踪剂活度图;n为示踪剂活度图的迭代次数;m为衰减图的迭代次数;j或k为活度图或衰减图中的第j或第k个体素;i为投影域中lor的编号;τ为tof的时间仓(timebin)编号;mi,τ为第i个lor、第τ个时间仓的测量数据,即pet数据;si,τ为第i个lor、第τ个时间仓的散射符合事件数目;ri,τ为第i个lor、第τ个时间仓的随机符合事件数目;hi,j,τ和hi,k,τ为对应下标的投影矩阵;为使用符合事件数据进行的第n次迭代的符合衰减正弦图,可以基于衰减图利用公式(2)计算得到的:

其中,为第n次迭代的衰减图,uij为衰减效应投影矩阵,反映第i个lor与衰减图中第j个体素的交叉长度。

第二步,采用公式(3)的mltr算法,更新衰减图:

其中为第n+1次迭代的衰减图,为具有衰减效应的估计投影数据,可以基于公式(4)计算得到:

在一些实施例中,可以在mlaa的第一轮迭代时赋给活度图(即)和/或衰减图(即)任意值,如0、0.25、0.75、1等。通过以上mlaa算法可以生成目标对象的初始衰减图像。具体地,可将最后一轮迭代得到的确定为目标对象的初始衰减图像。

在一些实施例中,可以根据pet数据确定目标对象的边界。可以理解,在扫描目标对象采集pet数据时,可能会扫描到目标对象之外的区域(如空气、床板等),这些区域并不被人们关心,如果能将这些区域的数据除去,可以减小后续处理分析的数据量。另外,对于步骤303来说,确定目标对象的边界可以提高利用第一图像重建算法得到的初始衰减图像的准确性。在一些实施例中,可以先根据目标对象的pet数据重建出目标对象的示踪剂活度图(或称为药物浓度分布图),再采用图像分割法从示踪剂活度图中分割出目标对象的边界。仅作为示例,重建示踪剂活度图的方法包括但不限于滤波反投影(filterbackprojection,fbp)算法、最大似然期望最大化(maximumlikelihoodexpectationmaximization,mlem)算法、共轭梯度(conjugategradientmethod,cgm)算法、有序子集期望最大化(orderedsubsetsexpectationmaximization,osem)算法、衰减和活动的最大似然估计(maximumlikelihoodestimationofattenuationandactivity,mlaa)算法等。图像分割法包括但不限于基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于特定理论的分割方法、基于基因编码的分割方法、基于小波变换的分割方法、基于神经网络的分割方法等。确定了目标对象的边界后,再根据边界内的pet数据,利用第一图像重建算法生成所述目标对象的初始衰减图。

需要注意的是,尽管上文以tof-pet数据为例说明了如何获取目标对象的初始衰减图,但并不用于限制本申请。在一些实施例中,也可以根据pet数据和pet成像过程中发生的散射事件数据确定目标对象的初始衰减图。在另一些实施例中,第一模态图像数据包括spect数据,则可以根据spect数据和spect成像过程中发生的散射事件数据确定目标对象的初始衰减图。

步骤305,利用机器学习模型处理所述目标对象的初始衰减图像,得到所述目标对象的优化衰减图像。

可以理解,步骤303通过重建算法得到的衰减图可能存在不准确性。例如,tof-pet数据本身的高噪声、低分辨率以及第一图像重建算法(如mlaa)本身引起的常数问题,这些都可能导致步骤303得到的衰减图像不准确。步骤305就是通过机器学习模型进一步优化步骤303得到的衰减图。具体地,机器学习模型为衰减图像优化模型,模型的输入为初始衰减图像,模型的输出可以取决于模型训练时所采用的参考标准(groundtruth)的类型。例如,模型的输出可以直接是目标对象的优化衰减图像;或者,模型的输出也可以是目标对象的初始衰减图像与优化衰减图像之间的差值,根据该差值以及初始衰减图像可以计算得到目标对象的优化衰减图像;又或者,模型的输出也可以是目标对象的结构图像(如ct图像),根据结构图像与衰减图像之间的对应关系,可以将目标对象的结构图像转换为目标对象的优化衰减图像,在一些实施例中,也可以直接将模型输出的目标对象的结构图像作为优化衰减图像。有关模型训练的更多内容可以参见图6、图7及其描述,此处不再赘述。该衰减图像优化模型可以为各种类型的模型,包括但不限于分类与逻辑回归(logisticregression)模型、k-最近邻算法(k-nearestneighbor,knn)模型、朴素贝叶斯(naivebayes,nb)模型、支持向量机(supportvectormachine,svm)、决策树(decisiontree,dt)模型、随机森林(randomforests,rf)模型、回归树(classificationandregressiontrees,cart)模型、梯度提升决策树(gradientboostingdecisiontree,gbdt)模型、xgboost(extremegradientboosting)、轻量级梯度提升机器(lightgradientboostingmachine,lightgbm)、梯度提升机(gradientboostingmachines,gbm)、lasso(leastabsoluteshrinkageandselectionoperator,lasso)、人工神经网络(artificialneuralnetworks,ann)模型等。在一些实施例中,由于不同型号的扫描设备的扫描特性不同,在相同条件下得到的成像数据不同,因此不同型号的扫描设备可以对应不同的衰减图像优化模型。相应地,针对不同型号的扫描设备采集的成像数据,在执行完步骤301和303得到初始衰减图像后,需要用与该型号扫描设备对应的衰减图像优化模型处理该初始衰减图像,得到优化衰减图像。在另一些实施例中,同一型号的扫描设备的不同扫描条件也具有不同扫描特性,因此同一型号的扫描设备的不同扫描条件也可以对应不同的衰减图像优化模型。通过机器学习模型对初始衰减图像进行优化,可以显著提升衰减图像的准确性。

在一些实施例中,优化衰减图像可以反映目标对象的结构。例如,可以反映组织器官的解剖结构。医生通过优化衰减图像可以分析得到目标对象的结构信息。例如,可以根据优化衰减图像确定目标对象的第二模态图像。第二模态图像可以是反映目标对象结构的图像,如ct图像、mr图像等。例如,在基于pet数据通过上述步骤得到目标对象的优化衰减图像后,可以将该优化衰减图像转换为伪ct图像或mr图像。这样就可以在患者免受ct或mr等额外扫描的情况下获取患者的结构信息。进一步地,还可以结合pet功能图像掌握目标对象的代谢信息,这种对结构信息和代谢信息的共同分析可以提高诊断质量。在另一些实施例中,可以根据优化衰减图像对步骤301中获取的第一模态图像数据进行衰减校正,得到经衰减校正的第一模态图像,例如可以得到经衰减校正的pet图像、spect图像。

图4为根据本申请一些实施例所示衰减图像优化系统的模块图。该系统400包括获取模块410、初始衰减图像确定模块420以及衰减图像优化模块430。

获取模块410可以用于获取数据。在一些实施例中,获取模块410可以获取目标对象的第一模态图像数据。目标对象可以是人体或动物。第一模态图像数据可以是三维图像和/或二维图像数据。在一些实施例中,获取模块410可以从扫描仪110、用户终端130、存储设备150或其他外部数据源处获取第一模态图像数据。

在一些实施例中,获取模块410可以获取用于训练衰减图像优化模型的训练集。训练集包括多个样本对,样本对包括样本初始衰减图像和与样本初始衰减图像对应的真实衰减图像。在一些实施例中,样本初始衰减图像可以通过如下方法获得:获取样本第一模态图像数据;基于样本第一模态图像数据,利用第一图像重建算法生成样本初始衰减图像。

初始衰减图像确定模块420可以用于确定目标对象的初始衰减图像。在一些实施例中,初始衰减图像确定模块420可以基于目标对象的第一模态图像数据,利用第一图像重建算法生成目标对象的初始衰减图像。第一图像重建算法包括但不限于mlaa算法、mlacf算法、mltr算法等。

衰减图像优化模块430可以用于确定目标对象的优化衰减图像。在一些实施例中,衰减图像优化模块430可以利用机器学习模型处理所述目标对象的初始衰减图像,得到目标对象的优化衰减模块。具体地,机器学习模型为衰减图像优化模型,模型的输入为初始衰减图像,模型的输出可以取决于模型训练时所采用的参考标准(groundtruth)的类型。例如,模型的输出可以直接是目标对象的优化衰减图像;或者,模型的输出也可以是目标对象的初始衰减图像与优化衰减图像之间的差值,根据该差值以及初始衰减图像可以计算得到目标对象的优化衰减图像;又或者,模型的输出也可以是目标对象的结构图像(如ct图像),根据结构图像与衰减图像之间的对应关系,可以将目标对象的结构图像转换为目标对象的优化衰减图像,或者直接将模型输出的结构图像作为所述优化衰减图像。

应当理解,图4所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。

需要注意的是,以上对于衰减图像优化系统400及其模块的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,在一些实施例中,图4中披露的获取模块410、初始衰减图像确定模块420、衰减图像优化模块430可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。又例如,衰减图像优化系统400还可以包括通信模块,用来与其他部件通信。衰减图像优化系统400中各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本申请的保护范围之内。

图5为根据本申请一些实施例所示的衰减图像优化方法的示例性流程图。

步骤501,获取目标对象的第一模态图像数据。步骤501与图3中的步骤301类似,此处不再赘述。

步骤503,基于所述目标对象的第一模态图像数据,利用第一图像重建算法生成所述目标对象的初始衰减图像。仅作为示例,第一模态图像数据可以是pet数据,第一图像重建算法可以包括mlaa算法、最大似然校正因子(maximum,mlacf)算法、最大似然投射重建(maximumlikelihoodtransmissionreconstruction,mltr)算法等。以第一图像重建算法是mlaa算法为例,需要首先给活度图和/或衰减图赋初值(例如公式(1)和(2)中的),然后通过公式(1)和(2)的若干轮迭代生成目标对象的初始衰减图。步骤503与步骤303类似,此处不再赘述。

步骤505,用衰减图像优化模型处理所述目标对象的初始衰减图像,得到模型处理后的衰减图像。步骤505与图3中的步骤305类似,不同之处在于步骤305中将模型处理后的图像作为目标对象的优化衰减图像,而步骤505中得到模型处理后的衰减图像后,还需要进行后续步骤判断是否将该模型处理后的衰减图像确定为最终的优化衰减图像。

步骤507,判断是否达到设定迭代条件。

在一些实施例中,设定迭代条件可以是迭代次数达到设定迭代次数。设定迭代次数可以根据经验确定,例如,可以为1次、2次、3次、4次、5次等。或者,设定迭代次数也可以根据衰减图像优化模型的训练结果确定。例如,衰减图像优化模型的训练为迭代训练过程,根据训练结果可以确定设定迭代次数。有关衰减图像优化模型的迭代训练的更多内容可以参见图7及其描述,此处不再赘述。

在一些实施例中,设定迭代条件可以是本轮迭代得到的模型处理后的衰减图像与上轮迭代得到的模型处理后的衰减图像之间的差异小于设定差异阈值。所述差异可以通过比较两个图像的至少部分对应像素的差值得到。在一些实施例中,可以逐像素地比较两个图像的差异。例如,可以对两个图像所有对应像素的差值的绝对值求平均值,将该平均值确定为两个图像的所述差异。又例如,可以对两个图像所有对应像素的差值的平方求平均值,将该平均值确定为所述差异。需要说明的是,以上确定差异的方法仅为示例,还可以采用其他任何方法来确定所述差异。在一些实施例中,所述差异阈值可以取决于不同的差异确定方法。所述设定差异阈值可以由人工设定,也可以由计算机自动设定。

如果没有达到设定迭代条件,则进行步骤509;如果达到设定迭代条件,则进行步骤511。

步骤509,基于所述模型处理后的衰减图像,利用所述第一图像重建算法生成更新后的所述目标对象的初始衰减图像。以第一图像重建算法是mlaa算法为例,可以将步骤505中模型处理后的衰减图像作为mlaa算法中的衰减图初值(即),再通过公式(1)和(2)的若干轮迭代生成更新后的目标对象的初始衰减图。步骤509后返回步骤505,用衰减图像优化模型处理更新后的目标对象的初始衰减图。

步骤511,将最后一轮迭代衰减图像优化模型处理后的衰减图像确定为所述目标对象的优化衰减图像。

在一些实施例中,可以根据目标对象的优化衰减图像确定目标对象其他类型的结构图像,例如,ct图像、mr图像。具体地,可以通过查询高能光子能量/衰减表可以获取ct图像与衰减图像之间的对应关系,从而将目标对象的优化衰减图像转换成ct图像。

在一些实施例中,还可以根据目标对象的优化衰减图像确定目标对象的药物分布图(也称为“示踪剂浓度分布图”或“示踪剂活度图”)。以mlaa算法为例,可以根据最后一轮迭代得到的衰减图像通过公式(1)和公式(2)计算得到目标对象的药物分布图

图6为根据本申请一些实施例所示的衰减图像优化模型训练方法的示例性流程图。在一些实施例中,该方法600可以由处理设备140执行,也可以在另外的设备上进行,再将训练好的模型应用到处理设备140上。

步骤601,获取训练集,所述训练集包括多个样本对,样本对包括样本初始衰减图像和与样本初始衰减图像对应的真实衰减图像。

在一些实施例中,样本初始衰减图像可以通过如下方法获得:获取样本第一模态图像数据;基于样本第一模态图像数据,利用第一图像重建算法生成样本初始衰减图像。

样本第一模态图像数据可以是二维图像数据或三维图像数据。在一些实施例中,样本第一模态图像数据可以与人或动物的整体或部分器官或组织相关。以样本第一模态数据为pet数据为例,样本pet数据可以包括符合事件数据、单事件数据、随机事件数据、散射事件数据等。可以理解,不同型号的pet设备可能具有不同的特性,相同条件下采集到的pet数据也会有所差异。因此,在一些实施例中,针对某一型号的pet扫描设备,需要使用与该型号pet设备对应的样本pet数据来训练模型。甚至,同一型号的pet设备在不同扫描条件下采集到的pet数据也会有所差异。因此,在另一些实施例中,针对某一型号pet设备的某一扫描条件,需要使用与该型号pet设备的该扫描条件对应的样本pet数据来训练模型。类似地,对于spect数据,也可以根据不同扫描设备型号和/或扫描条件训练不同的模型。

在一些实施例中,样本pet数据包括扫描设备实际采集的pet数据。例如,可以从医疗机构处获取过去一段时间内接受pet检查的患者的pet数据。

在一些实施例中,样本pet数据可以是模拟数据。可以理解,pet数据的数据量较大,受限于存储空间,实际采集的pet数据有限。另外,如上文所述,针对特定型号的pet设备,甚至是针对特定型号pet设备的特定扫描条件,需要用对应的样本pet数据训练模型。然而,通过实际扫描获取的满足条件的pet数据数量有限。因此,本申请中通过采用模拟数据的方法来增加样本数量。生成模拟pet数据的方法可以为现有技术中的任一种方法,本申请并不对此做出限制。在一些实施例中,可以通过投影重建模型重建已有的图像数据生成模拟pet数据。例如,对于某一型号的pet设备,确定其投影重建模型,基于已有的实际扫描图像,利用该投影重建模型生成该型号pet设备的模拟pet数据。已有的实际扫描图像可以是其他型号pet设备扫描得到的图像。在一些实施例中,已有的实际扫描图像可以包括pet图像,也可以包括与pet图像对应的结构图像(如ct图像、mr图像)。在一些实施例中,还可以通过在生成模拟pet数据的过程中加入泊松过程(poissonprocess)以获取不同扫描条件(如扫描时间)下的模拟pet数据。类似地,对于spect数据,也可以通过实际扫描获取样本数据,或者采用模拟数据的方法来增加样本数量。

真实衰减图像可以反映被扫描对象的衰减特性。在一些实施例中,真实衰减图像可以基于实际采集的结构图像数据得到。例如,可以根据实际采集到的ct图像、mr图像等确定真实衰减图像。以ct图像为例,对于同一被扫描对象,其ct图像和衰减图像的差别在于使用的光子能量不同,ct图像所使用的光子能量为120kev(即x光子的能量),衰减图像使用的光子能量为511kev(即γ光子的能量),通过查询高能光子能量/衰减表可以获取两者之间的对应关系,从而将实际采集的ct图像转换为真实衰减图像。ct图像与对应真实衰减图之间的关系可以表示如下:

其中,y为ct图像,z为真实衰减图像。

样本初始衰减图像与真实衰减图像的关系如公式(6):

z=x+ε(6)

其中,x为样本初始衰减图,ε为样本初始衰减图x与对应的真实衰减图像之间的差值。

在一些实施例中,真实结构图像可以与对应的样本pet数据同时获得。例如,可以通过一次pet/ct扫描同时获得被扫描对象的pet数据和对应的ct图像;或者,可以通过一次pet/mr扫描同时获得被扫描对象的pet数据和对应的mr图像。

步骤603,利用所述训练集进行模型训练,得到衰减图像优化模型。仅作为示例,可以以样本初始衰减图像作为输入,以与样本初始衰减图像对应的真实衰减图像作为参考标准(groundtruth)对模型进行训练。同时可以根据模型的预测输出与参考标准之间的差异反向调整模型参数。以卷积神经网络模型为例,可以调整模型中卷积层、全连接层中的权重等模型参数。当满足某一预设条件时,例如,训练样本数达到预定的数量,或者模型的预测正确率大于某一预定正确率阈值,或损失函数(lossfunction)的值小于某一预设值,训练过程将停止,并将训练后的模型指定为衰减图像优化模型。

在一些实施例中,可以将样本初始衰减图像和真实衰减图像分割,用分割后的图像进行模型训练。具体地,可以将分割后的样本初始衰减图像作为模型的输入,将分割后的真实衰减图像作为参考标准对模型进行训练。可以理解,通过分割的方式,可以增加样本数量,从而使模型训练的效果更好。分割方式可以取决于图像类型。例如,对于二维图像来说,可以将其分割为至少两个二维图像。对于三维图像来说,可以将其分割成至少两个三维图像,例如分割成50×50×50的三维图像;也可以分割成至少两个二维图像,例如分割成255×255×1的二维图像。分割方式可以由人工设定,也可以由计算机自动设定。

需要注意的是,尽管以上描述了将真实衰减图像(如式(5)、式(6)中的z)或分割后的真实衰减图像作为参考标准进行模型训练,但如式(5)和式(6)所示,真实衰减图像与实际采集的结构图像、样本初始衰减图像与对应的真实衰减图像之间的差值可以互相转换。因此,在另一些实施例中,也可以将样本初始衰减图像与对应的真实衰减图像之间的差值(如式(6)中的ε)作为参考标准进行模型训练,用训练后的模型处理目标对象的初始衰减图像,可以输出目标对象的初始衰减图像与真实衰减图像的差值,再将该差值转换成目标对象的真实衰减图像;或者,也可以将实际采集的结构图像(如式(5)中的y)作为参考标准进行模型训练,用训练后的模型处理目标对象的初始衰减图,可以输出目标对象的结构图像,再将该结构图像转换成目标对象的真实衰减图像。

在一些实施例中,可以采用迭代训练的方法进行模型训练,得到衰减图像优化模型。有关迭代训练的更多内容可以参见图7及其描述。

图7为根据本申请一些实施例所示的衰减图像优化模型迭代训练方法的示例性流程图。在一些实施例中,该方法700可以由处理设备140执行,也可以在另外的设备上进行,再将训练好的模型应用到处理设备140上。

步骤701,获取训练集,所述训练集包括多个样本对,样本对包括样本初始衰减图像和与样本初始衰减图像对应的真实衰减图像。步骤701与图6中的步骤601类似,此处不再赘述。

步骤703,利用样本初始衰减图像和真实衰减图像进行模型训练,得到训练后模型。在一些实施例中,可以以样本初始衰减图像作为输入,以与样本初始衰减图像对应的真实衰减图像作为参考标准对模型进行训练,得到训练后模型。在一些实施例中,也可以将样本初始衰减图像和真实衰减图像分割,用分割后的图像进行模型训练。步骤703与图6中的步骤603类似,此处不再赘述。

步骤705,判断训练后模型输出的图像与真实衰减图像之间的差异是否满足设定条件。在一些实施例中,所述设定条件可以是所述差异小于设定差异阈值。所述差异可以通过比较两个图像的至少部分对应像素的差值得到。在一些实施例中,可以逐像素地比较两个图像的差异。例如,可以对两个图像所有对应像素的差值的绝对值求平均值,将该平均值确定为两个图像的所述差异。又例如,可以对两个图像所有对应像素的差值的平方求平均值,将该平均值确定为所述差异。需要说明的是,以上确定差异的方法仅为示例,还可以采用其他任何方法来确定所述差异。

如果所述差异不满足设定条件,则进行步骤707;如果所述差异满足设定条件,则进行步骤709。

步骤707,基于所述训练后模型的输出图像,利用第一图像重建算法生成更新后的样本初始衰减图像。以第一图像重建算法是mlaa算法为例,可以将步骤705中训练后模型输出的图像作为mlaa算法中的衰减图初值(即),再通过公式(1)和(2)的若干轮迭代生成更新后的样本初始衰减图。步骤707后再返回步骤703,用更新后的样本初始衰减图像和真实衰减图像进行模型训练。

步骤709,至少根据最后一轮迭代的模型训练结果确定衰减图像优化模型。

在一些实施例中,可以将最后一轮迭代的模型训练结果确定为衰减图像优化模型。在另一些实施例中,也可以结合每一轮迭代的模型训练结果确定衰减图像优化模型。例如,将第一轮迭代的模型训练结果确定为第一衰减图像优化模型,将第二轮迭代的模型训练结果确定为第二衰减图像优化模型,将第三轮迭代的模型训练结果确定为第三衰减图像优化模型等,这些图像优化模型可以分别用于图5中对应轮次的迭代中。

在一些实施例中,还可以在每轮迭代中更新迭代次数,并将最终的迭代轮次确定为设定迭代次数。该设定迭代次数可以作为图5的步骤507中的设定迭代条件。

本申请实施例可能带来的有益效果包括但不限于:(1)将衰减图像重建算法与机器学习模型结合,直接根据pet、spect等功能像数据得到能够反映患者结构的衰减图像,使患者免受ct或mr等额外扫描;(2)通过机器学习模型对衰减图像进行优化,显著提升了衰减图像的准确性。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、rf、或类似介质,或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等,常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap,动态编程语言如python、ruby和groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(lan)或广域网(wan),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(saas)。

此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。

同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1