一种医学影像变形和标注方法与流程

本发明属于医学图像处理领域，尤其涉及一种用于描述病理特征渐进变化的医学影像变形和标注方法。

背景技术：

医学影像通过利用不同的成像技术和成像原理，将人体组织器官、解剖结构、生理功能和病理变化以影像的方式表达出来。常见的医学影像包括x射线，计算机断层扫描(computedtomography，ct)，超声，磁共振(magneticresonanceimaging，mri)，正电子发射型计算机断层显像(positronemissiontomography，pet)和单光子发射计算机断层成像术(single-photonemissioncomputedtomography，spect)。这些影像除了提供解剖结构和病理变化的信息外，还可提供器官功能、生物化学、新陈代谢等复杂的、微观的或者动态信息。近年来，随着核医学技术、仪器的不断发展与新的脑显像剂的成功研制，核医学分子影像发展十分迅速，在临床诊治中取得令人瞩目的成就。

许多疾病具有长期渐进变化发展的特点，例如神经退行性疾病和肿瘤等。以阿尔茨海默病(alzheimerdisease，ad)为例，这是一种以认知功能障碍、日常生活能力下降及精神行为异常为特征的神经系统退行性变性疾病。ad常发于老年及老年前期，隐匿起病且病情呈进行性，尤以记忆障碍最为突出，是老年期痴呆中最常见的一种类型，已经成为导致老年人死亡的第四大病因。随着人口老龄化的不断加剧，ad的发病率及患病率逐年呈明显上升趋势，ad的防治已经成为全球关注的热点问题。

对阿尔茨海默病患者而言，pet通过显像受体代谢及空间分布的定位与定量变化，获得定量或半定量人脑受体与配体特异性结合浓度、密度及功能。在记忆力明显下降等临床症状出现之前十年左右，就可以观察到早期病理特征的改变。pet显像结合神经心理学测验可以早期诊断阿尔茨海默病，提高诊断的准确性，为早期预防和治疗提供依据，从而延缓病程进展、提高患者生活质量。

对于病情发展时间较长的疾病(例如阿尔茨海默病，肿瘤等)来说，患者的病理特征是渐进变化的，医生对患者进行检验检查和诊疗过程的时间较长(从数月、数年甚至数十年不等)。在较长的诊疗时段内，该患者将产生一系列医学图像。从时间维度来看，有些患者的病灶区域系列医学图像前后相似，有些患者的病灶区域系列医学图像前后差异较大。这些系列图像来自于不同时间、地点、设备以及不同的显像方式(包括mr,pet,ct等)，它们不仅具有来源不同的特点，更重要的是也反映了病理特征随时间变化而变化。

然而，现在医学图像的显示方式是一种静态的显示方式，没有直观显示患者病理特征的动态变化。医生在阅片的时候，缺少动态可视化手段来观察患病区域中病理特征是如何渐进变化的。

另外，患者在长期诊疗过程中，除了在不同时间点拍摄了一系列医学影像，还在诊疗过程中产生了其它一系列的检验检查、临床诊疗、问卷数据、随访数据等非影像数据。这些非影像数据的产生时间点与医学影像的产生时间点并不总是一致的，传统方式下非影像数据很难按照时间轴的顺序与医学影像做同步融合显示。对医师来说，非影像数据与影像数据之间是割裂的、孤立的关系，它们缺少整体的同步显示方式。

技术实现要素：

为了解决现有技术中的上述问题，本发明提供了一种医学影像变形和标注方法。该方法采集患者在不同时间、地点、设备以及基于不同显像方式(包括mr,pet,ct等)的一系列医学影像，针对医师指定的空间解剖区域，利用图像变形技术将一系列医学影像做图像变形，并以动态可视化的方式反映病理特征的渐进变化过程；计算图像各像素的插值变化率，对图像做伪彩色显示，以便直观显示患病区域随时间变化的动态特征；在医学影像的动态变形显示过程中，同步标注来自于不同时间点的的检验检查、临床诊疗、问卷数据、随访数据等非影像数据。

本发明采用的技术方案具体如下：

一种医学影像变形和标注方法，包括以下步骤：

步骤100：设定总体图像变形过程中一系列医学图像序列的起始图像和终止图像；对起始图像和终止图像之间的任意两个相邻图像执行后续的图像变形算法，所述相邻图像中在前的为源图像，在后的为目标图像；

步骤200：在源图像和目标图像中标记患病区域的空间特征点；

步骤300：基于所述空间特征点对源图像和目标图像做校准；

步骤400：在源图像和目标图像之间生成系列线性插值图像。

进一步地，所述步骤400具体包括：

医师设定插值图像之间的等距时间间隔为d(单位是天数)，再根据源图像istart和目标图像iend的拍摄天数差t＝tend-tstart，得到插值图像的数目为其中，符号表示向下取整，tend是目标图像的拍摄时间，tstart是源图像的拍摄时间。

设源图像和目标图像之间第j张插值图像为ij(j＝1,…,n)，则ij中每个像素点(x,y)的灰度值为：

其中istart(x,y)是源图像istart中像素点(x,y)的灰度值，iend(x,y)是目标图像iemd中像素点(x,y)的灰度值。

所述第j张插值图像ij对应的插值时间点为：

tj＝tstart+j*d，j＝1,…,n。

进一步地，对于源图像istart中的每一个像素点(x,y)来说，该像素点的插值变化率定义为：

进一步地，该方法还包括：步骤500：对图像做伪彩色显示。

进一步地，所述步骤500具体包括：

医师指定k个插值变化率阈值th1，th2，...，thk，以及k+1个颜色的三原色rgb值c1＝(r1,g1,b1),...,ck＝(rk,gk,bk),ck+1＝(rk+1,gk+1,bk+1)。对于源图像istart的每一个像素点(x,y)，计算其对应的颜色数值：

·若δi(x,y)≤th1，则以颜色c1＝(r1,g1,b1)显示该像素点(x,y)；

·......

·若thk-1＜δi(x,y)≤thk，则以颜色ck＝(rk,gk,bk)显示该像素点(x,y)；

·若δi(x,y)＞thk，则以颜色ck+1＝(rk+1,gk+1,bk+1)显示该像素点(x,y)；

在所述源图像及所述系列插值图像中，其像素点(x,y)都使用上述颜色显示。

进一步地，该方法还包括：步骤600：对所述系列插值图像做数据标注。

进一步地，将患者的检验检查、临床诊疗、问卷数据、随访数据等非影像数据所对应的各个时间点与系列插值时间点进行匹配，为每项患者数据找到与之最邻近的插值时间点，并将检验检查、临床诊疗、问卷数据、随访数据等非影像数据标注在与该插值时间点相对应的插值图像中。

进一步地，在插值图像中标注前序最近时间点对应的非影像数据，如果有新的非影像数据，则替换旧的非影像数据。

进一步地，所述步骤100中的医学图像都是灰度图。

进一步地，图像的像素灰度值为从0到255之间的整数。

本发明的有益效果是：1)针对在不同时间拍摄的静态的系列医学影像，本发明通过图像变形技术生成插值图像，使得医师能直观观察病理特征的渐进的动态的变化，而不必在各个静止图片之间切换；2)医生通过设定不同插值变化率对应的不同显示颜色，可以用伪彩色的方式直观观察具有不同变化速度的区域；3)在医学影像动态可视化的过程中，医生可以同步观察随时间变化的检验检查、临床诊疗、问卷数据、随访数据等非影像数据，实现高效的数据融合显示；4)本发明不仅适用于常见的mr,pet,ct医学影像，还适用于其它各种医学影像；5)本发明不仅适用于神经退行性疾病、肿瘤，还适用于其它各种具有长期渐进变化特性的疾病，具有良好的扩展性。

附图说明

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明方法的基本步骤流程图。

图2是标注了特征点的医学图像。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，其示出了本发明方法的基本步骤，下面对这些步骤进行详细说明。

步骤100：设定总体图像变形过程中一系列医学图像序列的起始图像和终止图像；对起始图像和终止图像之间的任意两个相邻图像执行后续的图像变形算法，所述相邻图像中在前的为源图像，在后的为目标图像。

具体的，设患者在不同时间点拍摄关于相同患病区域的一系列医学图像为i1,…ii-1,ii,ii+1,…,in，对应的图像拍摄时间分别为t1,…ti-1,ti,ti+1,…,tn。为了进行后续操作，首先需要将这些医学图像都转换为灰度图，例如图像的像素灰度值为从0到255之间的整数。

医师在上述系列图像i1,…ii-1,ii,ii+1,…,in中指定总体图像变形过程的起始图像为ip(其中1≤p≤n-1)，终止图像为iq(其中2≤q≤n)，起始图像和终止图像之间所包含的系列图像为ip,ip+1,…,iq-1,iq。

对于两两相邻的图像(ip,ip+1)，(ip+1,ip+2)，...，(iq-1,iq)，分别执行后续的图像变形算法(即后续的步骤200至步骤600)，每次图像变形的源图像istart和目标图像iend分别为：(istart,iend)＝(ip,ip+1)，(ip+1,ip+2)，...，(iq-1,iq)，即总共要执行q-p次图像变形算法。

例如：设某个患者分别在2013年2月7日，2014年6月11日，2015年3月10日，2016年5月22日，2017年4月3日，2018年1月19日，2019年7月5日就相同的患病区域分别拍摄了七张图像i1,i2,i3,i4,i5,i6,i7。医师需要观察2014--2019年期间患病区域的变化情况，则图像变形过程的总体起始图像为ip＝i2，总体终止图像为iq＝i7，后续图像变形算法所需的源图像istart和目标图像iend依次为(istart,iend)＝(i2,i3)，(i3,i4)，(i4,i5)，(i5,i6)，(i6,i7)。

步骤200：在源图像和目标图像中标记患病区域的空间特征点。

具体的，如图2所示，在源图像istart和目标图像iend中，医师分别标记三个与患病区域相关的特征点(图中分别位于上、下、右三个点)，这些特征点描述了患病区域的空间位置，不随时间的改变而改变。因此将源图像istart和目标图像iend的三个空间特征点作一一比对，就可以确定两幅图像的大小比例和空间方向的差异。

步骤300：对源图像和目标图像做校准。

对目标图像iend做旋转和比例缩放，使目标图像iend的三个空间特征点与源图像istart的三个空间特征点对齐配准，使得源图像istart和目标图像iend之间具有空间位置的一致性。为方便起见，以下将校准之后的目标图像依然称为iend。

步骤400：在源图像和目标图像之间生成系列线性插值图像。

具体的，医师设定插值图像之间的等距时间间隔为d(单位是天数，例如0.5天)，再根据源图像istart和目标图像iend的拍摄天数差t＝tend-tstart，得到插值图像的数目为其中，符号表示向下取整，tend是目标图像的拍摄时间，tstart是源图像的拍摄时间。

设源图像和目标图像之间第j张插值图像为ij(j＝1,…,n)，则ij中每个像素点(x,y)的灰度值为：

其中istart(x,y)是源图像istart中像素点(x,y)的灰度值，iend(x,y)是目标图像iemd中像素点(x,y)的灰度值。

所述第j张插值图像ij对应的插值时间点为：

tj＝tstart+j*d，j＝1,…,n

对于源图像istart中的每一个像素点(x,y)来说，该像素点的插值变化率定义为：

步骤500：对图像做伪彩色显示。

具体的，为了直观显示图像中各像素随时间变化的速率，医师指定k个插值变化率阈值th1，th2，...，thk，以及k+1个颜色的三原色rgb值c1＝(r1,g1,b1),...,ck＝(rk,gk,bk),ck+1＝(rk+1,gk+1,bk+1)。对于源图像istart的每一个像素点(x,y)，计算其对应的颜色数值：

·若δi(x,y)≤th1，则以颜色c1＝(r1,g1,b1)显示该像素点(x,y)；

·......

·若thk-1＜δi(x,y)≤thk，则以颜色ck＝(rk,gk,bk)显示该像素点(x,y)；

·若δi(x,y)＞thk，则以颜色ck+1＝(rk+1,gk+1,bk+1)显示该像素点(x,y)；

因此，在所述源图像及所述系列插值图像中，其像素点(x,y)都可以使用上述颜色显示，实现伪彩色显示。

步骤600：对所述系列插值图像做数据标注。

在系列插值图像的动态可视化过程中，将患者的检验检查、临床诊疗、问卷数据、随访数据等非影像数据所对应的各个时间点与系列插值时间点tstart,tstart+d,tstart+2d,…,tend进行匹配，为每项患者数据找到与之最邻近的插值时间点tj＝tstart+j*d，并将检验检查、临床诊疗、问卷数据、随访数据等非影像数据标注在与tj相对应的插值图像ij中。

在插值图像中标注前序最近时间点对应的非影像数据，如果有新的非影像数据，则替换旧的非影像数据。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。