图像处理方法/系统、计算机可读存储介质及电子设备与流程

本发明属于医学图像处理技术领域，涉及一种处理方法/系统，特别是涉及一种图像处理方法/系统、计算机可读存储介质及电子设备。

背景技术：

随着医学影像设备的发展以及各种医学成像模式的出现，多模态医学图像的配准和融合已成为影像医学领域的重要技术。

例如，ct(computedtomography)医学图像，即电子计算机断层扫描图像，它是利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：x射线ct(x-ct)、超声ct(uct)以及γ射线ct(γ-ct)等。

例如，mri图像磁共振成像是断层成像的一种，它利用磁共振现象从人体中获得电磁信号,并重建出人体信息。1946年斯坦福大学的flelixbloch和哈佛大学的edwardpurcell各自独立的发现了核磁共振现象。磁共振成像技术正是基于这一物理现象。1972年paullauterbur发展了一套对核磁共振信号进行空间编码的方法，这种方法可以重建出人体图像。磁共振成像技术与其它断层成像技术(如ct)有一些共同点，比如它们都可以显示某种物理量(如密度)在空间中的分布；同时也有它自身的特色，磁共振成像可以得到任何方向的断层图像，三维体图像，甚至可以得到空间－波谱分布的四维图像。

但是，目前医学图像之间的自动配准算法误差大，且基于傅里叶变换和小波变换存在的信息容易丢失及输出延时，无法实现医学图像之间的快速，准确配准和融合。

因此，如何提供一种图像处理方法/系统、计算机可读存储介质及电子设备，以解决现有技术自动配准算法误差大，且信息容易丢失及延时输出，无法实现医学图像之间的快速，准确配准和融合等缺陷，实以成为本领域从业人员亟待解决的技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理方法/系统、计算机可读存储介质及电子设备，用于解决现有技术中自动配准算法误差大，且信息容易丢失及延时输出，无法实现医学图像之间的快速，准确配准和融合的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种一种图像处理方法，所述医学图像处理方法包括以下步骤：获取第一图像和第二图像上的标志点；所述第一图像上的标志点与第二图像上的标志点一一对应；基于所选取的标志点，计算由所述第一图像变换到所述第二图像的配准矩阵；通过所述配准矩阵对所述第一图像进行变换，以获取配准后的第一图像；对配准后的第一图像进行插值；在插值后的第一图像与所述第二图像中选取符合预定融合条件的像素点，以形成第一图像与第二图像的融合图像。

于本发明的一实施例中，所述计算由所述第一图像变换到所述第二图像的配准矩阵的步骤包括：建立所述第一图像上的标志点与第二图像上的标志点之间的配准模型；利用最小二乘法处理所述配准模型，以求解出所述配准矩阵；所述配准矩阵由旋转矩阵和平移矩阵构成。

于本发明的一实施例中，所述利用最小二乘法处理所述配准模型的步骤包括：计算第一图像上的标志点变换到对应于第二图像上的标志点的误差；最小化所述误差，以求解出所述配准矩阵。

于本发明的一实施例中，所述对配准后的第一图像进行插值的步骤包括：将第二图像的像素点的空间坐标对应到所述第一图像上，以查找第一图像上的对应像素点；通过线性插值，计算所述对应像素点的灰度值；将计算得到的对应像素点的灰度值赋值到第一图像上，形成插值后的第一图像。

于本发明的一实施例中，所述将第二图像的像素点的空间坐标对应到所述第一图像上的步骤包括：根据第一图像的像素间距，计算所述第二图像在第一图像中的像素点索引号。

于本发明的一实施例中，所述在插值后的第一图像与所述第二图像中选取符合预定融合条件的像素点的步骤包括：将所述第二图像分类为若干类别第二图像；将插值后的第一图像上各个像素点的灰度值与若干类别第二图像上各个像素点的灰度值一一对比，并在两者之间选取最大的灰度值，将具有最大灰度值的像素点定义为符合预定融合条件的像素点；将符合预定融合条件的像素点与第一图像融合，形成第一图像与第二图像的融合图像。

于本发明的一实施例中，所述第一图像为ct医学图像；所述第二图像为mri医学图像。

本发明另一方面提供一种图像处理系统，所述图像处理系统包括：标志点获取模块，用于获取第一图像和第二图像上的标志点；所述第一图像上的标志点与第二图像上的标志点一一对应；处理模块，用于基于所选取的标志点，计算由所述第一图像变换到所述第二图像的配准矩阵；配准模块，用于通过所述配准矩阵对所述第一图像进行变换，以获取配准后的第一图像；插值模块，用于对配准后的第一图像进行插值；融合模块，用于在插值后的第一图像与所述第二图像中选取符合预定融合条件的像素点，以形成第一图像与第二图像的融合图像。

本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述图像处理方法。

本发明最后一方面提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述图像处理方法。

如上所述，本发明的图像处理方法、系统、计算机可读存储介质及电子设备，具有以下有益效果：

本发明所述的图像处理方法、系统、计算机可读存储介质及电子设备通过采用手动选取若干标志点的方法，基于landmark(标志点)配准算法，保证了配准的准确性，再根据像素的灰度值调整融合图像像素点的像素值，过程简便，在保证所获得有效信息的同时，实现了ct与mri图像的快速融合。

附图说明

图1a显示为本发明的图像处理方法于一实施例中的流程示意图。

图1b显示为本发明的图像处理方法中s12的流程示意图。

图1c显示为本发明的图像处理方法中s14的流程示意图。

图1d显示为本发明的图像处理方法中s15的流程示意图。

图2显示为本发明的图像处理系统于一实施例中的原理结构示意图。

元件标号说明

2图像处理系统

21标志点获取模块

22处理模块

23配准模块

24插值模块

25融合模块

26图像输出模块

s11～s16步骤

s121～s122步骤

s141～s143步骤

s151～s154步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

本实施例提供一种图像处理方法，所述医学图像处理方法包括以下步骤：

获取第一图像和第二图像上的标志点；所述第一图像上的标志点与第二图像上的标志点一一对应；

基于所选取的标志点，计算由所述第一图像变换到所述第二图像的配准矩阵；

通过所述配准矩阵对所述第一图像进行变换，以获取配准后的第一图像；

对配准后的第一图像进行插值；

在插值后的第一图像与所述第二图像中选取符合预定融合条件的像素点，以形成第一图像与第二图像的融合图像。

以下将结合图示对本实施例所提供的图像处理方法进行详细描述。请参阅图1a，显示为图像处理方法于一实施例中的流程示意图。在本实施例中，第一图像为ct医学图像，第二图像为mri医学图像。如图1所示，所述图像处理方法具体包括以下几个步骤：

s11，获取ct医学图像和mri医学图像上的标志点；所述ct医学图像上的标志点与mri医学图像上的标志点一一对应。标志点为ct医学图像和mri医学图像中肉眼能分辨且对应的相同组织部位。在本实施例中，为了获取准确的配准矩阵，标志点的数据至少为3个，且精确的标志点数量越多，配准误差越小。

s12，基于所选取的标志点，计算由所述ct医学图像变换到所述mri医学图像的配准矩阵。请参阅图1b，显示为s12的流程示意图。如图1b所示，所述s12包括以下几个步骤：

s121，建立所述ct医学图像上的标志点与mri医学图像上的标志点之间的配准模型。

例如，在ct医学图像和mri医学图像分别选取了n个对应的相同组织部位的标志点，即ct医学图像上的标志点为qi和mri医学图像上的标志点为pi。

所述ct医学图像上的标志点与mri医学图像上的标志点之间的配准模型为：

pi＝sr(qi)+r0公式(1)

其中，s为缩放因数，ct医学图像和mri医学图像的配准为刚性配准，s＝1；r(qi)为3×3的旋转矩阵；r0为位移向量。所述旋转矩阵表示绕空间x轴，y轴，z轴旋转的角度信息。

[p1,p2,…,pi,…,pn]＝t[q1，q2，…，qi,…,qn]公式(2)

其中，t为配准矩阵。

s122，利用最小二乘法处理所述配准模型，以求解出所述配准矩阵；所述配准矩阵由旋转矩阵和平移矩阵构成。

计算ct医学图像qi变换到对应于mri医学图像pi的误差ei如公式(3)所示。

ei＝pi-sr(qi)-r0公式(3)

最小化所述误差ei，以求解出所述配准矩阵t。

具体地，最小化所述误差

s13，通过所述配准矩阵对所述ct医学图像进行变换，以获取配准后的ct医学图像。

s14，对配准后的ct医学图像进行插值。请参阅图1c，显示为s14的流程示意图。如图1c所示，所述s14具体包括以下几个步骤：

s141，将mri医学图像的像素点的空间坐标对应到所述配准后的ct医学图像上，以查找配准后的ct医学图像上的对应像素点。

具体地，根据ct医学图像的像素间距，计算所述mri医学图像中像素点的索引号。

例如，mri医学图像中某像素点坐标p(x，y，z)，ct医学图像的像素间距为s(s1，s2，s3)，计算出所述mri医学图像在ct医学图像的像素点索引号(m，n，l)，即(m，n，l)＝取整(x/s1，y/s2，z/s3)。

根据所述mri医学图像在ct医学图像的像素点索引号(m，n，l)，查找出第一图像上的对应像素点的像素值为f(x，y，z)。

s142，通过线性插值，计算所述对应像素点的灰度值h(x，y，z)。

具体地，ct医学图像上的对应像素点f(x，y，z)在x方向进行线性插值，得到：

ct医学图像上的对应像素点f(x，y，z)在y方向进行线性插值，得到：

根据ct医学图像上的对应像素点f(x，y，z)在x方向进行线性插值q1和ct医学图像上的对应像素点f(x，y，z)在y方向进行线性插值q2，计算出所述对应像素点的灰度值h(x，y，z)。

s143，将计算得到的对应像素点的灰度值h(x，y，z)赋值到ct医学图像上，形成插值后的ct医学图像。

s15，在插值后的ct医学图像与所述mri医学图像中选取符合预定融合条件的像素点，以形成ct医学图像与mri医学图像的融合图像。请参阅图1d，显示为步骤s15的流程示意图。如图1d所示，所述s15具体包括以下步骤：

s151，将所述mri医学图像分类为若干类别mri医学图像。在本实施例中，3个类别mri医学图像为mra类医学图像，t1医学图像，t2医学图像。

其中，mra类医学图像代表的是患者打了造影剂后所获得的mra医学图像，t1医学图像和t2医学图像是拍摄mri医学图像时设置的两种参数，参数不同得到的mri医学图像就不同。

s152，利用三种可调参数(三种可调参数为a，b，c为经验值)分别对mri医学图像，t1医学图像和t2医学图像进行调整，获取到mra调整医学图像，t1调整医学图像和t2调整医学图像。

s153，将插值后的ct医学图像上各个像素点的灰度值分别与mra调整医学图像，t1调整医学图像和t2调整医学图像上各个像素点的灰度值一一对比，并在两者之间选取最大的灰度值，将具有最大灰度值的像素点定义为符合预定融合条件的像素点。

具体地，插值后的ct医学图像上各个像素点的灰度值定义为ci，mra调整医学图像上各个像素点的灰度值定义为c(mra+a)，t1调整医学图像上各个像素点的灰度值定义为c(t1+b)，t2调整医学图像上各个像素点的灰度值定义为c(t2+c)，符合预定融合条件的像素点定义为ki。在本实施例中，所述预定融合条件为

s154，将符合预定融合条件的像素点与插值后的ct医学图像融合，形成插值后的ct医学图像与mri医学图像的融合图像。

s16，将所述融合图像输出。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例所述的图像处理方法及计算机可读存储介质通过采用手动选取若干标志点的方法，基于landmark(标志点)配准算法，保证了配准的准确性，再根据像素的灰度值调整融合图像像素点的像素值，过程简便，在保证所获得有效信息的同时，实现了ct与mri图像的快速融合。

实施例二

本实施例提供一种图像处理系统，所述图像处理系统包括：

标志点获取模块，用于获取第一图像和第二图像上的标志点；所述第一图像上的标志点与第二图像上的标志点一一对应；

处理模块，用于基于所选取的标志点，计算由所述第一图像变换到所述第二图像的配准矩阵；

配准模块，用于通过所述配准矩阵对所述第一图像进行变换，以获取配准后的第一图像；

插值模块，用于对配准后的第一图像进行插值；

融合模块，用于在插值后的第一图像与所述第二图像中选取符合预定融合条件的像素点，以形成第一图像与第二图像的融合图像。

以下将结合图示对本实施例所提供的图像处理系统进行详细描述。需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsingnalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。

请参阅图2，显示为图像处理系统于一实施例中的原理结构示意图。如图2所示，所述图像处理系统2包括：标志点获取模块21、处理模块22、配准模块23、插值模块24、融合模块25、及图像输出模块26。

所述标志点获取模块21用于获取ct医学图像和mri医学图像上的标志点；所述ct医学图像上的标志点与mri医学图像上的标志点一一对应。标志点为ct医学图像和mri医学图像中肉眼能分辨且对应的相同组织部位。

与所述标志点获取模块21耦合的处理模块22用于基于所选取的标志点，计算由所述ct医学图像变换到所述mri医学图像的配准矩阵。

具体地，所述处理模块22具体用于建立所述ct医学图像上的标志点与mri医学图像上的标志点之间的配准模型。

例如，在ct医学图像和mri医学图像分别选取了n个对应的相同组织部位的标志点，即ct医学图像上的标志点为qi和mri医学图像上的标志点为pi；利用最小二乘法处理所述配准模型，以求解出所述配准矩阵。所述配准矩阵由旋转矩阵和平移矩阵构成。

所述ct医学图像上的标志点与mri医学图像上的标志点之间的配准模型为：

pi＝sr(qi)+r0

其中，s为缩放因数，ct医学图像和mri医学图像的配准为刚性配准，s＝1；r(qi)为3×3的旋转矩阵；r0为位移向量。所述旋转矩阵表示绕空间x轴，y轴，z轴旋转的角度信息。

[p1,p2,…,pi,…,pn]＝t[q1，q2，…，qi,…,qn]

其中，t为配准矩阵。

所述处理模块22用于计算ct医学图像qi变换到对应于mri医学图像pi的误差ei，最小化所述误差ei，以求解出所述配准矩阵t。

其中，ei＝pi-sr(qi)-r0；最小化所述误差

与所述处理模块22耦合的配准模块23用于通过所述配准矩阵对所述ct医学图像进行变换，以获取配准后的ct医学图像。

与所述配准模块23耦合的插值模块24用于对配准后的ct医学图像进行插值。所述插值模块24具体用于将mri医学图像的像素点的空间坐标对应到所述配准后的ct医学图像上，以查找配准后的ct医学图像上的对应像素点；通过线性插值，计算所述对应像素点的灰度值；将计算得到的对应像素点的灰度值赋值到ct医学图像上，形成插值后的ct医学图像。

具体地，所述插值模块24根据ct医学图像的像素间距，计算所述mri医学图像中像素点的索引号。

例如，mri医学图像中某像素点坐标p(x，y，z)，ct医学图像的像素间距为s(s1，s2，s3)，计算出所述mri医学图像在ct医学图像的像素点索引号(m，n，l)，即(m，n，l)＝取整(x/s1，y/s2，z/s3)。

根据所述mri医学图像在ct医学图像的像素点索引号(m，n，l)，查找出第一图像上的对应像素点的像素值为f(x，y，z)。

所述插值模块24通过线性插值，计算所述对应像素点的灰度值h(x，y，z)。

具体地，ct医学图像上的对应像素点f(x，y，z)在x方向进行线性插值，得到：

ct医学图像上的对应像素点f(x，y，z)在y方向进行线性插值，得到：

根据ct医学图像上的对应像素点f(x，y，z)在x方向进行线性插值q1和ct医学图像上的对应像素点f(x，y，z)在y方向进行线性插值q2，计算出所述对应像素点的灰度值h(x，y，z)。

所述插值模块24将计算得到的对应像素点的灰度值h(x，y，z)赋值到ct医学图像上，形成插值后的ct医学图像。

与所述插值模块24耦合的融合模块25用于在插值后的ct医学图像与所述mri医学图像中选取符合预定融合条件的像素点，以形成ct医学图像与mri医学图像的融合图像。

具体地，所述融合模块25将所述mri医学图像分类为若干类别mri医学图像。在本实施例中，3个类别mri医学图像为mra类医学图像，t1医学图像，t2医学图像。

其中，mra类医学图像代表的是患者打了造影剂后所获得的mra医学图像，t1医学图像和t2医学图像是拍摄mri医学图像时设置的两种参数，参数不同得到的mri医学图像就不同。

在分为若干类别mri医学图像后，所述融合模块25利用三种可调参数(三种可调参数为a，b，c为经验值)分别对mri医学图像，t1医学图像和t2医学图像进行调整，获取到mra调整医学图像，t1调整医学图像和t2调整医学图像。

在调整后，所述融合模块25将插值后的ct医学图像上各个像素点的灰度值分别与mra调整医学图像，t1调整医学图像和t2调整医学图像上各个像素点的灰度值一一对比，并在两者之间选取最大的灰度值，将具有最大灰度值的像素点定义为符合预定融合条件的像素点。

具体地，插值后的ct医学图像上各个像素点的灰度值定义为ci，mra调整医学图像上各个像素点的灰度值定义为c(mra+a)，t1调整医学图像上各个像素点的灰度值定义为c(t1+b)，t2调整医学图像上各个像素点的灰度值定义为c(t2+c)，符合预定融合条件的像素点定义为ki。在本实施例中，所述预定融合条件为

在选取符合预定融合条件的像素点ki后，所述融合模块25将符合预定融合条件的像素点与第一图像融合，形成第一图像与第二图像的融合图像。

与所述融合模块25耦合的图像输出模块26用于将所述融合模块25融合的图像予以输出。

实施例三

本实施例提供一种电子设备包括：处理器、存储器、收发器、通信接口和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上图像处理方法的各个步骤s11至s16。

上述提到的系统总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明所述的图像处理方法、系统、计算机可读存储介质及电子设备通过采用手动选取若干标志点的方法，基于landmark(标志点)配准算法，保证了配准的准确性，再根据像素的灰度值调整融合图像像素点的像素值，过程简便，在保证所获得有效信息的同时，实现了ct与mri图像的快速融合。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。