字典训练及图像超分辨重建方法、系统、设备及存储介质与流程

本发明属于计算机技术领域，尤其涉及一种字典训练及图像超分辨重建方法、系统、设备及存储介质。

背景技术：

电子计算机断层扫描(computedtomography，ct)是利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作断面扫描，可用于多种疾病的检查，是我国装机量最大的医疗影像诊断设备之一。

通过低剂量的ct得到的图像分辨率低，通常会具有高噪音、较为模糊且颗粒化明显，这对于临床医学上的观察是不可靠的，非常有可能造成误诊的情况，目前为保证ct图像高分辨率，采用的是高剂量的ct，但高剂量ct会产生高强度的辐射而对病人身体产生极大的伤害，并且由于需要全采样，因此ct时间较长，同时容易出现因病人运动而引起的伪影现象。

技术实现要素：

本发明的目的在于提供一种字典训练及图像超分辨重建方法、系统、设备及存储介质，旨在解决现有技术所存在的、无法在保证ct图像质量的同时降低对病人的辐射剂量的问题。

一方面，本发明提供了一种字典获取方法，所述字典获取方法包括下述步骤：

获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；

从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；

对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；

基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；

将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；

通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；

以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；

将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中定义有所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系。

进一步的，所述第一机器学习算法具体为：决策树算法，所述决策树算法中定义了节点分裂函数，所述节点分裂函数以一依赖于所述低分辨率样本特征数据的响应函数作为约束条件。

进一步的，所述决策树算法中还定义了一依赖于所述低分辨率样本特征数据及所述高分辨率样本特征数据的质量函数。

进一步的，所述决策树算法的决策树数量及深度因需适应性选择。

另一方面，本发明还提供了一种图像超分辨重建方法，所述图像超分辨重建方法基于如上述的字典获取方法，所述图像超分辨重建方法包括：

获得低分辨率待处理图像；

利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。

进一步的，所述字典获取方法或所述图像超分辨重建方法应用于电子计算机断层扫描ct图像、正电子发射型计算机断层显像pet图像或单光子发射型计算机断层成像spect图像。

另一方面，本发明提供了一种计算系统，所述系统包括：

预处理单元，用于获得高分辨率样本图像以及与所述高分辨率样本图像对应的低分辨率样本图像；从所述高分辨率样本图像中选取高分辨率样本图像块，从所述低分辨率样本图像中选取与所述高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；对所述样本图像块对中的高分辨率样本图像块及所述低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；以及，

字典获取单元，用于基于所述高分辨率样本图像块在高分辨率字典上的稀疏表达与所述低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义所述样本图像块对数据中所述高分辨率样本特征数据与所述低分辨率样本特征数据之间的映射关系，所述映射关系依赖于所述低分辨率样本特征数据；将所述样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；通过第二机器学习算法，从所述映射关系临时最优解的集合中，确定一所述映射关系临时最优解作为映射关系最终解；以所述映射关系最终解及所述低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，所述高分辨率临时样本特征数据以及所述低分辨率样本特征数据组成临时样本图像块对数据；将所述临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出所述高分辨率字典及所述低分辨率字典，所述第三机器学习算法中建立了所述高分辨率临时样本特征数据、所述低分辨率样本特征数据、所述高分辨率字典及所述低分辨率字典的约束关系。

进一步的，所述系统还包括：

重建单元，用于获得低分辨率待处理图像；利用所述高分辨率字典及所述低分辨率字典，对所述低分辨率待处理图像进行图像超分辨重建。

另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

本发明在获得低分辨率待处理图像后，利用所获取的高、低分辨率字典对其进行图像超分辨重建，得到高分辨率成像图像，其中涉及：通过定义并机器学习相应的高、低分辨率样本特征数据之间的映射关系；对得到的多个映射关系进行机器学习分类筛选，得到一个最终的映射关系；以该最终的映射关系进行机器学习，得到相应的高、低分辨率字典。这样，可采用低辐射剂量、短ct时间成像得到的低分辨率成像图像，重建得到高分辨率图像，可减少因病人运动而引起的伪影现象的发生，从而在保证ct图像质量的同时实现快速扫描，且降低辐射剂量。

附图说明

图1是本发明实施例一提供的字典获取方法的实现流程图；

图2是本发明实施例所涉及的高分辨率样本图像；

图3是本发明实施例所涉及的低分辨率样本图像；

图4是本发明实施例四提供的图像超分辨重建方法的实现流程图；

图5是本发明实施例所涉及的高分辨率成像图像；

图6是图2中的细节a放大图；

图7是图3中的细节b放大图；

图8是图5中的细节c放大图；

图9是本发明实施例五提供的计算系统的结构示意图；

图10是本发明实施例六提供的计算系统的结构示意图；

图11是本发明实施例七提供的计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的字典获取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，获得高分辨率样本图像以及与高分辨率样本图像对应的低分辨率样本图像。

本实施例中，在进行字典获取处理前，需要准备样本图像集合，该集合中存在样本图像对，样本图像对包含针对于同一场景的相对应的高分辨率样本图像以及低分辨率样本图像，如图2及图3所示。高分辨率样本图像以及低分辨率样本图像的获得，可以通过对同一场景进行高、低剂量ct获得，或者，通过对高分辨率样本图像进行双三次插值下采样模拟图像退化，得到低分辨率样本图像，或者，通过低分辨率样本图像的超分辨重建，得到高分辨率样本图像等。不论采用何种途径得到高、低分辨率样本图像，样本图像的质量要尽可能满足期望要求，这样才能训练出符合期望的字典。

在步骤s102中，从高分辨率样本图像中选取高分辨率样本图像块，从低分辨率样本图像中选取与高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对。

本实施例中，高、低分辨率样本图像块也是相对应的，也就是说，高、低分辨率样本图像块所对应的是上述场景中的同一区域。

在步骤s103中，对样本图像块对中的高分辨率样本图像块及低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据xh及低分辨率样本特征数据xl。样本图像块对数据可为{xh，xl}。

本实施例中，可对样本图像块进行相应的高频和/或中频分量的提取，得到相应的样本特征数据，或者，对样本图像块的一阶梯度特征和/或二阶梯度特征，得到相应的样本特征数据等。

相应的，本步骤中可能还涉及需要对提取得到的数据加入相应的特征算子处理，例如：将提取得到的数据与相应的特征算子相乘，最终才得到样本特征数据。

在步骤s104中，基于高分辨率样本图像块在高分辨率字典dh上的稀疏表达与低分辨率样本图像块在对应的低分辨率字典dl上的稀疏表达一致，定义样本图像块对数据中高分辨率样本特征数据xh与低分辨率样本特征数据xl之间的映射关系w(xl)，映射关系w(xl)依赖于低分辨率样本特征数据。

本实施例中，高分辨率样本图像块在高分辨率字典dh上的稀疏表达为：

xh＝dh×α

其中，α为稀疏表达式。

而低分辨率样本图像块在低分辨率字典dl上的稀疏表达为：

xl＝dl×α

上述两个稀疏表达中，稀疏表达式α一致。

基于此，可定义样本图像块对数据中高分辨率样本特征数据xh与低分辨率样本特征数据xl之间的映射关系w(xl)，映射关系w(xl)依赖于低分辨率样本特征数据，即：

xh＝xl×w(xl)

在步骤s105中，将样本图像块对数据{xh，xl}分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一第一机器学习算法所对应的、映射关系临时最优解。

本实施例中，第一机器学习算法可以为决策树算法、k最临近(knearestneighbors，knn)算法或其他机器学习算法，可将n个样本图像块对数据{xh，xl}分成m组(n、m为自然数)样本图像块对数据组，利用第一机器学习算法对每一样本图像块对数据组进行学习，得到m个相应的映射关系w(xl)临时最优解。

在步骤s106中，通过第二机器学习算法，从映射关系w(xl)临时最优解的集合中，确定一映射关系w(xl)临时最优解作为映射关系w(xl)最终解。

本实施例中，当得到m个相应的映射关系w(xl)临时最优解时，需要从这些临时最优解中，选择一个作为映射关系w(xl)最终解，具体可通过投票选择算法，以大部分临时最优解所最接近的一临时最优解，作为映射关系最终解wbest(xl)。

在步骤s107中，以映射关系最终解wbest(xl)及低分辨率样本特征数据xl，计算得到高分辨率临时样本特征数据xh’，高分辨率临时样本特征数据xh’以及低分辨率样本特征数据xl组成临时样本图像块对数据{xh’，xl}。

本实施例中，可通过下式，得到高分辨率临时样本特征数据xh’：

xh’＝wbest(xl)×xl

在步骤s108中，将临时样本图像块对数据{xh’，xl}采用相应的第三机器学习算法进行学习，解出高分辨率字典dh及低分辨率字典dl，第三机器学习算法中定义有高分辨率临时样本特征数据xh’、低分辨率样本特征数据xl、高分辨率字典dh及低分辨率字典dl的约束关系。

本实施例中，可确定一上述约束关系的定义函数：

其中，e为高分辨率字典dh及低分辨率字典dl之间的连接矩阵，γ(e)为e的规范约束，为取l2范数。

当上述定义函数满足最小值时，即可确定出相应的高分辨率字典dh及低分辨率字典dl。

实施本实施例，获取高、低分辨率字典具体涉及：通过定义并机器学习相应的高、低分辨率样本特征数据之间的映射关系；对得到的多个映射关系进行机器学习分类筛选，得到一个最终的映射关系；以该最终的映射关系进行机器学习，得到相应的高、低分辨率字典，进而利用所获取的高、低分辨率字典对其进行图像超分辨重建，得到高分辨率成像图像。这样，可采用低辐射剂量、短ct时间成像得到的低分辨率成像图像，重建得到高分辨率图像，可减少因病人运动而引起的伪影现象的发生，从而在保证ct图像质量的同时实现快速扫描，且降低辐射剂量。另外，由于上述字典的获取与传统的、计算量偏大且运行时间过长的字典训练方法不同，本实施例的字典获取方法包含的是计算上述映射关系，计算量得到有效减少，运行时间相对偏短，可提高整体计算效率。

实施例二：

本实施例在实施例一基础上，进一步提供了如下内容：

第一机器学习算法具体为：决策树算法，该决策树算法中定义了节点分裂函数δ(xl,θ)，节点分裂函数δ(xl,θ)以一依赖于低分辨率样本特征数据xl的响应函数rθ(xl)作为约束条件，具体如下：

rθ(xl)＝xl[θ1]-θth，

其中，θth为一门限值，[·]为取xl的一维，

第一机器学习算法中还定义了一依赖于低分辨率样本特征数据xl及高分辨率样本特征数据xh的质量函数q(δ,θ,xl,xh)，由此作为特征选择的依据，具体如下：

其中，le、ri作为决策树向下分裂的左、右节点，即为根据相关的约束和条件作出的选择以达到分类器分类的效果，即：

其中，为正则表达式，σ是个选择函数，可为一个基函数，一般机器学习中需要通过定义基函数来完成分类器工作，本文中的机器学习属于弱分类器，其基函数不能过于复杂否则计算量极大，采用一般的线性函数即可。

实施例三：

本实施例在实施例二基础上，进一步提供了如下内容：

本实施例中，决策树算法的决策树数量n及深度ξmax可因需适应性选择。

在具体应用中，决策树数量n不同，得到最后结果的效果也不同，n越大效果越好，但是也会达到一个饱和状态，大概在n＝10左右即达到饱和，每个决策树的算法是相同的，其节点分裂函数δ(xl,θ)是同一个。

实施例四：

本实施例提供了一种图像超分辨重建方法，该图像超分辨重建方法基于如上述的字典获取方法，图像超分辨重建方法主要包括如图4所示的流程：

在步骤s401中，获得低分辨率待处理图像。

在步骤s402中，利用字典获取方法中获取的高分辨率字典dh及低分辨率字典dl，对低分辨率待处理图像进行图像超分辨重建。

本实施例中，对低分辨率待处理图像进行图像超分辨重建可直接利用上述字典获取方法中获取的高分辨率字典dh及低分辨率字典dl来进行处理，具体可包括：对低分辨率待处理图像进行分块、特征提取、在代价函数满足最小时得到稀疏表达式α、再由稀疏表达式α及高分辨率字典dh得到高分辨率成像图像特征数据，最终重建出高分辨率成像图像，代价函数可如下式：

其中，||·||1为取l1范数，λ为常量参数。

上述字典获取方法或图像超分辨重建方法不仅可应用于ct图像，还可以应用于正电子发射型计算机断层显像(positronemissioncomputedtomography，pet)图像或单光子发射型计算机断层成像(singlephotonemissioncomputedtomography，spect)图像等的处理。

结合图2、图3及图5，可以发现：通过本实施例的图像超分辨重建方法处理，如图3所示的低分辨率待处理图像可重建为如图5所示的高分辨率成像图像，如图5所示的高分辨率成像图像与如图2所示的高分辨率样本图像质量相当。图2、图3及图5中对应位置的细节放大图可分别参考图6、图7及图8。

对低分辨率待处理图像进行图像超分辨重建还可包括上述字典获取方法中获取的高分辨率字典dh及低分辨率字典dl的过程。

实施例五：

图9示出了本发明实施例五提供的计算系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

预处理单元901，用于获得高分辨率样本图像以及与高分辨率样本图像对应的低分辨率样本图像；从高分辨率样本图像中选取高分辨率样本图像块，从低分辨率样本图像中选取与高分辨率样本图像块对应的低分辨率样本图像块，以组成样本图像块对；对样本图像块对中的高分辨率样本图像块及低分辨率样本图像块进行特征提取，得到组成样本图像块对数据的高分辨率样本特征数据及低分辨率样本特征数据；以及，

字典获取单元902，用于基于高分辨率样本图像块在高分辨率字典上的稀疏表达与低分辨率样本图像块在对应的低分辨率字典上的稀疏表达一致，定义样本图像块对数据中高分辨率样本特征数据与低分辨率样本特征数据之间的映射关系，映射关系依赖于低分辨率样本特征数据；将样本图像块对数据分组后所得到的每个样本图像块对数据组，分别采用第一机器学习算法进行学习，得到每一所述第一机器学习算法所对应的、映射关系临时最优解；通过第二机器学习算法，从映射关系临时最优解的集合中，确定一映射关系临时最优解作为映射关系最终解；以映射关系最终解及低分辨率样本特征数据，计算得到高分辨率临时样本特征数据，高分辨率临时样本特征数据以及低分辨率样本特征数据组成临时样本图像块对数据；将临时样本图像块对数据采用相应的第三机器学习算法进行学习，解出高分辨率字典及低分辨率字典，第三机器学习算法中建立了高分辨率临时样本特征数据、低分辨率样本特征数据、高分辨率字典及低分辨率字典的约束关系。

在本发明实施例中，各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元实现上述相应方法实施例中的步骤，例如图1所示的步骤s101至s108，具体此处不再赘述。

实施例六：

本实施例在实施例五基础上，进一步提供了如下内容：

如图10所示，本实施例中，计算系统还包括：

重建单元1001，用于获得低分辨率待处理图像；利用高分辨率字典及低分辨率字典，对低分辨率待处理图像进行图像超分辨重建。

同样，在本发明实施例中，各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元实现上述相应方法实施例中的步骤，例如图4所示的步骤s401至s402，具体此处不再赘述。

实施例七：

图11示出了本发明实施例七提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备包括处理器1101及存储器1102，处理器1101执行存储器1102中存储的计算机程序1103时实现上述各个方法实施例中的步骤，例如图1所示的步骤s101至s108。或者，处理器1101执行计算机程序1103时实现上述各装置实施例中各单元的功能，例如图9所示单元901至902的功能。

本发明实施例的计算设备可以为计算机或计算机网络系统。该计算设备中处理器1101执行计算机程序1103时实现上述各方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例八：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤s101至s108。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图9所示单元901至902的功能。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。