专利名称：基于非局部均值的超分辨率方法和设备的制作方法
技术领域：
本发明涉及视频处理技术，尤其涉及一种基于非局部均值的超分辨率方法和设备。
背景技术：
视频图像的超分辨率(Super Resolution, SR)技术是指利用一幅或者多幅低分辨率视频图像，通过相应的处理，得到一幅或者多幅高分辨率视频图像的技术。一般高分辨率图像到低分辨率图像的降质模型如下{yt = DHFtX + nt}Tti其中，X为高分辨率图像，yt为低分辨率图像，D为下采样运算，H为模糊运算，F为变形运动运算，它和运动估计有关，nt为噪声。超分辨率技术是上述问题的逆过程，即已知低分辨率图像，要得到高分辨率图像。所以超分辨率技术一般包括运动估计、噪声估计、上采样以及去模糊等技术。 在很多应用场景，例如将标清格式视频转换为高清或超高清格式视频、网络视频应用、医学成像、遥感卫星等领域中，都需要应用超分辨率技术。现有技术中提供了一种基于非局部均值(Non-local Means, NLM)的超分辨率技术，该技术大体流程如下对原始低分辨率图像进行上采样；对上采样后的图像进行相似性计算，在相似性计算时是计算当前点所在的当前块与当前点的邻域范围内其他图像块的相似性；根据相似性计算的结果以及控制权重的参数进行权重计算，得到权重，其中，该控制权重的参数对于整个图像是固定的；再根据权重对原始低分辨率图像进行加权累加，得到高分辨率图像。该方案中，一方面由于采用的控制权重的参数对于整个图像是固定的，会导致图像细节丢失；另一方面，整个邻域内的块都参与运算，这样一些不太相似的点也参与了运算，也会导致细节丢失，同时计算量大。
发明内容
有鉴于此，本发明实施例提供了一种基于非局部均值的超分辨率方法和设备，用以解决现有技术中存在的细节丢失和计算量大的问题。第一方面，提供了一种基于非局部均值的超分辨率方法，包括对原始低分辨率图像进行上采样，得到初始高分辨率图像；对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离；根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述第一欧式距离得到第二欧式距离，包括对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述确定控制权重的参数，包括确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数。结合第一方面或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述个数与控制权重参数之间的对应关系满足所述个数越大，所述控制权重 越小；所述个数越小，所述控制权重越大。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述确定控制权重的参数，包括确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。结合第一方面或第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述确定所述当前点所在区域的类别，包括根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。第二方面，提供了一种基于非局部均值的超分辨率设备，包括上采样模块，用于对原始低分辨率图像进行上采样，得到初始高分辨率图像；相似性计算模块，用于对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；参数控制模块，用于确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离；权重计算模块，用于根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；加权累加模块，用于根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。结合第二方面，在第二方面的第一种可能的实现方式中，所述参数控制模块包括第一单元，用于对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者，对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述参数控制模块包括第二单元，用于确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数，所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大；或者，确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。结合第二方面或第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二单元具体用于 根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。通过上述技术方案，通过对相似性计算得到的距离进行处理，以及根据该距离得到控制权重的参数，可以保留更多细节以及减少计算量。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图I为本发明基于非局部均值的超分辨率方法一实施例的流程示意图；图2为图I对应的结构示意图；图3为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图；图4为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图；图5为本发明基于非局部均值的超分辨率设备一实施例的流程示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图I为本发明基于非局部均值的超分辨率方法一实施例的流程示意图，参见图I并结合图2，本实施例包括步骤11 :对原始低分辨率图像进行上采样，得到初始高分辨率图像；上采样(Up-Scal ing )可以利用一般的图像缩放算法，例如，双线性插值、双立方插值等算法，对原始低分辨率图像进行上采样后的图像可以称为初始高分辨图像。步骤12 :对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；对于选取的一个点，该点可以称为当前点，该当前点所在的图像块可以称为当前块。相似性计算时，计算的是该当前点所在的当前块与当前点的邻域范围内其它图像块的相似性，当前块可以是指以当前点为中心的一个矩形块，矩形块的大小可以设定，该邻域范围以及邻域范围内的其它图像也可以设定。两个图像块之间的相似性可以根据两个图像块之间的欧式距离进行度量，欧式距离的计算可以如下所示I) = lh ;Z; - R.Z, ^
2其中为初始高分辨率图像上以(k，l)点为中心的一个图像块，見,,.Zi是原始闻分辨率图像上以(i，j)点为中心的另一个图像块，JikjZt -RtjZt I表不图像中和图像中对应点的像素值相减后的平方和。本实施例在进行相似性计算得到的第一欧式距离D就是当前块与邻域范围内其它图像块的欧式距离，对应每个其它图像块，可以得到一个第一欧式距离。步骤13 :确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；可以采用如下方式，根据第一欧式距离D得到第二欧式距离D’ ·可选的，对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的第一欧式距离，作为所述第二欧式距离。可选的，根据所述第一欧式距离，得到所述第一欧式距离的平均值；将小于所述平均值的第一欧式距离，作为所述第二欧式距离。可选的，控制权重的参数σ可以根据第一欧式距离确定，例如，可以采用如下方式，根据第一欧式距离D得到控制权重的参数σ :根据欧式距离小于设定阈值的邻域的图像块的个数确定；或者，可选的，控制权重的参数σ也可以根据当前点所在区域确定。步骤14 :根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；权重的计算公式可以为JT = exp|-^^其中，W权重，D’第二欧式距离，σ为控制权重的参数。步骤15 :根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。加权累加的计算公式可以为
力，./]其中为当前点(k，D的超分辨率结果，Nl(k, I)为当前点在低分辨率图像中的对应的邻域范围，(i，j)为低分辨率图像中的对应的邻域中的点，yt为原始低分辨率图像。本实施例中，一方面由于采用的控制权重的参数是根据第一欧式距离确定的，并非固定的，可以保留更多的细节；另一方面，只是邻域内的部分图像块参与运算，也就是一些较相似的点参与了运算，可以进一步保留细节，同时降低计算量。图3为本发明基于非局部均值的超分辨率方法另一实施例的流程示意图，包括步骤31 :对原始低分辨率图像进行上采样，得到初始高分辨率图像；步骤32 :对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；步骤32的具体内容可以参见步骤If 12。
步骤33 :对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离，以及确定控制权重的参数；由于当前块与邻域范围内的其它图像块并不是都很相似，对于NLM，只有那些相似的块才对当前点有贡献，对于那些不太相似的块，即第一欧式距离较大的块，对当前点计算基本没贡献，甚至可能会有副作用，会导致细节丢失，并且邻域内的所有点都参与计算时计算量也很大。因此本实施例中选择第一欧式距离较小的点，也就是较相似的块，采用这些当前块与较相似的块之间的欧式距离，也就是第二欧式距离进行权重计算。计算公式可以为权重的计算公式可以为,rexpj-ijj其中，W权重，D’第二欧式距离，σ为控制权重的参数。权重的计算和σ有比较大的关系，当σ较大时，则权重的变化范围很小，这样相当于对邻域范围内的点的一个平均的作用，这样就会平滑掉细节；而当σ较小时，权重又会变化比较剧烈，这样相当于只有少数块能对结果有贡献，这样也会损失细节。因此，本发明实施例可以根据内容自适应来生成σ，这样能更好的保留细节。对于σ的生成，一种具体的实现方式如下描述可以根据邻域范围内的欧氏距离来判断。设定一个欧氏距离的阈值Dis，记当前点的邻域内欧氏距离小于Dis的块的个数为Si_Num，然后根据Si_Num的大小来确定σ，Si_Num越大，σ越小，Si_Num越小，σ越大。具体可以预先建立一个Si_Num与σ之间的关系表，该表满足Si_Num越大，σ越小，Si_Num越小，σ越大，之后在得到Si_Num后，可以通过查找该关系表得到σ。或者，也可以采用如下方式生成σ :
权利要求
1.一种基于非局部均值的超分辨率方法，其特征在于，包括 对原始低分辨率图像进行上采样，得到初始高分辨率图像； 对所述初始高分辨率图像进行相似性计算，得到第一欧式距离； 确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离； 根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重； 根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。
2.根据权利要求I所述的方法，其特征在于，所述根据所述第一欧式距离得到第二欧式距离，包括 对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者， 对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。
3.根据权利要求I或2所述的方法，其特征在于，所述确定控制权重的参数，包括 确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数。
4.根据权利要求3所述的方法，其特征在于，所述个数与控制权重参数之间的对应关系满足所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大。
5.根据权利要求I或2所述的方法，其特征在于，所述确定控制权重的参数，包括 确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。
6.根据权利要求5所述的方法，其特征在于，所述确定所述当前点所在区域的类别，包括 根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。
7.一种基于非局部均值的超分辨率设备，其特征在于，包括 上采样模块，用于对原始低分辨率图像进行上采样，得到初始高分辨率图像； 相似性计算模块，用于对所述初始高分辨率图像进行相似性计算，得到第一欧式距离； 参数控制模块，用于确定控制权重的参数，以及根据所述第一欧式距离得到控制权重的参数以及第二欧式距离； 权重计算模块，用于根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重； 加权累加模块，用于根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。
8.根据权利要求7所述的设备，其特征在于，所述参数控制模块包括 第一单元，用于对所述第一欧式距离进行排序，按照从小到大的顺序选择设定个数的欧式距离，作为第二欧式距离；或者， 对所述第一欧式距离进行平均运算，得到第一欧式距离的平均值，将小于所述平均值的第一欧式距离，作为第二欧式距离。
9.根据权利要求7或8所述的设备，其特征在于，所述参数控制模块包括 第二单元，用于确定所述第一欧式距离中小于设定阈值的个数，根据个数与控制权重的参数之间的对应关系，得到所述控制权重的参数，所述个数越大，所述控制权重越小；所述个数越小，所述控制权重越大；或者， 确定所述当前点所在区域的类别，根据类别与控制权重的参数之间的对应关系，得到所述控制权重的参数，根据对应的控制权重参数的值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。
10.根据权利要求9所述的设备，其特征在于，所述第二单元具体用于 根据所述当前点所在的图像的梯度幅度值，确定所述类别，根据对应的梯度幅度值从小到大对所述类别排序如下平滑区域、细节区域和边缘区域。
全文摘要
本发明提供一种基于非局部均值的超分辨率方法和设备。该方法包括对原始低分辨率图像进行上采样，得到初始高分辨率图像；对所述初始高分辨率图像进行相似性计算，得到第一欧式距离；确定控制权重的参数，以及根据所述第一欧式距离得到第二欧式距离；根据所述控制权重的参数以及所述第二欧式距离，进行权重计算，得到权重；根据所述权重，对所述原始低分辨率图像进行加权累加，得到高分辨率图像。本发明实施例可以使得超分辨后的图像保留更多细节，降低运算量。
文档编号H04N7/01GK102946522SQ20121040399
公开日2013年2月27日 申请日期2012年10月22日 优先权日2012年10月22日
发明者郑成林 申请人:华为技术有限公司