一种图像超分辨率处理方法及装置制造方法
【专利摘要】本发明公开了一种图像超分辨率处理方法及装置，包括：针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；分别将每个图像块对应的扩展区域作为当前扩展区域，基于当前扩展区域和每个扩展区域的亮度特征信息，从该区域集合中选择满足预设亮度相似条件的扩展区域，作为当前扩展区域的相似扩展区域；基于当前扩展区域和相似扩展区域包括的像素点的亮度值，针对当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；按照待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到待处理图像的超分辨率图像。
【专利说明】一种图像超分辨率处理方法及装置
【技术领域】
[0001] 本发明涉及图像处理领域，尤其涉及一种图像超分辨处理方法及装置。
【背景技术】
[0002] 在图像应用领域，高分辨率的图像能够提供更多的细节信息，这些细节信息在实 际应用中具有重要的作用，但实际中可能由于摄像设备拍摄到的原始图像在采集过程中受 到模糊、变形、聚焦不准和噪声等因素的影响，使得最终得到的图像质量下降，分辨率低，不 能提供准确的特征信息，因此需要将该低分辨率图像经过超分辨率处理得到高分辨率图 像，这种处理方法也可以称作图像超分辨率技术。
[0003] 目前，现有的图像超分辨率技术可以采用基于重建的方法，其中一种典型的基于 重建的方法为：分别以图像的每个像素点为中心，确定该像素点与周围的像素点形成一个 M*M的块，并分别针对每个块，在该图像的除该块之外的所有块中搜索与该块相似的块，相 似的块可以为多个，然后根据搜索到的多个相似的块对该块进行重建，得到与该像素点对 应的一个高分辨率的块，并在得到与该图像的每个像素点对应的高分辨率的块之后，按照 像素点之间的位置关系，将这些高分辨率的块组合为一个高分辨率图像，作为该图像的高 分辨率图像。
[0004] 上述现有的图像超分辨率方法，由于在每次进行相似块的搜索时，需要从以图像 的每个像素点为中心形成的块中进行搜索，并且针对图像中每个像素点形成的块都要进行 相似块的搜索以及重建高分辨率的处理，搜索块的数量大，耗时，因此降低了图像超分辨率 处理的处理效率。
【发明内容】
[0005] 本发明实施例提供一种图像超分辨率方法及装置，用以解决现有技术中存在的图 像超分辨率处理效率低的问题。
[0006] 本发明实施例提供一种图像超分辨率方法，包括：
[0007] 针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围 内的像素点组成的区域，作为该图像块对应的扩展区域；
[0008] 分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B :
[0009] 步骤A :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域 集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预 设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合 中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区 域；
[0010] 步骤B :基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图 像； toon] 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨 率子图像进行组合，得到所述待处理图像的超分辨率图像。
[0012] 采用本发明实施例提供的上述方法，由于是以待处理图像中大小相同的图像块作 为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进 行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处 理效率。
[0013] 进一步的，所述区域集合还包括通过如下步骤确定的扩展区域：
[0014] 对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；
[0015] 针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该 图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩 展区域；
[0016] 将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中 的扩展区域。
[0017] 这样，采用上述确定区域集合中的扩展区域的方法后，可以在该区域集合中的扩 展区域中选择与该当前扩展区域满足预设亮度相似条件的扩展区域。
[0018] 进一步的，所述步骤A，具体包括如下步骤Al和步骤A2 :
[0019] 步骤Al :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一 区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区 域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中， 所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图 像块对应的扩展区域；
[0020] 步骤A2 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二 区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区 域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中， 确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行 降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小 相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采 样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余 图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确 定为第二区域集合中的扩展区域；
[0021] 所述步骤B，具体包括如下步骤Bl和步骤B2 :
[0022] 步骤Bl :基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度 值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超 分辨率子图像；
[0023] 步骤B2 :基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度 值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超 分辨率子图像；
[0024] 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨 率子图像进行组合，得到所述待处理图像的超分辨率图像，具体包括：
[0025] 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超 分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；
[0026] 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超 分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；
[0027] 将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图 像的超分辨率图像。
[0028] 进一步的，上述方法，还包括：
[0029] 在步骤A之前，确定所述当前扩展区域包括的像素点的亮度值方差；
[0030] 确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。
[0031] 进一步的,上述方法,还包括：
[0032] 当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮 度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块 的超分辨率子图像。
[0033] 这样，可以根据当前扩展区域包括的像素点的亮度值方差是否大于预设方差阈 值，对当前扩展区域对应的图像块采用不同的方法进行超分辨率处理。
[0034] 进一步的，上述方法，在得到所述待处理图像的超分辨率图像之后，还包括：
[0035] 步骤a:对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所 述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；
[0036] 步骤b :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包 括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述 模拟低分辨率图像的亮度误差值；
[0037] 步骤c :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前 超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；
[0038] 步骤d :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进 行修正，得到修正后的超分辨率图像；
[0039] 步骤e :当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值 时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a， 当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨 率图像作为所述待处理图像的最终超分辨率图像。
[0040] 这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像 的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。
[0041] 进一步的，上述方法，在得到所述待处理图像的超分辨率图像之后，还包括：
[0042] 步骤f :对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所 述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；
[0043] 步骤g :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包 括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；
[0044] 步骤h:对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得 至IJ中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图 像的亮度误差值；
[0045] 步骤i :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前 超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；
[0046] 步骤j :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进 行修正，得到修正后的超分辨率图像；
[0047] 步骤k:当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值 时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f， 当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨 率图像作为所述待处理图像的最终超分辨率图像。
[0048] 这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像 的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。
[0049] 本发明实施例还提供一种图像超分辨率处理装置，包括：
[0050] 扩展区域确定单元，用于针对组成待处理图像的大小相同的每个图像块，确定该 图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；
[0051] 子图像确定单元，用于分别将每个图像块对应的扩展区域作为当前扩展区域，执 行如下步骤A和步骤B :
[0052] 步骤A :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域 集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预 设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合 中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区 域；
[0053] 步骤B :基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图 像；
[0054] 超分辨率图像确定单元，用于按照所述待处理图像包括的各图像块之间的位置关 系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。
[0055] 采用本发明实施例提供的上述装置，由于是以待处理图像中大小相同的图像块作 为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进 行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处 理效率。
[0056] 进一步的，所述子图像确定单元，还用于采用如下步骤确定所述区域集合中的扩 展区域：
[0057] 对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像； 针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与 其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域； 将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区 域。
[0058] 这样，采用上述确定区域集合中的扩展区域的方法后，可以在该区域集合中的扩 展区域中选择与该当前扩展区域满足预设亮度相似条件的扩展区域。
[0059] 进一步的，所述子图像确定单元，具体用于分别将每个图像块对应的扩展区域作 为当前扩展区域，执行如下步骤AU步骤A2、步骤BI和步骤B2 :
[0060] 步骤Al :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一 区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区 域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中， 所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图 像块对应的扩展区域；
[0061] 步骤A2 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二 区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区 域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中， 确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行 降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小 相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采 样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余 图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确 定为第二区域集合中的扩展区域；
[0062] 步骤Bl :基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度 值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超 分辨率子图像；
[0063] 步骤B2 :基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度 值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超 分辨率子图像；
[0064] 所述超分辨率图像确定单元，具体用于按照所述待处理图像包括的各图像块之间 的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第 一超分辨率图像；按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应 的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；将所述第一 超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。 [0065] 进一步的，所述子图像确定单元，还用于在步骤A之前，确定所述当前扩展区域包 括的像素点的亮度值方差；并确定所述当前扩展区域的所述亮度值方差大于预设方差阈 值。
[0066] 进一步的，所述子图像确定单元，还用于当确定所述当前扩展区域的所述亮度值 方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像 块进行超分辨率处理，得到对应该图像块的超分辨率子图像。
[0067] 这样，可以根据当前扩展区域包括的像素点的亮度值方差是否大于预设方差阈 值，对当前扩展区域对应的图像块采用不同的方法进行超分辨率处理。
[0068] 进一步的，上述装置，还包括：
[0069] 修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤a_e :
[0070] 步骤a:对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所 述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；
[0071] 步骤b :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包 括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述 模拟低分辨率图像的亮度误差值；
[0072] 步骤c :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前 超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；
[0073] 步骤d :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进 行修正，得到修正后的超分辨率图像；
[0074] 步骤e :当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值 时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a， 当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨 率图像作为所述待处理图像的最终超分辨率图像。
[0075] 这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像 的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。
[0076] 进一步的，上述装置，还包括：
[0077] 修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤f_k :
[0078] 步骤f :对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所 述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；
[0079] 步骤g :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包 括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；
[0080] 步骤h:对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得 至IJ中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图 像的亮度误差值；
[0081] 步骤i :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前 超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；
[0082] 步骤j :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进 行修正，得到修正后的超分辨率图像；
[0083] 步骤k:当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值 时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f， 当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨 率图像作为所述待处理图像的最终超分辨率图像。
[0084] 这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像 的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。 [0085] 本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【专利附图】
【附图说明】
[0086] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施 例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0087] 图1为本发明实施例提供的图像超分辨率处理方法的流程图；
[0088] 图2为本发明实施例提供的确定区域集合中的扩展区域的流程图；
[0089] 图3为本发明实施例提供的对当前扩展区域对应的图像块进行分类处理的流程 图；
[0090] 图4为本发明实施例提供的对当前扩展区域执行步骤A的流程图；
[0091] 图5为本发明实施例提供的对当前扩展区域执行步骤B的流程图；
[0092] 图6为本发明实施例1中提供的图像超分辨率方法的流程图；
[0093] 图7为本发明实施例2中提供的对超分辨率图像进行优化处理的第一种方式的流 程图；
[0094] 图8为本发明实施例2中提供的对超分辨率图像进行优化处理的第二种方式的流 程图；
[0095] 图9为本发明实施例3中提供的图像超分辨率装置的结构示意图。
【具体实施方式】
[0096] 为了给出提高图像超分辨率处理效率的实现方案，本发明实施例提供了一种图像 超分辨率方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此 处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的 情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0097] 本发明实施例提供一种图像超分辨率方法，如图1所示，包括：
[0098] 步骤101、针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围 预设范围内的像素点组成的区域，作为该图像块对应的扩展区域。
[0099] 步骤102、分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A 和步骤B :
[0100] 步骤A :基于当前扩展区域的亮度特征信息，和与该当前扩展区域对应的区域集 合中每个扩展区域的亮度特征信息，从该区域集合中选择与该当前扩展区域满足预设亮度 相似条件的扩展区域，作为该当前扩展区域的相似扩展区域，其中，该区域集合中的扩展区 域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；
[0101] 步骤B :基于该当前扩展区域和该相似扩展区域包括的像素点的亮度值，针对该 当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。
[0102] 步骤103、按照该待处理图像包括的各图像块之间的位置关系，对各图像块对应的 超分辨率子图像进行组合，得到该待处理图像的超分辨率图像。
[0103] 本发明实施例提供的上述图1所示方法中，组成待处理图像的图像块的大小可以 根据实际需要和经验进行灵活设置，例如，图像块可以设置为由3*3个像素点组成的块。其 中，与该当前扩展区域对应的区域集合中的扩展区域可以为除当前扩展区域之外的该待处 理图像的其余图像块对应的扩展区域，还可以包括通过如下图2所示的方式确定该区域集 合中的扩展区域：
[0104] 图2为本发明实施例提供的确定区域集合中的扩展区域的流程图，具体包括如下 处理步骤：
[0105] 步骤201、针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围 预设范围内的像素点组成的区域，作为该图像块对应的扩展区域。
[0106] 步骤202、对该待处理图像按照不同的采样率进行降采样，得到预设数量个降采样 图像。
[0107] 步骤203、针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像 块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的每个图 像块对应的扩展区域。
[0108] 上述步骤202-203与步骤201之间没有严格的先后顺序，可以先执行步骤 202-203,再执行步骤201。
[0109] 步骤204、将除该当前扩展区域之外的该待处理图像的其余图像块对应的扩展区 域，和该预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展 区域。
[0110] 较佳的，在对当前扩展区域对应的图像块进行超分辨率处理时，还可以对当前扩 展区域对应的图像块进行分类处理，具体可以采用如下方式：
[0111] 图3为本发明实施例提供的对当前扩展区域对应的图像块进行分类处理的流程 图，具体包括如下处理步骤：
[0112] 步骤301、确定当前扩展区域包括的像素点的亮度值方差。
[0113] 本步骤中，当前扩展区域包括的像素点的亮度值方差可以通过如下公式确定：
[0114]
【权利要求】
1. 一种图像超分辨率处理方法，其特征在于，包括： 针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的 像素点组成的区域，作为该图像块对应的扩展区域； 分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B : 步骤A :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合 中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮 度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合中的 扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域； 步骤B:基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所 述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像； 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子 图像进行组合，得到所述待处理图像的超分辨率图像。
2. 如权利要求1所述的方法，其特征在于，所述区域集合还包括通过如下步骤确定的 扩展区域： 对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像； 针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像 块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区 域； 将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩 展区域。
3. 如权利要求1所述的方法，其特征在于，所述步骤A，具体包括如下步骤A1和步骤 A2 ： 步骤A1 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域 集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满 足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述 第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块 对应的扩展区域； 步骤A2 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域 集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满 足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定 所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采 样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同 的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图 像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像 块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为 第二区域集合中的扩展区域； 所述步骤B，具体包括如下步骤B1和步骤B2 : 步骤B1 :基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率 子图像； 步骤B2 :基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率 子图像； 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子 图像进行组合，得到所述待处理图像的超分辨率图像，具体包括： 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨 率子图像进行组合，得到所述待处理图像的第一超分辨率图像； 按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨 率子图像进行组合，得到所述待处理图像的第二超分辨率图像； 将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的 超分辨率图像。
4. 如权利要求1所述的方法，其特征在于，在步骤A之前，还包括： 确定所述当前扩展区域包括的像素点的亮度值方差； 确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。
5. 如权利要求4所述的方法，其特征在于，还包括： 当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值 插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超 分辨率子图像。
6. 如权利要求1-5任一所述的方法，其特征在于，在得到所述待处理图像的超分辨率 图像之后，还包括： 步骤a :对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待 处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像； 步骤b :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的 像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟 低分辨率图像的亮度误差值； 步骤c :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分 辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值； 步骤d :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修 正，得到修正后的超分辨率图像； 步骤e:当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将 修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述 当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像 作为所述待处理图像的最终超分辨率图像。
7. 如权利要求1-5任一所述的方法，其特征在于，在得到所述待处理图像的超分辨率 图像之后，还包括： 步骤f :对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待 处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像； 步骤g :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的 像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值； 步骤h:对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中 值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的 亮度误差值； 步骤i:将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分 辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值； 步骤j:根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修 正，得到修正后的超分辨率图像； 步骤k:当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将 修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述 当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像 作为所述待处理图像的最终超分辨率图像。
8. -种图像超分辨率处理装置，其特征在于，包括： 扩展区域确定单元，用于针对组成待处理图像的大小相同的每个图像块，确定该图像 块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域； 子图像确定单元，用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如 下步骤A和步骤B : 步骤A :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合 中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮 度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合中的 扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域； 步骤B:基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所 述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像； 超分辨率图像确定单元，用于按照所述待处理图像包括的各图像块之间的位置关系， 对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。
9. 如权利要求8所述的装置，其特征在于，所述子图像确定单元，还用于采用如下步骤 确定所述区域集合中的扩展区域： 对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对 每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周 围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将所 述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。
10. 如权利要求8所述的装置，其特征在于，所述子图像确定单元，具体用于分别将每 个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A1、步骤A2、步骤B1和步骤 B2 ： 步骤A1 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域 集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满 足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述 第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块 对应的扩展区域； 步骤A2 :基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域 集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满 足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定 所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采 样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同 的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图 像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像 块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为 第二区域集合中的扩展区域； 步骤B1 :基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率 子图像； 步骤B2 :基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针 对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率 子图像； 所述超分辨率图像确定单元，具体用于按照所述待处理图像包括的各图像块之间的位 置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超 分辨率图像；按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第 二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；将所述第一超分 辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。
11. 如权利要求8所述的装置，其特征在于，所述子图像确定单元，还用于在步骤A之 前，确定所述当前扩展区域包括的像素点的亮度值方差；并确定所述当前扩展区域的所述 亮度值方差大于预设方差阈值。
12. 如权利要求11所述的装置，其特征在于，所述子图像确定单元，还用于当确定所述 当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所 述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。
13. 如权利要求8-12任一所述的装置，其特征在于，还包括： 修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤a-e : 步骤a :对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待 处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像； 步骤b :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的 像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟 低分辨率图像的亮度误差值； 步骤c :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分 辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值； 步骤d :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修 正，得到修正后的超分辨率图像； 步骤e:当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将 修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述 当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像 作为所述待处理图像的最终超分辨率图像。
14.如权利要求8-12任一所述的装置，其特征在于，还包括： 修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤f-k : 步骤f:对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待 处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像； 步骤g :基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的 像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值； 步骤h:对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中 值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的 亮度误差值； 步骤i :将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分 辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值； 步骤j :根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修 正，得到修正后的超分辨率图像； 步骤k :当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将 修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述 当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像 作为所述待处理图像的最终超分辨率图像。
【文档编号】G06T5/50GK104517273SQ201310450691
【公开日】2015年4月15日 申请日期:2013年9月26日 优先权日:2013年9月26日
【发明者】叶昕, 郭一民, 刘敏, 潘石柱, 张兴明 申请人:浙江大华技术股份有限公司