图像处理设备及图像处理方法
【技术领域】
[0001]本发明涉及图像处理，并且更具体地涉及一种用于提高图像分辨率的图像处理设备以及图像处理方法。
【背景技术】
[0002]随着数字图像数据的广泛应用，用于处理图像数据的技术被广泛地应用。
[0003]例如，使用图像数据的图像处理设备在必要时改变图像数据的分辨率(例如，参见 PTL I)。
[0004]另一方面，广泛地利用了使用多个图像捕获设备以及处理图像的图像处理设备的远程监视系统。
[0005]存在下面一种情况，在这种情况中，利用上面描述的远程监视系统捕获的图像数据具有比图像捕获设备的性能或外部因素所要求的分辨率低的分辨率。
[0006]超分辨率技术是用于处理这类图像数据的分辨率的技术之一，且更具体地，超分辨率技术是一种用于提高图像数据的分辨率的技术。
[0007]超分辨率技术包括以下技术。
[0008]第一种超分辨率技术是多图像超分辨率技术。该多图像超分辨率技术是用于通过使用运动画面或多个连续拍摄的图像数据(多个帧)生成单个高分辨率图像数据的技术(例如，参见PTL 2) ο如上面所描述的，为了实现高分辨率，多图像超分辨率技术要求多个图像的图像数据。因此，多图像超分辨率技术不能够从单个图像数据生成高分辨率图像数据。
[0009]第二种超分辨率技术是基于学习的超分辨率技术。基于学习的超分辨率技术是基于预先学习来生成词典，并通过使用该词典提高单个图像数据分辨率的技术(例如，参见PTL 3) ο由于基于学习的超分辨率技术使用词典，因此基于学习的超分辨率技术可以实现其分辨率高于多图像超分辨率技术的超分辨率。
[0010]将参考附图对使用基于学习的超分辨率技术的图像处理设备进行进一步描述。
[0011]使用基于学习的超分辨率技术的图像处理设备通常包括学习阶段和超分辨率阶段。
[0012]图7为示出包括使用基于学习的超分辨率技术的图像处理设备910的图像处理系统900的配置的示例的框图。
[0013]图像处理系统900包括图像处理设备910、学习设备920以及词典930。
[0014]学习设备920通过使用学习图像51生成保存在词典930中的数据(词典数据)。艮P，学习设备920处理学习阶段。
[0015]将参考图8和图9描述学习设备920和学习阶段。
[0016]图8为示出学习设备920的配置的示例的框图。
[0017]图9为用于描述学习阶段的绘图。
[0018]学习设备920包括接收单元921、模糊(blurred)图像生成单元922、补丁(patch)对生成单元923和注册单元924。
[0019]接收单元921接收用于学习的高分辨率图像(学习图像51)，且向模糊图像生成单元922和补丁对生成单元923发送学习图像51。
[0020]模糊图像生成单元922基于学习图像51生成具有较低分辨率的低分辨率图像(模糊图像52)。如图9中所示，模糊图像生成单元922可以生成多个模糊图像52。模糊图像生成单元922向补丁对生成单元923发送模糊图像52。
[0021]补丁对生成单元923从学习图像51中提取预定范围内的图像(高分辨率补丁511) ο随后，补丁对生成单元923从模糊图像52中提取与提取的高分辨率补丁 511相对应的图像(低分辨率补丁 521)。补丁对生成单元923生成补丁对531，该补丁对531通过将高分辨率补丁 511和低分辨率补丁 521合并而获得。补丁对生成单元923向注册单元924发送补丁对531。
[0022]注册单元924将补丁对531存储至词典930。
[0023]将再次参考图7进行阐述。
[0024]如上面所描述的，词典930存储补丁对531。
[0025]图像处理设备910合成复原图像55，该复原图像55由通过使用词典930的补丁对531将输入图像54变为高分辨率而生成。即，图像处理设备910处理超分辨率阶段。
[0026]将参考图10和图11对图像处理设备910和超分辨率阶段进行描述。
[0027]图10为图示出图像处理设备910的配置的示例的框图。
[0028]图11为用于描述超分辨率阶段的绘图。
[0029]图像处理设备910包括补丁生成单元911、选择单元912和合成单元913。
[0030]补丁生成单元911接收输入图像54。然后，补丁生成单元911基于输入图像54生成补丁(输入补丁 541)，该补丁将与补丁对531的低分辨率补丁 521进行比较。补丁生成单元911向选择单元912发送生成的输入补丁 541。
[0031]选择单元912基于输入补丁 541选择词典930中的补丁对531。更为具体地，选择单元912例如，如下面所描述地操作。选择单元912计算输入补丁 541与补丁对531的所有低分辨率补丁 521之间的相似度。然后，选择单元912选择包括最相似的低分辨率补丁521的补丁对531。所选补丁对531的高分辨率补丁 511变为用于合成的补丁(复原补丁551)。
[0032]选择单元912选择对应于所有输入补丁 541的补丁对531，并将所选补丁对531通知合成单元913。
[0033]合成单元913通过使用被通知的补丁对531的高分辨率补丁 511作为复原补丁551来合成复原图像55。
[0034][引用列表]
[0035][专利文献]
[0036][PLT I]日本专利特许公开号2011-081476
[0037][PLT 2]日本专利特许公开号2009-181508
[0038][PLT 3]日本专利特许公开号2011-170456
【发明内容】
[0039][技术问题]
[0040]在学习阶段，图像处理系统900生成包括低分辨率补丁 521和高分辨率补丁 511的补丁对531，并将补丁对531存储至词典930。
[0041]然而，使得输入图像54变为低分辨率的因素的数目并不是单一的而是多个的。进一步地，存在多个因素以组合形式出现的情况。进一步地，存在这些因素的影响程度在组合时不相同的情况。因此，考虑到许多情况，图像处理系统900需要生成模糊图像52，并将生成的模糊图像52存储至词典930。
[0042]S卩，在如下方面存在问题，即上述图像处理系统900针对词典930要求大容量，并且针对词典930的生成要求大量工作时间。
[0043]因此，为了降低词典的容量，在PTL3中所描述的技术没有存储高分辨率补丁511，而是将预定的插值过滤应用到低分辨率补丁 521，并选择和存储代表图像。然后，在PTL 3中所描述的技术通过使用代表图像的插值(插值过滤)来合成高分辨率图像。
[0044]如上面所描述的，在PTL 3中所描述的技术可以降低词典的容量并合成被应用到插值过滤的复原图像55。
[0045]然而，存在与低分辨率图像52的相似度高但彼此间相似度低的学习图像51。在这种情况下，涉及本发明的图像处理系统900可以通过使用包含关于学习图像51的信息或学习图像51的补丁对531来合成适当的复原图像55。
[0046]然而，在PTL 3中所描述的技术没有存储关于与没有被包含在代表图像中的低分辨率图像52相对应的学习图像51的信息。S卩，在如下方面存在问题，S卩，在PTL 3中所描述的技术没有有效使用学习图像51。
[0047]输入图像54的模糊状态被改变。因此，适合于输入图像54的图像处理可能不是固定的，且不能被预先预测。
[0048]然而，当生成代表图像时，上述PTL 3中所描述的技术设定插值过滤的参数。因此，在如下方面存在问题，即，PTL 3中所描述的技术不能执行适合于输入图像54的处理。
[0049]本发明的目的是提供一种用于解决上述问题的图像处理设备及图像处理方法，降低用于生成词典的工作时间，有效地利用学习图像51，且实现适合于输入图像54的图像处理。
[0050][问题的解决方案]
[0051]根据本发明一个方面的图像处理设备包括:补丁生成装置，用于基于输入图像生成用以比较的输入补丁 ；变形参数估计装置，用于基于输入图像估计在模糊变形中使用的参数；模糊图像生成装置，用于通过使用参数，基于学习图像来生成模糊图像；补丁对生成装置，用于基于模糊图像和学习图像来生成用于合成复原图像的补丁对；选择装置，用于基于输入补丁来选择用于合成复原图像的补丁对；以及合成装置，用于基于由选择装置选择的补丁对来合成复原图像。
[0052]根据本发明一个方面的图像处理方法包括:基于输