实施图像处理的信息处理设备和图像处理方法
【技术领域】
[0001]本发明涉及一种图像处理技术，并且特别地涉及一种用于生成在基于学习的超分辨率处理中使用的词典。
【背景技术】
[0002]关于图像处理，已经已知各种有关技术。
[0003]例如，作为用于从输入图像(例如，低分辨率图像)生成恢复的图像(例如，高分辨率图像)的技术的示例，已知超分辨率技术。在超分辨率技术之中，用于使用词典来生成高分辨率图像的技术特别地被称为基于学习的超分辨率技术。以上提到的词典是通过学习各自包括学习图像(一般为高质量图像)和与学习图像对应的劣化的图像(例如，通过减少学习图像的分辨率而创建的图像)的情况而被创建的词典。由超分辨率技术生成的恢复的图像也被称为超分辨率图像。
[0004]PTLl公开了字符识别设备的示例。在PTL I中公开的字符识别设备执行超分辨率处理以识别牌照等上的在用相机拍摄的对象图像中包括的字符。
[0005]字符识别设备通过使用数据库(词典)来执行超分辨率处理，在该数据库(词典)中，低分辨率词典图像、低分辨率词典图像的特征值和高分辨率词典图像相互关联。以上提到的低分辨率词典图像是已经利用用来拍摄对象图像的相机拍摄的字符的图像。特征值是基于低分辨率词典图像中的相应低分辨率词典图像计算出的特征值。高分辨率词典图像是已经用具有比用来拍摄对象图像的相机更高的分辨率的相机拍摄的字符的图像。
[0006]PTL 2公开了超分辨率图像处理设备的示例。在PTL 2中公开的超分辨率图像处理设备从低分辨率原有图像(输入图像数据)输出高分辨率图像。
[0007]超分辨率图像处理设备使用已经由词典创建设备生成的词典表和其它信息以在通过向输入图像数据应用超分辨率图像处理来生成输出图像数据时推断丢失的高频分量。以上提到的词典表和其它信息是词典表、第一主分量基矢量和第二主分量基矢量。词典创建设备通过以下过程生成为具体情景而优化的词典表和其它信息。
[0008]首先，词典创建设备从采样图像文件获取作为处理对象的分段的位图、将获取的位图分解成多个分解的位图并且在临时表中的记录中存储分解的位图。
[0009]接着，词典创建设备按顺序向分解的位图应用MP(Max-Plus)小波变换处理、排列处理、主分量分析处理、内积运算处理和频率分割处理，并且在临时表中的相应字段中存储处理的结果。在主分量分析处理中，词典创建设备计算第一主分量基矢量和第二主分量基矢量。
[0010]最后，词典创建设备使用均值运算单元来创建具有比临时表更小数目的记录的词典表。该词典表不同于以上描述的基于学习的超分辨率技术的词典。也就是说，该词典表不是通过学习其中学习图像与劣化的图像关联的情况而创建的词典。
[0011]PTL 3公开了图像超分辨率设备的示例。在PTL 3中公开的图像超分辨率设备从由于编码和解码而劣化的输入图像生成用预设的放大率放大的超分辨率图像。以上提到的编码和解码是通过预设的编码方法的编码和解码。具体而言，图像超分辨率设备通过以下处理生成超分辨率图像。
[0012]第一，图像超分辨率设备将输入图像分割成预先固定的大小的块，并且切割出块中的相应块作为处理块。接着，图像超分辨率设备通过用预先固定的放大率放大处理块来生成放大的处理块。预先固定的放大率是图像超分辨率设备在图像超分辨率设备生成超分辨率图像时用来放大输入图像的放大率。
[0013]第二，图像超分辨率设备在块存储装置中相互关联地写入参考块和劣化的参考块。以上提到的参考块是从输入图像切割出的并且具有与处理块的大小相同的大小的块。以上提到的劣化的参考块是参考块通过具体劣化过程被劣化成的块。具体劣化过程是在假设输入图像是待生成的超分辨率图像已经通过劣化过程被劣化成的图像。具体而言，图像超分辨率设备使用基于已经用来劣化输入图像的编码方法的劣化模型(模拟预定义的正交变换、量化等的模型)来劣化参考块以生成劣化的参考块。
[0014]第三，图像超分辨率设备计算在劣化的参考块与处理块之间的相似性。
[0015]第四。图像超分辨率设备用预先固定的放大率放大劣化的参考块以生成恢复的参考块。另外，图像超分辨率设备计算在恢复的参考块与参考块之间的差值作为损失分量。
[0016]第五，图像超分辨率设备基于相似性组合放大的处理块与损失分量以生成超分辨率块。图像超分辨率设备将超分辨率块构造成图像以生成输入图像被放大成的超分辨率图像。
[0017]引用列表
[0018]专利文献
[0019][PTL I]日本待审专利申请公开号2005-149395
[0020][PTL 2]日本待审专利申请公开号2013-026659
[0021][PTL 3]日本待审专利申请公开号2012-113513
【发明内容】
[0022]技术问题
[0023]然而，在引用列表中引用的文献中公开的以上描述的技术具有的问题在于有其中不可能获得为了从输入图像生成希望的恢复的图像(超分辨率图像)而需要的和在基于学习的超分辨率处理中使用的词典的情况。
[0024]这是因为对向输入图像应用的劣化过程的准确估计是困难并且复杂的。
[0025]具体而言，在PLTI中公开的字符识别设备并未估计对象图像的劣化过程。在字符识别设备中，低分辨率词典图像(等效于在基于学习的超分辨率处理中使用的词典中的劣化的图像)是已经利用用来拍摄对象图像的相机拍摄的字符的图像。也就是说，在数据库(词典)中包括的低分辨率词典图像不是通过估计对象图像的劣化过程而获得的图像。
[0026]PTL 2中的超分辨率图像处理设备基于采样图像文件(等效于在基于学习的超分辨率处理中使用的词典中的学习图像)、通过使用函数等的运算来生成词典表和其它信息。词典表和其它信息是为具体情景而优化的词典、但不是通过执行对劣化过程的估计而获得的词典。
[0027]由PTL3中的图像超分辨率设备执行的超分辨率处理是在劣化过程预先清楚时的超分辨率处理。因此，图像超分辨率设备不能处理其劣化过程不清楚的输入图像。
[0028]另外，难以通过技术(如盲去卷积等)来估计准确劣化过程。以上提到的盲去间距是以自然图像为目标的、用于从测量的信号恢复原有信号的方法。另外，用户(操作者)基于经验等来估计准确劣化过程是困难和非常复杂的。
[0029]本发明的目的是提供一种能够解决以上描述的问题的信息处理设备、图像处理方法和程序或者记录程序的非瞬态计算机可读记录介质。
[0030]对问题的解决方案
[0031]根据本发明的一个示例性方面的一种信息处理设备包括:图像获取装置，该图像获取装置用于获取多个第一学习图像和输入图像；以及估计装置，该估计装置用于在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程，其中估计的劣化过程对应于劣化过程中的如下劣化过程:该劣化过程与输入图像中的区域有关。
[0032]根据本发明的一个示例性方面的一种图像处理方法，该图像处理方法使用实施图像处理方法的计算机，该图像处理方法包括:获取多个第一学习图像和输入图像；以及在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
[0033]根据本发明的一个示例性方面的一种记录程序的非瞬态计算机可读记录介质，该程序使得计算机执行以下处理:获取多个第一学习图像和输入图像；以及在第一学习图像中的与输入图像中的任意区域对应的区域基于多个劣化过程中的相应劣化过程被劣化时，基于在任意区域与多个第一劣化的图像中的相应第一劣化的图像之间的第一相似性来输出估计的劣化过程。
[0034]本发明的有利效果
[0035]本发明具有的有利效果在于变得有可能准确地估计向输入图像应用的劣化过程并且获得为了从输入图像生成希望的恢复的图像而需要的词典。
【附图说明】
[0036][图1]图1是图示了根据本发明的第一示例性实施例的劣化过程估计设备的配置的框图。
[0037][图2]图2是图示了包括根据第一示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[0038][图3]图3是图示了第一示例性实施例中的对应性信息的示例的示图。
[0039][图4]图4是图示了第一示例性实施例中的在学习图像、劣化的图像、输入图像、特征矢量和相似性之间的关系的示图。
[0040][图5]图5是用于说明第一示例性实施例中的对估计的劣化过程的选择的示图。
[0041][图6]图6是图示了实现根据第一示例性实施例的劣化过程估计设备的计算机的硬件配置的框图。
[0042][图7]图7是图示了第一示例性实施例中的劣化过程估计设备的操作的流程图。
[0043][图8]图8是图示了根据第一示例性实施例的劣化过程估计设备的具体配置的示例的框图。
[0044][图9]图9是图示了根据第一示例性实施例的第一变形的劣化过程估计设备的具体配置的示例的框图。
[0045][图10]图10是图示了根据第一示例性实施例的第二变形的劣化过程估计设备的具体配置的示例的框图。
[0046][图11]图11是图示了第一示例性实施例的第二变形中的劣化信息的示例的示图。
[0047][图12]图12是图示了第一示例性实施例的第二变形中的劣化信息的另一示例的示图。
[0048][图13]图13是图示了根据本发明的第二示例性实施例的劣化过程估计设备的配置的框图。
[0049][图14]图14是图示了包括根据第二示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[0050][图15]图15是图示了根据本发明的第三示例性实施例的劣化过程估计设备的配置的框图。
[0051][图16]图16是图示了包括根据第三示例性实施例的劣化过程估计设备的图像处理系统的配置的框图。
[0052][图17]图17是图示了第三示例性实施例中的在学习图像、恢复的图像和相似性之间的关系的不图。
[0053][图18]图18是图示了第三示例性实施例中的学习图像选择单元的操作的流程图。
[0054][图19]图19是图示了第三示例性实施例中的学习单元的配置的框图。
[0055][图20]图20是用于说明第三示例性实施例中的对词典的生成的示图。
[0056][图21]图21是图示了第三示例性实施例中的恢复单元的配置的框图。
[0057][图22]图22是描述了第三示例性实施例中的对恢复的图像的生成的示图。
[0058][图23]图23是图示了第三示例性实施例中的小片的示例的示图。
【具体实施方式】
[0059]将参照附图具体地描述用于实现本发明的示例性实施例。在说明书中描述的相应附图和示例性实施例中，向相同部件指派相同标号，并且将适当地省略其描述。
[0060]〈〈第一示例性实施例》
[0061]图1是图示了根据本发明的第一示例性实施例的劣化过程估计设备(也被称为信息处理设备)100的配置的框图。
[0062]如图1中所示，根据本示例性实施例的劣化过程估计设备100包括图像获取单元150和估计单元160。
[0063]图2是图示了包括根据本示例性实施例的劣化过程估计设备100的图像处理系统101的配置的框图。
[0064]如图2中所示，根据本示例性实施例的图像处理系统101包括劣化过程估计设备100。学习单元102、词典103和恢复单元104。图像处理系统101也被称为信息处理设备。
[0065]首先，将描述包括根据本示例性实施例的劣化过程估计设备100的图像处理系统101的总体操作。
[0066]劣化过程估计设备获取例如从外界输入的学习图像411(第一学习图像)和输入图像430。学习图像511是可以对应于输入图像430并且已经被预先预备的高分辨率图像(高质量图像)。输入图像430是作为恢复的目标的图像。一般地，输入图像430是低质量图像，比如低分辨率图像。
[0067]劣化过程估计设备100基于学习图像411和输入图像430向学习单元102输出估计的劣化过程867。估计的劣化过程867是学习单元102用来生成词典103的图像的劣化过程的信息(指示图像的劣化细节的信息)。词典103是为了恢复单元104从输入图像430生成希望的恢复的图像440而需要的词典1 3。
[0068]学习单元102获取例如从外界输入的学习图像410(第二学习图像)和从劣化过程估计设备100输入的估计的劣化过程867。学习单元102基于学习图像410和估计的劣化过程867生成词典103。学习图像410是可以对应于输入图像430并且已经被预先预备的高分辨率图像(高质量图像)。学习图像410的集合和学习图像411的集合可以完全地重叠、部分地重叠或者根本不重叠。
[0069]具体而言，第一，基于估计的劣化过程867，学习单元102生成各自与学习图像410之一对应的劣化的图像420(随后将描述并且在图20中图示的第二劣化的图像)。第一，学习单元102生成词典103，词典103成对地包括学习图像410中的小片和对应的劣化的图像420中的小片。以上提到的小片是图像(学习图像410、劣化的图像420等)被分割成的小区域之
O
[0070]恢复单元104获取从外界输入的输入图像430，并且向外界输出恢复的图像440。恢复单元104基于词典103中的条目生成与输入图像430对应的恢复的图像440。
[0071]接着，将描述第一示例性实施例中的劣化过程估计设备100包括的相应部件(图像获取单元150和估计单160)。图1中所示的部件可以是与根据计算机设备的功能单元完成其划分的硬件单元或者部件对应的部件。这里将图1中所示的部件描述为根据计算机设备的功能单元完成其划分的部件。
[0072]