图像处理装置及其控制方法

图像处理装置及其控制方法
【专利摘要】本发明提供图像处理装置及图像处理装置的控制方法，能够根据对象区域，生成具有更高质量的高分辨率图像。图像处理装置（1）具有：模糊量推断部（14），其在多个低分辨率图像数据（LP11…LPn）所示的图像中的各个图像中，推断所设定的对象区域内的模糊量；基准图像选择部（15），其根据推断出的模糊量，选择作为用于生成上述高分辨率图像的基准的低分辨率图像。
【专利说明】图像处理装置及其控制方法

【技术领域】
[0001] 本发明涉及一种根据多个低分辨率图像生成具有比该低分辨率图像更高的分辨 率的高分辨率图像的图像处理装置及图像处理装置的控制方法。

【背景技术】
[0002] 以往，公知有超分辨率技术，其为将低分辨率的图像转化为高分辨率的图像处理 技术。作为超分辨率技术的一种，公知有多巾贞超分辨率技术。在多巾贞超分辨率技术中，使用 与同一个对象相关的多张低分辨率图像来生成一张高分辨率图像。
[0003] 更具体地说，使用逐次少量挪动拍摄对象等的位置之后拍摄获取的多个低分辨率 图像来进行高分辨率化处理，由此，生成一张高分辨率图像。
[0004] 该高分辨率化是以从多个低分辨率图像中选择的基准图像为基准进行的。具体地 说，首先，以基准图像为基准，计算出多个低分辨率图像之间的位置偏移量，基于计算出的 位置偏移量和各低分辨率图像的图像数据来进行高分辨率化处理。
[0005] 在大多情况下，从依次读取的多个低分辨率图像中，选择第一张低分辨率图像来 作为基准图像。然而，通过高分辨率化获得的高分辨率图像的内容(包含画质与构图）在很 大程度上取决于基准图像。因此，从多个低分辨率图像中选择画质最佳的低分辨率图像的 帧作为基准图像的情况下获得的高分辨率图像的结果，与从多个低分辨率图像中选择画质 最差的低分辨率图像的帧作为基准图像的情况下获得的高分辨率图像的结果大为不同。
[0006] 以下，使用图21A、图21B来具体地进行说明。图21A、图21B例示了使用三张低 分辨率图像来生成一张高分辨率图像的情况。图21A示出了从三张低分辨率图像LP101、 LP102以及LP103中选择画质最佳的低分辨率图像LP101作为基准图像的情况。在图21A 所示的情况下，获得良好的高分辨率图像HP 101。
[0007] 另一方面，图21B示出了从三张低分辨率图像LP101、LP102以及LP103中选择画 质最差的低分辨率图像LP103作为基准图像的情况。在图21B所示的情况下，得到的高分 辨率图像HP102不清楚。
[0008] 因此，以往提出有以下的提案：基于减少画面整体的模糊（Bokeh)量的多少来选 择基准图像(专利文献1)。
[0009] 此外，在超分辨率【技术领域】，除上述提案之外，还有以下提案：为了提升画质，计算 出图像上的各区域的模糊量，针对每个区域利用与模糊量对应的参数来进行超分辨率处理 (专利文献2)。
[0010] 现有技术文献
[0011] 专利文献
[0012] 专利文献1 :日本专利文献特开2009-194896号公报（2009年8月27日公开）；
[0013] 专利文献2 :日本专利文献特开2010-73074号公报（2010年4月2日公开)。
[0014] 但是，即使以如上述的现有技术所述的方式以图像整体的模糊量的多少为基准来 选择基准图像，有时也不能获得希望的高分辨率图像。以下，使用图22A、22B来具体地进行 说明。
[0015] 图22A、22B示出了图像整体的模糊量大致相同的两张图像。图22A示出了人物 M100清晰而背景B100模糊不清的图像LP111。另外，图22B示出了人物M100模糊不清而 背景B100清晰的图像LP112。
[0016] 图像LP111与LP112是图像整体的模糊量大致相等的图像，但是当两者分别作为 基准图像时，能够在超分辨率处理之后获得自然的高分辨率图像的是图像LP111。也就是 说，与以图像LP112作为基准图像时相比，在以人物Μ10 0清晰的图像LP111作为基准图像 时，更能够获得人物Μ100清晰的高分辨率图像。
[0017] 因此，在现有技术中，存在以下问题：有时不能使用与对象区域对应的基准图像进 行分辨率处理，从而不一定能够获得高分辨率图像。


【发明内容】

[0018] 本发明是鉴于上述问题而提出的，其目的在于，提供一种在多帧超分辨率处理中， 通过选择与对象区域对应的合适的基准图像能够实现高分辨率图像的画质提升的图像处 理装置及图像处理装置的控制方法。
[0019] 为了解决上述问题，本发明提供一种图像处理装置，其根据多个低分辨率图像生 成具有比所述低分辨率图像更高的分辨率的高分辨率图像，其特征在于，具有：对象区域设 定单元，其在多个低分辨率图像中的各个低分辨率图像中，设定作为应该关注的区域的对 象区域；图像指标推断单元，其推断图像指标，所述图像指标表示在多个低分辨率图像中的 各个低分辨率图像中设定的对象区域内的图像的性质；选择单元，其根据推断出的图像指 标，从所述多个低分辨率图像中，选择作为用于生成所述高分辨率图像的基准的低分辨率 图像。
[0020] 为了解决上述问题，本发明提供一种图像处理装置的控制方法，其根据多个低分 辨率图像生成具有比所述低分辨率图像更高的分辨率的高分辨率图像，其特征在于，包括： 对象区域设定步骤，在多个低分辨率图像中的各个低分辨率图像中，设定作为应该关注的 区域的对象区域；图像指标推断步骤，推断图像指标，所述图像指标表示在多个低分辨率图 像中的各个低分辨率图像中设定的对象区域内的图像的性质；选择步骤，根据推断出的图 像指标，从所述多个低分辨率图像中，选择作为用于生成所述高分辨率图像的基准的低分 辨率图像。
[0021] 为了解决上述问题，本发明提供一种图像处理程序，其根据多个低分辨率图像生 成具有比所述低分辨率图像更高的分辨率的高分辨率图像，其特征在于，使计算机执行如 下的处理：对象区域设定步骤，在多个低分辨率图像中的各个低分辨率图像中，设定作为应 该关注的区域的对象区域；图像指标推断步骤，推断图像指标，所述图像指标表示在多个低 分辨率图像中的各个低分辨率图像中设定的对象区域内的图像的性质；选择步骤，根据推 断出的图像指标，从所述多个低分辨率图像中，选择作为用于生成所述高分辨率图像的基 准的低分辨率图像。
[0022] 上述图像处理装置利用所谓的图像的超分辨率处理，根据低分辨率图像生成高分 辨率图像。在上述图像处理装置中，参照彼此位置偏移的多个低分辨率图像，基于多个低分 辨率图像间的位置偏移量和多个低分辨率图像的图像数据来进行低分辨率图像的超分辨 率化处理，由此，生成一张高分辨率图像。
[0023] 根据上述结构，首先，在多个低分辨率图像中的各个低分辨率图像中，设定作为应 该关注的区域的对象区域。在此，对象区域是指如下的区域：在图像中，包含通过图像解析 检测出的物体和在视觉上引起注意的图案等的区域。更具体地说，能够通过物体检测处理 将检测出了物体的区域设定为对象区域，或者通过推断显著区域来设定对象区域。
[0024] 此外，可以设定多个对象区域。例如，可以在通过图像解析检测出多个物体时，设 定多个对象区域。
[0025] 以从多个低分辨率图像中选择的基准图像为基准进行超分辨率化处理。例如，在 超分辨率化处理中，以基准图像为基准计算位置偏移量等。
[0026] 根据上述结构，根据在对象区域中推断出的图像指标，从多个低分辨率图像中选 择作为用于生成上述高分辨率图像的基准的低分辨率图像。作为表示图像的性质的图像指 标，例举有"模糊量"、"抖动"、"噪声"、"泛白"、"发黑"。此外，在本发明的图像处理装置中， 优选上述图像指标是模糊量。模糊量是示出图像中所包含的模糊程度的大小的指标。
[0027] 因此，能够根据在对象区域中推断出的图像指标，从多个低分辨率图像中选择在 进行超分辨率化处理时的基准图像。例如，只要选择在对象区域中推断出的图像指标良好 的(例如，模糊量少）低分辨率图像来作为基准图像即可。
[0028] 由此，起到以下效果：能够生成对象区域更为清晰的高分辨率图像。
[0029] 此外，本发明的各方式的图像处理装置可以由计算机实现，在该情况下，通过使计 算机作为上述图像处理装置所具有的各单元进行动作，来利用计算机实现上述图像处理装 置的图像处理装置的控制程序以及记录有该控制程序并能够由计算机读取的记录介质也 包含在本发明的范畴内。
[0030] 此外，在本发明的图像处理装置中，优选还具有权重设定单元，在利用所述对象区 域设定单元在低分辨率图像中设定了多个对象区域的情况下，所述权重设定单元针对所设 定的多个对象区域设定权重，所述图像指标推断单元基于所设定的权重来推断所述低分辨 率图像的图像指标。
[0031] 根据上述结构，在低分辨率图像中设定有多个对象区域的情况下，针对各个区域 设定权重。
[0032] 就设定上述权重而言，例如，可以在通过物体检测检测出对象区域的情况下，根据 检测出的物体设定权重。另外，就设定上述权重而言，例如也可以在基于对显著区域进行的 推断设定有对象区域的情况下，设定与显著度对应的权重。
[0033] 根据上述结构，在各个低分辨率图像中推断与各个对象区域的加权对应的图像指 标。
[0034] 由此，能够基于在各低分辨率图像中根据各个对象区域的加权推断出的图像指 标，从多个低分辨率图像中选择基准图像。
[0035] 在本发明的图像处理装置中，优选地，所述对象区域设定单元在各个低分辨率图 像中检测物体，基于该检测物体的结果来设定对象区域。
[0036] 根据上述结构，基于物体检测的结果来设定对象区域。物体检测包含有人物的脸 部的检测、人物的检测以及以路标为代表的结构物和图案的检测等。由于检测出物体的区 域是应该关注的区域的可能性很大，所以能够将这样的区域设定为对象区域。
[0037] 在本发明的图像处理装置中，优选地，所述对象区域设定单元在各个低分辨率图 像中推断显著区域，基于推断出的显著区域来设定对象区域。
[0038] 根据上述结构，基于对显著区域进行的推断来设定对象区域。例如，由于显著度高 的区域是应该注意的区域的可能性大，所以能够将这样的区域设定为对象区域。
[0039] 在本发明的图像处理装置中，优选地，所述对象区域设定单元在各个低分辨率图 像中检测物体及推断显著区域，根据该检测物体与推断显著区域的结果来设定对象区域， 所述权重设定单元设定与通过检测物体来设定的对象区域及通过推断显著区域来设定的 对象区域相对应的权重。
[0040] 在本发明的图像处理装置中，优选地，所述对象区域设定单元基于在所述多个低 分辨率图像中的各个低分辨率图像中设定的对象区域，来修正所设定的对象区域。
[0041] 根据上述结构，对所设定的对象区域进行修正，因此，即使在针对多个低分辨率图 像设定了不同的对象区域的情况下，也能够使多个低分辨率图像之间的对象区域变为相 同。
[0042] 在本发明的图像处理装置中，优选地，所述对象区域设定单元在所述多个低分辨 率图像之间，获取在所述多个低分辨率图像中的各个低分辨率图像中设定的对象区域的逻 辑和，由此来修正所设定的对象区域。
[0043] 根据上述结构，能够在上述多个低分辨率图像之间补充对象区域。具体地说，就在 一部分(少数）低分辨率图像中没有设定的对象区域而言，能够基于在其它(多数）低分辨率 图像中设定的对象区域将其补充完整。由此，起到以下效果：能够防止对象区域的设定遗 漏。
[0044] 在本发明的图像处理装置中，优选地，所述对象区域设定单元在所述多个低分辨 率图像之间，获取在所述多个低分辨率图像中的各个低分辨率图像中设定的对象区域的逻 辑积，由此来修正所设定的对象区域。
[0045] 根据上述结构，能够消除对在上述多个低分辨率图像的对象区域进行误检测。具 体地说，能够在存在虽然设定在一部分(少数）低分辨率图像中但却没有设定在其它（多数） 低分辨率图像中的对象区域的情况下，消除仅仅设定在一部分(少数）低分辨率图像中的对 象区域。
[0046] 发明的效果
[0047] 本发明的图像处理装置的特征在于，具有：对象区域设定单元，其在多个低分辨率 图像中的各个低分辨率图像中，设定作为应该关注的区域的对象区域；图像指标推断单元， 其推断图像指标，所述图像指标表示在多个低分辨率图像中的各个低分辨率图像中设定的 对象区域内的图像的性质；选择单元，其根据推断出的图像指标，从所述多个低分辨率图像 中，选择作为用于生成所述高分辨率图像的基准的低分辨率图像。
[0048] 本发明的图像处理装置的控制方法的特征在于，包括：对象区域设定步骤，在多个 低分辨率图像中的各个低分辨率图像中，设定作为应该关注的区域的对象区域；图像指标 推断步骤，推断图像指标，所述图像指标表示在多个低分辨率图像中的各个低分辨率图像 中设定的对象区域内的图像的性质；选择步骤，根据推断出的图像指标，从所述多个低分辨 率图像中，选择作为用于生成所述高分辨率图像的基准的低分辨率图像。
[0049] 本发明的图像处理程序由计算机执行，其特征在于，使计算机执行如下的处理：对 象区域设定步骤，在多个低分辨率图像中的各个低分辨率图像中，设定作为应该关注的区 域的对象区域；图像指标推断步骤，推断图像指标，所述图像指标表示在多个低分辨率图像 中的各个低分辨率图像中设定的对象区域内的图像的性质；选择步骤，根据推断出的图像 指标，从所述多个低分辨率图像中，选择作为用于生成所述高分辨率图像的基准的低分辨 率图像。
[0050] 由此，起到以下效果：能够生成对象区域更为清晰的高分辨率图像。

【专利附图】

【附图说明】
[0051] 图1是示出本发明的一个实施方式的超分辨率图像处理装置的大致结构的一个 例子的功能框图。
[0052] 图2是例示了多帧超分辨率处理的概略的图。
[0053] 图3是示出上述超分辨率图像处理装置中的基准图像选择处理的概要的图。图3 的（a)部分示出对象区域内的模糊少的低分辨率图像数据，图3的（b)部分示出对象区域内 的模糊大的低分辨率图像数据。
[0054] 图4是例示了上述超分辨率图像处理装置的超分辨率处理的流程的流程图。
[0055] 图5是示出本发明的另一个实施方式的超分辨率图像处理装置的大致结构的一 个例子的功能框图。
[0056] 图6是示出上述超分辨率图像处理装置中的基准图像选择处理的概要的图。
[0057] 图7是例示了上述超分辨率图像处理装置的超分辨率处理的流程的流程图。
[0058] 图8是示出本发明的另一个实施方式的超分辨率图像处理装置的大致结构的一 个例子的功能框图。
[0059] 图9是示出上述超分辨率图像处理装置中的基准图像选择处理的概要的图。
[0060] 图10是例示了上述超分辨率图像处理装置的超分辨率处理的流程的流程图。
[0061] 图11是示出本发明的又一个实施方式的超分辨率图像处理装置的大致结构的一 个例子的功能框图。
[0062] 图12A、12B是示出上述超分辨率图像处理装置中的基准图像选择处理的概要的 图。
[0063] 图13是例示了上述超分辨率图像处理装置的超分辨率处理的流程的流程图。
[0064] 图14是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0065] 图15是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0066] 图16是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0067] 图17是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0068] 图18是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0069] 图19是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0070] 图20是示出对各帧的物体检测结果进行一致性调整的方法的图。
[0071] 图21A、21B是示出现有的超分辨率图像处理的图。
[0072] 图22A、22B是示出现有的超分辨率图像处理的图。
[0073] 附图标记的说明
[0074] 1、2、3、4 :超分辨率图像处理装置，
[0075] 10 :控制部，
[0076] 11:图像读取部，
[0077] 12 :物体检测部，
[0078] 13、13B、13C :对象区域决定部(对象区域设定单元)，
[0079] 14、14A、14C :模糊量推断部（图像指标推断单元)，
[0080] 15 :基准图像选择部(选择单元)，
[0081] 16:超分辨率处理部，
[0082] 17、17B、17C :权重决定部(权重设定单元)，
[0083] 18 :显著区域推断部，
[0084] 19 :重叠判断部，
[0085] 20 :存储部。

【具体实施方式】
[0086] 第一实施方式
[0087] 参照图1?图4说明本发明的一个实施方式。首先，使用图1说明本发明的一个 实施方式的超分辨率图像处理装置1。图1是示出超分辨率图像处理装置1的大致结构的 一个例子的功能框图。
[0088] 如图1所示，超分辨率图像处理装置1将多个低分辨率图像数据LP11、作 为输入数据进行超分辨率处理，生成高分辨率图像数据HP1。
[0089] 使用图2对由超分辨率图像处理装置1执行的超分辨率处理的大致情况进行说 明。图2是例示多帧超分辨率处理的大致情况的图。如图2所例示，在多帧超分辨率处理中， 参照彼此位置偏移的多个低分辨率图像数据LPll、一、LPn，基于图像间的偏移量，进行超分 辨率处理，从而生成一张高分辨率图像数据HP1。此外，多个低分辨率图像数据LP11、…、 LPn也可以是在时间、空间上连续的图像。
[0090] 超分辨率图像处理装置1具有控制部10和存储部20。存储部20存储各种数据和 程序。
[0091] 控制部10统一控制超分辨率图像处理装置1的各种功能。通过由CPU (Central Processing Unit :中央处理器）等处理装置执行在存储部20等中存储的程序，来实现控制 部10的功能。例如，控制部10具有超分辨率处理功能。
[0092] 更具体地说，控制部10具有图像读取部11、物体检测部12、对象区域决定部13、模 糊量推断部14、基准图像选择部15以及超分辨率处理部16。
[0093] 图像读取部11读取作为输入数据的多个低分辨率图像数据LP11、一αΡη。多个 低分辨率图像数据LP11、…、LPn可以存储在存储部20中，也可以由可拆卸的外部存储介 质提供，也可以通过有线或者无线的通信网络来提供。另外，在超分辨率图像处理装置1具 有拍摄拍摄对象的拍摄部的情况下，图像读取部11也可以从该拍摄部获取多个低分辨率 图像数据LP11、"sLPn。
[0094] 另外，图像读取部11可以根据用户通过触控面板、键盘、鼠标等输入接口（未图示） 输入的操作，开始读取图像。另外，图像读取部11也可以定期或者非定期地、或者以时钟等 某种事件的发生为契机，开始自动读取图像。
[0095] 图像读取部11向物体检测部12供应所读取的多个低分辨率图像数据LP11、…、 LPn〇
[0096] 物体检测部12分别对多个低分辨率图像数据LP11、…、LPn进行图像解析，检测 出图像中所包含的物体。由物体检测部12检测出的物体可以是特定物体，也可以是一般物 体，例如，人物的脸部、人体或者陆标（land mark)等。物体检测部12也可以通过脸部认证 仅检测特定的人物。另外，物体检测部12也可以通过图案（pattern)识别来检测物体。
[0097] 另外，物体检测部12也可以从一张低分辨率图像数据LP11所表示的图像中检测 出多个物体。
[0098] 另外，物体检测部12可以在检测出物体时，设定表示存在物体的物体检测区域 (有时也称作"检测框")。物体检测区域可以是包含物体的矩形。或者，也可以由物体位置 判断部24检测物体的轮廓，将检测出的轮廓设定为该物体的物体检测区域。
[0099] 另外，物体检测部12将物体检测处理的结果供应至对象区域决定部13。
[0100] 对象区域决定部13基于物体检测处理的结果，分别针对多个低分辨率图像数据 LP11、…、LPn决定进行模糊量推断处理的区域。具体地说，对象区域决定部13将检测出 物体的区域决定为进行模糊量推断处理的区域（以下称作"对象区域")。在物体检测部12 通过物体检测处理检测出多个物体时，对象区域决定部13可以针对检测出的多个物体设 定对象区域。对象区域决定部13向模糊量推断部14通知所决定的对象区域。
[0101] 模糊量推断部14推断出分别针对多个低分辨率图像数据LP11、决定的对 象区域内的模糊量。模糊量推断部14能够使用例如专利文献1中记载的技术来推断模糊 量。模糊量推断部14向基准图像选择部15供应推断出的模糊量。
[0102] 基准图像选择部15基于对象区域的模糊量，从多个低分辨率图像数据LP11、…、 LPn中，选择作为超分辨率处理的基准的基准图像。此外，基准图像也称作基准帧、目标帧 或者对象图像等。基准图像选择部15将模糊量更少的低分辨率图像数据选择为基准图像。 基准图像选择部15向超分辨率处理部16通知所选择的基准图像。
[0103] 超分辨率处理部16基于所选择的基准图像，使用多个低分辨率图像数据 LP11、进行超分辨率处理。超分辨率处理部16输出通过超分辨率处理生成的高分 辨率图像数据HP1。在超分辨率图像处理装置1具有显示部时，超分辨率处理部16可以在 显示部中显示高分辨率图像数据HP1。另外，超分辨率处理部16可以将所生成的高分辨率 图像数据HP1存储在存储部20中，也可以经由有线或者无线的通信网络将所生成的高分辨 率图像数据HP1发送到外部。
[0104] (超分辨率图像处理装置的基准图像选择处理的概要）
[0105] 接下来，使用图3对超分辨率图像处理装置1的基准图像选择处理的概要进行说 明。
[0106] 在图3的（a)部分和图3的（b)部分中，分别例示了低分辨率图像数据LP11和 LP12所表示的图像。
[0107] 在低分辨率图像数据LP11和LP12中分别包含有人物Ml，通过物体检测部12检测 出该人物Ml的脸部的部分。另外，在低分辨率图像数据LP11和LP12中，对象区域决定部 13分别将在检测出的部分设定的物体检测区域R1设定为对象区域。
[0108] 模糊量推断部14推断出低分辨率图像数据LP11和LP12所表示的图像中的各自 的对象区域内的模糊量。
[0109] 在此，在低分辨率图像数据LP11中，对象区域(物体检测区域R1)内的模糊量少， 与此相对，在低分辨率图像数据LP12中，对象区域(物体检测区域R1)内的模糊量多。
[0110] 因此，基准图像选择部15选择在对象区域内的模糊量更少的低分辨率图像数据 LP11，来作为基准图像。
[0111] (超分辨率图像处理装置的处理的流程）
[0112] 接下来，使用图4对超分辨率图像处理装置1的超分辨率处理的流程进行说明。图 4是例示第一实施方式的超分辨率图像处理装置1的超分辨率处理的流程的流程图。
[0113] 如图4所示，首先，物体检测部12针对多个低分辨率图像数据LP11、一αΡη执行 物体检测处理（S100)。
[0114] 接下来，物体检测部12判断针对多个低分辨率图像数据LP11、…、LPn进行物体 检测处理的结果，即是否检测出了物体（S101)。
[0115] 在检测出物体时(在S101中判断为是)，对象区域决定部13将在所检测出的物体 设定的物体检测区域设定为用于推断模糊量的对象区域（S102)。接下来，模糊量推断部14 针对多个低分辨率图像数据LP11、…、LPn，推断对象区域内的模糊量（S103 )。此外，基准图 像选择部15基于所推断出的模糊量，从多个低分辨率图像数据LP11、…、LPn中选择基准 图像（S104)。而且，超分辨率处理部16基于所选择的基准图像，执行超分辨率处理（S105)。
[0116] 另一方面，在没有检测出物体时(在S101中判断为否)，对象区域决定部13将低分 辨率图像数据的图像整体设定为对象区域（S106)，然后，执行上述的S103?S105。
[0117] 此外，在多个低分辨率图像数据LP11、一αΡη中的一部分低分辨率图像数据中没 有检测出物体时，可以从基准图像的候选中移除该一部分低分辨率图像。
[0118] 第二实施方式
[0119] 以下，基于图5?图7说明本发明的另一个实施方式。此外，为了便于说明，针对 与在上述实施方式中说明的部件具有相同功能的部件，标注相同的符号，并省略其说明。
[0120] 在本实施方式中，针对以下情况进行说明：在物体检测处理的结果是在低分辨率 图像中检测出了多个物体的情况，对模糊量的推断结果进行加权处理。
[0121] 首先，使用图5,说明本发明的另一个实施方式的超分辨率图像处理装置2。图5 是示出超分辨率图像处理装置2的大致结构的一个例子的功能框图。
[0122] 图5所示的超分辨率图像处理装置2与图1所示的超分辨率图像处理装置1同样 地，将多个低分辨率图像数据LP21、…、LPn作为输入数据来进行超分辨率处理，生成高分 辨率图像数据HP2。图5所示的超分辨率图像处理装置2具有以下结构：在图1所示的超 分辨率图像处理装置1的基础上，追加权重决定部17,而且将模糊量推断部14变更为模糊 量推断部14A。
[0123] 此外，以下若没有特别进行限定，则将物体检测部12作为从低分辨率图像数据 LP21等所表示的图像中检测多个物体的单元，将对象区域决定部13作为针对检测出的多 个物体设定对象区域的单元。另外，可以利用与前后帧的逻辑和/逻辑积、追踪（tracking) (变动预测）来对由物体检测部12检测出的物体检测区域进行统合。
[0124] 以下，参照图6,对权重决定部17、模糊量推断部14A进行说明。
[0125] 权重决定部17分别对针对检测出的多个物体所设定的对象区域，决定适用于推 断结果的权重。权重决定部17可以根据检测出的物体的类别进行加权。物体的类别是指 例如(特定的）人物的脸部、人体、路标等检测出的物体的种类。
[0126] 例如，在低分辨率图像中检测出特定人物和一般物体的情况下，权重决定部17可 以与针对一般物体所设定的对象区域相比，对针对特定人物所设定的对象区域设定更大的 权重。
[0127] 以下，参照图6更具体地进行例示。在图6所示的低分辨率图像数据LP21和低分 辨率图像数据LP22所表示的图像中，分别检测出了人物Ml和路标M2。然后，物体检测部 12针对人物Ml设定物体检测区域R1，针对路标M2设定物体检测区域R2。在该情况下，权 重决定部17针对人物Ml决定权重为1，0,针对物体(路标M2)决定权重为0, 5。
[0128] 另外，权重决定部17也可以根据检测出的物体的尺寸、位置进行加权。能够根据 检测出的物体的重要度/关注度来决定加权。重要度/关注度可以预先设定，也可以基于 检测出的物体来计算。
[0129] 另外，权重决定部17向模糊量推断部14A通知所决定的权重。
[0130] 在在低分辨率图像中检测出多个物体的情况下，模糊量推断部14A推断进行了加 权的模糊量。具体地说，首先，模糊量推断部14A针对分别在低分辨率图像中检测出的多个 物体中设定的对象区域，推断模糊量。接下来，模糊量推断部14A针对推断出的模糊量应用 由权重决定部17决定的权重，并通过将应用了权重的模糊量相加，来计算合计模糊量。
[0131] 以下，参照图6,更具体地进行例示。针对图6所示的低分辨率图像数据LP21，模糊 量推断部14A针对人物Ml推断出模糊量10,针对物体(路标M2)推断出模糊量50。此时， 模糊量推断部14A将权重决定部17针对人物决定的权重1. 0与针对物体决定的权重0. 5 分别应用于推断出的模糊量，并进行合计。就低分辨率图像数据LP21而言，模糊量推断部 14A计算出的模糊量为10X1. 0 + 50X0. 5 = 35。
[0132] 另一方面，针对低分辨率图像数据LP22,模糊量推断部14A针对人物Ml推断模糊 量50,针对物体(路标M2)推断模糊量10。模糊量推断部14A以上述方式对推断出的模糊 量的加权和进行计算。就低分辨率图像数据LP22而言，模糊量推断部14A计算出的合计模 糊量为 50X1. 0 + 10X0. 5 = 55。
[0133] 因此，在图6所示的例子中，基准图像选择部15选择合计模糊量更少的低分辨率 图像数据LP21来作为基准图像。
[0134] (超分辨率图像处理装置中的处理的流程）
[0135] 接下来，使用图7对超分辨率图像处理装置2中的超分辨率处理的流程进行说明。 图7是例示第二实施方式的超分辨率图像处理装置2的超分辨率处理的流程的流程图。
[0136] 如图7所示，首先，物体检测部12针对多个低分辨率图像数据LP21、一αΡη执行 物体检测处理（S201)。
[0137] 接下来，物体检测部12针对多个低分辨率图像数据LP21、…、LPn判断物体检测 处理的结果，即是否检测出了物体（S202)。
[0138] 在检测出物体时(在S202中判断为是)，物体检测部12进一步判断是否存在多个 检测出的物体（S203)。
[0139] 在检测出多个物体时(在S203中判断为是)，对象区域决定部13针对检测出的多 个物体分别设定对象区域，权重决定部17决定每个所设定的对象区域的权重（S204)。另 夕卜，模糊量推断部14A推断出每个对象区域的模糊量（S205)，而且将权重应用于推断出的 模糊量并计算出合计模糊量（S206 )。
[0140] 而且，基准图像选择部15基于合计模糊量选择超分辨率处理的基准图像（S210)， 超分辨率处理部16基于所选择的基准图像执行超分辨率处理（S211)。
[0141] 另一方面，当检测出的物体是单独的物体时(在S203中判断为否)，对象区域决定 部13将该物体的物体检测区域决定为用于推断模糊量的对象区域（S207)。接下来，模糊量 推断部14A推断对象区域内的模糊量（S209)。然后，基准图像选择部15基于所推断出的模 糊量决定超分辨率处理的基准图像（S210)，超分辨率处理部16基于所选择的基准图像，执 行超分辨率处理（S211)。
[0142] 此外，在S202中，在没有检测出物体时(在S202中判断为否)，对象区域决定部13 将低分辨率图像数据的图像整体设定为对象区域（S208)，然后执行上述的S209?S211。
[0143] 第三实施方式
[0144] 以下，基于图8?图10,说明本发明的又一个实施方式。此外，为了便于说明，针对 与在上述实施方式中说明的部件具有相同功能的部件，标注相同的符号并省略其说明。
[0145] 在本实施方式中，针对以下情况进行说明：推断图像中的显著区域，从而决定用于 推断模糊量的对象区域。
[0146] 首先，使用图8,说明本发明的又一个实施方式的超分辨率图像处理装置3。图8 是示出超分辨率图像处理装置3的大致结构的一个例子的功能框图。
[0147] 图8所示的超分辨率图像处理装置3与图5所示的超分辨率图像处理装置2同样 地，将多个低分辨率图像数据LP31、…、LPn作为输入数据来进行超分辨率处理，生成高分 辨率图像数据HP3。
[0148] 图8所示的超分辨率图像处理装置3具有以下结构：在图5所示的超分辨率图像 处理装置2的基础上，将物体检测部12、对象区域决定部13以及权重决定部17分别变更为 显著区域推断部18、对象区域决定部13B以及权重决定部17B。
[0149] 以下，参照图9,对显著区域推断部18、对象区域决定部13B以及权重决定部17B 进行说明。
[0150] 显著区域推断部18针对低分辨率图像数据LP31、…、LPn所表示的图像，推断人 类在视觉上可能会关注的程度(显著性（Saliency))高的显著区域。具体地说，显著区域推 断部18针对低分辨率图像，计算出作为人类应该会在视觉上关注的程度即显著度，生成绘 制有显著度的显著图表图像。
[0151] 显著区域推断部18可以基于图像的对比度来计算出显著度。接下来，显著区域推 断部18基于计算出的显著度推断显著图表图像中的显著区域。就显著区域而言，可以将图 像中的显著度大于等于规定值的部分推断为显著区域，也可以将包含显著度大于等于规定 值的部分的矩形推断为显著区域。另外，显著区域推断部18可以推断出多个显著区域。另 夕卜，可以利用与前后帧的逻辑和/逻辑积、追踪（tracking)(变动预测）来对由显著区域推 断部18推断出的显著区域进行统合。
[0152] 以下，使用图9说明显著区域推断部18。在图9示出的低分辨率图像数据LP31所 表示的图像中包含有狗M3。显著区域推断部18可以计算出低分辨率图像LP31的各部分的 显著度，来生成显著图表图像LP31'。在显著图表图像LP31'中，示出了以下情况：亮的部 分的显著度高，暗的部分的显著度低。
[0153] 在显著图表图像LP31'中，与低分辨率图像数据LP31所表示的图像中包含的狗 M3对应的部分变得明亮(显著度高)。显著区域推断部18根据显著度设定显著区域R3'。
[0154] 另外，显著区域推断部18向对象区域决定部13B通知显著区域推断处理的结果。
[0155] 对象区域决定部13B基于显著区域推断处理的结果，分别针对多个低分辨率图像 数据LP31、"^LPri决定进行模糊量推断处理的区域。
[0156] 作为一个例子，对象区域决定部13B在低分辨率图像数据LP31所表示的图像中， 将与在显著图表图像LP31'中推断出的显著区域对应的部分决定为进行模糊量推断处理 的区域（以下，称作"对象区域")。
[0157] 另外，对象区域决定部13B也可以根据显著区域推断结果设定多个对象区域。
[0158] 以下，使用图9说明对象区域决定部13B。如图9所示，对象区域决定部13B在低 分辨率图像数据LP31所表示的图像中，将与在显著图表图像LP31'中推断出的显著区域 R3'对应的部分设定为对象区域R3。
[0159] 对象区域决定部13B向权重决定部17B通知所决定的对象区域。
[0160] 权重决定部17B分别针对推断出的多个显著区域(更详细地说，与显著区域对应 的对象区域)，决定适用于模糊量的推断结果的权重。权重决定部17B可以根据各显著区域 的显著度进行加权。此外，权重决定部17B也可以使得适用于各对象区域的权重相等(也就 是说，也可以省略加权)。另外，能够采用省略权重决定部17B的结构。
[0161] (超分辨率图像处理装置中的处理的流程）
[0162] 接下来，使用图10说明超分辨率图像处理装置3中的超分辨率处理的流程。图10 是例示了第三实施方式的超分辨率图像处理装置3的超分辨率处理的流程的流程图。
[0163] 如图10所示，首先，显著区域推断部18针对多个低分辨率图像数据LP31、?、LPn 执行显著区域推断处理（S301)。
[0164] 接下来，显著区域推断部18判断针对多个低分辨率图像数据LP31、…、LPn执行 的显著区域推断处理的结果，即判断是否存在显著区域（S302)。
[0165] 在存在显著区域时(在S302中判断为是)，显著区域推断部18进一步判断是否存 在多个显著区域（S303)。
[0166] 在存在多个显著区域时(在S303中判断为是)，对象区域决定部13B针对多个显著 区域分别设定对象区域，权重决定部17B决定所设定的每个对象区域的权重（S304)。另外， 模糊量推断部14A推断每个对象区域的模糊量（S305)，而且将权重应用于所推断出的模糊 量并计算出合计模糊量（S306)。
[0167] 然后，基准图像选择部15基于合计模糊量选择超分辨率处理的基准图像（S310)， 超分辨率处理部16基于所选择的基准图像执行超分辨率处理（S311)。
[0168] 另一方面，当推断出的显著区域为一个时(在S303中判断为否)，对象区域决定部 13B基于该显著区域决定用于推断模糊量的对象区域（S307)。接下来，模糊量推断部14A推 断对象区域内的模糊量（S309)。然后，基准图像选择部15基于推断出的模糊量来选择超分 辨率处理的基准图像（S310)，超分辨率处理部16基于所选择的基准图像，执行超分辨率处 理（S311)。
[0169] 此外，在S302中，在不存在显著区域时(在S302中判断为否)，对象区域决定部13B 将低分辨率图像数据的图像整体设定为对象区域（S308)，然后，执行上述的S309?S311。 [0170] 第四实施方式
[0171] 以下，基于图11?图13说明本发明的又一个实施方式。此外，为了便于说明，针 对与在上述实施方式中说明的部件具有相同功能的部件，标注相同的符号并省略其说明。
[0172] 在本实施方式中，针对以下情况进行说明：进行物体检测与显著区域推断，基于两 者的结果的重复范围，来进行加权。
[0173] 首先，使用图11说明本发明的又一个实施方式的超分辨率图像处理装置4。图11 是示出超分辨率图像处理装置4的大致结构的一个例子的功能框图。
[0174] 图11所示的超分辨率图像处理装置4与图1所示的超分辨率图像处理装置1和 图8所示的超分辨率图像处理装置3同样地，将多个低分辨率图像数据LP41、一αΡη作为 输入数据来进行超分辨率处理，生成高分辨率图像数据ΗΡ4。
[0175] 大致而言，图11所示的超分辨率图像处理装置4同时具有超分辨率图像处理装置 1所具有的物体检测部12和超分辨率图像处理装置3所具有的显著区域推断部18。
[0176] 更具体地说，超分辨率图像处理装置4的控制部10具有图像读取部11、物体检测 部12、显著区域推断部18、对象区域决定部13C、重叠判断部19、权重决定部17C、模糊量推 断部14C、基准图像选择部15以及超分辨率处理部16。
[0177] 由于已经对图像读取部11、物体检测部12、显著区域推断部18、基准图像选择部 15以及超分辨率处理部16进行了说明，所以在此省略说明。此外，物体检测部12向对象区 域决定部13C通知物体检测处理的结果。另外，显著区域推断部18向对象区域决定部13C 通知显著区域推断处理的结果。
[0178] 以下，针对对象区域决定部13C、重叠判断部19、权重决定部17C以及模糊量推断 部14C进行说明。
[0179] 对象区域决定部13C分别针对多个低分辨率图像数据LP41、…、LPn设定基于物 体检测处理的结果的第一对象区域，而且设定基于显著区域推断处理的结果的第二对象区 域。此外，在以下的说明中，至少将第一对象区域和第二对象区域内的至少一种设定为多 个。另外，第二对象区域是在低分辨率图像中，与利用显著图表图像设定的显著区域对应的 部分。对象区域决定部13C向重叠判断部19通知所决定的第一对象区域和第二对象区域。
[0180] 重叠判断部19判断第一对象区域与第二对象区域是否重叠。此外，重叠判断部19 也可以判断第一对象区域与第二对象区域的重叠程度、范围。
[0181] 权重决定部17C根据第一对象区域与第二对象区域是否重叠，决定适用于第一对 象区域和第二对象区域的权重。此外，权重决定部17C也可以根据第一对象区域与第二对 象区域的重叠程度决定上述权重。
[0182] 以下，参照图12A、12B进行说明。图12A、12B示意地示出了低分辨率图像数据与 由该低分辨率图像数据生成的显著图表图像。在图12A示出的低分辨率图像数据LP41所 表示的图像中，包含有在环形车道上行驶的车辆M4。在该图像中，利用物体检测部12进行 物体检测的结果为，针对车辆M4设定物体检测区域R4。
[0183] 另外，如图12B所示，显著区域推断部18基于低分辨率图像数据LP41生成显著图 表图像LP41'。另外，在显著图表图像LP41'中，显著区域推断处理的结果为，在车辆M4 与位于环形车道的跑道的边界的白线附近检测到较高的显著度。显著区域推断部18针对 车辆M4设定显著区域R4'，在白线上设定显著区域R41。
[0184] 在此，重叠判断部19判断第一对象区域(物体检测区域）与第二对象区域(在低分 辨率图像中与显著区域对应的区域)是否重叠。在图12A和图12B所示的例子中，物体检测 区域R4和与显著区域R4'对应的区域重叠。另一方面，就显著区域R41而言，不存在相对 应的物体检测区域。因此，权重决定部17C针对车辆M4应用比白线更高的权重。
[0185] 模糊量推断部14C使用由权重决定部17C决定的权重，针对第一对象区域或第二 对象区域推断模糊量。此外，并不仅限于此，模糊量推断部14C也可以基于第一对象区域或 第二对象区域，决定用来推断模糊量的的区域。具体地说，模糊量推断部14C也可以针对 第一对象区域和第二对象区域进行和以及积等的区域计算，来决定进行模糊量的推断的区 域。例如，模糊量推断部14C可以将第一对象区域与第二对象区域的重复区域设定为推断 模糊量的区域。
[0186] (超分辨率图像处理装置中的处理的流程）
[0187] 接下来，使用图13说明超分辨率图像处理装置4中的超分辨率处理的流程。图13 是例示了实施方式4的超分辨率图像处理装置4的超分辨率处理的流程的流程图。
[0188] 如图13所示，首先，显著区域推断部18针对多个低分辨率图像数据LP41、?、LPn 执行显著区域推断处理（S401)。
[0189] 接下来，物体检测部12针对多个低分辨率图像数据LP41、…、LPn执行物体检测 处理（S402)。
[0190] 接下来，对象区域决定部13C分别针对多个低分辨率图像数据LP41、设定 基于物体检测处理的结果的第一对象区域，而且设定基于显著区域推断处理的结果的第二 对象区域。而且，对象区域决定部13C判断是否存在对象区域（S403)。具体地说，对象区域 决定部13C判断是否存在第一对象区域而且判断是否存在第二对象区域。
[0191] 在存在第一对象区域和第二对象区域两者时(在S403中判断为是)，重叠判断部 19判断第一对象区域与第二对象区域的重叠（S404)。接下来，权重决定部17C根据重叠判 断的结果决定适用于各对象区域中的权重（S405)。另外，模糊量推断部14C使用由权重决 定部17C决定的权重来推断每个对象区域的模糊量（S406)，而且在推断出的模糊量中使用 权重，以计算出合计模糊量（S407)。
[0192] 然后，基准图像选择部15基于合计模糊量选择超分辨率处理的基准图像（S410)， 超分辨率处理部16基于所选择的基准图像，执行超分辨率处理（S411)。
[0193] 另一方面，在不存在第一对象区域和第二对象区域内的至少一种时(在S403中判 断为否)，对象区域决定部13C将该图像整体决定为用于推断模糊量的对象区域（S408)。此 夕卜，在S408中存在第一对象区域与第二对象区域内的一种时，对象区域决定部13C可以将 第一对象区域与第二对象区域内中存在的一种决定为对象区域。
[0194] 接下来，模糊量推断部14C推断对象区域内的模糊量（S409)。而且，基准图像选择 部15基于推断出的模糊量，选择超分辨率处理的基准图像（S410)，超分辨率处理部16基于 所选择的基准图像，执行超分辨率处理（S411 )。
[0195] (变形例）
[0196] (1)就表示图像的性质的图像指标而言
[0197] 以上，作为一个例子，对模糊量推断部14、14A、14C推断模糊量的结构进行了说 明，但是不仅限于该结构。可以利用超分辨率图像处理装置1、2、3、4推断表示图像的性质 的图像指标。作为表示图像的性质的图像指标，例如，能够采用表示图像的主观特性的指 标。更具体地说，作为表示图像的性质的图像指标，例如，除了"模糊量"之外，还例举有"抖 动"、"噪声"、"泛白"、"发黑"。另外，基准图像选择部15可以基于推断出的图像指标选择基 准图像。
[0198] (2)就统合物体检测区域的方法而言
[0199] 以下，针对在以上所说明的超分辨率图像处理装置1、2、3、4中，统合在多个低分 辨率图像之间的物体检测区域的方法进行说明。
[0200] 以下，为了便于说明，针对超分辨率图像处理装置1和2依次进行说明。由于帧间 的画质的波动等，有时帧与帧之间物体检测结果的不同。在该情况下，可以以下述方法对各 帧的物体检测结果进行一致性调整。
[0201] 使用图14?图16,对在超分辨率图像处理装置1中，调整在多个低分辨率图像之 间的物体检测区域的方法进行说明。
[0202] 首先，如图14所示，针对没有对各帧之间的物体检测结果进行一致性调整的情况 进行说明。图14示出在超分辨率图像处理装置1中进行了物体检测处理的低分辨率图像 的帧FR1UFR12以及FR13的一个例子。
[0203] 物体检测部12在帧FR11和帧FR13中，检测出人物Ml，并在各帧中分别设定物体 检测区域R1。但是，在帧FR12中，因画质的波动等导致没有检测出物体。
[0204] 在图14所示的情况下，物体检测部12也可以在帧FR1UFR12以及FR13之间针对 物体检测区域R1获取逻辑和，从而将物体检测结果补充完整。即，物体检测部12能够通过 获取逻辑和，能够以图15示出的那样在帧FR12中将物体检测区域R1补充完整。由此，即 使在某一个帧中因画质的波动等发生遗漏检测物体的情况下，也能够从其它帧获得补充， 由此，能够对在各帧之间的物体检测区域进行一致性调整。
[0205] 此外，在对作为补充对象的帧FR12补充物体检测区域时，物体检测部12可以使用 其它的某一个帧中的物体检测区域的位置，也可以使用在其他的帧中设定的物体检测区域 的平均位置。在以下的说明中相同。
[0206] 另外，在图14所示的情况下，物体检测部12也可以在帧FR11、FR12以及FR13之 间针对物体检测区域R1获取逻辑积。即，如图16所示，物体检测部12可以通过获得逻辑 积，而从帧FR11和FR13中消除物体检测区域R1。由此，如图16所示，能够对帧FR1UFR12 以及FR13之间的物体检测区域进行一致性调整。
[0207] 根据以上结构，例如，在某一个帧中出现了误检测的情况下，能够消除该误检测。
[0208] 另外，可以根据物体检测区域的调整程度来决定是获取逻辑和还是获取逻辑积。 此外，在检测出多个物体时，可以针对每个物体进行上述决定。
[0209] 具体地说，在多数帧中检测出了某物体而在一部分帧中没有检测出该物体的情况 下，物体检测部12可以决定获取逻辑和。这是因为可能在这一部分帧中发生了遗漏检测物 体的情况。由此，能够将检测遗漏补充完整，对各帧之间的物体检测区域进行一致性调整。
[0210] 与此相对，当在多数帧中没有检测出某物体而在一部分帧中检测出了该物体的情 况下，物体检测部12可以决定获取逻辑积。这是因为可能在这一部分帧中发生了该物体的 误检测。由此，能够消除误检测，对各帧之间的物体检测区域进行一致性调整。在以下的说 明中也相同。
[0211] 接下来，使用图17?图20,对在超分辨率图像处理装置2中，调整多个低分辨率图 像之间的物体检测区域的方法进行说明。
[0212] 首先，使用图17和图18对利用逻辑和进行调整的方法进行说明。图17示出在超 分辨率图像处理装置2中进行了物体检测处理的低分辨率图像的帧FR21?FR25的一个例 子。在各低分辨率图像中包含有人物Ml和路标M2。
[0213] 物体检测部12在帧FR24以外的帧中检测出人物M1，并设定物体检测区域R1。另 夕卜，物体检测部12在帧FR23以外的帧中检测出路标M2,并设定物体检测区域R2。
[0214] 在图17所示的情况下，物体检测部12可以在帧FR21?FR25之间针对物体检测区 域R1和R2获取逻辑和，以将物体检测结果补充完整。即，物体检测部12可以通过获得逻 辑和，以图18示出的方式在帧FR24中将物体检测区域R1补充完整，在帧FR23中将物体检 测区域R2补充完整。由此，能够对帧FR21?FR25之间的物体检测区域进行一致性调整。
[0215] 接下来，使用图19和图20对利用逻辑积进行调整的方法进行说明。图19示出在 超分辨率图像处理装置2中进行了物体检测处理的低分辨率图像的帧FR31?FR35的一个 例子。在各低分辨率图像中包含有人物Ml和路标M2。
[0216] 物体检测部12在全部帧FR31?FR35中，检测人物Ml和路标M2,而且针对人物 Ml和路标M2设定物体检测区域R1和R2。
[0217] 另外，物体检测部12因画质的波动等，在帧FR33中针对不明物体设定不明物体检 测区域R11。
[0218] 在图19所示的情况下，物体检测部12可以在帧FR31?FR35之间针对物体检测 区域R1、R2以及R11获取逻辑积，以消除被认为是不需要的物体检测结果。即，物体检测部 12能够通过获取逻辑积，以图20示出的那样从帧FR33中消除不明物体检测区域R11。由 此，能够对帧FR31?FR35之间的物体检测区域进行一致性调整。
[0219] (作用/效果）
[0220] 如上所述，本发明的一个方式的图像处理装置1利用多个低分辨率图像数据 LP11…LPn所表示的图像来生成高分辨率图像数据HP1，该图像处理装置1具有：对象区域 决定部(对象区域设定单元）13,在多个低分辨率图像数据LPll-LPri所表示的图像中的各 个图像中，设定作为应该关注的区域的对象区域；模糊量推断部（图像指标推断单元）14,推 断在多个低分辨率图像数据LPll - LPri所表示的图像中的每个图像中设定的对象区域内 的模糊（Bokeh)量；基准图像选择部(选择单元）15,根据推断出的模糊量，选择作为生成基 准的低分辨率图像，上述生成基准是指，用于利用上述多个低分辨率图像数据LP11…LPn 所表示的图像来生成上述高分辨率图像数据HP1的基准。
[0221] 由此，起到能够生成对象区域更加清晰的高分辨率图像的效果。
[0222] (基于软件的实施例）
[0223] 超分辨率图像处理装置1、2、3、4的控制块(控制部10)可以通过形成于集成电路 (1C芯片）上的逻辑电路(硬件）来实现，也可以利用CPU (Central Processing Unit :中央 处理器）以软件的方法实现。
[0224] 在后一种的情况下，超分辨率图像处理装置1、2、3、4具有：执行作为实现各个功 能的软件的程序的命令的CPU、能够由计算机(或者CPU)读取地记录有上述程序和各种数 据的ROM (Read Only Memory:只读存储器）或者存储装置(将这些称作"记录介质"）以及 展开上述程序的RAM (Random Access Memory:随机存取存储器)等。计算机(或者CPU)能 够通过从上述记录介质读取并执行上述程序，来达到本发明的目的。作为上述记录介质，可 以利用"非暂时的有形介质"，例如，能够利用磁带、磁盘、卡类、半导体存储器、可编程的逻 辑电路等。另外，上述程序可以经由能够传送该程序的任意传送介质(通信网络或无线电波 等）供应至上述计算机。此外，本发明也能够以通过电子传输来体现上述程序代码的、叠加 在载波中的数据信号的形态实现。
[0225] 本发明并不仅限于上述各实施方式，能够在权利要求所示的范围内进行各种变 更，对在不同的实施方式中分别公开的技术手段进行适当组合而获得的实施方式也包含在 本发明的技术范围内。此外，通过对在不同的实施方式中分别公开的技术手段进行组合，能 够形成新的技术特征。
[0226] 工业上的可利用性
[0227] 本发明能够应用于根据多个低分辨率图像来生成具有比该低分辨率图像更高的 分辨率的高分辨率图像的图像处理装置，因此，能够适当地应用于打印机、扫描仪、数码照 相机、数字电视接收机、智能电话、个人计算机等数码图像设备和使用了图像的超分辨率技 术的安全系统等。
【权利要求】
1. 一种图像处理装置，其根据多个低分辨率图像生成具有比所述低分辨率图像更高的 分辨率的高分辨率图像，其特征在于， 具有： 对象区域设定单元，其在多个低分辨率图像中的各个低分辨率图像中，设定作为应该 关注的区域的对象区域， 图像指标推断单元，其推断图像指标，所述图像指标表示在多个低分辨率图像中的各 个低分辨率图像中设定的对象区域内的图像的性质， 选择单元，其根据推断出的图像指标，从所述多个低分辨率图像中，选择作为用于生成 所述高分辨率图像的基准的低分辨率图像。
2. 如权利要求1所述的图像处理装置，其特征在于， 还具有权重设定单元，在利用所述对象区域设定单元在低分辨率图像中设定了多个对 象区域的情况下，所述权重设定单元针对所设定的多个对象区域设定权重， 所述图像指标推断单元基于所设定的权重来推断所述低分辨率图像的图像指标。
3. 如权利要求1或2所述的图像处理装置，其特征在于， 所述对象区域设定单元在各个低分辨率图像中检测物体，基于该检测物体的结果来设 定对象区域。
4. 如权利要求1或2所述的图像处理装置，其特征在于， 所述对象区域设定单元在各个低分辨率图像中推断显著区域，基于推断出的显著区域 来设定对象区域。
5. 如权利要求2所述的图像处理装置，其特征在于， 所述对象区域设定单元在各个低分辨率图像中检测物体及推断显著区域，根据该检测 物体与推断显著区域的结果来设定对象区域， 所述权重设定单元设定与通过检测物体来设定的对象区域及通过推断显著区域来设 定的对象区域相对应的权重。
6. 如权利要求1、2或者5中任一项所述的图像处理装置，其特征在于， 所述对象区域设定单元基于在所述多个低分辨率图像中的各个低分辨率图像中设定 的对象区域，来修正所设定的对象区域。
7. 如权利要求6所述的图像处理装置，其特征在于， 所述对象区域设定单元在所述多个低分辨率图像之间，获取在所述多个低分辨率图像 中的各个低分辨率图像中设定的对象区域的逻辑和，由此来修正所设定的对象区域。
8. 如权利要求6所述的图像处理装置，其特征在于， 所述对象区域设定单元在所述多个低分辨率图像之间，获取在所述多个低分辨率图像 中的各个低分辨率图像中设定的对象区域的逻辑积，由此来修正所设定的对象区域。
9. 如权利要求1、2或者5中任一项所述的图像处理装置，其特征在于， 所述图像指标是模糊量。
10. -种图像处理装置的控制方法，其根据多个低分辨率图像生成具有比所述低分辨 率图像更高的分辨率的高分辨率图像，其特征在于， 包括： 对象区域设定步骤，在多个低分辨率图像中的各个低分辨率图像中，设定作为应该关 注的区域的对象区域， 图像指标推断步骤，推断图像指标，所述图像指标表示在多个低分辨率图像中的各个 低分辨率图像中设定的对象区域内的图像的性质， 选择步骤，根据推断出的图像指标，从所述多个低分辨率图像中，选择作为用于生成所 述高分辨率图像的基准的低分辨率图像。
【文档编号】G06T5/50GK104103054SQ201410108100
【公开日】2014年10月15日 申请日期:2014年3月21日 优先权日:2013年4月15日
【发明者】半泽雄希 申请人:欧姆龙株式会社