图像处理设备和图像处理方法
【专利摘要】[问题]为了在抑制处理负荷的同时获取高清图像。[解决方案]提供了一种图像处理设备，包括：图像处理单元，用于对同一对象的具有不同分辨率的多个图像中的每一个执行图像处理；以及图像合成单元，对图像处理单元的多个图像中的每一个的图像处理结果进行合成。
【专利说明】图像处理设备和图像处理方法
【技术领域】
[0001] 本公开涉及一种图像处理设备和图像处理方法。
【背景技术】
[0002] 近来，随着图像传感器具有更多像素，成像设备获得的捕获图像的像素数量增加， 并且像素大小趋于很小。虽然可以将对象的细节表示为像素数量增加的结果，但是当像素 大小小时噪声增加，并且图像质量劣化变得明显。该图像质量劣化可以通过利用空间滤波 器的噪声消除来更有效地校正。然而，当图像的像素数量增加时，空间滤波器要处理的像素 数量也增加，因此，用于实现空间滤波器的硬件规模和成本增加。
[0003] 从该观点来看，可以适当地减少原始图像的像素数量以生成缩小图像并且对缩小 图像执行图像处理（例如，参见专利文献1)。结果，可以防止硬件规模增大并防止处理时间 变长。
[0004] 引用列表
[0005] 专利文献
[0006] 专利文献1 :US 788"4说
【发明内容】
[0007] 技术问题
[0008] 然而，仅通过对原始图像的高频分量丢失的缩小图像执行图像处理难以获得高清 处理结果图像。
[0009] 因此，本公开的目的在于提供能够获得高清图像、同时抑制处理负荷的新的且改 进的图像处理设备和图像处理方法。
[0010] 针对问题的方案
[0011] 根据本公开，提供了一种图像处理设备，包括：图像处理单元，对同一对象的具有 不同分辨率的多个图像中的每一个执行图像处理；以及图像合成单元，对图像处理单元获 得的多个图像中的每一个的图像处理结果进行合成。
[0012] 根据本公开，提供了一种图像处理方法，包括：对同一对象的具有不同分辨率的多 个图像中的每一个执行图像处理；以及对多个图像中的每一个的图像处理结果进行合成。
[0013] 发明的有利效果
[0014] 如上所述，根据本公开，能够获得高清图像，同时可以抑制处理负荷。
【专利附图】
【附图说明】
[0015] 图1是示出根据本公开的实施例的图像处理设备的配置的说明图。
[0016] 图2是示出根据第一实施例的图像处理设备的层图像处理单元的配置的框图。
[0017] 图3是示出每层中的图像处理的具体示例的说明图。
[0018] 图4是示出每层中的图像处理的具体示例的说明图。
[0019] 图5是示出每层中的图像处理的具体示例的说明图。
[0020] 图6是示出每层中的处理定时的具体示例的说明图。
[0021] 图7是示出每层中的处理定时的具体示例的说明图。
[0022] 图8是示出每层中的处理定时的具体示例的说明图。
[0023] 图9是示出根据第一实施例的图像处理设备的操作的流程图。
[0024] 图10是示出根据第二实施例的图像处理设备的层图像处理单元的配置的框图。
[0025] 图11是示出图像捕获单元的曝光定时和每层中的处理定时的示例的说明图。
[0026] 图12是示出图像捕获单元的曝光定时和每层中的处理定时的另一示例的说明 图。
[0027] 图13是示出根据第二实施例的图像处理设备的操作的流程图。
【具体实施方式】
[0028] 下文中，将参照附图详细描述本发明的优选实施例。应注意，在本说明书和附图 中，具有基本上相同的功能和结构的元件以相同的附图标记来表示，并且省略重复说明。
[0029] 另外，在一些情况下，在本说明书和附图中，通过向相同附图标记分配不同字母来 区分具有基本上相同的功能和结构的多个部件。然而，尤其当不需要区分具有基本上相同 的功能和结构的多个部件时，将仅向部件分配相同附图标记。
[0030] 另外，本公开将按下列项的顺序来描述。
[0031] 1.图像处理设备的概况
[0032] 2.第一实施例
[0033] 2-1.根据第一实施例的图像处理设备的配置
[0034] 2-2.根据第一实施例的图像处理设备的操作
[0035] 3.第二实施例
[0036] 4.结论
[0037] 《1.图像处理设备的概况》
[0038] 根据本公开的技术可以以如在作为示例的"2.第一实施例"至"3.第二实施例"中 详细描述的各种模式来实现。另外，根据每个实施例的图像处理设备10具有：
[0039] A.图像处理单元（212, 222,…232)，对单个对象的具有不同分辨率的多个图像中 的每一个执行图像处理；以及
[0040] B.图像合成单元（214, 224)，对图像处理单元获得的多个图像中的每一个的图像 处理结果进行合成。
[0041] 首先，以下将参照图1描述各实施例中所共有的图像处理设备10的基本配置。
[0042] 图1是示出根据本公开的实施例的图像处理设备10的配置的说明图。如图1所 示，根据本公开的实施例的图像处理设备10具有图像捕获单元12、存储器单元14、层图像 处理单元20和显示单元30。
[0043] 图像捕获单元12将从对象发出的光转换成电图像信号。更具体地，图像捕获单元 12包括使光会聚的图像捕获光学系统（诸如，捕获透镜或变焦透镜）、图像捕获元件（诸 如，CCD(电荷耦合器件）或CMOS(互补金属氧化物半导体）和控制曝光的快门（物理快门 或电子快门）。在快门执行曝光时，图像捕获光学系统通过使从对象发出的光会聚来在图像 捕获元件上形成对象图像，并且图像捕获元件将所形成的对象图像转换成电图像信号。
[0044] 存储器单元14存储用于使得图像处理设备10进行操作的程序以及图像捕获单元 12获得的图像或层图像处理单元20获得的图像。
[0045] 该存储器单元14可以是诸如非易失性存储器、磁盘、光盘或M0(磁光）盘的存储 器介质。非易失性存储器例如是闪存、SD卡、微型SD卡、USB存储器、EEPR0M(电可擦除可 编程只读存储器）或EPR0M(可擦除可编程ROM)。另外，磁盘例如是硬盘或圆盘形磁盘。此 夕卜，光盘例如是⑶（致密盘）、DVD(数字通用盘）和BD(蓝光盘（注册商标））。
[0046] 层图像处理单元20对从图像捕获单元12或存储器单元14输入的图像执行图像 处理。虽然以下进行了详细描述，但是层图像处理单元20对单个对象的具有不同分辨率 的多个图像中的每一个执行图像处理，并且对多个图像中的每一个的图像处理结果进行合 成。根据该配置，与仅对具有高分辨率的图像执行图像处理的情况相比，可以抑制硬件规模 和成本，并且与仅对具有低分辨率的图像执行图像处理的情况相比，可以提供高清图像。
[0047] 显示单元30例如显示通过层图像处理单元20执行的图像处理而获得的图像。该 显示单元30可以是液晶显示器（LCD)装置或0LED(有机发光二极管）装置。
[0048] 应注意，虽然以上描述了图像处理设备10具有作为图像捕获功能的图像捕获单 元12的示例，但是图像处理设备10可不具有图像捕获功能。另外，图像处理设备10可以 是信息处理设备，诸如PC (个人计算机）、家用视频图像处理设备（例如，DVD记录器或卡式 磁带录像机）、PDA (个人数字助理）、家用游戏设备或家用电器。此外，图像处理设备10可 以是移动信息处理设备，诸如成像设备、智能电话、移动电话、PHS(个人手持电话系统）、移 动音乐回放设备、移动视频图像处理设备和移动游戏设备。
[0049] (背景）
[0050] 下文中，将描述本公开的实施例的背景。近来，随着图像传感（图像捕获元件）具 有更多像素，成像设备获得的捕获图像的像素数量增加，并且像素大小趋于很小。虽然可以 将对象的细节表示为像素数量增加的结果，但是当像素大小小时噪声增加，并且图像质量 劣化变得明显。该图像质量劣化可以通过利用空间滤波器的噪声消除来更有效地校正。然 而，当图像的像素数量增加时，空间滤波器要处理的像素数量也增大，因此，用于实现空间 滤波器的硬件规模和成本增加。
[0051] 从该观点来看，可以适当地减少原始图像的像素数量以生成缩小图像并且对缩小 图像执行图像处理。结果，可以防止硬件规模增大并防止处理时间变长。
[0052] 例如，将描述原始图像的像素数量为MXN并且通过将该原始图像缩小至2k_l (k =1，2, 3,...）倍来生成缩小图像的情况。在k = 3的情况下，缩小图像的像素数量为 (M/4) X (N/4)，因此，该缩小图像的一个像素对应于原始图像的16个像素。
[0053] 因此，将3X3的空间滤波处理应用于该缩小图像的一个像素等同于将空间滤波 处理应用于原始图像的12X12 = 144像素的范围。因此，从处理负荷的观点来看，处理缩 小图像是高效的。
[0054] 然而，仅通过对原始图像的高频率分量丢失的缩小图像执行图像处理难以获得高 清处理结果图像。
[0055] 因此，关注于上述状况创建了根据每个实施例的图像处理设备10。与仅对具有高 分辨率的图像执行图像处理的情况相比，根据每个实施例的图像处理设备10可以抑制硬 件规模和成本，并且与仅对具有低分辨率的图像执行图像处理的情况相比，可以提供高清 图像。以下将按顺序详细描述根据每个实施例的图像处理设备10。
[0056] 《2.第一实施例》
[0057] 〈2-1.根据第一实施例的图像处理设备的配置〉
[0058] 图2是示出根据第一实施例的图像处理设备10的层图像处理单元20-1的配置的 框图。如图2所示，层图像处理单元20-1具有图像缩小单元202和203、第一层处理单元 210至第K层处理单元230以及处理结果传送单元228和238。
[0059] 图像缩小单元202减少要输入的原始图像的像素数量，并且生成与原始图像相比 像素数量为第二大的第二层的缩小图像。应注意，图像缩小单元202可通过使像素稀疏化 来减少原始图像的像素数量，或者可通过对多个像素进行平均来减少原始图像的像素数 量。
[0060] 类似地，图像缩小单元203减少要输入的第K-ι层的缩小图像的像素数量，并且生 成像素数量最少的第K层的缩小图像。应注意，虽然在图2中未示出，但是可在图像缩小单 元202与图像缩小单元203之间设置一个或两个以上的图像缩小单元。应注意，每个图像 缩小单元可以以相同缩小率缩小要输入的图像。根据该配置，可以使用相同硬件来实现每 个图像缩小单元，因此，抑制了制造成本。
[0061] 处理结果传送单元228将第二层处理单元220获得的参数信息传送到在进行图像 处理时使用该参数信息的上层的第一层处理单元210。例如，参数信息是表示通过全局亮度 计算所获得的亮度分布的直方图，并且可在上层中使用该直方图来执行等级转换。
[0062] 类似地，处理结果传送单元238将第K层处理单元230获得的参数信息传送到在 进行图像处理时使用该参数信息的上层的第K-ι层处理单元。应注意，尽管图2中未示出， 但是处理结果传送单元可设置在各层处理单元之间。
[0063] 第K层处理单元230包括图像处理单元232和提高（upscaling)单元236。图像 处理单元232对从图像缩小单元203输入的第K层的缩小图像执行图像处理。提高单元 236将图像处理单元232获得的处理结果的图像提高（放大）到K-1层。应注意，提高可以 是指在像素之间插入像素值与邻近像素的像素值相同的像素或者是指在像素之间插入具 有周围像素的加权平均结果的像素值的像素。
[0064] 第二层处理单元220包括图像处理单元222、图像合成单元224和提高单元226。 图像处理单元222对从图像缩小单元202输入的第二层的缩小图像执行图像处理。图像合 成单元224将图像处理单元222获得的处理结果的图像与从第三层处理单元输入的第三层 中的处理结果的图像进行合成。注意，图像合成可以是对构成两个图像的各像素的加权平 均。
[0065] 第一层处理单元210包括图像处理单元212和图像合成单元214。图像处理单元 212对要输入的原始图像执行图像处理。图像合成单元214将图像处理单元212获得的处 理结果的图像与从第二层处理单元220输入的第三层的处理结果的图像进行合成。另外， 图像合成单元214将合成结果的图像作为输出图像输出到显示单元30和存储器单元14。 [0066] 注意，虽然参照图2描述了按每层来提高每层的图像处理结果的情况，但是本实 施例不限于该示例。例如，还可以将每层的图像处理结果直接提高到第一层（与原始图像 的分辨率相同的分辨率）。同时，当如参照图2所述那样按每层来提高图像处理结果时，相 同的提高单元（226,236)可以布置在各个层中，使得可以简化制造处理并抑制制造成本。 [0067] 如上所述，根据本实施例的层图像处理单元20-1对分辨率不同的多个层执行图 像处理，并且将各层的图像处理结果进行合成。另外，根据本实施例的层图像处理单元20-1 可以对每层执行各种类型的图像处理。以下将描述对每层所执行的图像处理的具体示例。 [0068] 应注意，虽然以下所述的各图像处理是一般处理因此将不详细描述，但是边缘保 留型NR(噪声降低）和非局部均值（NL means)NR是亮度NR的示例，色度NR是校正色度噪 声的处理，缺陷校正是校正缺陷像素的处理，等级转换是调整输入与输出之间的关系的处 理，闪烁检测是检测帧的闪烁的处理，闪烁校正是校正检测到的闪烁的处理，手抖校正是校 正图像捕获时的手抖的影响的处理，全局亮度计算是计算亮度分布的处理，以及GMV(全局 运动矢量）检测是检测帧单位的运动矢量的处理。
[0069](图像处理的具体示例）
[0070] -第一处理示例
[0071] 作为第一处理示例，各个层中的图像处理单元（212, 222,…和232)可执行相同处 理。例如，各个层中的图像处理单元（212, 222,…和232)可执行如图3所示的相同的边缘 保留型NR。
[0072] -第二处理示例
[0073] 作为第二处理示例，各个层中的图像处理单元（212, 222,…和232)可执行不同的 NR。更具体地，各个层中的图像处理单元（212, 222,…和232)可执行适合于每层的分辨率 的NR。例如，屏幕上的诸如粗糙度的亮度噪声包括占支配地位的高频分量，并且色度噪声包 括占支配地位的低频分量。
[0074] 因此，上层侧可执行诸如边缘保留型NR或非局部均值NR的亮度NR，以及下层侧 可执行色度NR。即，如图4所示，第一层的图像处理单元212可执行边缘保留型NR，第二 层的图像处理单元222可执行非局部均值NR，以及第K层的图像处理单元232可执行色度 NR。根据该配置，可以减少用于执行色度NR的处理负荷，同时充分地校正亮度噪声和色度 噪声。
[0075] -第三处理示例
[0076] 作为第三处理示例，各个层中的图像处理单元（212, 222,…和232)可执行不同的 图像处理。更具体地，各个层中的图像处理单元（212, 222,…和232)可执行适合于每层的 分辨率的图像处理。虽然可以以低分辨率执行例如全局亮度计算、闪烁检测、GMV检测、色度 NR、等级转换、闪烁校正和手抖校正，但是当分辨率不高时充分地执行缺陷校正是困难的。
[0077] 因此，如图5所示，第一层的图像处理单元212可执行缺陷校正，第二层的图像处 理单元222可执行亮度NR，以及第K层的图像处理单元232可执行全局亮度计算、闪烁检 测、GMV检测、色度NR、等级转换、闪烁校正和手抖校正。根据该配置，可以实现输出图像的 高图像质量，同时抑制整体处理负荷。
[0078](每层中的处理定时）
[0079] 如上所述，各个层中的图像处理单元（212, 222,…和232)可以执行不同模式的图 像处理。在这点上，各个层中的图像处理单元（212, 222，···和232)执行图像处理的定时不 受具体限制。以下将描述各个层中的图像处理单元（212, 222,…和232)执行图像处理的定 时的示例。
[0080] 图6是示出每层中的图像处理的第一定时示例的说明图。如图6所示，层图像处 理单元20-1可按从上层起的顺序开始图像处理。即，第一层的图像处理单元212可首先 开始图像处理（处理1和处理2)，第二层的图像处理单元222可接着开始图像处理（处理 a和处理b)，以及第三层的图像处理单元232可随后开始图像处理（处理A、处理B和处理 0。应注意，虽然图6示出了每层中的图像处理结束的定时统一的示例，但是每层中的图像 处理可以以不同定时结束。
[0081] 图7是示出每层中的图像处理的第二定时示例的说明图。如图7所示，层图像处 理单元20-1可同时开始每层中的图像处理。即，在第一层的图像处理单元212可首先开始 图像处理（处理1和处理2)的同时，第二层的图像处理单元222可接着开始图像处理（处 理a、处理b和处理c)，以及第三层的图像处理单元232可随后开始图像处理（处理A、处理 B、处理C、处理D和处理E)。应注意，虽然图7示出每层中的图像处理结束的定时统一的示 例，但是每层中的图像处理可以以不同定时结束。
[0082] 图8是示出每层中的图像处理的第三定时示例的说明图。如图8所示，层图像处理 单元20-1可按从下层起的顺序开始图像处理。即，第三层的图像处理单元232可首先开始 图像处理（处理A、处理B、处理C、处理D和处理E)，第二层的图像处理单元222可接着开 始图像处理（处理a和处理b)，以及第一层的图像处理单元212可随后开始图像处理（处 理1)。应注意，虽然图8示出每层中的图像处理结束的定时统一的示例，但是每层中的图像 处理可以以不同定时结束。
[0083] 〈2-2.根据第一实施例的图像处理设备的操作〉
[0084] 以上描述了根据本公开的第一实施例的图像处理设备10的配置。接下来，将描述 根据本公开的第一实施例的图像处理设备10的操作。
[0085] 图9是示出根据第一实施例的图像处理设备10的操作的流程图。如图9所示，当 层图像处理单元20-1首先接收原始图像的输入（S310)时，图像缩小单元202和203生成 第K层的具有不同分辨率的缩小图像（S320)。
[0086] 另外，每层中的图像处理单元根据分辨率对要输入的缩小图像执行图像处理 (S330)。随后，每层中的提高单元将图像处理结果提高至上层的分辨率，每层中的图像合成 单元将同一层的图像处理结果与在下层中提高的图像处理结果进行合成（S340)，并且输出 合成结果（S350)。应注意，当每层中的图像处理单元获得用于上层中的图像处理的参数信 息时，处理结果传送单元（228,…和238)将该参数信息传送到上层。
[0087]《3.第二实施例》
[0088]以上描述了本公开的第一实施例。随后，将描述本公开的第二实施例。尽管以第 一实施例描述了通过缩小原始图像来获得分辨率不同的多个图像的示例，但是在第二实施 例中，可以在图像捕获单元12捕获图像的阶段获得分辨率不同的多个图像。以下将描述详 情。
[0089] 〈3-1.根据第二实施例的图像处理设备的配置〉
[0090] 图10是示出根据第二实施例的图像处理设备10的层图像处理单元20-2的配置 的框图。如图10所示，层图像处理单元20-2具有第一层处理单元210至第K层处理单元 230、以及处理结果传送单元228和238。
[0091] 处理结果传送单元228和238如在第一实施例中所述那样布置在两个连续层之 间，并且下层侧的图像处理单元获得的参数信息被传送到上层侧的图像处理单元。
[0092] 第一层处理单元210包括图像处理单元212和图像合成单元214。虽然图像处理 单元212和图像合成单元214的处理内容如在第一实施例中所描述的那样，但是与第一实 施例的不同之处在于，图像捕获单元12获得的图像被输入到图像处理单元212。更具体地， 图像捕获单元12通过以不同曝光定时和不同分辨率捕获图像来获得多个层图像，并且第 一层的图像处理单元212接收具有最高分辨率的第一层图像的输入。
[0093] 第二层处理单元220包括图像处理单元222、图像合成单元224和提高单元226。 类似于第一层，第二层的图像处理单元222接收具有第二高分辨率的第二层图像的输入。
[0094] 另外，第K层处理单元230包括图像处理单元232和提高单元236。第K层的图像 处理单元232接收具有最低分辨率的第K层图像的输入。
[0095] (曝光定时与处理定时之间的关系）
[0096] 下文中，将参照图11和图12描述图像捕获单元12获得分辨率不同的多个图像的 曝光定时和每层中的处理定时。
[0097] 图11是示出图像捕获单元12的曝光定时和每层中的处理定时的示例的说明图。 在图11所示的示例中，图像捕获单元12在tl至t3使图像捕获元件的垂直线按顺序曝光， 并且在t2至t3输出1/4垂直线的信号作为第三层图像。另外，第三层的图像处理单元232 在可以获得第三层图像的t3开始图像处理。
[0098] 此外，图像捕获单元12在t2至t5使图像捕获元件的垂直线按顺序曝光，并且在 t3至t5输出1/2垂直线的信号作为第二层图像。另外，第二层的图像处理单元222在可以 获得第二层图像的t5开始图像处理。
[0099] 类似地，图像捕获单元12在t4至t9使图像捕获单元的垂直线按顺序曝光，并且 在t5至t9输出所有垂直线的信号作为第一层图像。另外，第一层的图像处理单元212在 可以获得第一层图像的t9开始图像处理。
[0100] 应注意，虽然图11示出图像捕获单元12执行使垂直线按顺序曝光的滚动快门操 作的示例，但是图像捕获单元12可执行同时使所有垂直线曝光的全局快门操作。在这点 上，图像捕获单元12可以通过在tl至t2执行用于获得第三层图像的曝光、在t2至t3执 行用于获得第二层图像的曝光以及在t4至t5执行用于获得第一层图像的曝光来实现与图 11中的处理定时相同的处理定时。
[0101] 图12是示出图像捕获单元12的曝光定时和每层中的处理定时的另一示例的说明 图。在图12所示的示例中，图像捕获单元12在tl至t6使图像捕获元件的垂直线按顺序 曝光，并且在t2至t6输出所有垂直线的信号作为第一层图像。另外，第一层的图像处理单 元212在可以获得第一层图像的t6开始图像处理。
[0102] 此外，图像捕获单元12在t5和t8使图像捕获元件的垂直线按顺序曝光，并且在 t6和t8输出1/2垂直线的信号作为第二层图像。另外，第二层的图像处理单元222在可以 获得第二层图像的t8开始图像处理。
[0103] 类似地，图像捕获单元12在t7至t9使图像捕获元件的垂直线按顺序曝光，并且 在t8至t9输出1/4垂直线的信号作为第三层图像。另外，第三层的图像处理单元232在 可以获得第三层图像的t9开始图像处理。
[0104] 应注意，虽然图12示出了图像捕获单元12执行使垂直线按顺序曝光的滚动快门 操作的示例，但是图像捕获单元12可执行使所有垂直线同时曝光的全局快门操作。在这点 上，图像捕获单元12可以通过在tl至t2执行用于获得第一层图像的曝光、在t5至t6执 行用于获得第二层图像的曝光以及在t7至t8执行用于获得第三层图像的曝光来实现与在 图12中的处理定时相同的处理定时。
[0105] 〈3-2.根据第二实施例的图像处理设备的操作〉
[0106] 以上描述了根据本公开的第二实施例的图像处理设备10的配置。接下来，将描述 根据本公开的第二实施例的图像处理设备10的操作。
[0107] 图13是示出根据第二实施例的图像处理设备10的操作的流程图。如图13所 示，首先，当图像捕获单元12以不同曝光定时和不同分辨率捕获图像时，获得多个层图像 (S420)。图像捕获单元12获得的第一层图像被输入到第一层处理单元210,第二层图像被 输入到第二层处理单元220,以及第K层图像被输入到第K层处理单元230。
[0108] 另外，每层中的图像处理单元根据分辨率对要输入的层图像执行图像处理 (S430)。随后，每层中的提高单元将图像处理结果提高至上层的分辨率，并且每层中的图像 合成单元将同一层的图像处理结果与在下层中所提高的图像处理结果进行合成（S440)并 且输出合成结果（S450)。应注意，当每层中的图像处理单元获得用于上层中的图像处理的 参数信息时，处理结果传送单元（228、…和238)将该参数信息传送到上层。
[0109] 《4.结论》
[0110] 如上所述，根据本公开的实施例，对分辨率不同的多个层执行图像处理，并且对各 层的图像处理结果进行合成。结果，与仅对具有高分辨率的图像执行图像处理的情况相比， 可以抑制硬件规模和成本，并且与仅对具有低分辨率的图像执行图像处理的情况相比，可 以获得1?清图像。
[0111] 另外，根据本公开的第一实施例，可以通过缩小一个原始图像来获得分辨率不同 的多个图像。此外，根据本公开的第二实施例，图像捕获单元12可以在图像捕获单元12捕 获图像的阶段获得分辨率不同的多个图像。
[0112] 以上参照附图描述了本发明的优选实施例，但本发明当然不限于上述示例。具有 本公开的【技术领域】中的公知常识的人可得到落入所附权利要求的范围内的各种变更和修 改，并且应该理解，这些变更和修改将自然归入本发明的技术范围。
[0113] 例如，在本说明书中的图像处理设备10的处理的各步骤不一定需要按被描述为 流程图的顺序以时间序列来处理。例如，图像处理设备10的处理的各步骤可按与被描述为 流程图的顺序不同的顺序来处理或者并行地处理。
[0114] 另外，还可以创建使得内置于图像处理设备10中的诸如CPU、R0M或RAM的硬件完 成等同于上述图像处理设备10的每个配置的功能的计算机程序。此外，还提供了存储该计 算机程序的存储器介质。另外，图1、图2和图10中被示出为框图的框的至少一部分可以由 硬件来配置。
[0115] 另外，本技术还可以如下进行配置。
[0116] (1) 一种图像处理设备，包括：
[0117] 图像处理单元，对同一对象的具有不同分辨率的多个图像中的每一个执行图像处 理；以及
[0118] 图像合成单元，对所述图像处理单元获得的所述多个图像中的每一个的图像处理 结果进行合成。
[0119] (2)根据（1)所述的图像处理设备，其中，所述图像处理单元对所述多个图像中的 每一个执行同一模式的图像处理。
[0120] (3)根据（1)所述的图像处理设备，其中，所述图像处理单元对所述多个图像中的 每一个执行不同模式的图像处理。
[0121] (4)根据⑴至⑶中任一项所述的图像处理设备，还包括：
[0122] 提高单元，将由所述图像处理单元获得的低分辨率侧的图像的图像处理结果提高 至高分辨率侧的图像的分辨率，
[0123] 其中，所述图像合成单元对由所述图像处理单元获得的所述高分辨率侧的图像的 图像处理结果与由所述图像处理单元获得的并且由所述提高单元提高的所述低分辨率侧 的图像的图像处理结果进行合成。
[0124] (5)根据⑴至⑷中任一项所述的图像处理设备，还包括：
[0125] 图像转换单元，执行图像转换以从输入图像获得具有所述不同分辨率的所述多个 图像。
[0126] (6)根据⑴至⑷中任一项所述的图像处理设备，还包括：
[0127] 图像捕获单元，通过以不同曝光定时且以不同分辨率捕获图像来获得所述多个图 像。
[0128] (7)根据（6)所述的图像处理设备，其中，所述图像处理单元按所述图像捕获单元 捕获的图像的顺序对所述多个图像执行所述图像处理。
[0129] (8)根据（6)或（7)所述的图像处理设备，其中，所述图像捕获单元按较高分辨率 侧的图像的顺序获得所述多个图像。
[0130] (9)根据（6)或（7)所述的图像处理设备，其中，所述图像捕获单元按较低分辨率 侧的图像的顺序获得所述多个图像。
[0131] (10)根据（3)所述的图像处理设备，
[0132] 其中，所述图像处理单元至少执行亮度噪声降低和色度噪声降低作为图像处理， 并且
[0133] 其中，所述图像处理单元对比被执行了所述色度噪声降低的图像的分辨率高的分 辨率侧的图像执行所述亮度噪声降低。
[0134] (11)根据（10)所述的图像处理设备，
[0135] 其中，所述图像处理单元还执行缺陷校正作为图像处理，并且
[0136] 其中，所述图像处理单元对比被执行了所述亮度噪声降低的图像的分辨率高的分 辨率侧的图像执行所述缺陷校正。
[0137] (12) -种图像处理方法，包括：
[0138] 对同一对象的具有不同分辨率的多个图像中的每一个执行图像处理；以及
[0139] 对所述多个图像中的每一个的图像处理结果进行合成。
[0140] 附图标记列表
[0141] 10 图像处理设备
[0142] 12 图像捕获单元
[0143] 14 存储器单元
[0144] 20 层图像处理单元
[0145] 30 显示单元
[0146] 202,203图像缩小单元
[0147] 210 第一层处理单元
[0148] 212 图像处理单元
[0149] 214 图像合成单元
[0150] 220 第二层处理单元
[0151] 222 图像处理单元
[0152] 224 图像合成单元
[0153] 226 提高单元
[0154] 228 处理结果传送单元
[0155] 230 第k层处理单元
[0156] 232 图像处理单元
[0157] 236 提高单元
[0158] 238 处理结果传送单元
【权利要求】
1. 一种图像处理设备，包括： 图像处理单元，对同一对象的具有不同分辨率的多个图像中的每一个执行图像处理； 以及 图像合成单元，对所述图像处理单元获得的所述多个图像中的每一个的图像处理结果 进行合成。
2. 根据权利要求1所述的图像处理设备，其中，所述图像处理单元对所述多个图像中 的每一个执行同一模式的图像处理。
3. 根据权利要求1所述的图像处理设备，其中，所述图像处理单元对所述多个图像中 的每一个执行不同模式的图像处理。
4. 根据权利要求1所述的图像处理设备，还包括： 提高单元，将由所述图像处理单元获得的低分辨率侧的图像的图像处理结果提高至高 分辨率侧的图像的分辨率， 其中，所述图像合成单元对由所述图像处理单元获得的所述高分辨率侧的图像的图像 处理结果与由所述图像处理单元获得的并且由所述提高单元提高的所述低分辨率侧的图 像的图像处理结果进行合成。
5. 根据权利要求1所述的图像处理设备，还包括： 图像转换单元，执行图像转换以从输入图像获得具有所述不同分辨率的所述多个图 像。
6. 根据权利要求1所述的图像处理设备，还包括： 图像捕获单元，通过以不同曝光定时且以不同分辨率捕获图像来获得所述多个图像。
7. 根据权利要求6所述的图像处理设备，其中，所述图像处理单元按所述图像捕获单 元捕获的图像的顺序对所述多个图像执行所述图像处理。
8. 根据权利要求6或7所述的图像处理设备，其中，所述图像捕获单元按较高分辨率侧 的图像的顺序获得所述多个图像。
9. 根据权利要求6或7所述的图像处理设备，其中，所述图像捕获单元按较低分辨率侧 的图像的顺序获得所述多个图像。
10. 根据权利要求3所述的图像处理设备， 其中，所述图像处理单元至少执行亮度噪声降低和色度噪声降低作为图像处理，并且 其中，所述图像处理单元对比被执行了所述色度噪声降低的图像的分辨率高的分辨率 侧的图像执行所述亮度噪声降低。
11. 根据权利要求10所述的图像处理设备， 其中，所述图像处理单元还执行缺陷校正作为图像处理，并且 其中，所述图像处理单元对比被执行了所述亮度噪声降低的图像的分辨率高的分辨率 侧的图像执行所述缺陷校正。
12. -种图像处理方法，包括： 对同一对象的具有不同分辨率的多个图像中的每一个执行图像处理；以及 对所述多个图像中的每一个的图像处理结果进行合成。
【文档编号】H04N5/232GK104106259SQ201280068849
【公开日】2014年10月15日 申请日期:2012年11月15日 优先权日:2012年2月9日
【发明者】吉村真一, 笠井政范, 川添大介, 吉村真 申请人:索尼公司