图像处理设备、成像设备以及图像处理方法
【专利说明】
[0001] 对相关申请的交叉引用
[0002] 本申请基于并要求于2014年5月8日提交的日本专利申请No. 2014-097052的优 先权；其全部内容通过引用被结合于此。
技术领域
[0003] 本文所描述的实施例一般而言涉及图像处理设备、成像设备以及图像处理方法。
【背景技术】
[0004] 例如，存在加多个输入帧并生成输出帧的图像处理设备。期望对这种图像处理设 备提高图像的图像质量。
【发明内容】
[0005] 根据本发明的一个方面，提供了一种图像处理设备，包括：存储器，存储第一存储 图像；及计算装置，基于参考图像与目标图像之间的运动向量把目标图像的至少一部分加 到第一存储图像，并且当参考图像与目标图像之间的关系满足确定条件时，确定利用目标 图像替换参考图像。
[0006] 根据本发明的另一个方面，提供了一种成像设备，包括：如权利要求1所述的图像 处理设备；及成像元件，成像目标图像。
[0007] 根据本发明的再一个方面，提供了一种图像处理方法，包括：获取目标图像并且基 于参考图像与目标图像之间的运动向量把目标图像的至少一部分加到第一存储图像；及当 参考图像与目标图像之间的关系满足确定条件时，用目标图像替换参考图像。
[0008] 根据本发明的再一个方面，提供了一种图像处理设备，包括：存储器，存储第一存 储图像；及计算装置，基于第一参考图像与第一目标图像之间的第一运动向量把第一目标 图像的至少一部分加到第一存储图像，并且当第一参考图像与第一目标图像之间的关系满 足确定条件时，使第一目标图像成为第二参考图像。
【附图说明】
[0009] 图1是示出根据第一实施例的图像处理设备的框图；
[0010] 图2是示出根据第一实施例的图像处理设备的操作的流程图；
[0011] 图3是示出根据第一实施例的图像处理设备的操作的示意图；
[0012] 图4是示出根据第一实施例的图像处理设备的操作的示意图；
[0013] 图5是示出根据第一实施例的图像处理设备的操作的示意图；
[0014] 图6是示出根据第二实施例的图像处理设备的框图；
[0015] 图7是示出根据第二实施例的图像处理设备的操作的示意图；
[0016] 图8是示出根据第三实施例的图像处理设备的示意图；及
[0017] 图9是示出根据第四实施例的图像处理设备的示意图。
【具体实施方式】
[0018] 根据一个实施例，一种图像处理设备包括存储器和计算装置。存储器存储第一存 储图像。计算装置基于参考图像与目标图像之间的运动向量把目标图像的至少一部分加到 第一存储图像。当参考图像与目标图像之间的关系满足确定条件时，计算装置确定用目标 图像替换参考图像。
[0019] 根据一个实施例，一种成像设备包括图像处理设备和成像元件。图像处理设备包 括存储器和计算装置。存储器存储第一存储图像。计算装置基于参考图像与目标图像之间 的运动向量把目标图像的至少一部分加到第一存储图像。当参考图像与目标图像之间的关 系满足确定条件时，计算装置确定用目标图像替换参考图像。成像元件成像目标图像。
[0020] 根据一个实施例，公开了一种图像处理方法。该方法包括获取目标图像并基于参 考图像与目标图像之间的运动向量把目标图像的至少一部分加到第一存储图像。该方法包 括：当参考图像与目标图像之间的关系满足确定条件时，用目标图像替换参考图像。
[0021] 下文中将参考附图描述各种实施例。
[0022] 附图是示意性或概念性的；并各部分的厚度和宽度之间的关系、各部分之间尺寸 的比例等等不一定与其实际值相同。另外，即使在说明相同部分的情况下，也可以在附图之 间不同地示出尺寸和/或比例。
[0023] 在本申请的附图和说明书中，与上面就附图所描述的那些类同的部件用相同的标 号标记，并在适当的时候略去其详细描述。
[0024] 第一实施例
[0025] 图1是示出根据第一实施例的图像处理设备的框图。
[0026] 如图1中所示，根据第一实施例的图像处理设备100包括计算装置50和存储器 52。如图1中所示，计算装置50包括运动估计器10、变形单元（warping unit) 20、运动补 偿器30以及替换确定单元40。
[0027] 计算装置50获取输入帧Isrc (输入图像）。如下所述，多个输入帧Isrc在图像处 理设备100的操作中被获取。输入帧Isrc例如是视频图像的一帧。例如，多个输入帧Isrc 时时刻刻从图像传感器、电视图像等输入到图像处理设备100。通过存储多个输入帧Isrc， 图像处理设备100生成高质量图像。但是，在该实施例中，输入帧Isrc也可以是静止图像 的一帧。
[0028] 存储器52被用来存储图像。例如，存储缓存（第一存储图像）存储在存储器52 中。输入帧Isrc存储在存储缓存IB(第一存储图像）中。当存储输入帧Isrc时，由运动 估计器10确定参考帧Iref(参考图像）与输入帧Isrc之间的偏移（运动向量）。例如，该 偏移是由相机的手不稳等造成的。
[0029] 在变形单元20中，根据所确定的偏移，将输入帧Isrc与参考帧Iref对齐。对齐 的输入帧Isrc存储在存储缓存IB中。由此，例如，可以执行噪声去除（手不稳的校正）。
[0030] 因此，利用其中存储了多个输入帧Isrc的存储缓存IB，输出输出帧10。由此，生 成高质量的图像。输入帧Isrc与参考帧Iref对齐，其中参考帧Iref是与存储缓存IB分 离的。由此，可以抑制对齐误差的累积。下面描述运动补偿器30和替换确定单元40。
[0031] 该框图是根据本实施例的图像处理设备的一个例子，并不必然匹配实际程序模块 的配置。
[0032] 诸如LSI (大规模集成）等的集成电路或者IC(集成电路）芯片组可以用作根据本 实施例的图像处理设备的一部分或者根据本实施例的整个图像处理设备。可以在每个功能 块中使用单独的处理器。可以使用集成一些或全部功能块的处理器。集成电路不限于LSI ; 可以使用利用专用电路的集成电路或者通用处理器。
[0033] 输入帧Isrc的坐标（X，y)处的值被定义为Isni(X，y)。例如，输入帧Isrc的值是 诸如亮度值的标量。输入帧Isrc的值可以是诸如彩色图像（RGB或YUV)的值的向量。
[0034] 输出帧IO是处理结果的图像。输出帧的坐标（X，y)处的值被定义为0(x, y)。
[0035] 参考帧Iref是这样的帧，其被用作存储的参考。例如，输入图像的一个帧被用作 参考帧Iref。例如，当开始处理时，初始帧被用作参考帧。参考帧Iref的坐标（x，y)处的 值被定义为I raf (X，y)。
[0036] 存储缓存IB是用于存储与参考帧Iref对齐的输入帧Isrc的缓存（帧）。存储 缓存IB的分辨率可以不与输入帧Isrc的分辨率相同。例如，在垂直方向和水平方向，存储 缓存IB的分辨率可以是输入帧Isrc的分辨率的2倍、3倍或4倍。例如，通过增加分辨率 而产生超分辨率效果。由此，可以生成高质量图像。存储缓存IB的分辨率可以低于输入帧 Isrc的分辨率。存储缓存IB的坐标是坐标（X，Y)。存储缓存IB的坐标（X，Y)处的值被定 义为 B(X，Y)。
[0037] 在该实施例中，当从存储缓存IB生成输出帧IO时，对存储缓存IB的每个像素考 虑以下描述的权重。所述权重存储在存储权重缓存IW中。存储权重缓存IW的分辨率与存 储缓存IB的分辨率相同。存储权重缓存IW的坐标（X，Y)处的值被定义为W (X，Y)。
[0038] 图2是示出根据第一实施例的图像处理设备的操作的流程图。
[0039] 如图2中所示，图像处理设备100实现第一操作Al和第二操作A2。第一操作Al 包括步骤Sll至S14。第二操作A2包括步骤S15和S16。
[0040] 在步骤SI 1中，运动估计器10获取输入帧Isrc (目标图像）。
[0041] 在步骤S12 (运动估计）中，运动估计器10检测从输入帧Isrc到参考帧Iref的 运动向量。例如，主体（对象）在输入帧Isrc中的位置与同一主体在参考帧Iref中的位 置之差由运动向量表示。
[0042] 多种不同方法可以被用来检测运动向量；例如，可以使用块匹配。但是，在本实施 例中，用于检测运动向量的方法不限于块匹配。块匹配是这样的方法，其包括把输入帧Isrc 再分成矩形块，以及搜索与每个块对应的参考帧Iref中的块。对于一个块，]^是X轴方向 的长度；M2是Y轴方向的长度。块的位置是（i，j)。
[0043] 可以使用平均绝对差（MD)等作为确定该运动的误差函数。
[0044] [公式 1]
[0046] 这里，向量u = (ux, uy)τ是要评估的运动向量。T是转置。
[0047] 均方误差可以用作误差函数。在搜索范围是-W彡X彡W且-W彡y彡W的矩形区 域的情况下，以下块匹配算法确定在位置（i，j)处的运动向量u(i，j)。
[0048] [公式 2]
[0050] 这里，对使误差函数最小化的uJP u y的搜索由下式表示：[0051] [公式 3]
[0053] 块内的运动向量与块的运动向量相同。艮P，
[0054] [公式 4]
[0055] u(