本发明涉及图像处理设备和图像处理方法。
背景技术：
用于通过合成通过多次执行图像捕捉操作而获得的多个图像来生成图像的技术是已知的。
例如，用于在合成多个曝光图像时增加动态范围的技术是已知的。该技术提供了基于多个图像的像素值的比较从所述多个图像之中选择一个图像的像素值的图像合成处理，以及将多个图像相加在一起或将一个图像从另一个图像中减去的图像合成处理，其中，根据图像捕捉模式来选择图像合成处理(参见专利文献1)。
技术实现要素：
本发明要解决的问题
然而，在传统技术中，当在不同的图像捕捉条件下捕捉多个图像时，输出的图像的图像质量可能会降级。
鉴于相关技术的上述问题，本发明的一个目的是提供一种图像处理设备，所述图像处理设备在不同的图像捕捉条件下捕捉多个图像时，能够输出具有良好图像质量的图像。
解决问题的手段
根据本发明的一个实施例，一种处理图像的图像处理设备包括：图像捕捉单元，其在不同的图像捕捉条件下多次执行图像捕捉操作，以生成多个捕捉图像；转换单元，其转换所述多个捕捉图像中的捕捉图像，以生成指示亮度和色差的转换图像；存储单元，其针对所述图像捕捉条件中的每个存储系数数据，所述系数数据指示由所述转换图像指示的亮度的系数；以及图像生成单元，其基于所述系数数据通过合成多个所述转换图像来生成合成图像。
本发明的效果
根据本发明的实施例，可以提供一种图像处理设备，所述图像处理设备在不同的图像捕捉条件下捕捉多个图像时，能够输出具有良好图像质量的图像。
附图说明
图1是图示根据本发明实施例的图像处理设备的示例总体配置的截面图；
图2是图示根据本发明实施例的图像处理设备的示例硬件配置的框图；
图3是图示根据本发明实施例的由图像处理设备实施的示例总体处理的流程图；
图4是图示根据本发明实施例的由图像处理设备实施的示例raw图像处理步骤的流程图；
图5是图示根据本发明实施例的由图像处理设备实施的示例图像生成处理的流程图；
图6是图示根据本发明实施例的系数数据的示例的图；
图7是图示根据本发明第二实施例的由图像处理设备实施的示例总体处理的流程图；以及
图8是图示根据本发明实施例的图像处理设备的示例功能配置的框图。
具体实施方式
在下文中，参照附图描述本发明的实施例。注意，在本说明书和附图中，具有基本相同的功能特征的元件被赋予相同的附图标记，并且可以省略重复的描述。
<第一实施例>
<图像处理设备示例>
图1是图示根据本发明实施例的图像处理设备的示例总体配置的截面图。例如，图像处理设备10可以具有复眼配置。具体而言，图像处理设备10包括图像捕捉装置12、壳体14以及快门按钮18。
图像捕捉装置12可以包括例如，成像光学系统20a、成像光学系统20b、固态成像元件22a以及固态成像元件22b。
固态成像元件22a和固态成像元件22b是光学传感器，诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)传感器。
例如，成像光学系统20a和成像光学系统20b可以是具有6组7个元件的所谓的鱼眼镜头。另外，成像光学系统20a与成像光学系统20b的组合的图像捕捉范围优选地大于或等于360°。此外，优选地，成像光学系统20a和成像光学系统20b分别具有至少180°的视场，并且更优选地具有至少185°或至少190°的视场，使得成像光学系统20a和成像光学系统20b具有重叠的图像捕捉范围。注意，重叠图像捕捉范围在执行用于将图像拼接在一起的拼接处理时可以被用作参考。
成像光学系统20a和成像光学系统20b包括光学系统，如棱镜、滤波器和隔膜。
固态成像元件22a和固态成像元件22b分别对应于成像光学系统20a和成像光学系统20b。另外，如图所示，固体成像元件22a和固体成像元件22b的位置可以配置成使得进入每个成像光学系统的光与相应固态成像元件的光接收区域的中心部分垂直相交，以及例如使得光接收区域构成相应透镜的耦合表面。此外，每个固态成像元件可以具有光接收区域，将进入光接收区域的光转换成图像信号，并且输出图像信号。在本示例中，假设成像光学系统20a和成像光学系统20b具有相同的规格，固态成像元件22a和固态成像元件22b具有相同的规格，并且这些元件被布置成与彼此相对，使得它们的光轴重合。
注意，图像捕捉装置不限于具有两个固态成像元件和两个成像光学系统的配置。例如，图像捕捉装置可以具有三个或三个以上固态成像元件和三个或三个以上成像光学系统。在下文中，将描述图像捕捉装置具有两对固态成像装置和成像光学系统的示例情况。
壳体14包括诸如图像捕捉装置12的控制器和作为电源的电池的组件。此外，快门按钮18被布置在壳体14处，用于能够执行释放图像捕捉装置12的快门的操作。
图像处理设备10执行将图像捕捉装置12捕捉的图像(以下称为“捕捉图像”)拼接在一起的处理。然后，图像处理设备10执行拼接在一起并合成多个捕捉图像以生成覆盖4π球面角度的立体角的合成图像(以下称为“全向图像”)的处理。注意，全向图像是捕捉从图像捕捉点可见的所有方向的图像。也就是说，全向图像可以是具有覆盖360°图像捕捉范围的水平面的所谓的全景图像。
通过将固态成像元件22a和固态成像元件22b的扫描方向布置成一致，图像处理设备10可以有助于处理的执行。也就是说，通过将扫描方向和顺序布置成在要执行拼接处理的部分处一致，可以更容易地执行将每个固态成像元件捕捉的成像对象(特别是运动对象)拼接在一起的处理。例如，当固态成像元件22a的图像的左上部分和固态成像元件22b的图像的左下部分彼此一致以构成要执行拼接处理的部分时，固态成像元件22a的扫描方向可以被布置成从上到下和从右到左。另外，当固态成像元件22a的图像的左上部分和固态成像元件22b的图像的左下部分彼此一致以构成要执行拼接处理的部分时，固态成像元件22b的扫描方向可以被布置成从下到上和从左到右。通过基于要执行拼接处理的部分将扫描方向布置成一致，图像处理设备10可以有助于拼接处理的执行。
例如，图像处理设备10可以使输出设备(诸如显示装置或图像形成设备)输出已被处理的图像。此外，图像处理设备10可以将图像输出至记录介质(诸如sd(注册商标)卡或compactflash(注册商标)卡)。
<硬件配置示例>
图2是示出根据本发明实施例的图像处理设备的示例硬件配置的框图。所图示的图像处理设备包括图像捕捉装置12。图像捕捉装置12包括作为光学系统示例的透镜1和作为固态成像元件示例的cmos传感器2。
图像捕捉装置12连接到数码相机处理器5。另外，图像捕捉装置12由包括在数码相机处理器5中的cpu(中央处理单元)29控制。另外，图像处理设备包括诸如nandflash的rom(只读存储器)26。此外，rom26存储诸如由cpu29使用的控制程序和参数的数据。
图像处理设备包括诸如电源开关的开关21。当开关21被接通时，执行诸如将存储在rom26中的控制程序加载到主存储器等的处理，并且图像处理设备被激活。另外，cpu29基于程序来控制各种部件的操作。此外，在执行控制和处理操作时，cpu29将数据存储在诸如sdram(同步动态随机存取存储器)或sram(静态随机存取存储器)的ram15中。注意，通过将诸如nandflash的可重写闪存rom用作rom26，可以改变存储在rom26中的控制程序或控制参数，从而有助于功能升级。
isp(图像信号处理器)6对由cmos传感器2输入的图像数据执行各种处理，诸如白平衡、伽玛校正和用于将图像数据指示的像素值转换为亮度和色差值的转换处理。
usb(通用串行总线)27执行与诸如pc(个人计算机)的外部装置的usb通信。另外，spi(串行外围接口)23执行与外部装置的串行通信。此外，jpeg编解码器16将图像数据压缩成jpeg格式并且解压缩jpeg格式的图像数据。此外，h.264视频编解码器17将图像数据压缩成h.264格式并且解压缩h.264格式的图像数据。此外，调整器19对图像数据执行内插处理等，以放大或缩小图像尺寸。此外，图像处理设备可以将图像数据存储在例如sd(注册商标)卡25中。例如，sd(注册商标)卡25可以附接到存储器卡槽或从存储器卡槽拆卸。
例如，图像处理设备还包括存储要由isp6使用的图像数据的sdram4和失真校正/合成处理装置24。另外，例如，失真校正/合成处理装置24可以使用从三轴加速度传感器36获取的数据来执行上下反转校正、倾斜校正等。此外，例如，脸部检测装置37可以从校正图像中检测人脸。以这种方式，例如，可以确定在图像中捕捉的脸部的位置。
注意，图像数据被加载到数码相机处理器5中。例如，图像数据可以是已经通过isp6进行了白平衡和伽玛校正的“raw-rgb图像数据”。另外，图像数据例如也可以是已经通过isp6进行了亮度和色差转换的“ycbcr图像数据”。此外，图像数据例如可以是已经通过jpeg编解码器16进行了jpeg压缩的“jpeg图像数据”。
图像处理设备还包括lcd(液晶显示器)驱动器。以这种方式，图像处理设备可以使连接的输出设备(诸如lcd监视器35)输出图像。也就是说，lcd驱动器是用于驱动lcd监视器35的驱动电路。lcd驱动器执行用于将各种状态转换为用于控制lcd监视器35的显示的信号的处理。
例如，图像处理设备连接到输入由用户生成的音频的麦克风32。另外，图像处理设备包括用于放大由麦克风32输入的音频的音频信号的放大器。此外，图像处理设备包括用于存储表示音频信号的数据的存储装置。
另外，图像处理设备连接到输出存储的音频的扬声器33。此外，图像处理设备包括用于放大用于使扬声器33输出音频的音频信号的放大器。
<整体处理示例>
图3是示出根据本发明实施例的由图像处理设备实施的示例总体处理的流程图。
在步骤s01中，图像处理设备捕捉图像。注意，在步骤s01中使用被称为包围曝光(bracketing)的图像捕捉技术来捕捉图像。具体而言，图像处理设备改变诸如曝光条件的图像捕捉条件，并且在不同的图像捕捉条件下多次执行图像捕捉操作。在下文中，将描述其中图像捕捉操作被执行的次数(m)被设为“m＝4”的示例。在本示例中，在不同的图像捕捉条件下使用不同的曝光条件。例如，曝光条件可以包括“propexp”、“u2exp”、“u1exp”和“o1exp”。此外，在本示例中，例如，假设曝光条件由ev(曝光值)表示。ev是指定曝光亮度的条件(诸如光圈(f值)和快门速度)的示例指标。
在下文中，将描述“propexp＝0ev”、“u2exp＝-2ev”、“u1exp＝-1ev”、“o1exp＝+2ev”的示例。注意，然而，图像捕捉条件不限于“propexp＝0ev”、“u2exp＝-2ev”、“u1exp＝-1ev”和“o1exp＝+2ev”的条件。例如，可以考虑基于相机特性设置的上限和下限来设置图像捕捉条件。具体而言，例如，在“u1exp”被定义为“u2exp”的曝光的一半，并且设置“u2exp＝-0.6ev”以达到“u2exp”的上限的情况下，“u1exp”可以被设为“-0.3ev”。
注意，优选地在低于正常ae(自动曝光)的iso条件下执行图像捕捉操作。换言之，当多次执行图像捕捉操作时，与图像捕捉操作被执行的次数设为“m＝1”的情况相比，优选地在较低的光敏度条件下执行图像捕捉操作。通过如上所述在低iso条件下执行图像捕捉操作，图像处理设备可以减少噪声的影响。
在步骤s01中，在每一个图像捕捉条件下生成图像数据。在本示例中，在条件“propexp”下生成第一图像数据“rawprop”。另外，在条件“u2exp”下生成第二图像数据“rawu2”。另外，在条件“u1exp”下生成第三图像数据“rawu1”。此外，在条件“o1exp”下生成第四图像数据“rawo1”。注意，第一图像数据“rawprop”、第二图像数据“rawu2”、第三图像数据“rawu1”以及第四图像数据“rawo1”为原始图像格式。
在步骤s02中，图像处理设备执行原始图像处理。即，在步骤s02中，图像处理设备对第一图像数据“rawprop”、第二图像数据“rawu2”、第三图像数据“rawu1”以及第四图像数据“rawo1”中的每个执行显影处理以生成ycbcr图像。
图4是图示根据本发明实施例的由图像处理设备实施的示例原始图像处理步骤的流程图。例如，在步骤s02中，图像处理设备可以对处于原始图像格式的每组图像数据执行图示的处理步骤。在下文中，将描述对第一图像数据“rawprop”执行原始图像处理步骤的示例情况。
在步骤s10中，图像处理设备执行ob(光学黑色)校正。例如，在步骤s10中，图像处理设备可以根据光斑或暗部中的噪声的幅度来执行有效像素区域的钳位输出信号的钳位校正处理。
在步骤s11中，图像处理设备执行缺陷像素校正。固态成像元件具有多个像素。这样，例如，可以通过在半导体衬底上形成多个光敏元件(诸如光电二极管)来制造固态成像元件。例如，在制造固态成像元件时，由于半导体衬底的杂质污染，可能产生不能捕捉像素值的所谓的缺陷像素。为了补偿这种缺陷像素，图像处理设备基于缺陷像素的相邻像素的像素值来生成补偿缺陷像素的输出的像素值。
在步骤s12中，图像处理设备执行线性校正。即，在步骤s12中，图像处理设备关于颜色r(红)、g(绿)和b(蓝)中的每种执行线性校正。
在步骤s13中，图像处理设备执行阴影校正。例如，在步骤s13中，图像处理设备可以将有效像素区域的输出信号乘以预定校正系数，以校正由于有效像素区域的阴影而导致的失真。注意，校正系数是一个固定值。
在步骤s14中，图像处理设备计算亮度值。具体而言，首先，在步骤s14中，图像处理设备将图像划分为多个预定区域。然后，图像处理设备基于每个区域的像素值来计算每个区域的平均亮度值。注意，例如，所计算的平均亮度值可以用于ae处理。
在步骤s15中，图像处理设备执行白平衡处理。固态成像元件具有布置在每个光电二极管上的滤色器。滤色器的光谱透射率取决于滤波器的颜色而不同，并且正因如此，每个光电二极管中累积的电荷量可能不同。另外，固态成像元件通常对绿色为高度敏感。另一方面，与绿色敏感度相比，固态成像元件的红色和蓝色敏感度通常较低，并且有时可能是绿色敏感度的大约一半。因此，在白平衡处理中，例如，可以执行将颜色增益应用于红色和蓝色的处理，以补偿颜色敏感度的差异，并将在图像中捕捉的白颜色显示为白色。另外，成像对象的颜色取决于光源的颜色(例如，日光或荧光)而可能不同。因此，在白平衡处理中，例如，为了根据光源将白颜色显示为白色，可以针对每个光源改变颜色增益。
在步骤s16中，图像处理设备执行伽马校正。具体而言，在伽马校正中，执行非线性输入/输出转换。当输出与输入具有非线性关系时，输出图像的亮度通常可能不具有平滑的渐变。另外，如果图像变暗，则图像可能对人眼是不可见的。因此，考虑到输出装置的特性，图像处理设备关于输入信号执行非线性转换以保持输出的线性。
在步骤s17中，图像处理设备进行拜耳(bayer)插值。当固态成像元件的光电二极管具有布置在其上的各种颜色的滤色器时，由固态成像元件输出的图像数据指示每个像素的一种颜色的像素值。另一方面，为了显示彩色图像，需要红色、绿色和蓝色三种颜色的像素值。因此，图像处理设备关于每个像素执行插值处理(诸如双线性插值处理)，以对来自相邻像素的缺失颜色的像素值进行插值。
在步骤s18中，图像处理设备执行ycbcr转换。即，在步骤s18中，图像处理设备将指示rgb值的、处于原始图像格式的图像数据转换为ycbcr图像格式的图像数据，其中y指示亮度，而cb和cr指示色差。
通过执行这种ycbcr转换，例如，生成作为转换图像的示例的ycbcr图像。在以下示例中，ycbcr图像中的“y”是亮度的示例。ycbcr图像中的“cb”是第一色差的示例，而ycbcr图像中的“cr”是第二色差的示例。
注意，转换图像不限于ycbcr图像格式的图像。例如，转换图像还可以是其他格式的图像，诸如由cie(国际照明委员会)1976定义的l*u*v*颜色空间、由cie1976定义的l*a*b*颜色空间或yuv图像格式。在下文中，将描述转换图像为ycbcr图像的示例情况。
注意，jpeg图像通常是从yuv图像格式的图像数据转换而来的。因此，例如，图像数据可以被转换成yuv图像格式，以用于转换成jpeg图像。
在步骤s19中，图像处理设备执行边缘增强(ycflt)。例如，图像处理设备可以执行用于基于亮度提取边缘的边缘提取滤波处理、用于将提取的边缘乘以增益的增益乘法、用于降低噪声的lpf(低通滤波器)处理以及在增益乘法和lpf处理之后的图像数据加法。
在步骤s20中，图像处理设备执行颜色校正。例如，图像处理设备可以执行饱和度设置、色调设置、部分色调改变设置、颜色抑制或上述的组合。
作为执行所示的原始图像处理步骤的结果，输出ycbcr图像格式的第一ycbcr图像数据“ycbcrprop”。
注意，raw图像处理步骤不限于所示的处理步骤。例如，所示的处理步骤的一部分可以被省略，或者可以另外执行其他处理步骤。
另外，例如，还可以对图3中所示的第二图像数据“rawu2”、第三图像数据“rawu1”和第四图像数据“rawo1”执行图4中所示的处理步骤。以这种方式，可以生成第二ycbcr图像数据“ycbcru2”、第三ycbcr图像数据“ycbcru1”和第四ycbcr图像数据“ycbcro1”。
参考回图3，在步骤s03中，图像处理设备执行图像生成处理。
图5是图示根据本发明实施例的由图像处理设备实施的示例图像生成处理的流程图。例如，在图3中的步骤s03中，图像处理设备通过合成在步骤s02中生成的第一ycbcr图像数据“ycbcrprop”、第二ycbcr图像数据“ycbcru2”、第三ycbcr图像数据“ycbcru1”和第四ycbcr图像数据“ycbcro1”可以生成合成图像。
在步骤s30中，图像处理设备将ycbcr图像的色差值彼此进行比较，并采用所比较的值中的最大值。首先，图像处理设备从ycbcr图像中提取色差值数据，即cr值数据和cb值数据。然后，图像处理设备比较每个像素的cr值和cb值。在本示例中，在四个ycbcr图像的cr值和cb值之中，采用具有最大绝对值的cr值和cb值。如上所述，通过采用最大值，图像处理设备可以使用具有大绝对值的色差值来生成合成图像。以这种方式，图像处理设备可以生成具有增强的饱和度的高质量合成图像。另外，因为可以高速执行与步骤s30相关联的计算，故图像处理设备可以加快处理速度。
注意，当饱和度校正的程度被期望地抑制时，例如，图像处理设备可以通过将与ycbcr图像的cb值的平方对应的、作为第一色差平方值的示例的cb平方值和与ycbcr图像的cr值的平方对应的、作为第二色差平方值的示例的cr平方值加在一起来计算色差平方值的总和，并且比较关于多个ycbcr图像计算出的总和。也就是说，对于每个像素，图像处理设备可以确定在计算出的总和之中具有最大绝对值的总和的计算中已经使用的cb值和cr值，并且使用这些最大值来生成合成图片。
另外，图像处理设备不一定必须将全部捕捉的图像用作用于计算上述最大值的原始图像。例如，图像处理设备可以在计算最大值时排除部分图像，诸如在条件“o1exp”下生成的图像数据。通过仅使用如上所述的可预期生成适当色差的图像，图像处理设备可以生成具有更适当饱和度的高质量合成图像。在下文中，将指示在步骤s30中生成的合成图像的cr值和cb值的图像数据称为合成cbcr图像“cbcr”。
在步骤s31中，图像处理设备执行添加裕量的处理。具体而言，首先，图像处理设备从ycbcr图像中提取亮度数据，即y值数据。然后，图像处理设备例如通过将裕量加到y值数据来调整数据尺寸，使得y值数据可以由预定数量的金字塔等级来表示。
例如，假设要生成的金字塔等级的数量是“n”，如下文结合后续处理所描述的，图像处理设备确定表示y值数据的宽度和高度的值是否可被“2(n-1)”整除。如果所述值不能被“2(n-1)”整除，则图像处理设备将裕量加到y值数据。
作为添加裕量的方法，例如，可以复制y值数据的边缘的像素值。另外，添加裕量的其他可能方法包括例如添加固定值的像素值。
在下文中，将在步骤s31中已添加裕量的y值数据称为已加裕量的y值数据“yp”。注意，针对四个ycbcr图像中的每个ycbcr图像数据生成已加裕量的y值数据“yp”。在以下描述中，将从四个ycbcr图像的已加裕量的y值数据之中选择的一个图像的已加裕量的y值数据称为已加裕量的y值数据“yp”。
在步骤s32中，图像处理设备确定系数。例如，可以基于预先输入的系数数据(以下称为系数数据“dlut”)来确定系数。注意，例如，针对不同的曝光条件，提供不同组的系数数据dlut。此外，例如，系数数据dlut可以是lut(查找表)格式的数据。
使用系数来对每个像素的y值数据的权重进行归一化。例如，归一化可以由以下公式(1)表示。
在以上公式(1)中，“we”表示曝光条件“e”的归一化权重系数。另外，“lute”表示曝光条件“e”的系数数据dlut，即lut。此外，“ye”表示在曝光条件“e”下的亮度。由以上可以理解，归一化是关于每个像素实施的处理，从而使得针对每个曝光条件的权重系数的和将等于“1”。
图6是图示根据本发明实施例的系数数据的示例的图。系数数据可以是lut，其输出表示针对表示亮度值“y”的输入的“使用比率”的值。即，随着“使用比率”增加，在生成合成图像时用于相应亮度的权重增加。另外，在图6中，水平轴表示输入，垂直轴表示与针对每个图像捕捉条件的输入对应的输出。大于“0”的值被设置为使用比率。另外，“y”的值在“从0到255”的范围内。此外，在以下示例中，假设“使用比率”具有等于“255”的分母和等于“从1到255”的值的分子。也就是说，lut将8位值转换为8位值。如此，在本示例中，lut是256字节的数据。
在本示例中，设置用于捕捉暗图像以增加高亮度部分的分辨率的、针对“u2exp”的lut，使得亮侧上的值的比率增加，而暗侧上的值得比率减少。如图6所示，设定针对“u2exp”的lut，使得当输入亮侧上的亮度值(即大于或等于预定值的亮度值)时，输出高输出(诸如“1”)。以这种方式，可以增加在生成合成图像时用于大于或等于预定值的亮度值的权重。
另一方面，设置用于捕捉亮图像以增加低亮度部分的分辨率的、针对“o1exp”的lut，使得亮侧上的值的比率减少，而暗侧上的值得比率增加。如图6所示，设定针对“o1exp”的lut，使得当输入暗侧上的亮度值(即小于或等于预定值的亮度值)时，输出高输入(诸如“1”)。以这种方式，可以增加在生成合成图像时用于小于或等于预定值的亮度值的权重。
注意在本示例中，预定值被设为“255÷2≈127”。另外，预定值是预设的值。
此外，设置用于在中间级图像捕捉条件下捕捉图像的、针对“propexp”和“u1exp”的lut，使得“y＝0.5”处的中心附近的值的比率增加。例如，针对“propexp”和“u1exp”的lut可以基本上与图6中所示的相同。通过以上述方式设置针对每个图像捕捉条件的系数数据，图像处理设备能够增加亮区和暗区的分辨率，从而生成其中保持整体亮度的图像。在下文中，使用这种lut生成的图像将被称为加权图像“limg”。
参考回图5，在步骤s33中，图像处理设备执行高斯金字塔(gaussianpyramid)处理。例如，高斯金字塔处理可以涉及从步骤s32中生成的加权图像limg中生成高斯金字塔lpm。假设所生成的高斯金字塔lpm具有上至“n”级的金字塔图像等级，其中n为预定数量。例如，金字塔处理可以是改变一个图像的分辨率以生成多个图像的处理。在下文中，该术语被用于指代这样的过程。
在步骤s34中，图像处理设备执行y拉普拉斯金字塔(laplacianpyramid)处理。例如，y拉普拉斯金字塔处理可以涉及从每个ycbcr图像的y值数据中生成拉普拉斯金字塔ypm。假设所生成的拉普拉斯金字塔ypm具有上至“n”级的金字塔图像等级，其中n为预定数量。
在步骤s35中，图像处理设备执行y加权平均处理。更具体地，在步骤s35中，图像处理设备将高斯金字塔lpm乘以拉普拉斯金字塔ypm以生成合成拉普拉斯金字塔cpm。合成拉普拉斯金字塔cpm可以由以下公式(2)表示。
在上式(2)中，“ywj”表示合成拉普拉斯金字塔cpm中的等级“j”的图像。在上式(2)中，“we,j”表示高斯金字塔lpm中的等级“j”的图像，所述高斯金字塔lpm从应用与曝光条件“e”相关联的归一化权重系数的加权图像中生成。另外，在上式(2)中，“ye,j”表示拉普拉斯金字塔ypm中的等级“j”的图像，所述拉普拉斯金字塔ypm从与曝光条件“e”相关联的y值数据中生成。
在步骤s36中，图像处理设备执行y逆拉普拉斯处理。即，在步骤s36中，图像处理设备对在步骤s35中生成的合成拉普拉斯金字塔cpm执行y逆拉普拉斯处理，以生成合成后的y值数据yb。注意，合成后的y值数据yb包括裕量。
在步骤s37中，图像处理设备删除裕量。即，图像处理设备从步骤s36中生成的合成后的y值数据yb中删除裕量。在下文中，将在步骤s37中生成的图像数据所表示的图像称为合成y图像“y”。
通过合成所述合成y图像“y”与合成cbcr图像“cbcr”的图像数据，生成合成图像数据“cycbcr”。
注意，在图5所示的图像生成处理中，cbcr相关的处理(诸如步骤s30的处理)优选地在y相关的处理之前执行。以这种处理顺序，用于cbcr相关的处理的存储器可以被释放，以用于与y相关的处理。即，通过布置处理顺序，使得cbcr相关的处理首先被执行，图像处理设备可以改善存储器使用效率。
<第二实施例>
在下文中，将描述使用利用两个鱼眼镜头捕捉全向图像的相机(在下文中称为“全向相机”)的示例。全向相机通过将多个捕捉图像拼接在一起来生成输出图像。注意，全向相机是具有两个固态图像拾取元件的、所谓的复眼图像处理设备的示例。由固态成像元件捕捉的捕捉图像优选地具有裕量，以使得能够生成多个曝光图像和裕量，以使得能够实现金字塔处理，所述金字塔处理用于生成上至等级“n”的金字塔图像。具体地，捕捉的图像优选由入射到捕捉图像被拼接在一起的区域上以及至少在“2(n-1)”个边缘像素上的光形成。
<整体处理示例>
图7是图示根据本发明第二实施例的由图像处理设备实施的示例总体处理的流程图。在图7的处理的以下描述中，与图3的处理步骤基本相同的处理步骤被赋予相同的附图标记，并且省略重复的描述。图7中的处理与图3中的处理的不同之处在于其包括步骤s41及以后的进一步处理。另外，在具有两个固态成像元件的全向照相机中，针对由固态成像元件中的每个生成的每个捕捉图像，执行针对捕捉图像的处理。因此，在本示例中，针对捕捉图像的处理各执行两次，并且基于捕捉图像中的每个生成处理后的图像。
在步骤s41中，图像处理设备执行失真校正。即，在步骤s41中，图像处理设备执行失真校正，以生成所谓的等距圆柱图像。例如，等距圆柱图像由对应于所谓的鱼眼图像的多个捕捉图像组成。另外，当生成等距圆柱图像时，在将鱼眼图像拼接在一起的部分处执行拼接处理。
在本示例中，每个鱼眼图像对应于由合成图像数据“cycbcr”表示的图像。因此，由合成图像数据“cycbcr”表示的每个图像经历失真校正，以生成复眼图像“cimg”。
在步骤s42中，图像处理设备执行颜色亮度校正。例如，由于光斑等的影响，可能在由两个固态成像元件捕捉的图像之间生成色差或亮度差异。如此，例如，在拼接部分可能发生亮度或颜色条带(阶跃)。因此，在步骤s42中，图像处理设备执行颜色亮度校正以校正这种阶跃。例如，颜色亮度校正处理可以涉及在图像的赤道位置处布置拼接部分，并且对拼接部分执行校正以生成校正图像“corimg”。
注意，优选地在针对捕捉图像的处理(诸如步骤s03)之后执行步骤s42的处理。以这种方式，可以分离地处理由每个固态成像元件捕捉的每个图像。作为结果，图像处理设备可以改善输出图像的图像质量。
在步骤s43中，图像处理设备进行天顶校正。例如，可以基于加速度传感器数据“dc”来执行天顶校正。在本示例中，图像处理设备使用由加速度传感器数据“dc”指示的天顶方向作为参考来校正由图像指示的方向。作为执行这种校正的结果，生成输出图像“outimg”。
<功能配置示例>
图8是图示根据本发明实施例的图像处理设备的示例功能配置的框图。在图8中，图像处理设备10包括图像捕捉单元10f1、转换单元10f2、图像生成单元10f3和存储单元10f4。
图像捕捉单元10f1在不同的图像捕捉条件下多次执行图像捕捉操作以生成多个捕捉图像“rawimg”。例如，捕捉图像可以对应于图3中所示的第一图像数据“rawprop”、第二图像数据“rawu2”、第三图像数据“rawu1”以及第四图像数据“rawo1”。此外，例如，图像捕捉单元10f1可以由图2中所示的图像捕捉装置12来实施。
转换单元10f2转换捕捉图像“rawimg”，以生成ycbcr图像“ycbcrimg”。注意，转换单元10f2可以执行图4中所示的处理操作，例如，以基于捕捉图像“rawimg”来生成ycbcr图像“ycbcrimg”。此外，例如，转换单元10f2可以由图2中所示的isp6来实施。
存储单元10f4存储系数数据，所述系数数据指示针对每个图像捕捉条件的ycbcr图像“ycbcrimg”的亮度的系数。例如，存储单元10f4可以存储如图5中所示的系数数据dlut。即，例如，存储单元10f4可以存储如图6中所示的系数数据。此外，例如，存储单元10f4可以由图2中所示的rom26来实现。
图像生成单元10f3通过基于存储单元10f4中存储的系数数据合成多个ycbcr图像来生成合成图像“cycbcr”。例如，图像生成单元10f3可以执行图5中所示的处理操作，以生成合成图像“cycbcr”。进一步，例如，图像生成单元10f3可以由图2中所示的isp6来实现。
此外，例如，使用复眼来捕捉图像的图像处理设备(诸如全向相机)可以对图像生成单元10f3生成的多个合成图像cycbcr执行如图7中所示的进一步处理(例如，失真校正)。在这种情况下，例如，图像处理设备可以进一步执行将多个合成图像cycbcr拼接在一起的处理，并且图像处理设备可以进一步包括用于输出例如输出图像的输出单元。
注意，色差不限于ycbcr图像的cr值和cb值。例如，色差可以是lab颜色空间中的“a”和“b”。此外，例如，色差可以是yuv颜色空间中的“u”和“v”。
注意，根据本发明实施例的全部或部分处理可以由以传统编程语言描述的计算机执行的程序来实施，例如，所述编程语言诸如是汇编、c、c++、c#或java(注册商标)，或者面向对象的编程语言。即，该程序是用于使包括于图像处理设备中的计算机执行图像处理方法的计算机程序。
此外，例如，所述程序可以存储在诸如rom或eeprom(电可擦除可编程rom)的计算机可读记录介质中，并以这种存储状态分布。此外，记录介质还可以是eprom(可擦除可编程rom)、闪存、软盘、cd-rom、cd-rw、dvd-rom、dvd-ram、dvd-rw、blu-raydisc、sd(注册商标)卡或mo(磁光)盘。例如，程序也可以经由电通信线路分布。
虽然上文已经关于某些说明性实施例描述了本发明，但是本发明不限于这些实施例，并且可以在不脱离本发明的范围的情况下做出许多变化和修改。
本申请基于并要求于2015年12月15日提交的日本专利申请第2015-243679号的优先权日的权益，其全部内容通过引用并入于此。
附图标记列表
10图像处理设备
rawimg捕捉的图像
ycbcrimgycbcr图像
dlut系数数据
cycbcr合成图像
现有技术文件
专利文件
专利文献1：日本未审查专利公开号2013-51584