专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本公开涉及图像处理装置、图像处理方法和程序。具体地，本公开涉及处理由两个透镜类型的立体图像捕获相机所捕获的左眼图像和右眼图像的图像处理装置等。
背景技术：
作为通过拍照来获取形成立体(3D)图像的左眼图像和右眼图像的方法，存在单个透镜类型的获取方法，其中，由单个透镜所感知的光被光学地分为光系统内的左图像和右图像，并且，存在两个透镜类型的获取方法，其中，在相同时间点处的图像通过同步不同的左相机系统和右相机系统来获得。在相机系统中，条纹(striation)被看作是出现在如下的场景中太阳照射在作 品上侧的天空中，而风景在下侧延伸的场景，或者，在夜间拍摄的夜空下利用强光照射运动场的场景，等等。在两个透镜的类型的图像获取方法中，出现在左眼图像和右眼图像中的条纹形状与导致立体(3D)感觉的几何相关无关，并且，是给图像内容的观看者带来不舒服的因素，因为其被光源或条纹以及背景的对比所强调。例如，日本未审查专利申请公开No. 2003-69896公开了实施例，其中，包括在由相机所拍摄的图像中的闪光被校正。在该实施例中，相机的闪光特点被预先测量，并且，所捕获的图像中的闪光被利用闪光特点来校正。另外，闪光是包括条纹和光线的概念。
发明内容
希望防止由于出现在左眼图像和右眼图像中的光学噪声而使感知立体图像的观看者感觉不舒服。根据本公开的实施例，提供了图像处理装置，其包括噪声去除単元，该噪声去除単元通过执行噪声去除处理来校正左眼图像和右眼图像的光学噪声的几何失配，该噪声去除处理用于去除由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像上単独生成的光学噪声。左眼图像和右眼图像的几何失配由噪声去除単元通过执行噪声去除处理来被校正，该噪声去除处理用于去除由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像上単独生成的光学噪声。此处，光学噪声包括由于经由透镜卷筒从成像透镜所生成的光反射到成像设备所出现的闪光，并且，该闪光包括条纹或光线。如此，根据本公开的实施例，左眼图像和右眼图像的几何失配被校正。出于此原因，可以防止感知立体图像的观看者感觉由于出现在左眼图像和右眼图像中的光学噪声所导致的不舒服。例如，噪声去除単元可从所述左眼图像和所述右眼图像中的每ー个检测包括光源、条纹和光线的条纹区域以及邻近所述条纹区域的条纹背景区域，并且，将ー个图像的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。因此，左眼图像和右眼图像的几何失配被校正。
在该情形中，例如，噪声去除単元可包括区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域；分割区域相关部件，该分割区域相关部件将包括彼此相同的对象的区域、或由所述区域分割部件所分割的左眼图像和右眼图像的所分割区域中由光学上彼此相同的原因所生成的图像的区域相关；条纹搜索部件，该条纹搜索部件从由所述区域分割部件所分割的左眼图像和右眼图像的所分割区域检测包括光源、条纹和光线的条纹区域以及 邻近所述条纹区域的条纹背景区域；以及图像替换部件，该图像替换部件基于来自所述分割区域相关部件的相关结果，将左眼图像和右眼图像中的ー个的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。另外，例如，噪声去除単元可从左眼图像和右眼图像中的每ー个检测包括光源、条纹和光线的条纹区域和邻近所述条纹区域的条纹背景区域，从左眼图像和右眼图像中去除包括在所述条纹区域中的所述光源、所述条纹和所述光线，并且，向所述左眼图像和所述右眼图像给出具有适合于观看立体图像的几何相关的光源、条纹和光线效果。因此，左眼图像和右眼图像的几何失配被校正。在该情形中，例如，噪声去除単元可包括区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域；条纹搜索部件，该条纹捜索部件从由所述区域分割部件所分割的左眼图像和右眼图像的所分割区域检测包括光源、条纹和光线的条纹区域以及邻近所述条纹区域的条纹背景区域；以及图像替换部件，该图像替换部件从左眼图像和右眼图像中去除包括在所述条纹区域中的所述光源、所述条纹和所述光线，并且，向左眼图像和右眼图像给出具有适合于观看立体图像的几何相关的光源、条纹和光线效果。。另外，例如，图像处理装置还可包括噪声去除处理判定単元，该噪声去除处理判定単元所述噪声去除単元是否执行所述噪声去除处理。因此，可以防止噪声去除处理不必要地执行在左眼图像和右眼图像上。在该情形中，例如，可以减少CPU(中央处理单元)的计算量，并且从而减少其负载。在该情形中，例如，图像处理装置还可包括输入终端単元，从相机系统传输的左眼图像和右眼图像被输入到该输入终端单元，并且，从所述相机系统传输的拍摄设定信息被输入到该输入终端单元，并且，噪声去除处理判定単元基于包括在从所述相机系统所传输的所述拍摄设定信息中的光圈值来判定是否执行所述噪声去除处理。另外，例如，光学噪声可以是条纹或光线，并且，噪声去除处理判定単元基于出现在左眼图像和右眼图像中的条纹或光线的半径来判定是否执行所述噪声去除处理。另外，在该情形中，光学噪声可以是条纹，并且，噪声去除处理判定単元基于出现在左眼图像和右眼图像中的条纹数来判定是否执行所述噪声去除处理。另外，在该情形中，光学噪声可以是条纹，并且，噪声去除处理判定単元基于用于获得左眼图像和右眼图像的相机的相机透镜的光圈片的数目的信息来判定是否执行所述噪声去除处理。另外，在该情形中，光学噪声可以是条纹，并且，噪声去除处理判定単元基于出现在左眼图像和右眼图像中的条纹或光线的持续时段来判定是否执行所述噪声去除处理。根据本公开的实施例，可以校正左眼图像和右眼图像的几何失配，并且从而可以防止感受立体图像的观看者感觉不舒服。
图I是示出了根据本公开的第一实施例的图像处理装置的配置示例的框图。图2是示出了中央处理单元中的噪声去除处理的处理流程的示例的流程图。图3是示出了包括对足球场和标记结果的全景示图的原始图像(左眼图像和右眼图像)的示图。图4是示出了针对每个所分割的区域的区域分割结果和标记结果的示图。图5是示出了对左眼图像和右眼图像的各自区域的分割区域校正的示例的示图。图6是示出了用于检测光源位置的算法示例的示图。
图7是示出了中央处理单元中的噪声去除处理的处理流程的示例的流程图。图8是示出了根据本公开的第二实施例的图像处理装置的配置示例的框图。图9是示出了计算条纹数的方法的示例的示图。图IOA和图IOB是示出了通过比较在FlO的光圈处的图像示例和在F2的光圈处的图像示例的示图。
具体实施例方式以下，将描述本公开的实施例。将以以下的次序来做出描述。I.第一实施例2.第二实施例3.修改示例I.第一实施例图像处理装置的配置示例图I示出了根据第一实施例的图像处理装置100的配置示例。图像处理装置100处理由两个透镜的类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像。也就是说，图像处理装置100执行用于去除独立地生成在左眼图像和右眼图像上的光学噪声的噪声去除处理，从而校正光学噪声的几何失配。此处，光学噪声包括由于从成像透镜所生成的光经由透镜卷筒(barrel)反射到成像设备所出现的闪光，并且，该闪光包括条纹或光线。条纹与光线相同，但是，一般而言，条纹指示轮廓清晰的状态，而光线指示轮廓模糊的状态。在以下的描述中，为了简化描述，假定光学噪声为条纹。图像处理装置100包括中央处理单元(CPU) 101、主存储设备102、用户指令输入设备103、用户信息输出设备104、图像数据累积设备105，以及程序累积设备106。各个设备被连接至内部总线107。图像数据累积设备105累积由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像的数据。另外，图像数据累积设备105还在噪声去除处理被执行之后累积左眼图像和右眼图像的数据。程序累积设备106累积中央处理单元101的处理程序。中央处理单元101控制图像处理装置100的各个设备，并且，执行用于去除在图像数据累积设备105中所累积的左眼图像和右眼图像上的上述光学噪声的噪声去除处理。主存储设备102例如包括ROM(只读存储器)、RAM(随机访问存储器)等。例如，中央处理单元101从程序累积设备106读取处理程序，并且，例如在主存储设备102的RAM上开发所读取的程序，从而执行上述控制处理和噪声去除处理。用户指令输入设备103是用于输入用户指令的键盘、鼠标等。用户信息输出设备104是显示器或处理用户操作信息、处理进程信息等的设备，并且，为了用户方便，其被设置。噪声去除处理的细节将描述由中央处理单元101所执行的噪声去除处理。包括(I)区域分割算法、(2)分割区域相关算法、(3)条纹搜索算法和(4)图像替換算法的程序被以可执行的格式预留在程序累积设备106中。该程序被读取到主存储设备102，并且，中央处理单元101将每个算法应用到从图像数据累积设备105所读取的图像数据。 区域分割算法通过利用每个像素的顔色、亮度和位置坐标的分类将图像数据分割成多个区域。分割区域相关算法校正包括彼此相同的对象的区域、或左眼图像和右眼图像的所分割区域中由光学上相同的原因所生成的图像的区域。条纹搜索算法检测条纹区域。换言之，条纹搜索算法例如指定在图像的X轴方向和Y轴方向上来自亮度直方图的光源的中央位置，在距离中心相同间隔的圆半径上采样多个点，并且，通过比较所采样的亮度分布和之前的区域分割结果来判定条纹区域。另外，条纹搜索算法检测条纹背景区域。换言之，条纹搜索算法检测如下区域作为条纹背景区域该区域由这种均一的顔色点所形成，其中构成像素的色度信息或亮度信息被包括在所希望的方差内。例如，所分割区域中所有点的亮度接近0的部分被指定为条纹背景区域，其用“LBACK”和“ RBACK”表示。由其亮度接近记录比特宽度的饱和值的点所形成的部分被指定为条纹区域，其用“Lray”和“Rray”表示。图像替换算法利用区域分割结果来将ー个图像的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。可替换地，图像替换算法从左眼图像和右眼图像去除光源和包括在条纹区域中的条纹，并且，将具有适于查看立体图像的几何相关的光源和条纹效果给予两个图像。图2中的流程图示出了由中央处理单元101所执行的噪声去除处理的处理流程示例。该示例对应于如下情形中的处理流程图像替换算法利用区域分割结果将一个图像的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。中央处理单元101在步骤STl中开始处理，并且然后，流程进行到步骤ST2中的处理。在步骤ST2中，中央处理单元101将将要在主存储设备102中处理的左眼图像数据和右眼图像数据存储在来自图像数据累积设备105的主存储设备102中。接下来，在步骤ST3中，中央处理单元101将左眼图像和右眼图像中的每ー个分割成多个区域。另外，在步骤ST4中，中央处理单元101校正包括彼此相同的对象的区域，或校正左眼图像和右眼图像的所分割区域中由光学上相同的原因所生成的图像。接下来，在步骤ST5中，中央处理单元101从左眼图像和右眼图像的各个所分割的区域中检测包括光源和条纹的条纹区域以及邻近条纹区域的条纹背景区域。另外，在步骤ST6中，中央处理单元101基于所分割区域的相关结果将左眼图像和右眼图像中的ー个的条纹区域和条纹背景区域用另ー图像的对应区域(条纹区域和条纹背景区域)来替换。在该情形中，中央处理单元101不是简单地执行替换，而是可在执行给一个图像的条纹区域和条纹背景区域提供视差的修改之后执行替换。接下来，在步骤SI7中，中央处理单元101在图像数据累积设备105中保存替换之后的图像数据，即，另ー图像的图像数据。以后，中央处理单元101在步骤ST8中完成处理。将更加详细地描述图2中的流程图的每个步骤中的处理。在步骤ST2中，中央处理单元101从图像数据累积设备105将具有相同的时间点信息的左眼图像L和右眼图像R读取到主存储设备102。另外，在步骤ST3中，中央处理单元101将区域分割算法应用到每个图像，并且，执行区域分割处理。在该情形中，中央处理单元101通过应用现有的方法(例如，在L*a*b的颜色空间中的分簇)来 执行区域分割处理。另外，在步骤ST4中，中央处理单元101将分割区域相关算法应用到左图像和右图像，并且，执行所分割区域的相关。此处，所分割的子区域由左眼图像AL、BL、CL、...和右眼图像AR、BR、CR、.来表示。例如,如在图3中所示,考虑包括夜间足球场全景示图的作品示例。在该作品示例的左眼图像L和右眼图像R中，天空部分由AL和AR表示，光源和条纹部分由BL和BR表示，位于中心右侧的看台和人物部分由CL和CR表示，而足球场区域由DL和DR表示。图4示出了区域分割结果和各个所分割区域的标记名称。中央处理单元101基于L*a*b空间中的分簇结果中的每个簇(cluster)的中心坐标、簇中的像素数和形成簇的像素的坐标来使每个区域的左侧和右侧相关。图5示出了每个区域的左相关结果和右相关結果。另外，在步骤ST5中，中央处理单元101应用条纹搜索算法(光源和条纹检测算法)，并且，利用区域分割结果来检测条纹区域和条纹背景区域。将描述条纹搜索算法的示例。对光源的检测假定如下的图像区域是光源区域该图像区域形成以ー区域作为中心的簇，该区域被预测为包括L*a*b空间中的光源并且其亮度为高(例如，白色)。另外，假定如下的图像区域是诸如天空之类的背景区域该图像区域形成以在L*a*b空间中的几乎均一的背景顔色(例如，黒色至深蓝色)作为中心的簇。在图3、图4和图5中所示的示例中，背景和天空基本上对应于区域I (AL和AR)，而光源基本上对应于区域2 (BL和BR)。如在图6中所示，在左眼图像L中，组合了 AL和BL的图像区域被用作整个扫描范围，并且，在X方向和Y方向中的每ー个方向上的一行上的像素的总亮度信息被获取。在X方向和Y方向二者上都具有峰值的像素位置Px (Xp，Yp)被用作光源的坐标位置。虽然未示出，但在右眼图像R中，组合了 AR和BR的图像区域被用作整个扫描范围，并且，在X方向和Y方向中的每ー个方向上的一行上的像素的总亮度信息被获取。在X方向和Y方向二者上都具有峰值的像素位置Px(Xp，Yp)被用作光源的坐标位置。对条纹区域和条纹背景区域的检测另外，如下的图像区域被重新判定为条纹区域该图像区域的亮度根据到光源的坐标的距离而单调递减，并且，像素的亮度等于或大于所希望的阈值Vth。重新判定的区域(条纹区域和条纹背景区域)用AL’、BL’、AR’和BR’表示。另外，此处，如果重新判定的结果和初始区域分割结果可被看作是彼此相同的，例如AL和AL’、BL和BL’、AR’和AR、BR’和BR彼此相同，或重叠的像素数等于或大于99 %，则使用原始參考标号。另外，在步骤ST6中，中央处理单元101应用图像替换算法，并且，将由右眼图像的背景区域AR和条纹区域BR所形成的区域用由左眼图像的背景区域AL和条纹区域BL所形成的图像来替换。另外，中央处理单元101在图像数据累积设备105中保存替换之后的右眼图像的图像数据。另外，在该情形中，当由右眼图像的背景区域AR和条纹区域BR所形成的区域用由左眼图像的背景区域AL和条纹区域BL所形成的图像来替换时，该替换不是简单地执行的，而是可在用于给出视差的修改之后执行该替换。在图像处理装置100之后经由单独的終端或通信网络向另一系统传送用于立体显示的两个视点的图像的情形中，中央处理单元101提供替换之后的原始的左眼图像和右眼图像。图7中的流程图示出了由中央处理单元101所执行的噪声去除处理的处理流程的示例。该示例对应于在如下情形中的处理流程从左眼图像和右眼图像去除包括在条纹区域中的光源和光线，并且，向两个图像给出具有适合于查看立体图像的几何相关的光源和光线效果。中央处理单元101开始步骤STll中的处理，并且然后，流程进行到步骤ST12中的处理。在步骤ST12中，中央处理单元101存储来自图像数据累积设备105的将要在主存储 设备102中处理的左眼图像数据和右眼图像数据。接下来，在步骤ST13中，中央处理单元101将左眼图像和右眼图像中的每ー个分成多个区域。另外，在步骤ST14中，中央处理单元101使包括彼此相同的对象的区域相关，或使左眼图像和右眼图像的所分割区域中由光学上相同的原因所生成的图像相关。接下来，在步骤ST15中，中央处理单元101从左眼图像和右眼图像的各个所分割区域中检测包括光源和条纹的条纹区域以及邻近条纹区域的条纹背景区域。接下来，在步骤ST16中，中央处理单元101基于光源信息和虚拟光源系统来创建条纹图像F。另外，在步骤ST17中，中央处理单元101将条纹图像F与右眼图像合成，并且，在步骤ST18中，将条纹图像F与左眼图像合成。另外，在步骤ST19中，中央处理单元101将合成的左眼图像和右眼图像的图像数据保存在图像数据累积设备105中。将更加详细地描述图7中的流程图的每个步骤中的处理。另外，图7的流程图的步骤ST12至ST15中的处理与图2的流程图的步骤ST2至ST5中的处理相同，并且因此，将省略对其的详细描述。也就是说，此处，将描述步骤ST16中的处理。在步骤ST16至ST18中，中央处理单元101应用图像替换算法。也就是说，中央处理单元101将包括在条纹区域中的光源和条纹从左眼图像L和右眼图像R中去除，并且，向两个图像给出具有适合于观看立体图像的几何相关的光源和条纹效果。換言之，中央处理单元101利用条纹背景区域Ax的顔色信息和纹理信息来在左眼图像L和右眼图像R 二者中校正条纹区域，就好像不存在光源和条纹一祥。另外，中央处理単元101设定具有所希望的光强度特点的虚拟光源，将其设置在如下光源位置处该光源位置具有三维位置信息，并且，被投影到步骤ST15中所检测到的原始图像上的光源位置Px上。此时，光源的福射方向性(radiation directivity)可被添加到虚拟光源的特点中。中央处理单元101将光源位置、光强、辐射方向性等一起用作光源信息。另外，中央处理単元101创建虚拟条纹图像F，该虚拟条纹图像F由从具有光源信息特点的虚拟光源经过虚拟光学系统的光束所生成，并且，中央处理单元101将虚拟条纹图像F与已校正的左眼图像和右眼图像合成。具体地,通过呈现光衍射(light diffraction)现象来获得条纹图像F,该光衍射现象是由来自上述虚拟光源经过虚拟光学系统的入射光生成的，该虚拟光学系统被设置在与捕获原始图像的右图像光学系统相对相同的位置处。中央处理单元101以所希望的混合比率将条纹图像F叠加到已校正的右眼图像上。中央处理单元101在执行视差校正之后将条纹图像F与左眼图像合成。另外，中央处理单元101将左眼图像和右眼图像的图像数据保存在图像数据累积设备105中，利用该左眼图像和右眼图像，条纹图像F已经被合成。在立体显示器的两视点的图像之后经由单独的終端或通信网络被传送到另一系统的情形中，中央处理单元101提供左眼图像和右眼图像，利用该左眼图像和右眼图像，条纹图像F已经被合成。另外，中央处理单元101可创建并利用过滤图像(条纹图像)，该过滤图像通过CG由诸如缓冲减少方法之类的现存方法单独创建，而非通过上述呈现所创建的条纹图像F。在该情形中，例如，中央处理单元101以所希望的混合比率将过滤图像叠加到已校正的右眼图像上，执行处理以引起条纹和光线效果，并且，以相同的方式，在执行视差校正之后，将过 滤图像F与左眼图像合成。如上所述，在图I中所示的图像处理装置100中，用于去除単独生成的光学噪声的噪声去除处理被执行在由两个透镜的类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像上。另外，左眼图像和右眼图像的几何失配被校正。例如，从左眼图像和右眼图像中的每ー个中检测到包括光源和条纹的条纹区域以及邻近条纹区域的条纹背景区域，并且，一个图像的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。另外，例如，从左眼图像和右眼图像中的每ー个中检测到包括光源和条纹的条纹区域以及邻近条纹区域的条纹背景区域，并且，包括在条纹区域中的光源和条纹被从左眼图像和右眼图像中去除。另外，可以向左眼图像和右眼图像给出具有适合于观看立体图像的几何相关的光源和条纹效果。出于该原因，在图I中所示的图像处理装置100中，可以顺利地防止感知立体图像的观看者由于光学噪声(例如，出现在左眼图像和右眼图像中的条纹)而感觉不舒服。2.第二实施例图像处理装置的配置示例图8示出了根据第二实施例的图像处理装置100A的配置示例。以与图I中所示的图像处理装置100相同的方式，图像处理装置100A也在由两个透镜的类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像上执行处理。在图8中，对应于图I中的部分被给予相同的參考标号，并且，省略了对其的详细描述。图像处理装置100A包括中央处理单元101、主存储设备102、用户指令输入设备103、用户信息输出设备104、程序累积设备106、图像数据输入終端IllL和111R，以及图像数据输出终端112。各个部分被连接至内部总线107。图像数据输入終端11IL是用于输入由相机系统200L所捕获的左眼图像的图像数据和拍摄设定信息(诸如，相机系统200L中的光圈值)的終端。图像数据输入終端IllR是用于输入由相机系统200R所捕获的右眼图像的图像数据和拍摄设定信息(诸如，相机系统200R中的光圈值)的終端。图像数据输出終端112是用于将所处理的左眼图像数据和右眼图像数据输出到图像数据输出监视器300的終端。虽然未详细描述，但是，以与图I中所示的上述图像处理装置100相同的方式，中央处理単元101从程序累积设备106读取处理程序，并且，开发例如主存储设备102的RAM上的程序，从而执行噪声去除处理。也就是说，中央处理单元101执行用于去除从相机系统200L和200R输入的左眼图像和右眼图像的图像数据上的光学噪声的处理，并且，从图像数据输出終端112将已处理的图像数据输出到监视器300。另外，中央处理单元101利用从相机系统200L和200R输入的拍摄设定信息和图像数据一起来执行处理。中央处理单元101例如利用光圈值来判定是否执行噪声去除处理，并且因此，防止噪声去除处理被浪费地执行。稍后将再次描述关于是否执行噪声去除处理的判定。图8中所示的图像处理装置100A的其余部件与图I中所示的图像处理装置100的那些部件相同。因此，图8中所示的图像处理装置100A也可获得与图I中所示的图像处理装置100相同的效果。在图8中所示的图像处理装置100A中，左眼图像数据被从相机系统200L输入，而右眼图像数据被从相机系统200R中输入。但是，左眼图像数据和右眼图像数据不必从两个 相机系统输入。例如，两个相机系统200L和200R部分可以是包括两个或更多个光学系统的ー个相机系统，并且因此，可输出从分离的视场(viewing field)所捕获的多个图像。3.修改示例另外，在上述实施例中，已经存在对示例的描述，其中，噪声去除处理被执行，以便校正累积在图像数据累积设备105中或从相机系统输入的左眼图像和右眼图像的光学噪声的几何失配。中央处理单元101可判定是否执行噪声去除处理，并且然后，可防止噪声去除处理被不必要地执行。例如，通过这些，可以减少中央处理单元(CPU)IOl的计算量，并且因此，減少其负载。此后，将描述不执行噪声去除处理的条件。(I)在条纹的最大半径小于所希望的半径的情形中如果条纹的半径小于所希望的阈值半径，例如，如果图像的X方向上的像素数小于1/30，则中央处理单元101不在关于光源所生成的条纹上执行噪声去除处理。(2)在从光源所生成的条纹数大于所希望的数目并且因此条纹束之间的间隔小的情形中如果从ー个光源所生成的条纹数大于单独设定的阈值数，则中央处理单元101不在任意条纹或部分条纹上执行噪声去除处理。在该情形中，这是因为超过了可视的判定极限，即，其数目大并且间隔小，并且因此，邻近某条纹的条纹无法区分。此处，将參照图9做出对计算条纹数的方法的示例的描述。当条纹区域BR和光源位置Px被固定时，中央处理单元101用距离r来绘制点的亮度，该距离r在角度 (范围0< <2ji)上以光源位置(Xp，Yp)作为中心点，同时变化r。另外，中央处理单元101例如从所绘制的曲线Lrk中任意选择两个Lrl和Lr2,并且,计算其相关度“L( )=Lrl ( ) XLr2( ) ”。接下来，中央处理单元101姆当通过计算L( )的关于O的第一导数而获得最大值时将条纹数増加I，并且，将0< <2^1中的最大值数(此处为六)作为条纹数。(3)相机透镜的偶数和奇数以及光圈片(diaphragm blade)的数目相机透镜的光圈片的数目W与条纹数具有某些规则，并且，如果W是偶数，则生成W个条纹，并且，如果W是奇数，则生成2W个条纹。換言之，对从上述光源所生成的条纹数与所希望的数目的比较可被透镜光圈是具有偶数片还是奇数片以及光圈片的数目所替代。因此，透镜光圈片的数目被从相机设定信息获得，并且，如果例如该值为七或更大的奇数，则使得不执行噪声去除处理。(4)在条纹的持续时间短于所希望的阈值的情形中如果由于相机的闪光等而从任意光源生成条纹时的时间(从运动图像中的相同光源生成条纹的连续帧的数目)短于所希望的阈值，则使得不执行噪声去除处理。在该情形中，这是因为条纹并不长时间地在观看体验中吸引注意力。(5)在相机的光圈值小于设定值的情形中如果相机透镜的光圈值变大，一般而言，则条纹束的长度增加。例如，图IOA示出了在FlO的光圈处的图像示例，而图IOB示出了在F2的光圈处的图像示例。因此，如果光圈值小于所设定的阈值(例如，F8)，则条纹束的长度被看作是足够短以可以被允许，并且 因此，不便得噪声去除处理被执行。虽然在上述描述中已经描述了不执行处理的条件，但是，用于执行处理的条件可通过反转与阈值的幅度关系而被设定。另外，可通过组合多个条件来设定用于执行处理的条件或不执行处理的条件。本公开保护与2011年3月22日递交日本专利局的日本优先权专利申请JP2011-062020公开的内容相关的主题，其全部内容通过引用被结合于此。本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。
权利要求
1.ー种图像处理装置，包括 噪声去除単元，该噪声去除単元通过执行噪声去除处理来校正左眼图像和右眼图像的光学噪声的几何失配，该噪声去除处理用于去除由两个透镜类型的立体图像捕获相机所捕获并获得的所述左眼图像和所述右眼图像上単独生成的光学噪声。
2.根据权利要求I所述的图像处理装置，其中，所述噪声去除単元校正出现在所述左眼图像中的条纹和光线以及出现在所述 右眼图像中的条纹和光线的几何失配。
3.根据权利要求2所述的图像处理装置，其中，所述噪声去除単元从所述左眼图像和所述右眼图像中的每ー个检测包括光源、条纹和光线的条纹区域以及临近所述条纹区域的条纹背景区域，并且，将ー个图像的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。
4.根据权利要求3所述的图像处理装置，其中，所述噪声去除単元包括 区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域； 分割区域相关部件，该分割区域相关部件将由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割的区域中的包括彼此相同的对象的区域、或由光学上彼此相同的原因所生成的图像的区域相关； 条纹搜索部件，该条纹捜索部件从由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割的区域检测包括光源、条纹和光线的条纹区域以及临近所述条纹区域的条纹背景区域；以及 图像替换部件，该图像替换部件基于来自所述分割区域相关部件的相关结果，将左眼图像和右眼图像中的ー个的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。
5.根据权利要求2所述的图像处理装置，其中，所述噪声去除単元从所述左眼图像和所述右眼图像中的每ー个检测包括光源、条纹和光线的条纹区域和邻近所述条纹区域的条纹背景区域，从所述左眼图像和所述右眼图像中去除包括在所述条纹区域中的所述光源、所述条纹和所述光线，并且，向所述左眼图像和所述右眼图像给出具有适合于观看立体图像的几何相关的光源、条纹和光线效果。
6.根据权利要求5所述的图像处理装置，其中，所述噪声去除単元包括 区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域； 条纹搜索部件，该条纹捜索部件从由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割的区域检测包括光源、条纹和光线的条纹区域以及邻近所述条纹区域的条纹背景区域；以及 图像替换部件，该图像替换部件从所述左眼图像和所述右眼图像中去除包括在所述条纹区域中的所述光源、所述条纹和所述光线，并且，向所述左眼图像和所述右眼图像给出具有适合于观看立体图像的几何相关的光源、条纹和光线效果。
7.根据权利要求I所述的图像处理装置，还包括噪声去除处理判定単元，该噪声去除处理判定単元判定所述噪声去除単元是否执行所述噪声去除处理。
8.根据权利要求7所述的图像处理装置，还包括输入终端単元，从相机系统传输的所述左眼图像和所述右眼图像被输入到该输入终端单元，并且，从所述相机系统传输的拍摄设定信息被输入到该输入终端单元， 其中，所述噪声去除处理判定単元基于包括在从所述相机系统传输的所述拍摄设定信息中的光圈值来判定是否执行所述噪声去除处理。
9.根据权利要求7所述的图像处理装置，其中，所述光学噪声是条纹或光线，并且 其中，所述噪声去除处理判定単元基于出现在所述左眼图像和所述右眼图像中的条纹或光线的半径来判定是否执行所述噪声去除处理。
10.根据权利要求7所述的图像处理装置，其中，所述光学噪声是条纹，并且 其中，所述噪声去除处理判定単元基于出现在所述左眼图像和所述右眼图像中的条纹数来判定是否执行所述噪声去除处理。
11.根据权利要求7所述的图像处理装置，其中，所述光学噪声是条纹，并且 其中，所述噪声去除处理判定単元基于用于获得所述左眼图像和所述右眼图像的相机的相机透镜的光圈片的数目的信息来判定是否执行所述噪声去除处理。
12.根据权利要求7所述的图像处理装置，其中，所述光学噪声是条纹，并且 其中，所述噪声去除处理判定単元基于出现在所述左眼图像和所述右眼图像中的条纹或光线的持续时段来判定是否执行所述噪声去除处理。
13.ー种图像处理方法，包括 通过执行噪声去除处理来校正左眼图像和右眼图像的光学噪声的几何失配，该噪声去除处理用于去除由两个透镜类型的立体图像捕获相机所捕获并获得的所述左眼图像和所述右眼图像上単独生成的光学噪声。
14.一种使能计算机用作如下部件的程序，该计算机处理由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像 区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域； 分割区域相关部件，该分割区域相关部件将由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割区域中的包括彼此相同的对象的区域、或由光学上彼此相同的原因所生成的图像的区域相关； 条纹搜索部件，该条纹捜索部件从由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割区域检测包括光源、条纹和光线的条纹区域以及邻近所述条纹区域的条纹背景区域；以及 图像替换部件，该图像替换部件基于来自所述分割区域相关部件的相关结果，将所述左眼图像和所述右眼图像中的ー个的条纹区域和条纹背景区域用另ー图像的条纹区域和条纹背景区域来替换。
15.一种使能计算机用作如下部件的程序，该计算机处理由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像 区域分割部件，该区域分割部件将所述左眼图像和所述右眼图像中的每ー个分割为多个区域； 条纹搜索部件，该条纹捜索部件从由所述区域分割部件所分割的所述左眼图像和所述右眼图像的所分割区域检测包括光源、条纹和光线的条纹区域以及邻近所述条纹区域的条纹背景区域；以及 图像替换部件，该图像替换部件从所述左眼图像和所述右眼图像中去除包括在所述条纹区域中的所述光源、所述条纹和所述光线，并且，向所述左眼图像和所述右眼图像给出具有适合于观看立体图像的几何相关的光源、条纹和光线效果。
全文摘要
本发明公开了图像处理装置、图像处理方法和程序。一种图像处理装置包括噪声去除单元，该噪声去除单元通过执行噪声去除处理来校正左眼图像和右眼图像的光学噪声的几何失配，该噪声去除处理用于去除由两个透镜类型的立体图像捕获相机所捕获并获得的左眼图像和右眼图像上单独生成的光学噪声。
文档编号H04N5/21GK102739922SQ201210073578
公开日2012年10月17日 申请日期2012年3月15日 优先权日2011年3月22日
发明者荒船晶 申请人:索尼公司