图像处理装置、方法、程序和记录介质，立体图像获取装置，便携式电子设备，打印机和立...的制作方法

图像处理装置、方法、程序和记录介质，立体图像获取装置，便携式电子设备，打印机和立 ...的制作方法
【专利摘要】根据本发明的一个方面的图像处理方法包括：采集具有相位差的第一图像和第二图像；计算指示第二图像的每个相应的像素相对于第一图像的每个像素的偏移量的视差；对于经受图像处理的第一图像和第二图像的每个像素，基于所述视差确定图像处理系数，以执行边缘加强或边缘校正；和使用所述图像处理系数对第一图像和第二图像执行图像处理。
【专利说明】图像处理装置、方法、程序和记录介质，立体图像获取装置，便携式电子设备，打印机和立体图像播放器装置
【技术领域】
[0001]本发明涉及一种图像处理装置、一种图像处理方法、一种图像处理程序和一种记录介质、一种立体图像获取装置、一种便携式电子设备、一种打印机和一种立体图像播放器装置。特别地，本发明涉及一种用于校正立体视图的多个图像的立体效果的技术。
【背景技术】
[0002]通常,将通过立体图像的突起(pop-up)和下降(pop-down)所表示的深度量的范围称为动态范围。提出了立体图像校正装置，所述装置校正了动态范围的突起量和下降量中的至少一个(PTLl)。
[0003]该立体图像校正装置根据相对于观察者觉察到的物体的距离(视距)校正了双眼视差图像的像素偏移量。
[0004]在PTL2中描述的图像信号处理电路中，为了解决导致在高分辨率图像中的立体效果或透视感降低的问题，根据模糊量估计深度信息以改变边缘加强度和平滑度。以此方式，能够实现图像的高分辨率和立体效果或透视感。
[0005]在PTL3中描述的图像处理装置中，将所拍摄的一个屏幕的图像数据的预定区域划分为多个区域，且将物体在这些区域内的前后关系分为组。此外，通过根据这些组应用具有不同频率特性的滤波器，物体的在指定范围内的距离中的图像采用高通滤波器(HPF)以使该图像在每个区域的单元内加强，或采用低通滤波器(LPF)以使图像模糊。以此方式，能够生成具有立体效果的图像。
[0006]PTLl:日本专利申请特开2010-045584
[0007]PTL2:日本专利申请特开2009-251839
[0008]PTL3:日本专利申请特开2006-067521

【发明内容】

[0009]技术问题
[0010]在PTLl中描述的发明通过校正双眼视差图像的像素偏移量而校正了立体图像的突起量或下降量。在PTLl中描述的发明中，存在的问题是，如果在双眼视差图像的像素偏移量的视差测量中存在错误，则视差校正之后的立体图像失效。
[0011]在PTL2中描述的发明根据模糊量等估计了深度信息，且改变了边缘加强等级。然而，在PTL2中描述的发明中，视差不通过使用右图像和左图像的视差而被直接改变，并且立体效果的校正受到限制。
[0012]在PTL3中描述的发明将给出立体效果的处理应用于平面图像，且不校正视差。
[0013]根据此情况完成了本发明，并且本发明的目的是提供一种图像处理装置、一种图像处理方法、一种图像处理程序和一种记录介质、一种立体图像获取装置、一种便携式电子设备、一种打印机和一种立体图像播放器装置，该立体图像播放器装置能够在用于立体图的多个图像上执行自然视差校正，且即使在不能够精确地执行视差校正的情形中，该立体图像播放器装置也能够以较少的失效来执行视差校正。
[0014]问题的解决方案
[0015]为实现该目的，根据本发明的一个方面的图像处理装置包括:图像采集装置，所述图像采集装置构造为采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算装置，所述视差计算装置构造为计算如下视差，该视差指示第二图像的相应的像素相对于通过图像采集装置采集的第一图像的每个像素的偏移量；图像处理系数确定装置，所述图像处理系数确定装置构造为对于通过图像采集装置采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数，以执行边缘加强或边缘校正，且基于通过视差计算装置计算的视差来确定目标像素的图像处理系数；以及图像处理装置，所述图像处理装置构造为使用图像处理系数确定装置确定的图像处理系数对于通过图像采集装置采集的第一图像和第二图像执行图像处理。
[0016]根据本发明的一个方面，在作为立体图像拍摄的第一图像和第二图像上通过应用用于边缘加强或边缘校正的图像处理系数而执行图像处理，所述图像处理能够根据每个图像处理目标像素的原始视差来执行视差校正。以此方式，能够同时执行自然视差校正和边缘加强或边缘校正。此外，不能精确地检测视差的部分在许多情况中是平坦部分，并且在平坦部分内不存在受到边缘加强或边缘校正的轮廓部分。因此，即使边缘加强或边缘校正的相位偏移，这也不太可能引起失效。而且，在以上所述的方面中，边缘加强或边缘校正还意味着边缘部分的形成处理。
[0017]在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置确定图像处理系数，使得用于边缘加强或边缘校正的图像处理系数的中心从计算目标像素的中心偏移。通过在目标像素上以此图像处理系数执行图像处理，能够使视差(相位)偏移且执行边缘加强或边缘校正。
[0018]在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置根据视差的偏移方向将图像处理系数的中心从计算目标像素的中心偏移。
[0019]在根据本发明的另一个方面的图像处理装置中，图像处理系数确定装置确定滤波器系数作为图像处理系数，并且图像处理装置通过使用滤波器系数的滤波器来执行滤波处理。
[0020]作为滤波器，可使用一维滤波器或二维滤波器。在一维滤波器的情况中，优选地，通过在与视差方向正交的方向上执行边缘加强或边缘校正的另一个一维滤波器另外地执行边缘加强或边缘校正。另一方面，在二维滤波器的情况中不需要如此。
[0021]在根据本发明的另一个方面的图像处理装置中，优选地，图像处理系数确定装置确定滤波器系数，其中，边缘加强或边缘校正的程度和频带中的至少一个根据视差而变化。
[0022]在根据本发明的另一个方面的图像处理装置中，优选地，图像处理系数确定装置确定随着视差增加而降低边缘加强或边缘校正的程度的滤波器系数和随着视差增加而扩宽频带的滤波器系数中的至少一个。如果在具有大视差的模糊部分上执行过度的边缘加强或边缘校正，则这可能导致噪声的增加。因此，优选地，根据视差校正量(视差水平)改变边缘加强或边缘校正的程度或频带。
[0023]在根据本发明的另一个方面的图像处理装置中，当对于目标像素输入由视差计算装置计算的视差时，图像处理系数确定装置根据对于视差校正的预定函数计算视差偏移量或从用于视差校正的预定查询表读取出相应的视差偏移量，且根据所计算的或所读取的视差偏移量将图像处理系数的中心从计算目标像素的中心偏移。
[0024]优选地，根据本发明的另一个方面的图像处理装置进一步包括选择装置，所述选择装置包括用于视差校正的多个预定函数或查询表，该选择装置构造为通过用户设定来从所述多个函数或查询表选择任意函数或查询表。以此方式，能够通过用户偏好来执行视差加强或视差降低。
[0025]在根据本发明的另一个方面的图像处理装置中，视差计算装置通过基于第一图像的目标像素的预定块尺寸的图像与第二图像之间的块匹配检测在第二图像上的与第一图像的目标像素对应的像素，且该视差计算装置计算第一图像的目标像素与第二图像上的检测到的像素之间的视差。
[0026]在根据本发明的另一个方面的图像处理装置中，优选地:视差计算装置保持在视差检测下使用的第一图像和第二图像中的块尺寸的图像；图像处理装置具有与预定块尺寸相同尺寸的计算目标像素范围；并且图像处理装置通过使用由视差计算装置保持的第一图像和第二图像的预定块尺寸的图像和计算目标像素范围的图像处理系数来执行图像处理。
[0027]用于视差检测的第一图像和第二图像中的预定块尺寸的图像被保持而不被释放，且可用于图像处理装置中的图像处理。因此，能够降低存储器利用和加速处理。
[0028]在根据本发明的另一个方面的图像处理装置中，优选地，第一图像和第二图像是三基色的彩色图像，且图像处理装置通过对于指示三基色的彩色图像的彩色信号中的每一个使用相同的图像处理系数来执行图像处理。以此方式，能够使图像在视差校正之后不发生色移。
[0029]在根据本发明的另一个方面的图像处理装置中，优选地，第一图像和第二图像是三基色的彩色图像，且图像处理装置通过对于从三基色的彩色图像产生的亮度信号和色差信号使用相同的图像处理系数来执行图像处理。虽然常规的边缘加强或边缘校正仅在亮度信号上执行，但在本发明中以边缘加强或边缘校正导致相移。因此，即使在色差信号上，也通过使用相同的图像处理系数来执行图像处理，从而不导致色移。
[0030]根据本发明的另一个方面的图像处理方法，包括:图像采集步骤，采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算步骤，计算指示在图像采集步骤中采集的第二图像的相应的像素相对于第一图像的每个像素的偏移量的视差；图像处理系数确定步骤，对于在图像采集步骤中采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于在视差计算步骤中计算的视差对于目标像素确定图像处理系数；和图像处理步骤，通过使用在图像处理系数确定步骤中确定的图像处理系数而对于在图像采集步骤中采集的第一图像和第二图像执行图像处理。
[0031]根据本发明的另一个方面的图像处理程序使得计算机执行:图像采集功能，该图像采集功能采集作为立体图像拍摄的具有视差的第一图像和第二图像；视差计算功能，该视差计算功能计算指示通过图像采集步骤采集的第二图像的相应的像素相对于第一图像的每个像素的偏移量的视差；图像处理系数确定功能，该图像处理系数确定功能对于通过图像采集步骤采集的第一图像和第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于通过视差计算功能计算的视差而对于目标像素确定图像处理系数；和图像处理功能，该图像处理功能通过使用由图像处理系数确定功能中确定的图像处理系数而对于通过图像采集步骤采集的第一图像和第二图像执行图像处理。
[0032]根据本发明的另一个方面的立体图像获取装置包括:单个成像光学系统；和成像元件，在该成像元件中，通过成像光学系统的不同的区域的目标图像受到光瞳划分(pupildivision)且被形成，所述成像元件构造为通过在通过不同区域的目标图像上执行光电转换来采集具有不同视差的第一图像和第二图像；和以上所述的图像处理装置中的任意图像处理装置。
[0033]因为在包括单个成像光学系统和能够采集相位差图像的成像元件的立体图像获取装置中基线长度(base length)短，所以虽然在许多情况中提供了具有小立体效果(视差)的图像，但通过本发明能够加强立体效果。
[0034]在根据本发明的另一个方面的立体图像获取装置中，成像元件包括用于光电转换的第一组像素和第二组像素，所述第一组像素和第二组像素以矩阵方式布置在成像元件的曝光区域的大致整个表面中，第一组像素被限制在光通量的光接收方向上以仅接收通过成像光学系统的第一区域的目标图像，且第二组像素被限制在光通量的光接收方向上以仅接收通过成像光学系统的第二区域的目标图像，并且成像元件能够从第一组像素和第二组像素读出多个图像。以此方式，能够通过一个成像元件同时采集具有不同视差的多个图像，且装置不被增大。
[0035]根据本发明的另一个方面的便携式电子设备包括以上所述的立体图像处理装置。便携式电子设备包括照相手机、个人数字助理(PDA)和便携式游戏装置。
[0036]根据本发明的另一个方面的打印机包括:以上所述的图像处理装置中的任意装置；和打印装置，所述打印装置构造为基于通过图像处理装置处理的第一图像和第二图像来形成用于立体视图的影印。
[0037]根据本发明的另一个方面的立体图像播放器装置包括:以上所述的图像处理装置中的任意装置；和图像显示装置，所述图像显示装置构造为基于通过图像处理装置处理的第一图像和第二图像来显示用于立体视图的图像。
[0038]本发明的有益效果
[0039]根据本发明，在作为立体图像拍摄的第一图像和第二图像上通过应用图像处理系数来执行图像处理以执行边缘加强或边缘校正，所述边缘加强或边缘校正能够根据每个图像处理目标像素的原始视差来执行视差校正。因此，能够同时执行自然视差校正和边缘加强或边缘校正。在此，其中不能精确地检测视差的部分在许多情况中是平坦部分，且在平坦部分中不存在受到边缘加强或边缘校正的轮廓部分。因此，即使边缘加强或边缘校正的相位偏移，这也不太可能导致失效，且能够以较低的失效执行视差校正。
【专利附图】

【附图说明】
[0040]图1是图示了应用根据本发明的图像处理装置的立体图像获取装置的实施例的前透视图。
[0041]图2是以上所述的立体图像获取装置的后透视图。
[0042]图3A是图示了立体图像获取装置的成像元件的构造实例的俯视图。
[0043]图3B是图示了立体图像获取装置的成像元件(主像素)的构造实例的俯视图。[0044]图3C是图示了立体图像获取装置的成像元件(子像素)的构造实例的俯视图。
[0045]图4A是以上所述的成像元件的放大的主要部分视图。
[0046]图4B是以上所述的成像元件的放大的主要部分视图。
[0047]图5是图示了以上所述的立体图像获取装置的内部构造的实施例的方框图。
[0048]图6A是图示了应用于左眼图像的滤波器的视图。
[0049]图6B是图示了应用于右眼图像的滤波器的视图。
[0050]图6C是图示了在滤波处理之前和之后的像素值变化的曲线图。
[0051]图6D是图示了视差校正的流程的视图。
[0052]图7是图示了原始图像的视差和相移量之间的关系的曲线图。
[0053]图8A是典型地图示了滤波器系数和边缘加强或边缘校正程度的曲线图。
[0054]图SB是典型地图示了滤波器系数和边缘加强或边缘校正的程度的曲线图。
[0055]图9是图示了根据本发明的图像处理方法的实施例的流程图。
[0056]图1OA是图示了在执行视差检测时执行滤波处理的状态的视图。
[0057]图1OB是图示了在执行视差检测时执行滤波处理的状态的视图。
[0058]图1lA是图示了(用于左眼的)二维滤波器的实例的视图。
[0059]图1lB是图示了(用于右眼的)二维滤波器的实例的视图。
[0060]图12是图示了原始图像的视差和相移量之间的关系的曲线图。
[0061]图13是图示了原始图像的视差和相移量之间的关系的曲线图。
[0062]图14是图示了原始图像的视差和相移量之间的关系的曲线图。
[0063]图15是图示了成像元件的另一个组成实例的俯视图。
[0064]图16是描述由以上所述的成像元件拍摄立体图像的机构的视图。
【具体实施方式】
[0065]在下文中，根据附图描述根据本发明的图像处理装置、图像处理方法、图像处理程序和记录介质、立体图像获取装置、便携式电子设备、打印机、立体图像播放器装置的实施例。
[0066]图1是图示了应用根据本发明的图像处理装置的立体图像获取装置的实施例的前透视图。图2是以上所述的立体图像获取装置的后透视图。该立体图像获取装置10是数字照相机，所述数字照相机通过成像元件接收通过透镜的光，将光转换为数字信号，且将该数字信号记录在记录介质例如存储卡中。
[0067]如在图1中图示，成像透镜12和闪光发射单元I等布置在立体图像获取装置10的前侧上。在立体图像获取装置10的上表面上布置有快门按键2、电源/模式开关3和模式拨盘4等。同时，如在图2中所图示，用于3D显示的3D液晶监视器30、变焦按键5、十字按键6、菜单/确认按键7、回放按键8和后退按键9等布置在立体图像获取装置10的背部中。
[0068]成像透镜12以可伸缩变焦透镜形成。当照相机的模式通过电源/模式开关3设定为成像模式时，成像透镜12从立体图像获取装置10的主体(照相机本体)被拉出。闪光发射单元I将闪光朝向物体照射。
[0069]快门按键2以所谓的“半按下”和“全按下”的两级行程式开关形成。如果在立体图像获取装置10以成像模式操作时此快门按键2被“半按下”，则自动曝光调整(AE)/自动聚焦调整(AF)操作。此外，如果在立体图像获取装置10以成像模式操作时此快门按键2被“全按下”，则执行成像。
[0070]电源/模式开关3具有电源开关的功能以开启/关闭立体图像获取装置10的电源，且具有作为模式开关的功能以设定立体图像获取装置10的模式。电源/模式开关3以可滑动的方式布置在“关闭位置”、“回放位置”和“成像位置”之间。立体图像获取装置10通过将电源/模式开关3滑动且调整到“回放位置”或“成像位置”而被开启，且通过将电源/模式开关3调整到“关闭位置”而被关闭。另外，通过将电源/模式开关3滑动且调整到“回放位置”而设定为“回放模式”，且通过将电源/模式开关3调整到“成像位置”而设定为“成像模式”。
[0071]模式拨盘4起如下成像模式设定装置的作用，该成像模式设定装置设定立体图像获取装置10的成像模式。通过此模式拨盘4的设定位置，立体图像获取装置10的成像模式被设定到不同的模式。例如，存在拍摄平面图像的“平面图像成像模式”、拍摄立体图像(3D图像)的“立体图像成像模式”和所拍摄移动图像的“移动图像成像模式”等。
[0072]3D液晶监视器30是用于能够显示立体图像(左眼图像和右眼图像)的立体显示装置，作为具有通过视差屏障的各个预定指向性的指向性图像。在立体图像被输入在3D液晶监视器30中的情况中，在3D液晶监视器30的视差屏障显示层上导致了如下视差屏障，所述视差屏障形成为透光单元和遮光单元以预定间距交替地布置的模式。指示了右图像和左图像的苇片形图像片段交替地布置在视差屏障显示层的下层的图像显示表面上。在视差屏障显示层用作平面图像或用户接口显示板的情况中，在所述视差屏障显示层上不显示任何内容，且一个图像按原样被显示在下层的图像显示表面上。此外，3D液晶监视器30的模式不限制于此，且仅需将左眼图像和右眼图像以可识别的方式显示为立体图像。例如，3D液晶监视器30的模式可以是使用双凸透镜的模式，或是能够通过使用特种玻璃例如极化玻璃和液晶快门玻璃而单独地看见左眼图像和右眼图像的模式。
[0073]变焦按键5起构造为指示变焦的变焦指示装置的作用。变焦按键5包括指示变焦到长焦侧的伸缩按键5T和指示变焦到宽角度侧的宽度按键5W。当立体图像获取装置10处于成像模式中时，如果操作此伸缩按键5T和宽度按键5W，则成像透镜12的焦距变化。此夕卜，如果此伸缩按键5T和宽度按键5W在回放模式下操作，则扩大或缩小所播放的图像。
[0074]十字按键6表示操作单元上下左右四个方向的输入指令，且起按键(光标移动操作装置)的作用，十字按键6从菜单屏幕选择项目，或指示从每个菜单的多个设定项目的选择。左/右键在回放模式下起进帧(前进方向/相反方向前进)按键的作用。
[0075]菜单/确认按键7表示如下操作键，所述操作键具有菜单按键的作用以给出在3D液晶监视器30的屏幕上显示菜单的指令，且起确认按键的作用以指示选择内容等的固定和执行。
[0076]回放按键8表示切换到回放模式的按键，以在3D液晶监视器30上显示拍摄或记录的立体图像(3D图像)或平面图像(2D图像)的静止图像或移动图像。
[0077]后退按键9起指示取消输入操作或返回到先前的操作状态的按键的作用。
[0078][成像光学系统和成像元件的构造实例]
[0079]成像透镜12表示形成为具有许多透镜的成像光学系统，包括聚焦透镜和变焦透镜。光圈14形成为例如具有五个光圈叶片，并且例如光圈值(F值)以连续的或分阶段的方式从F2至F8受控制。在成像模式下，指示了物体的图像光经由成像透镜12和光圈14而被形成在成像元件16的光接收表面上。
[0080]图3A至图3C是图示了成像元件16的构造实例的俯视图。
[0081]成像元件16指示了用于检测具有视差的图像(相位差)的CXD (电荷耦合器件)图像传感器。成像元件16具有以矩阵方式布置的奇数行的像素(也称为“A侧像素”的主像素)和偶数行的像素(也称为“B侧像素”的子像素)。在此主像素和子像素中接受光电转换的两个区域的图像信号可被独立地读取。
[0082]在图3B中所图示，在奇数行(1、3、5…)的成像元件16中，GRGR...的像素阵列的行和BGBG…的像素阵列的行在具有R (红)、G (绿)和B (蓝)的滤色器的像素之中交替地设置。另一方面，在偶数行(2、4、6…)的像素中，类似于奇数行，GRGR...的像素阵列的行和BGBG...的像素阵列的行交替地设置。主像素(奇数行的像素)布置为在行方向上相对于子像素(偶数行的像素)偏移1/2间距。
[0083]图4A和图4B是起相位差图像传感器的作用的成像元件16的放大的主要部分视图。
[0084]如在图4A中图示，遮光构件16A布置在成像元件16的主像素的光电二极管H)的前表面侧(微透镜L侧)上。另一方面，如在图4B中图示，遮光构件16B布置在子像素的光电二极管H)的前表面侧上。微透镜L和遮光构件16A和16B起光瞳划分装置的作用。如在图4A中图示，遮光构件16A遮挡了图中的主像素(光电二极管H))的光接收表面的左半部分内的光。因此，主像素仅接收通过成像透镜12的出口光瞳的光通量的光轴的左侧上的光。此外，如在图4B中图示，遮光构件16B遮挡了图中的子像素(光电二极管H))的光接收表面的右半部分内的光。因此，子像素仅接收通过成像透镜12的出口光瞳的光通量的光轴的右侧上的光。因此，通过出口光瞳的光通量被作为光瞳划分装置的微透镜L和遮光构件16A和16B水平地划分，且分别进入到主像`素和子像素中。
[0085]此外，对于与在通过成像透镜12的出口光瞳的光通量内的左半光通量对应的目标图像和与该光通量内的右半光通量对应的目标图像，虽然被聚焦的部分形成在成像元件
16的相同位置上，但前方被聚焦或后方吧聚焦的部分分别进入到成像元件16上的不同的位置中(相移)。通过此方式，对应于左半光通量的目标图像和对应于右半光通量的目标图像可作为具有不同视差的视差图像(左眼图像和右眼图像)而被获得。在此，虽然此实施例的成像元件16是C⑶图像传感器，但本发明不限制于此。例如，CMOS (互补金属氧化物半导体)式的图像传感器也是可以的。
[0086][立体图像获取装置的内部构造]
[0087]图5是图示了前述立体图像获取装置10的内部构造的实施例的方框图。此立体图像获取装置10在存储卡54内记录了拍摄的图像，且整个装置操作被CPU (中央处理单元)40整体地控制。
[0088]操作单元38安装在立体图像获取装置10内，其中操作单元38包括快门按键2、电源/模式开关3、模式拨盘4、变焦按键5、十字按键6、菜单/确认按键7、回放按键8和后退按键9。来自此操作单元38的信号输入到CPU40内，并且CPU40基于输入的信号控制立体图像获取装置10的每个电路。例如，CPU40执行透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据的记录/回放控制和3D液晶监视器30的显示控制等。用于用户设定视差校正的视差量设定单元38A安装在操作单元38内。
[0089]当立体图像获取装置10的电源通过电源/模式开关3而被开启时，电力从未图示的电源单元供给到每个块，并且立体图像获取装置10的驱动被开始。
[0090]通过成像透镜12和光圈14等的光通量在成像元件(CXD) 16上形成，并且在成像元件16中积聚信号电荷。在成像元件16中积聚的信号电荷基于从定时产生器(未图示)添加的读出信号而被作为对应于信号电荷的电压信号读出。从成像元件16读出的电压信号被添加到模拟信号处理单元18。
[0091]模拟信号处理单兀18在来自成像兀件16的电压信号输出上执行相关双米样处理(该处理降低包括在成像元件的输出信号内的噪声(特别是热噪声)，即，该处理通过计算馈通部件水平(feed through component level)和包括在成像元件的每个像素的输出信号内的像素信号部件水平之间的差来采集精确的像素数据)，使得每个像素的R、G和B信号被采样保持、放大且然后添加到A/D转换器20。A/D转换器20将依次输入的R、G和B信号转换为数字R、G和B信号，且将该数字R、G和B信号输出到图像输入控制器22。
[0092]数字信号处理单元24在通过图像输入控制器22输入的数字图像信号上执行预定的信号处理，例如偏离处理、包括白平衡校正和敏感性校正的增益控制处理、伽马校正处理、同步处理、YC处理和边缘加强或边缘校正处理(边缘部分形成处理)。
[0093]在此，从奇数行成像元件16的主像素读出的主图像数据作为左眼图像数据被处理，并且从偶数行的子像素读出的次图像数据作为右眼图像数据被处理。
[0094]在数字信号处理单元24内被处理的左眼图像数据和右眼图像数据(3D图像数据)被输入VRAM (视频随机访问存储器)50内。记录指示了一帧的3D图像的3D图像数据的区域A和区域B包括在VRAM50中。在VRAM50中，指示了一个一帧的3D图像的3D图像数据交替地再写入到区域A和区域B中。从VRAM50的区域A和B当中，从与再写入3D图像数据的区域不同的区域读出写入的3D图像数据。
[0095]从VRAM50读出的3D数据在视频编码器28中被编码，且输出到设置在照相机背部上的3D液晶监视器(IXD) 30，并且因此，3D目标图像在3D液晶监视器30的显示屏上连续地显示。
[0096]当执行操作单元38的快门按键2的第一级压下(半压下)时，(XD40开始AF操作和AE操作，通过透镜驱动单元36将聚焦透镜在光轴方向上移动且控制聚焦透镜，以使聚焦透镜调整到聚焦位置。
[0097]AF处理单元42指示了执行对比AF处理或相位差AF处理的部分。在执行对比AF处理的情况中，通过将左眼图像和右眼图像中的至少一种图像的预定聚焦区域内的图像的高频分量提取且将此高频分量整合，计算了指示聚焦状态的AF评估值。CPU40将成像透镜12中的聚焦透镜移动到AF评估值变成最大值的位置中。以此，执行了 AF控制。此外，在执行相位差AF处理的情况中，检测与左眼图像和右眼图像的预定聚焦区域内的主像素和子像素对应的图像之间的相位差，并且基于指示此相位差的信息来计算离焦量。AF控制通过控制成像透镜12内的聚焦透镜来执行，使得该失焦量变成零。
[0098]CPU40使变焦透镜根据来自变焦按键5的变焦指令通过透镜驱动单元36执行在光轴方向上的前后操作，且改变焦距。[0099]此外，从A/D转换器20在快门按键2半压下时的图像数据输出合并在AE检测单元44内。
[0100]在AE检测单元44中，在整个屏幕中的G信号被积分或者在屏幕的中央部分和周边部分之间被不同地加权的G信号被积分，并且将该积分值输出到CPU40。CPU40根据来自AE检测单元44输入的积分值计算物体的亮度(成像EV值)，且基于此成像EV值来根据预定程序图确定光圈14的F值和成像元件16的电子快门的快门速度。
[0101]在此，在图5中，“46”示出了已知的面部检测电路，该面部检测电路以视图的成像角度检测人员的面部且设定包括面部的区域为AF区域和AE区域(例如，日本专利申请公开N0.09-101579)。
[0102]此外，“47”示出了 ROM (EEPROM (电子可擦写和可编程只读存储器))，所述ROM除了存储照相机控制程序、成像元件16的缺陷信息和用于图像处理等的各种参数和表格之外，还存储了根据本发明校正左眼图像和右眼图像的立体效果的图像处理程序、用于滤波器系数计算的计算公式或查询表、根据视差或视差加强程度的计算公式的参数或确定查询表的信息。根据本发明的图像处理程序等在后文中详细描述。
[0103]通过将快门按键2半按下，结束了 AE操作和AF操作，并且当执行快门按键的第二级按下(全按下)时，将响应于此压下与从A/D转换器20输出的主像素和子像素对应的左视点图像(主图像)和右视点图像(次图像)的两个图像的图像数据从图像输入控制器22输入到未图示的存储器(SDRAM (同步动态随机访问存储器))内，且该图像数据其临时存储。
[0104]临时存储在存储器内的两种图像的图像数据被数字信号处理单元24任意地读出。数字信号处理单元24执行预定信号处理，该预定信号处理包括同步处理(由于主滤色器的阵列而插入色彩信号的空间间隙且将色彩信号以同步方式转换的处理)，根据本发明的视差校正和边缘加强或边缘校正的图像处理和YC处理(将R、G和B信号转换为亮度和色差信号且生成亮度数据和色差数据的处理)。受到YC处理的图像数据(YC)再次存储在存储器内。
[0105]存储在存储器内的两种图像的YC数据被输出到压缩/解压处理单元26，且在执行预定压缩处理例如JPEG (联合图像专家小组)之后，再次被存储在存储器内。从存储在存储器内的两种图像的YC数据(压缩数据)生成多图片文件(MP文件或多图像文件:以多个图像被联接的格式的文件)。MP文件通过媒体控制器52被记录在存储卡54内。
[0106]在此，立体图像获取装置10不仅能够采集立体图像(3D图像)，而且能够采集平面图像(2D图像)。
[0107][视差校正和边缘加强或边缘校正]
[0108]然后，描述根据本发明的实施例的视差校正和边缘加强或边缘校正的图像处理方法的原理。
[0109]图6A至图6D图示了如下实例，该实例检测左眼图像和右眼图像的相应的点且通过执行相位根据该相应的点的相位差(视差)而被偏移的滤波来加强视差。
[0110]大致流程如下:[I]检测图像的相应的点且测量视差。[2]在每个局部部分设定应用于左眼图像和右眼图像的相移图像处理(滤波)。[3]执行滤波以使相位偏移。
[0111][I]检测图像的相应的点且测量视差。
[0112]作为检测右侧图像和左侧图像的相应的点的方法，已知存在相关方法等。例如，可通过扫描在X方向上的15个像素和在I方向上的I个像素的核心和发现像素值的差的平方根为最小的部分来执行所述方法。视差测量结果可通过随着变得较远而变得较亮且随着变得较近而变得较暗的黑白图像(距离图像)来表示，如在图6D中图示。可以在子像素的单元中进行视差测量，且详细方法在Arai等人的“相关函数和副像素估计方法的块匹配(日本研究报告的信息处理学报，2004年卷，40号(CVM-144)，33至40页)”中描述。
[0113]在此，通常在视差测量中存在如下的问题。
[0114]*在视差大的情况中可能发生误检测。
[0115]*对于平坦部分(在平坦部分中，差的平方根变小)之间的相应的点，难以检测相应的点。
[0116]然而，在包括用于相位差检测的单个成像透镜12和成像元件16的单目立体图像获取装置10中，原始相位差非常小。因此，先前的错误检测通常较小。此外，即使在随后的错误检测中，因为初始是平坦部分，所以可认为即使相应的点检测失效且相位偏移，对于图像质量的最终影响也是低的。
[0117][2]在每个局部部分设定应用于左眼图像和右眼图像的相移图像处理(滤波)。
[0118]例如，在左眼图像的某一部分内，如果希望将相位仅偏移一个像素，则仅需应用具有滤波的中心被有意偏移I个像素的滤波器系数(图像处理系数)的滤波器F (FpFK)，如在图6A和图6B中所图示。在此作为硬件的滤波器F的数目可以是1，且对于各个图像的滤波器系数在左眼图像的滤波处理时设定或在右眼图像的滤波处理时设定。以此，通过滤波器Fl或Fk的滤波处理被相继地执行。 [0119]因为此滤波器F是包括高通滤波器的直流分量滤波器，所以能够同时执行边缘加强或边缘校正和相移。在此，在图6A和图6B中图示的滤波器Fl和Fk具有1X7像素的核心尺寸(计算目标像素范围)。对于滤波器^和Fk中的每一个的滤波器系数，滤波器系数的中心从核心中心在相反的方向上互相偏移。在图6A和图6B中图示的实例中，滤波器^的滤波器系数的中心在向左的方向上偏移一个像素，且滤波器Fk的滤波器系数的中心在向右的方向上偏移一个像素。
[0120]通过滤波器^和匕的相移量μ可通过在图7中图示的输入/输出函数确定。所存在的视差[像素]的符号被提供，且在预定像素数范围(土Pl)内的视差Y被应用斜率K(>0)加强。对于超过预定像素数范围(土Pl)的视差Y，使相移量μ为常数，使得建立斜率κ(=0)。在对于在视差测量结果中存在错误的情况的准备中，对于超过预定值土Pl[像素]的视差Y，将斜率K调整为O且使相移量为常数。
[0121]在此，在图7中的实线曲线图图示了相对于左眼图像的相移量，其中比被聚焦的物体(视差为O)远的物体的视差量的符号为正，而比被聚焦的物体近的物体的视差量的符号为负。此外，在向右的方向上的相移量被假定是正，而在向左的方向上的相移量被假定是负。此外，如通过图7中的虚线所图示，相对于右眼图像的相移量的符号与相对于左眼图像的相移量的符号相反。
[0122][3]执行滤波以使相位偏移。
[0123]相移(包括边缘加强或边缘校正)通过由滤波器Fl和Fk进行的滤波处理执行。即，相对于在左眼图像中的相应的点检测所为执行的目标像素(标记像素)的1X7像素的像素组和滤波器FL受到卷积操作(滤波处理)。因此，如在图6C中图示，标记像素受到边缘加强或边缘校正，且相位在向左的方向上偏移一个像素。类似地，当相对于右眼图像的标记像素的IX 7像素的像素组对应于左眼图像的标记像素和滤波器Fk受到卷积操作时，标记像素受到边缘加强或边缘校正，且相位在向右的方向上偏移一个像素。
[0124]以此，左眼图像的标记像素和右眼图像的与左眼图像的标记像素对应的标记像素受到边缘加强或边缘校正，像素位置被放大两个像素且视差被加强。
[0125]通过如上所述在左眼图像和右眼图像上以相移滤波器Fl和Fk执行滤波处理，能够以较低失效地执行视差加强且同时执行边缘加强或边缘校正。
[0126][边缘加强或边缘校正和相移滤波器]
[0127]根据本发明的实施例的滤波器同时执行了视差加强和边缘加强或边缘校正。通常，通过单目3D图像获取装置拍摄的左眼图像和右眼图像的特征是具有较大视差的部分变得较模糊。在模糊的部分中，存在过度的边缘加强或边缘校正导致噪声增加的可能性。
[0128]因此，如果边缘加强或边缘校正的程度根据视差水平被弱化，则能够降低在模糊的部分内的噪声且使清晰的部分更清晰。
[0129]例如，为根据视差水平校正边缘加强或边缘校正的程度，例如可使用以下方法。
[0130]首先，考虑频率特性能够通过如下[等式I]表示的滤波。
[0131][等式I]
[0132](滤波器系数的频率特性)
[0133]=(直流分量)+αX (HPF分量)
[0134]=(直流分量)+αX ((直流分量)-(LPF分量))
[0135]当待偏移的相移量被假定为μ时，LPF分量被假定为标准偏差σ的高斯分布并且上述[等式I]受傅里叶变换支配，滤波器系数是如下等式。
[0136][等式2]
[0137]
【权利要求】
1.一种图像处理装置，包括: 图像采集装置，所述图像采集装置构造为采集作为立体图像拍摄的具有视差的第一图像和第二图像； 视差计算装置，所述视差计算装置构造为计算指示由所述图像采集装置采集的所述第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差； 图像处理系数确定装置，所述图像处理系数确定装置构造为对于由所述图像采集装置采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，并且基于由所述视差计算装置计算的视差来确定用于所述目标像素的图像处理系数；以及 图像处理装置，所述图像处理装置构造为使用由所述图像处理系数确定装置确定的所述图像处理系数来对于由所述图像采集装置采集的所述第一图像和所述第二图像执行图像处理。
2.根据权利要求1所述的图像处理装置， 其中，所述图像处理系数确定装置确定所述图像处理系数，使得用于所述边缘加强或所述边缘校正的所述图像处理系数的中心从计算目标像素的中心偏移。
3.根据权利要求2所述的图像处理装置， 其中，所述图像处理 系数确定装置根据所述视差的偏移方向将所述图像处理系数的中心从所述计算目标像素的中心偏移。
4.根据权利要求1至3中任一项所述的图像处理装置，其中: 所述图像处理系数确定装置确定作为所述图像处理系数的滤波器系数，并且 所述图像处理装置通过使用所述滤波器系数的滤波器来执行滤波处理。
5.根据权利要求4所述的图像处理装置， 其中，所述滤波器是一维滤波器或二维滤波器。
6.根据权利要求4或5所述的图像处理装置， 其中，所述图像处理系数确定装置确定滤波器系数，其中所述边缘加强或所述边缘校正的程度与频带中的至少一个根据所述视差变化。
7.根据权利要求6所述的图像处理装置， 其中，所述图像处理系数确定装置确定随着所述视差增加而降低所述边缘加强或所述边缘校正的程度的滤波器系数和随着所述视差增加而加宽所述频带的滤波器系数中的至少一个。
8.根据权利要求1至7中任一项所述的图像处理装置， 其中，当由所述视差计算装置计算出的视差被输入用于所述目标像素时，所述图像处理系数确定装置根据用于视差校正的预定函数来计算视差偏移量，或从用于视差校正的预定的查询表中读出相应的视差偏移量，并且 所述图像处理系数确定装置根据计算出的或读出的视差偏移量将所述图像处理系数的中心从所述计算目标像素的中心偏移。
9.根据权利要求8所述的图像处理装置，进一步包括: 选择装置，所述选择装置包括用于视差校正的多个预定函数或查询表，所述选择装置构造为通过用户设定从所述多个函数或所述查询表选择任意函数或查询表。
10.根据权利要求1至9中任一项所述的图像处理装置， 其中，所述视差计算装置通过基于所述第一图像的所述目标像素的预定块尺寸的图像与所述第二图像之间的块匹配检测在第二图像上的与所述第一图像的目标像素对应的像素，并且 所述视差计算装置计算所述第一图像的目标像素与所述第二图像上的检测到的像素之间的视差。
11.根据权利要求10所述的图像处理装置， 其中，所述视差计算装置保持所述第一图像和所述第二图像内的在视差检测中使用的所述预定块尺寸的图像； 所述图像处理装置具有与所述预定块尺寸相同尺寸的计算目标像素范围；并且所述图像处理装置使用由所述视差计算装置保持的所述第一图像和所述第二图像的预定块尺寸的图像和所述计算目标像素范围的图像处理系数来执行图像处理。
12.根据权利要求1至11中任一项所述的图像处理装置，其中: 所述第一图像和所述第二图像是三基色的彩色图像，并且 所述图像处理装置对于指示所述三基色的彩色图像的彩色信号中的每一个使用相同的图像处理系数来执行图像处理。
13.根据权利要求1至11中任一项所述的图像处理装置，其中: 所述第一图像和所述第二图像是三基色的彩色图像，并且 所述图像处理装置对于从所·述三基色的彩色图像生成的亮度信号和色差信号使用相同的图像处理系数来执行图像处理。
14.一种图像处理方法，包括: 图形采集步骤，采集作为立体图像拍摄的具有视差的第一图像和第二图像； 视差计算步骤，计算指示在所述图像采集步骤中采集的所述第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差； 图像处理系数确定步骤，对于在所述图像采集步骤中采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于在所述视差计算步骤中计算的视差确定用于所述目标像素的图像处理系数；以及 图像处理步骤，使用在所述图像处理系数确定步骤中确定的图像处理系数对于在所述图像采集步骤中采集的所述第一图像和所述第二图像执行图像处理。
15.一种图像处理程序，所述图像处理程序使得计算机执行: 图像采集功能，所述图像采集功能采集作为立体图像拍摄的具有视差的第一图像和第二图像； 视差计算功能，所述视差计算功能计算指示由所述图像采集功能采集的所述第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差； 图像处理系数确定功能，所述图像处理系数确定功能对于由所述图像采集功能采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于由所述视差计算功能计算的视差确定用于所述目标像素的图像处理系数；和 图像处理功能，所述图像处理功能使用由图像处理系数确定功能确定的所述图像处理系数对于由所述图像采集功能采集的所述第一图像和所述第二图像执行图像处理。
16.—种计算机可读取的非瞬态记录介质,其中当存储在所述记录介质内的指令被处理器读出时，所述处理器执行: 图形采集步骤，采集作为立体图像拍摄的具有视差的第一图像和第二图像； 视差计算步骤，计算指示在所述图像采集步骤中采集的第二图像的相应的像素相对于所述第一图像的每个像素的偏移量的视差； 图像处理系数确定步骤，对于在图像采集步骤中采集的所述第一图像和所述第二图像的每个图像处理目标像素确定图像处理系数以执行边缘加强或边缘校正，且基于在所述视差计算步骤中计算的视差确定用于所述目标像素的图像处理系数；以及 图像处理步骤，使用在所述图像处理系数确定步骤中确定的图像处理系数对于在所述图像采集步骤中采集的所述第一图像和所述第二图像执行图像处理。
17.—种立体图像获取装置，包括: 根据权利要求1至13中任一项所述的图像处理装置， 其中，所述图像采集装置包括: 单个成像光学系统；和 成像元件，在所述成像元件中，通过所述成像光学系统的不同区域的目标图像受到光瞳划分且被形成，所述成像元件构造为通过在通过所述不同区域的所述目标图像上执行光电转换来采集具有不同视差的第一图像和第二图像。
18.根据权利要求17所述的立体图像获取装置， 其中，所述成像元件包括用于光电转换的第一组像素和第二组像素，所述第一组像素和所述第二组像素以矩阵方式布置在所述成像元件的曝光区域的整个表面上，所述第一组像素被限制在光通量的光接收方向上以仅接收通过所述成像光学系统的第一区域的目标图像，并且所述第二组像素被限制在光通量的光接收方向上以仅接收通过所述成像光学系统的第二区域的目标图像，并且 所述成像元件能够从所述第一组像素和所述第二组像素读出图像。
19.一种便携式电子设备，包括: 根据权利要求17或18所述的立体图像获取装置。
20.—种打印机,包括: 根据权利要求1至13中任一项所述的图像处理装置；和 打印装置，所述打印装置构造为基于通过所述图像处理装置处理的所述第一图像和所述第二图像而形成用于立体视图的影印。
21.—种立体图像播放器装置，包括: 根据权利要求1至13中任一项所述的图像处理装置；和 图像显示装置，所述图像显示装置构造为基于通过所述图像处理装置处理的所述第一图像和所述第二图像显示用于立体视图的图像。
【文档编号】H04N13/04GK103828361SQ201280046323
【公开日】2014年5月28日 申请日期:2012年7月12日 优先权日:2011年9月21日
【发明者】井泽克俊 申请人:富士胶片株式会社