专利名称：图像处理设备、图像处理方法和图像处理程序的制作方法
技术领域：
本发明涉及图像处理设备和图像处理方法，其用于对具有不同视点的多个图像执行三维处理以实现该图像的立体观看，并且用于生成在显示装置上立体显示的立体图像以用于立体显示，还涉及用于使计算机执行三维处理方法的程序。
背景技术：
已知的是，通过对从不同位置成像同一目标而获得的多个图像进行组合从而生成立体图像，从而立体显示所生成的立体图像，由此实现了利用视差的立体观看。作为立体显示的特定方法，已知的是通过并排布置多个图像来立体显示图像的裸眼平行观看方法。而 且，可以通过组合图像来实现三维显示，例如，在改变图像颜色(例如变为红色和蓝色)时重叠图像，或者在提供图像的不同极化方向时重叠图像，从而来实现三维显示。在这些情况下，可以使用图像分离眼镜(例如红蓝眼镜或偏振眼镜)以提供针对三维观看而显示的图像的合并视图来实现立体观看(立体系统、偏振滤光器系统)。而且，可以在不使用偏光眼镜等情况下通过在能够立体观看的立体显示监视器上显示图像，例如通过视差屏障系统或双凸透镜系统，来实现立体观看。在此情况下，通过交替布置图像的垂直条带实现立体观看显示。而且，提出了一种使用残余图像效果提供立体显示的方法，其中通过在借助图像分离眼镜或者通过将光学组件附接在液晶显示器上而改变来自左侧和右侧图像的光束方向的同时交替并快速显示左侧和右侧图像来产生残余图像效果(扫描背光系统)。在通过上述方法立体显示的期间，必需适当地调整立体图像的立体效果。这是因为存在这样的问题，如果有些目标被过度向前方突出，用户将会遭受眼睛疲劳。由此，提出了一种基于适当视差量生成立体图像的方法，该适当视差量是针对正被立体显示的立体图像进行判断的(见日本未审查专利公开No. 8(1996) — 211332，下文中称为专利文献I)。而且，提出了这样一种方法，用于检测用户眼睛到固定点的距离并且聚焦在用户正观看的目标上，同时将用户未观看的目标进行模糊处理从而避免将用户的注意力引向被过度向前方突出的目标(见日本未审查专利公开No. 10 (1998)-239634，下文中称为专利文献2)。
发明内容
然而，在专利文献I中，在判断当前显示的立体图像的视差量不适当时，将立即调整视差量使得快速改变视差量。由此，存在视差量的这种快速变化使用户感到不适的问题。而且，专利文献2的方法包括聚焦到用户正观看的目标上。在用户观看被过度向前方突出的目标情况下，使聚焦在该目标上，从而用户将眼睛固定在该目标上。结果，存在不能抑制用户眼睛疲劳的问题。根据上述情况开发了本发明。本发明的目的在于适当调整立体图像的立体效果并且在调整时避免用户感到不适。根据本发明的图像处理设备将具有不同视点的多个图像中彼此对应的预定点设置为交叉点并且通过对多个图像执行视差调整使得在交叉点位置处的视差变为O来生成在用于立体显示的显示装置上被立体显示的立体图像，所述图像处理设备的特征在于配备有视差量计算装置，用于针对图像中的各个目标计算多个图像之间的视差量；显示位置调整目标识别装置，用于使用针对多个图像临时设置的交叉点作为基准来将绝对视差值超过第一预定量的目标识别为显示位置调整目标；视差调整装置，用于逐步调整视差使得显示位置调整目标的绝对视差值在调整之后不超过第二预定量；模糊处理目标识别装置，用于在具有临时交叉点位置的图像、正在进行视差调整的图像、以及视差调整之后的图像中的每一个中将绝对视差值超过第三预定量的目标识别为模糊处理目标；以及图像处理装置，用于对图像内的模糊处理目标执行模糊处理。在本发明(如上所述的图像处理设备和如下所述的图像处理方法)中，包括0的第一预定量、第二预定量和第三预定量可以全部设置成相同值或者设置成不同值。注意，根据近侧或背侧的视差量，裸眼观看技术的立体显示与使用眼镜的立体显示技术之间的健康风险不同。在通过裸眼观看技术的立体显示的情况下，目标被向前突出 得越多，对用户眼睛的负担越大。在使用眼镜的技术的情况下，目标向后后退得越多，对用户眼睛的负担越大。因此，必须根据显示技术确定适当的处理。在根据本发明的图像处理设备中，优选的是，随着模糊处理目标的绝对视差值增力口，图像处理装置以更高程度对模糊处理目标执行模糊处理。 而且，优选的是，视差调整装置以不小于3个阶段来调整视差。例如，在活动图像的情况下，这三个阶段可以是三个帧。另外，根据本发明的图像处理设备进一步包括用于检测图像内的面部的面部检测装置。在视差调整装置中，仅有一个面部可以作为显示位置调整目标。而且，在视差调整装置中，仅有位于图像中心预定范围内的目标可以作为显示位置调整目标。而且，优选的是，在显示位置调整目标移出图像的情况下，视差调整装置调整视差使得交叉点的位置返回到初始位置。根据本发明的图像处理方法，将具有不同视点的多个图像中彼此对应的预定点设置为交叉点并且通过对多个图像执行视差调整使得在交叉点位置的视差变为0来生成在用于立体显示的显示装置上被立体显示的立体图像，所述图像处理方法的特征在于包括针对图像中的各个目标计算多个图像之间的视差量；使用针对多个图像临时设置的交叉点作为基准来将绝对视差值超过第一预定量的目标识别为显示位置调整目标；逐步调整视差使得显示位置调整目标的绝对视差值在调整之后不超过第二预定量；在具有临时交叉点位置的图像、正在进行视差调整的图像、以及视差调整之后的图像中的每一个中将绝对视差值超过第三预定量的目标识别为模糊处理目标；以及对图像内的模糊处理目标执行模糊处理。在根据本发明的图像处理方法中，优选的是，随着模糊处理目标的绝对视差值增加时，以更高程度对模糊处理目标执行模糊处理。而且，可以检测图像内的面部，并且可以仅将面部设置为显示位置调整目标。而且，仅可以将位于图像中心预定范围内的目标作为显示位置调整目标。
而且，在显示位置调整目标移出图像的情况下，优选的是，调整视差使得交叉点的位置返回到初始位置。根据本发明的图像处理方法可以提供为用于使计算机执行该方法的程序。根据本发明，针对多个图像中的各个目标计算多个图像之间的视差量。使用针对多个图像临时设置的交叉点作为基准来将绝对视差值超过第一预定量的目标识别为显示位置调整目 标，并且逐步调整视差使得显示位置调整目标的绝对视差值在调整之后不超过第二预定量，使得可以适当地调整立体图像的立体效果并且逐步改变交叉点位置，可以避免用户在调整时感到不适。而且，在这种情况下，在具有临时交叉点位置的图像、正在进行视差调整的图像以及视差调整之后的图像中的每一个中将绝对视差值超过第三预定量的目标识别为模糊处理目标；并且对图像内的模糊处理目标执行模糊处理从而避免将用户注意力引向过多向前突出的目标。由此，这可以减小对用户眼睛的负担。在此情况下，如果随着模糊处理目标的绝对视差值增加而以更高程度对目标执行模糊处理，则不会使用户感到不适。另外，在以小于3个阶段来调整视差情况下，不会使用户感到不适。而且，在检测图像内的面部之后，如果仅指定面部作为显示位置调整目标；仅指定位于图像中心预定范围内的目标作为显示位置调整目标；或者将用户非常感兴趣的目标指定为显示位置调整目标，则立体图像的立体效果不会被过度破坏。而且，如果在显示位置调整目标移出图像的情况下调整视差使得交叉点的位置返回到初始位置，则不需要对无需抑制立体效果的图像的立体效果进行抑制。这可以避免对立体图像的立体效果产生过度破坏。
图I是示出了应用了根据本发明的第一实施例的图像处理设备的多眼相机的内部配置的示意框图，图2是示出了根据本发明的第一实施例的图像处理设备的内部配置的示意框图，图3是示出了多眼相机的三维处理单元的配置的示意框图，图4A是示出了调整第一实施例中的立体效果时执行的处理的第一流程图，图4B是示出了调整第一实施例中的立体效果时执行的处理的第二流程图，图5是示出了显示图像调整之前的示例的示图，图6是示出了显示图像调整之后的示例的示图，图7是说明模糊处理的步骤的示图，图8是说明切出图像的位置与立体图像中深度方向的目标位置之间的关系的示图，图9是说明调整立体效果的定时的示图，图10是示出了应用了根据本发明的第二实施例的图像处理设备的多眼相机的三维处理单元的示意框图，图IlA是示出了在第二实施例中调整立体效果时执行的处理的第一流程图，图IlB是示出了在第二实施例中调整立体效果时执行的处理的第二流程图，图12是示出了应用了根据本发明的第三实施例的图像处理设备的多眼相机的三维处理单元的示意框图，
图13A是示出了在第三实施例中调整立体效果时执行的处理的第一流程图，图13B是示出了在第三实施例中调整立体效果时执行的处理的第二流程图，图14是说明在第三实施例中调整立体效果时执行的处理的示图，图15是示出了应用了根据本发明的第四实施例的图像处理设备的多眼相机的三维处理单元的示意框图，图16A是示出了在第四实施例中调整立体效果时执行的处理的第一流程图，图16B是示出了在第四实施例中调整立体效果时执行的处理的第二流程图。
具体实施例方式
·
下文中，将参考附图描述本发明的实施例。图I是示出了应用了根据本发明的第一实施例的图像处理设备的多眼相机的内部配置的示意框图。图2是示出了多眼相机的成像单元的配置的示意框图。图3是示出了多眼相机的三维处理单元的配置的示意框图。如图I所示，根据第一实施例的多眼相机包括两个成像单元21A和21B、拍摄控制单元22、图像处理单元23、压缩/解压缩单元24、帧存储器25、介质控制单元26、内部存储器27、显示控制单元28、三维处理单元30和CPU 33。成像单元2IA和2IB布置成能够以预定基线长度和收敛角拍摄目标。本文假定成像单元21A和21B在竖直方向的位置相同。图2示出了成像单元21A和21B的配置。如图2所示，成像单元21A和21B分别包括聚焦透镜IOA和10B、变焦透镜IlA和11B、光圈隔膜12A和12B、快门13A和13B、CXD14A和14B、模拟前端(AFE)15A和15B、以及A/D转换单元16A和16B。成像单元21A和21B还包括用于驱动聚焦透镜IOA和IOB的聚焦透镜驱动单元17A和17B以及用于驱动变焦透镜IlA和IlB的变焦透镜驱动单元18A和18B。聚焦透镜IOA和IOB用于聚焦在目标上，并且通过每个由电动机和电动机驱动器形成的聚焦透镜驱动单元17A和17B沿光轴方向可移动。聚焦透镜驱动单元17A和17B基于通过由成像控制单元22执行的AF处理而获得的焦点位置数据来控制聚焦透镜IOA和IOB的移动，稍后将对此进行描述。变焦透镜IlA和IlB用于实现变焦功能，并且通过每个由电动机和电动机驱动器形成的变焦透镜驱动单元18A和18B沿光轴方向可移动。变焦透镜驱动单元18A和18B基于在对输入单元34中包括的变焦操作杆进行操作时在CPU 33处获得的变焦数据来控制变焦透镜IIA和IlB的移动。基于通过由成像控制单元22执行的AE处理获得的光圈值数据，光圈隔膜驱动单元(未示出)调整光圈隔膜12A和12B的光圈直径。快门13A和13B为机械快门，并且根据通过AE处理获得的快门速度由快门驱动单元(未示出)来驱动。CXD 14A和14B的每个包括光电表面，其上二维地布置有多个光接收组件。目标的光图像聚焦在各个光电表面上并且经过光电转换从而获得模拟成像信号。而且，由常规排列的R、G和B滤色器形成的滤色器布置在各个CXD 14A、14B的前侧。AFE 15A和15B对从CXD 14A和14B馈送的模拟成像信号进行处理以从模拟成像信号中去除噪声并且调整模拟成像信号的增益(下文中该操作称为“模拟处理”)。A/D转换单元16A和16B将经过AFE 15A和15B的模拟处理的模拟成像信号转换成数字成像信号。成像单元21A和21B获取的数字图像数据所代表的图像分别称为图像GL和图像GR。成像控制单元22包括AF处理单元和AE处理单元(未示出)。当包括在输入单元34中的释放按钮被按下一半时，成像单元21A和21B获取初步图像。随后，AF处理单元基于初步图像确定用于透镜IOA和IOB的聚焦区和焦距，并且将信息输出到成像单元21A和21BJE处理单元基于从初步图像的亮度值计算得到的亮度估计值来确定曝光值，并且进一步基于曝光值确定光圈值和快门速度以将信息输出到成像单元21A和21B。当完全按下释放按钮时，成像控制单元22指示成像单元21A和21B执行真实成像从而获得图像GL和GR的真实图像。应当注意，在操作释放按钮之前，成像控制单元22指示成像单元21A和21B以预定时间间隔(例如，以1/30秒的间隔)连续获取实时取景图像，以用于检查成像单元2IA和2IB的成像范围。 成像处理单元23管理对通过成像单元21A和21B获取的图像GR和GL的数字图像数据的图像处理，诸如白平衡调整、色调校正、锐度校正、和颜色校正。压缩/解压缩处理单元24根据某压缩格式，例如JPEG，来管理对代表用于三维显示的三维图像的图像数据的压缩处理，如稍后所述，三维图像由图像处理单元23处理的图像GL和GR的真实图像生成，并且压缩/解压缩处理单元24生成三维图像文件以用于三维显示。三维数据文件包含图像GL和GR的图像数据以及三维图像的图像数据。存储诸如拍摄时间和日期的相关信息的标签例如基于Exif格式被添加到图像文件中。帧存储器25提供用于各种处理的工作区，各种处理包括图像处理单元23对代表由成像单元21A和21B获取的图像GL和GR的图像数据进行的处理。介质控制单元26访问记录介质29并且控制三维图像文件从记录介质29的读取和向记录介质29的写入。内部存储器27存储要在多眼相机I内设置的各种常数、以及由CPU 33执行的程序等。显示控制单元28使在成像期间存储在帧存储器25中的图像GL和GR显示在监视器20上以用于二维观看，或者使记录在记录介质29中用于二维观看的图像GL和GR显示在监视器20上。而且，显示控制单元28可以使如稍后描述的经过三维处理的图像GL和GR显示在监视器20上以用于三维观看，或者可以使记录在记录介质29中的三维图像显示在监视器20上以用于三维观看。可以自动执行或者可以根据经由输入单元34来自拍摄者的指令来执行二维显示与三维显示之间的切换。在三维显示期间，图像GL和GR的实时取景图像显示在监视器20上用于三维观看直到按下释放按钮为止。三维处理单元30对图像GR和GL应用三维处理以用于在监视器20上三维显示图像GR和GL。在该实施例中使用的三维显示技术可以是任何已知的技术。例如，可以并排显示图像GR和GL以通过裸眼平行观看来实现立体观看，或者可以使用凸透镜系统实现三维显示，其中凸透镜附接在监视器20上，并且图像GR和GL以预定位置显示在监视器20的显示表面上使得通过左眼和右眼分别观看图像GR和GL。而且，可以使用扫描背光系统，通过以交替方式与左眼和右眼相对应地光学分离监视器20的背光的光路，并且根据对左侧和右侧的背光的分离而在监视器20的显示表面上交替显示图像GR和GL来实现三维显示。根据由三维处理单元30执行的三维处理的类型来变更监视器20。例如，如果利用凸透镜系统实现三维显示，则凸透镜附接到监视器20的显示表面上。如果利用扫描背光系统实现三维显示，则用于对来自左侧和右侧图像的光束的方向进行改变的光学组件附接在监视器20的显示表面上。应当注意，在优选实施例的描述中，将描述采用凸透镜系统作为立体显示技术的情况。因此，三维处理单元30设置各个图像GR、GL内的预定点作为交叉点并且执行处理以用于从图像GR和GL切出监视器20上的显示范围使得各个图像GR、GL内的交叉点显示在监视器20上的相同位置，以便在监视器20上三维显示图像GR、GL。
如图3所示,三维处理单元30包括模糊电路41、特征点检测电路42、矢量检测电路43、突出区域计算电路44和显示图像切出位置计算电路45。模糊电路41管理对图像GR、GL内模糊处理目标的模糊处理。特征点检测电路42检测来自图像GR、GL任一个的特征点，并且检测与该一个图像的特征点相对应的来自另一图像的对应点。矢量检测电路43计算各个特征点和与其相对应的对应点之间的矢量。突出区域计算电路44从被处理为模糊处理目标的图像内的交叉点识别向前方突出的目标。显示图像切出位置计算电路45调整从图像GR、GL逐步切出显示范围的位置以便通过从被处理为显示位置调整目标的图像内的交叉点识别向前方突出的目标来使显示位置调整目标位于交叉点位置。CPU 33根据经由包括释放按钮、箭头键等的输入单元34输入的信号来控制多眼相机I的各个单元。数据总线35连接到形成多眼相机I的各个单元以及用于与多眼相机I中的各个数据和信息通信的CPU 33。接下来，将描述第一实施例中执行的处理。图4是示出了在第一实施例中调整立体效果时执行的处理的流程图。图5是示出了显示图像在调整之前的示例的示图。图6是示出了显示图像在调整之后的示例的示图。图7是说明模糊处理的步骤的示图。图8是说明切出图像的位置与立体图像中目标在深度方向的位置之间的关系的示图。图9是说明调整立体效果的定时的示图。根据第一实施例的多眼相机I的特征在于，位于向前远离临时交叉点位置的所有目标被识别为显示位置调整目标，并且将交叉点位置从临时交叉点位置逐步调整到在目标的深度方向调整之后的交叉点位置，使得显示位置调整目标不向前移动远离调整之后的交叉点位置。例如，在显示例如实时取景图像的立体图像时，首先获得监视器20上的静止图像和直通图像、用于生成立体图像的两个图像GR、GL (步骤S I)。应当注意，图像GR、GL与在初始状态中设置为OFF的切出位置移动标志信息附接。而且，基于各个图像GR、GL的中心被设置为作为临时位置(初始状态)的交叉点位置的状态来确定各个图像GR、GL的显示区的切出位置。接下来，如图5所示，使用任一个图像作为基准来从基准图像检测特征点f (步骤S2)。在本实施例中，假定左侧图像GL为基准图像。随后，从其他图像(在本实施例中为右侧图像GR)检测与基准图像内的特征点f相对应的对应点m (步骤S3)。随后，计算各个特征点f和与其相对应的对应点m之间的矢量值(步骤S4)，并且从中提取具有最大矢量值的特征点(步骤S5)。
接下来，确定图像GR、GL的各个切出位置移动标志是否为ON (步骤S6)。如果确定结果为否，则确定在步骤S5中检测的最大矢量值是否超过预定值(V_limit)(步骤S7)。在本实施例中，假定为O。因此，在本文假定从交叉点稍微向前远离的目标作为过度向前突出的目标。步骤S6中初始确定的结果总为否，这是因为切出位置移动标志的初始状态为0FF，从而处理移动到步骤S7。如果步骤S7中确定结果为否，则终止处理。在步骤S7中确定的结果为是的情况下，如图7所示，从图像GR、GL检测特征点f和对应点m，并且随后仅提取具有超过预定值的矢量值的特征点f 和对应点m以提取包括提取的特征点f/对应点m的对象O (模糊处理目标)(步骤S8)。预定值可以与步骤S7的预定值相同或不同。然而，本文假定预定值在本实施例中为相同值而且，关于提取对象的方法，可以采用各种已有方法。接下来，对提取的对象O进行模糊处理(步骤S9)。这里，模糊处理可以采用滤波器，例如高斯滤波器，或者可以使用简单的平均处理。在本实施例中，作为示例，将描述采用高斯滤波器的情况。在采用二维高斯滤波器的情况下，可以通过如下所示的式子(I)计算像素(Xa，Yb)。
权利要求
1.一种图像处理设备，其将具有不同视点的多个图像中彼此对应的预定点设置为交叉点并且通过对所述多个图像执行视差调整使得在交叉点位置的视差变为O来生成在用于立体显示的显示装置上被立体显示的立体图像，所述图像处理设备包括 视差量计算装置，用于针对图像中的各个目标计算所述多个图像之间的视差量；显示位置调整目标识别装置，用于使用针对所述多个图像临时设置的交叉点作为基准来将绝对视差值超过第一预定量的目标识别为显示位置调整目标； 视差调整装置，用于逐步调整视差使得所述显示位置调整目标的绝对视差值在调整之后不超过第二预定量； 模糊处理目标识别装置，用于在具有临时交叉点位置的图像、正在进行视差调整的图像、以及视差调整之后的图像中的每一个中将绝对视差值超过第三预定量的目标识别为模糊处理目标；以及 图像处理装置，用于对图像内的模糊处理目标执行模糊处理。
2.根据权利要求I所述的图像处理设备，其中随着模糊处理目标的绝对视差值增加，图像处理装置以更高程度对模糊处理目标执行模糊处理。
3.根据权利要求I或2所述的图像处理设备，其中视差调整装置以不少于3个阶段来调整视差。
4.根据权利要求I到3中任一项所述的图像处理设备，进一步包括 面部检测装置，用于检测图像内的面部；并且其中视差调整装置仅指定面部作为进行视差调整的目标。
5.根据权利要求I到3中任一项所述的图像处理设备，其中视差调整装置仅指定落入图像中心预定范围内的目标作为显示位置调整目标。
6.根据权利要求I到5中任一项所述的图像处理设备，其中在显示位置调整目标移出图像的情况下，视差调整装置调整视差使得交叉点的位置回到初始位置。
7.一种图像处理方法，用于将具有不同视点的多个图像中彼此对应的预定点设置为交叉点并且通过对所述多个图像执行视差调整使得在交叉点位置的视差变为O来生成在用于立体显示的显示装置上被立体显示的立体图像，所述图像处理方法的特征在于包括 针对图像中的各个目标计算所述多个图像之间的视差量； 使用针对所述多个图像临时设置的交叉点作为基准来将绝对视差值超过第一预定量的目标识别为显示位置调整目标； 逐步调整视差使得所述显示位置调整目标的绝对视差值在调整之后不超过第二预定量; 在具有临时交叉点位置的图像、正在进行视差调整的图像、以及视差调整之后的图像中的每一个中将绝对视差值超过第三预定量的目标识别为模糊处理目标；以及对图像内的模糊处理目标执行模糊处理。
8.根据权利要求7所述的图像处理方法，其中随着模糊处理目标的绝对视差值增加，以更高程度对模糊处理目标执行模糊处理。
9.根据权利要求7或8所述的图像处理方法，进一步包括 检测图像内的面部；以及 仅指定所述面部作为显示位置调整目标。
10.根据权利要求7或8所述的图像处理方法，其中仅指定在图像中心预定范围内的目标作为显示位置调整目标。
11.根据权利要求7到10中任一项所述的图像处理方法，其中在显示位置调整目标移出图像的情况下，调整视差使得交叉点的位置回到初始位置。
12.—种使计算机执行根据权利要求7到11中任一项所述 的图像处理方法的程序。
全文摘要
公开了图像处理设备、方法、以及程序，其适当调整针对立体图像的深度的感觉，而在调整期间不会让用户感觉到迷惑。针对图像中的每个拍摄目标，计算多个图像之间的视差量，使用针对多个图像临时设置的交叉点作为基准来指定具有等于或大于第一预定量的绝对视差值的拍摄目标作为显示位置调整拍摄目标，并且逐步调整视差使得显示位置调整拍摄目标的绝对视差值在调整之后不超过第二预定量。随后在处于临时交叉点位置的图像、正在进行视差调整的图像、以及视差调整之后的图像中的每一个图像中指定具有等于或大于第三预定量的绝对视差值的拍摄目标作为模糊处理拍摄目标，并且在图像上对模糊处理目标执行模糊处理。
文档编号H04N13/00GK102972031SQ20118003297
公开日2013年3月13日 申请日期2011年6月29日 优先权日2010年6月30日
发明者内田亮宏 申请人:富士胶片株式会社