专利名称：3d图像处理装置及3d图像处理方法
技术领域：
本发明涉及一种3D图像处理装置，具体而言涉及一种对应3D图像内的各区域的视差，适当显示重叠到该3D图像的对象图像的3D图像处理装置及3D图像处理方法。
背景技术：
近年来，与下述3D图像相关的技术开发如火如荼在水平方向上具有视差的2个图像作为左眼用图像和右眼用图像显示在同一显示器上，观察者对左眼用图像用左眼、右眼用图像用右眼分别独立观察，从而可感觉显示器上显示的被摄体如同立体地存在。作为3D图像的显示及观察方式，下述方式广为世人所知具有彼此正交的直线偏光的左眼用图像及右眼用图像在显示器上重叠显示，观察者使用带有偏光滤波器的眼镜，以左眼观察左眼用图像、右眼观察右眼用图像，分别独立地观察。并且，下述方式等也广为世人所知左眼用图像及右眼用图像分别交互地显示在显示器上，观察者使用带有左右视界交互遮挡的液晶快门的眼镜，以左眼观察左眼用图像、右眼观察右眼用图像，分别独立地观察。在这些3D图像相关的技术中，观察者观察时，3D图像中的被摄体图像，是感觉相对显示面以什么程度向前方弹出、还是感觉相对显示面以什么程度向后方缩回，取决于左眼用图像和右眼用图像之间的水平方向的视差。其中，在3D图像中也和普通的2D图像一样，例如存在以下情况重叠显示表示时刻的文字图像、可视地表示机器的各种设定的图形图像、或用户用于选择该各种设定的菜单图像等。此时，3D图像中的被摄体向前方的弹出程度或向后方的缩回程度、与上述文字图像等向前方的弹出程度或向后方的缩回程度之间有较大差异时，这二个图像的立体感的差异对观察者造成较大负担，被指是造成眼睛疲劳、图像眩晕的原因。例如存在以下情况虽然部分被摄体图像向前方大幅弹出，但显示在该被摄体附近的文字图像向后方大幅缩回地显示。因此，在3D图像的显示中，不对观察者造成负担地重叠文字图像等并显示的技术正得到广泛开发。例如，专利文献I公开了以下技术将翻译的字幕图像重叠到3D图像上显示时，进行调整，使该字幕图像总具有最大深度值(感到在向最后方缩回的位置上)。并且，专利文献2公开了以下技术计算左眼用图像和右眼用图像的立体度，根据该算出的立体度决定菜单图像向前方的弹出程度、或向后方的缩回程度，使该菜单图像具有决定的立体度地重叠显示。专利文献I :特表2010-521738号公报专利文献2 :特开2010-130495号公报
发明内容
但是，在专利文献I记载的技术中，字幕图像总在最向后方缩回的状态下被感觉，因此在3D图像中，除了具有和字幕图像相同缩回程度的被摄体图像外还含有弹出程度大的被摄体时，在字幕图像和该弹出的被摄体图像之间感觉到的立体感的差异较大，推断可能对观察者造成较大负担。并且，在专利文献2记载的技术中，虽然可立体显示菜单图像，但未考虑到显示的图像内的、显示该菜单图像的区域与立体度计算中使用的被摄体图像(或字幕或反射式电视放映机图像)的区域的关系。因此，例如，虽然菜单图像相对显示面向前方大幅弹出，但立体度计算中未使用的被摄体图像在菜单图像附近大幅向后方缩回时等情况下，和上述专利文献I 一样， 推断可能同样会对观察者造成较大负担。本发明鉴于这一问题而出现，其目的在于提供一种在3D图像上重叠文字图像、图形图像、或文字和图形结合的菜单图像等(以下将这些图像称为“对象图像”)并显示时，使这些对象图像等向前方的弹出程度、向后方的缩回程度对应重叠了它们的3D图像的各区域的视差进行调整的3D图像处理装置及3D图像处理方法。为实现上述目的，本发明提供一种3D图像处理装置，其特征在于具有记录部
(133)，记录第一图像和第二图像；对象图像记录部(125)，记录重叠到上述第一图像和第二图像的每一个的对象图像；视差计算部(121)，计算上述第一图像中的被摄体图像和上述第二图像中的被摄体图像之间的视差；视差存在区域确定部(122)，将通过上述第一图像和上述第二图像形成的3D图像分割为多个区域，确定上述视差计算部算出的上述视差存在于该被分割的多个区域中的哪个区域；视差决定部(123)，对上述视差存在区域分割的上述区域的至少一个重叠上述对象图像时，根据确定为位于重叠上述对象图像的区域中的上述视差，决定该重叠的对象图像的视差；对象图像重叠部(124)，将上述对象图像重叠到上述第一图像及上述第二图像上，以具有上述视差决定部决定的上述视差；输出部
(139)，将重叠了上述对象图像的上述第一图像及上述第二图像作为3D图像输出。上述视差决定部(123)可决定该对象图像的视差，以具有和确定为位于重叠上述对象图像的区域的上述视差中最大的视差相同的视差。上述视差决定部(123)在感觉确定为位于重叠上述对象图像的区域中的上述视差中最大的视差如同使上述被摄体图像向前方弹出时，可决定该对象图像的视差，以具有和该算出的视差相同的视差，在感觉最大的视差如同使上述被摄体图像向后方缩回时，可决定该对象图像的视差，以具有和该算出的视差相同的视差，或使视差为零。上述视差存在区域确定部(122)可将上述3D图像在水平或垂直方向上至少分割为2个区域。为实现上述目的，本发明还提供一种3D图像处理方法，其特征在于具有以下步骤记录步骤，记录第一图像和第二图像；计算步骤，计算上述第一图像中的被摄体图像和上述第二图像中的被摄体图像之间的视差；确定步骤，将通过上述第一图像和上述第二图像形成的3D图像分割为多个区域，确定上述算出的被摄体图像的视差存在于该被分割的多个区域中的哪个区域；决定步骤，从记录了重叠到上述第一图像和上述第二图像的每一个的对象图像的记录部(125)中，读取与上述分割的上述区域中的至少一个重叠的对象图像，根据确定为位于重叠该重叠的对象图像的区域中的上述算出的被摄体图像的视差，决定该重叠的对象图像的视差；重叠步骤，将上述对象图像重叠到上述第一图像及上述第二图像上，以具有上述决定的视差；输出步骤，将重叠了上述对象图像的上述第一图像及上述第二图像作为3D图像输出。 在上述3D图像处理方法中可以是上述决定视差的步骤中，决定该重叠的对象图像的视差，以具有和确定为位于重叠的区域中的上述算出的被摄体图像的视差中最大的视差相同的视差。在上述3D图像处理方法中可以是上述决定视差的步骤中，在感觉确定为位于重叠的区域中的上述算出的被摄体图像的视差中最大的视差如同使上述被摄体图像向前方弹出时，决定该重叠的对象图像的视差，以具有和该算出的被摄体图像相同的视差，在感觉最大的视差如同使上述被摄体图像向后方缩回时，决定该重叠的对象图像的视差，以具有和该算出的被摄体图像相同的视差，或使视差为零。在上述3D图像处理方法中可以是上述确定步骤中，将上述3D图像在水平或垂直方向上至少分割为2个区域。根据本发明，将对象图像重叠到3D图像上显示时，对该对象图像向前方的弹出程度、向后方的缩回程度，可对应重叠了它们的3D图像的各区域的视差进行调整。
图I是表示本发明的实施方式涉及的摄像装置I的构成的图。图2是表示摄像装置I的液晶监视器140的构成的图。图3是说明摄像装置I显示的对象图像的例子的图。图4是表示左右眼图像各自中的被摄体图像或对象图像的显示位置和立体感的关系的概念图。图5是说明摄像装置I中对象图像到3D图像的重叠处理的流程图。图6是用于说明摄像装置I的视差计算部121对左眼用图像及右眼用图像的视差的计算的图。图7是用于说明确定将3D图像在垂直方向上分割为2个区域时的、含有差分矢量的区域的处理的图。图8是用于说明确定将3D图像在水平方向上分割为2个区域时的、含有差分矢量的区域的处理的图。图9是说明将3D图像在水平方向上分割为2个区域时、左右两个区域中含有的差分矢量的概念图。图10是用于说明确定将3D图像在水平方向及垂直方向分割为4个区域时的、含有差分矢量的区域的处理的图。图11是用于说明最大差分矢量的确定的概念图。图12是用于说明最大差分矢量是弹出矢量时的对象图像的附加的图。图13是用于说明最大差分矢量是缩回矢量时的对象图像的附加的图。
具体实施例方式以下参照
本发明涉及的3D图像处理装置的优选实施方式。此外，在本说明书及附图中，对实质上具有相同功能、构成的要素附加同一标记，从而省略重复性说明，对和本发明没有直接关系的要素省略图示。
图I是表示本发明的实施方式涉及的摄像装置(数字录像机)I的内部构成的例子的框图。摄像装置I可拍摄动画及静止图像。此外，本实施方式涉及的摄像装置中，具有二个摄像部，是可调整各自的光轴所成的收敛角的构成，但在两个光轴平行固定并无法调整收敛角的摄像装置中，也可采用本发明。并且，本发明在以数字静物摄影机为首的移动电话、PHS(Personal HandyphoneSystem/个人手持电话系统)、PDA (Personal Digital Assistant/个人数字助理)等可摄影的其他电子设备中也可采用。CPU120统一控制摄影、显示、记录等摄影装置I整体的动作。并且，CPU120根据来自操作部142的输入，按照规定的控制程序控制各部件。摄像装置I中，左右一对左眼用图像摄像部LlOO及右眼用图像摄像部RlOO以比人的眼睛间隔略短的规定间隔(例如6. 25cm)设置。左眼用图像摄像部LlOO及右眼用图像摄像部RlOO分别具有变焦镜头LlOl及R101、对焦镜头L102及R102、光圈L103及R103 、及固体摄像元件L104及R104。变焦镜头LlOl及RlOl通过未图示的变焦致动器沿着光轴AL100及AR100移动。对焦镜头LlOO及R102通过未图示的焦点致动器沿着光轴AL100及AR100移动。光圈L103及R103由未图示的光圈致动器驱动并动作。左眼用图像摄像部LlOO及右眼用图像摄像部RlOO分别连接到收敛角致动器L109及R109，收敛角致动器L109及R109从CPU120接收指令，驱动两个摄像部，调整光轴AL100和AR100所成的收敛角。ROMl31借助总线130连接到CPU120，收容CPU120执行的控制程序及控制所需的各种数据等。闪存R0M132收容用户的设定信息等和摄像装置I的动作相关的各种设定信息。例如，摄像装置I具有用于静止图像摄影的静止图像摄影模式、和用于动画摄影的动画摄影模式2种摄影模式，闪存R0M132记录这些模式相关的各种设定信息。SDRAM133作为CPU120的运算作业区域使用，并且也作为图像数据的暂时存储区域使用。VRAM134作为显示用的图像数据的暂时存储区域使用。使用了摄影装置I的3D图像的摄影通过以下步骤进行。左眼用固体摄像元件L104及右眼用固体摄像元件R104分别对通过了左眼用图像摄像部LlOO及右眼用图像摄像部RlOO的光进行光电变换，生成左右各自的被摄体的模拟摄像信号。在模拟信号处理部L105及R105放大了两个模拟摄像信号后，A/D变换器L106及R106将该放大的信号变换为数字数据。图像输入控制器L107及R107取入从A/D变换机L106及R106输出的数字数据，收容到SDRAM133中。数字信号处理部L108及R108根据来自CPU120的指令，取入SDRAM133中收容的数字数据，实施规定的信号处理，生成由辉度信号和色差信号构成的信号。数字信号处理部L108及R108进一步进行偏移处理、白平衡调整处理、Y校正处理、RGB完成处理、噪音降低处理、轮廓校正处理、色调校正处理、光源种类判断处理等各种数字校正。压缩/扩展处理部135、媒体控制部136、卡片I/F137及输入输出I/F139连接到数据总线130。压缩/扩展处理部135根据来自CPU120的指令，对SDRAM133中收容的数据实施规定格式的压缩处理，生成压缩图像数据。并且，根据来自CPU120的指令，对输入到卡片型记录介质138的压缩图像数据实施规定格式的扩展处理，生成非压缩图像数据此外，在本实施方式的摄像装置I中，对静止图像采用基于JPEG格式的压缩方式，对动画采用基于MPEG2格式、AVC/H. 264格式的压缩方式。媒体控制部136根据来自CPU120的指令，控制通过卡片I/F137对卡片型记录介质138的数据的写入、或来自卡片型记录介质138的数据的读出。视差计算部121、视差存在区域确定部122、视差决定部123、对象图像重叠部124、及对象图像记录部125分别连接到CPU120，进行对下述3D图像的对象图像的重叠处理。对象图像记录部125中预先记录重叠到摄影图像等的各种对象图像数据、及其重叠位置。例如记录与用于可视性表示静止图像摄影模式或动画摄影模式的图形数据、可视性表示摄像装置I具有的未图示的电池的余量的图形数据等、对应与它们相关的2D显示或3D显示预先确定的重叠位置相关的信息。液晶监视器140、扬声器141、操作部142及输入输出端子143连接到输入输出I/F139。图2是用于说明可显示3D图像的液晶监视器140的构造的例子的图。在图2中，对于摄像装置I的普通的使用姿态下的液晶监视器140，以水平方向为X轴、垂直方向为Y轴、及液晶监视器140的正交方向为Z轴如下进行说明。在液晶监视器140和观察者的左眼LE20及右眼RE20之间，设置双凸透镜LL20。该双凸透镜LL20通过将多个圆筒状凸透镜在图2的X轴方向连接而构成。液晶显示器140上显示的3D图像的显示区域由左眼用短条图像显示区域L和右眼用短条图像显示区域R构成。左眼用短条图像显示区域L及右眼用短条图像显示区域R分别在图2的Z轴方向上呈细长的短条形状，在X轴方向上交互配置。构成双凸透镜LL20的各凸透镜以观察者的规定的观察点为基准，分别形成在和包括一组左眼用短条图像显示区域L及右眼用短条图像显示区域R的各短条集合图像区域对应的位置上形成。并且，构成双凸透镜LL20的各凸透镜设定其曲率等，以使观察者的左眼LE20中入射液晶监视器140的左眼用短条图像显示区域L中显示的左眼用短条图像，观察者的右眼RE20中入射液晶监视器140的右眼用短条图像显示区域R中显示的右眼用短条图像。因此，观察者的左眼只观察左眼用短条图像，右眼只观察右眼用短条图像，从而可使通过摄像装置I拍摄的图像通过液晶监视器140作为3D图像感知。此外，作为用于3D图像的显示的液晶监视器140的构造，根据图2说明了使用双凸透镜方式时的例子，但本发明不限于双凸透镜方式，也可采用视差障碍方式、光方向控制方式等的用于3D图像显示的其他方式。液晶监视器140不仅可3D显示摄影图像，也可2D显示左眼用图像或右眼用图像的任意一个。并且，也可对左右眼图像两者以所谓并排(side by side)方式排列二者以2D显不。操作部142由包括未图示的释放开关、电源开关的操作键、十字键、操纵杆、或重叠在液晶监视器140上的触摸面板等构成，接受用户对摄像装置I的操作输入。输入输出端子143连接到未图示的电视监视器、PC (个人计算机)等。接着，图3表示摄像装置I将摄影图像PG30作为通过镜头图像或录像中的图像显示时，与该摄影图像P30重叠显示的对象图像的例子。此外，在图3中，以将通过左眼用摄像系统LlOO或右眼用摄像系统RlOO的任意一个取得的摄影图像PG30作为2D图像显示到液晶监视器140的情况为例，说明了各对象图像，但显示3D图像时也可使用同样的图像。摄像装置I如上所述，具有拍摄动画的动画模式和拍摄静止图像的静止图像模式，0G31是表示摄影以动画模式进行的对象图像。0G32是向用户通知图I未图示的电池的余量的对象图像。并且，0G33是向用户通知用户按下操作部142的未图示的录像按钮、摄像装置I开始摄影这一主旨的对象图像。并且，0G34是向用户通知录影持续的时间的对象图像。这些对象图像0G31 0G34记录到对象图像记录部125中，对应液晶监视器140中显示的图像是2D还是3D，以2D或3D显示。此外，在图3中所示的各种对象图像0G31 0G34及其重叠位置，是摄像装置I可显示的对象图像的示例，当然也可在任意位置显示其他图像。接着参照图4，对借助液晶监视器140或输入输出端子连接的外部监视器上显示的左眼用图像中及右眼用图像中的被摄体图像或对象图像，说明左眼用图像和右眼用图像之间的视差、与对监视器的显示面的向前方的弹出或向后方的缩回等的关系。在图4中，设借助液晶监视器140或输入输出端子143连接的外部监视器的显示面为DP40、观察者和显示面DP40的距离为D、观察者的左眼LE40和右眼RE40的距离为E。在图4 (a)中，设显示面DP40上的左眼用图像中的被摄体图像等的显示位置为Lf、右眼用图像中的被摄体图像等的显示位置为Rf时，观察者左眼LE40中以Lf、右眼RE40中以Rf观察时，两个被摄体图像等在Pf的位置成像。由此，在3D图像中，观察者可感知被摄体图像等相对显示面DP40如同向前方弹出。此时，设像Lf和Rf的视差为Vf时,从显示面DP40到成像位置Pf为止的距离Zf如下式⑴所示。(E+Vf) Zf = D Vf ......(I)在图4(b)中，当显示面DP40上的被摄体图像等的左眼图像中的显示位置、和右眼图像中的显示位置相同时，被摄体图像等在显示面DP40上的P。成像。由此，在3D图像中，观察者可感知被摄体等如同显示在显示面DP40上。在图4(c)中，设显示面DP40上的左眼用图像中的被摄体图像等的显示位置为Lb、右眼用图像中的被摄体图像等的位置为Rb时，观察者以左眼LE40观察Lb、以右眼RE40观察Rb时，被摄体图像等在Pb的位置成像。由此，在3D图像中，观察者可感知被摄体图像等相对显示面DP40如同向后方缩回。此时，设像Lb和Rb的视差为Vb时，从显示面DP40到成像位置为止的距离Zb如下式⑵所示。(E-Vb)Zb = D Vb ……(2)由此可知，在3D图像显示中，左眼用图像及右眼用图像各自的被摄体图像或对象图像之间的视差，对其向前方的弹出程度或向后方的缩回程度产生影响。(对象图像的重叠处理)
接着参照流程图说明摄像装置I的对3D图像的对象图像的重叠处理。
图5是用于说明摄像装置I按照分割为多个的3D图像的各区域，确定被摄体图像向前方的弹出或向后方的缩回等，根据该确定重叠对象图像的处理的流程图。该处理在用户按下操作部142的未图示的录像按钮时，通过图I的CPU120的统一控制根据程序来执行。并且，对于用户接通摄像装置I的电源，使用操作部142的未图示的按钮等选择摄影模式时，或半按下录像按钮时取得的通过镜头图像，也可开始该处理。如上所述，借助左眼用的固体摄像元件L104及右眼用的固体摄像元件R104，左眼用摄影图像数据及右眼用摄影图像数据分别暂时记录到SDRAM133中(步骤S101)。接着，视差计算部121算出在步骤SlOl中暂时记录的左眼用摄影图像数据及右眼用摄影图像数据之间的视差(步骤S102)。该视差的计算可适用各种已有的算法，例如可考虑以下方法其应用了算出确定MPEG中的同一被摄体在帧之间如何运动的、所谓运动矢量的算法。在作为动画压缩技术的MPEG中，使用根据块匹配检测出运动矢量的算法。其中，运动矢量是指，以矢量表示2个帧数据之间的同一被摄体的变位。比较当前的帧数据和过去的帧数据，分别提取同一大小下最类似的块，根据两者的位置关系算出运动矢量。视差计算部121利用上述运动矢量计算算法，确定左眼用摄影图像数据及右眼用摄影图像数据中的同一被摄体图像数据，对该同一被摄体图像数据，从左眼用摄影图像数据及右眼用摄影图像数据提取以点对点、像素对像素对应的点，将它们的差分矢量作为左眼用图像及右眼用图像中的被摄体图像的视差计算。具体而言，如图6所示，视差计算部121作为和左眼用摄影图像LP60中的被摄体图像LS61及LS62相同的被摄体，确定右眼用图像RP60中的被摄体图像RS61及RS62。接着，视差计算部121从左眼用摄影图像中LP60中的被摄体图像LS61中提取基准点LM61，从被摄体图像LP62中提取基准点LM62。并且，视差计算部121从右眼用摄影图像RP60中提取和基准点LM61对应的对应点RM61、及和基准点LM62对应的对应点RM62，将基准点LM61和对应点RM61之间的差分矢量V61、及基准点LM62和对应点RM62之间的差分矢量V62，作为各自的被摄体图像的视差计算。此外，视差计算部也可从右眼用摄影图像提取基准点，从左眼用摄影图像提取对应点，算出差分矢量。在步骤S102中，算出左眼用摄影图像及右眼用摄影图像中的被摄体的差分矢量后，视差存在区域确定部122接着确定该差分矢量包含在分割3D图像的多个区域中的哪个区域中(步骤S103)。其中，3D图像到多个区域的分割作为示例包括以下情况垂直方向上分割为2个区域的情况；水平方向上分割为2个区域 的情况；或水平方向及垂直方向上分割为共4个区域的情况。在摄像装置I中，对应显示的对象图像数、位置，切换使用这3种区域的分割方法。以下论述各种情况下确定含有差分矢量的区域的处理。(垂直方向上分割为2个区域并确定的处理)视差存在区域确定部122如图7所示，将左眼用摄像图像LP60及右眼用摄像图像RP60分别通过HLl及HL2分别分割为在垂直方向上隔离的上下二个区域。上下各区域的面积的比率可使用预先记录在R0M131中的比率。例如，将上侧区域和下侧区域的比率为5 5、即LI和L2、及L3和L4的比率均为5 5的比率，作为预先记录的比率使用。另一方面，该比例可由用户使用操作部142的未图示的按钮等任意变更，也可按照对应摄影情况预先设定的各种摄影模式可变，或对应显示的对象图像数可变。
在图7所示的例子中，确定左眼用摄影图像LP60中的被摄体图像LS61的基准点LM61、和右眼用摄影图像RP60中的被摄体图像RS61的对应点RM61之间的差分矢量V61存在于3D图像中的下侧的区域内。并且，确定左眼用摄影图像LP60中的被摄体图像LS62的基准点LM62、和右眼用摄影图像RP60中的被摄体图像RS62的对应点RM62之间的差分矢量62存在于3D图像中的上侧的区域内。(水平方向上分割为2个区域并确定的处理)视差存在区域确定部122如图8所示，将左眼用摄像图像LP60及右眼用摄像图像RP60分别通过VLl及VL2分别分割为在水平方向上隔离的左右二个区域。左右各区域的面积的比率可使用预先记录在R0M131中的比率。例如，将左侧区域和右侧区域的比率为5 5、即L5和L6、及L7和L8的比率均为5 5的比率，作为预先记录的比率使用。另一方面，该比例可由用户使用操作部142的未图示的按钮等任意变更，也可按照对应摄影情况预先设定的各种摄影模式可变，这和上述分割为垂直方向的区域的情况一样。在图8所示的例子中，确定左眼用摄影图像LP60中的被摄体图像LS61的基准点LM61、和右眼用摄影图像RP60中的被摄体图像RS61的对应点RM61之间的差分矢量61存在于3D图像中的左侧的区域内。并且，确定左眼用摄影图像LP60中的被摄体图像LS62的基准点LM62、和右眼用摄影图像RP60中的被摄体图像RS62的对应点RM62之间的差分矢量V62存在于3D图像中的右侧的区域内。此外，左眼用摄影图像和右眼用摄影图像之间的差分矢量是水平方向的矢量，因此在水平方向分割区域时，存在差分矢量包含在左右两个区域中的情况。此时，对应各区域中含有的差分矢量的大小，决定该差分矢量包含于哪个区域中。图9表示用于说明差分矢量包含在左右两个区域时的概念图。3D图像P90通过VL3在水平方向上分割为左侧区域LA90及右侧区域RA90 二个区域。其中，设差分矢量V91的大小为va91、其中包含于左侧区域LA90中的大小为lva91、包含于右侧区域RA90中的大小为rva91时，lva91和rva91具有以下关系。lva91 > rva91这种情况下，视差存在区域确定部122确定差分矢量V91包含于左侧区域LA90中。设差分矢量V92的大小为va92、其中包含于左侧区域LA90中的大小为lva92、包含于右侧区域RA90中的大小为rva92时，lva92和rva92具有以下关系。lva92 < rva92这种情况下，视差存在区域确定部122确定差分矢量V92包含于右侧区域RA90中。设差分矢量V93的大小为va93、其中包含于左侧区域LA90中的大小为lva93、包含于右侧区域RA90中的大小为rva93时，lva93和rva93具有以下关系时，确定差分矢量V93包含于左侧区域LA90和右侧区域RA90的任意一个中。
lva92 = rva92此外，不限于此，对应操作部142下的用户设定、或摄影模式、显示的对象图像的种类、个数，对于左右2个区域中含有的差分矢量，也可确定为包含于这二个区域中。(分割为水平方向及垂直方向的4个区域并确定的处理)视差存在区域确定部122如图10所示，将左眼用摄像图像LP60及右眼用摄像图像RP60分别通过HL4及HL5在水平方向、通过VL3及VL4在垂直方向上隔离，分别分割为上下左右共4个区域。该区域分割的比例和上述水平方向的区域的分割或垂直方向的区域的分割相同，使用预先记录到R0M131中的比率，或用户可使用操作部142的未图示的按钮等任意变更。在图10所示的例子中，确定左眼用摄影图像LP60中的被摄体图像LS61的基准点 LM61、和右眼用摄影图像RP60中的被摄体图像RS61的对应点RM61之间的差分矢量V61存在于3D图像中的左下侧的区域内。并且，确定左眼用摄影图像LP60中的被摄体图像LS62的基准点LM62、和右眼用摄影图像RP60中的被摄体图像RS62的对应点RM62之间的差分矢量V62存在于3D图像中的右上侧的区域内。此外，差分矢量跨越左右区域被含有这一点，和上述左右的区域分割中所述的一样。因此，此时同样对应差分矢量的大小决定该差分矢量包含于哪个区域中。在步骤S103中确定了各差分矢量存在的区域后，视差决定部123决定分别重叠到左眼用图像及右眼用图像的对象图像间的视差(步骤S104)。该对象图像间的视差的决定处理具体如下进行。视差决定部123首先按照上述步骤S103中确定了差分矢量的各区域，确定该区域中含有的差分矢量的大小最大的差分矢量(以下称为“最大差分矢量”)。图11表示用于说明该最大差分矢量的确定的概念图。在图11中，以3D图像PllO在水平方向及垂直方向上分割为4个区域A101、A102、A103、及A104时的、左上侧的区域AlOl为例进行说明，但其他三个区域中也进行同样的处理，并且对3D图像分割为水平方向或垂直方向的2个区域时的各区域，也进行同样的处理。如图11所示，差分矢量V101、差分矢量V102、及差分矢量V103的大小具有以下关系。VlOl > V102 > V103此时，视差决定部123将差分矢量VlOl作为区域AlOO中含有的最大差分矢量确定。确定了区域内的最大差分矢量后，视差决定部123对应确定的最大差分矢量的方向是从左眼用摄影图像中的基准点朝向右眼用摄影图像中的对应点、还是从右眼用摄影图像中的对应点朝向左眼用摄影图像中的基准点、或者是零，进行以下详述的处理。最大差分矢量的方向是从左眼用摄影图像中的基准点朝向右眼用摄影图像中的对应点时(以下将此时的最大差分矢量称为“弹出矢量”)，显示面中的基准点及对应点的位置变为上述图3(a)说明的关系。即，具有这些基准点及对应点的被摄体图像，变为在观察者观察时感觉相对显示面如同向前方弹出的位置上成像的关系。此时，视差决定部123将重叠的对象图像的视差作为和确定的最大差分矢量相同方向、相同大小的差分矢量决定。
通过如上决定对象图像的视差，3D图像中向前方弹出的被摄体的附近显示的对象图像感觉如同和该被摄体以同一程度向前方弹出，可减轻观察者的负担。最大差分矢量的方向从右眼用摄影图像中的对应点朝向左眼用摄影图像中的基准点时(以下将此时的最大差分矢量称为“缩回矢量”)，变为上述图4(c)说明的关系。SP，具有这些基准点及对应点的被摄体图像，变为在观察者观察时感觉相对显示面如同向后方缩回的位置上成像的关系。此时，视差决定部123 根据用户喜好，将重叠的对象图像的视差作为和确定的最大差分矢量相同方向、相同大小的差分矢量，或使差分矢量为零。此外，该用户喜好使用操作部142的未图示的按钮等预先设定。在3D图像中，感觉相对显示面如同向后方缩回的图像的观察，和感觉如同向前方弹出的图像的观察相比，提供给观察者的附加较大。这是因为，人的两眼一定程度上可向内侧移动，但无法向外侧展开(「人(二優^ P 3D普及O3DC安全力' 4卜'' 9 4 >」3D -> y 一 ； 7 A安全力M F 7 >部会発行2010年4月20日改訂版)。如上所述，对于向后方缩回的被摄体图像附近显示的对象图像，用户可任意选择以同等程度向后方缩回还是不加立体感地显示在显示面上，从而可减轻基于向后方缩回的图像的观察者的负担。最大差分矢量为零时，显示面中的基准点及对应点的位置变为上述图4(b)中说明的关系。即，具有这些基准点及对应点的被摄体的图像由观察者观察，变为感觉正好在显示面上的位置上成像的关系。此时，视差决定部123将重叠的对象图像的视差决定为零，即决定差分矢量为零。通过如上决定对象图像的视差，在3D图像中正好在画面上靠近的被摄体附近显示的对象图像，同样感觉如同正好在画面上，可减轻观察者的负担。在步骤S104中，决定了将对象图像重叠到各区域时的、该对象图像的视差后，对象图像重叠部124将记录到对象图像记录部125的对象图像，根据该算出的视差分别重叠到左眼用摄影图像及右眼用摄影图像(步骤S105)。该对象图像的重叠对应步骤S104中确定的最大差分矢量是弹出矢量、还是缩回矢量、或是零而如下进行。(当确定的最大差分矢量是弹出矢量时)图12是用于说明在步骤S104中确定的最大差分矢量是弹出矢量时的对象的附加的图。图12(a)是表示作为重叠对象图像0G120的位置，在对象图像记录部125中预先记录的位置上重叠对象图像0G120时的例子。此外，对象图像记录部125作为对象图像的重叠位置，对左眼用摄影图像及右眼用摄影图像的任意一个均记录相同位置。图12(b)是表示对象图像重叠部124将对象图像L0G120附加到左眼用摄影图像LG120时的例子的图，图12(c)是表示对象图像重叠部124将对象图像R0G120附加到右眼用摄影图像RG120时的例子的图。如图12(b)所示，设在步骤S104中确定的最大差分矢量大小为|V120|时，对象图像重叠部124在左眼用摄影图像LG120中，使对象图像L0G120以|V120|/2的大小向右侧偏移地重叠。并且，如图12(c)所示，对象图像重叠部124在右眼用摄影图像RG120中，使对象图像R0G120以|V120|/2的大小向左侧偏移地重叠。由此，对象图像L0G120和对象图像R0G120可是具有和最大差分矢量相同大小|V120|的视差。(确定的最大差分矢量为缩回矢量时)图13是用于说明在步骤S104中确定的最大差分矢量是缩回矢量时的对象的附加的图。图13(a)是表示作为重叠对象图像0G130的位置，在对象图像记录部125中预先记录的位置上重叠对象图像0G130时的例子。此外，对象图像记录部125作为对象图像0G130的重叠位置，对左眼用摄影图像及右眼用摄影 图像的任意一个均记录相同位置，这和上述弹出矢量时一样。图13(b)是表示对象图像重叠部124将对象图像L0G130附加到左眼用摄影图像LG130时的例子的图，图13(c)是表示对象图像重叠部124将对象图像R0G130附加到右眼用摄影图像RG130时的例子的图。用户通过操作部142的未图示的按钮等，选择使对象图像的视差和最大差分矢量相同时，如图13(b)所示，设在步骤S 104中确定的最大差分矢量大小为|V130|时，对象图像重叠部124在左眼用摄影图像LG130中，使对象图像L0G130以|V130|/2的大小向左侧偏移地重叠。并且，如图13(c)所示，对象图像重叠部124在右眼用摄影图像RG130中，使对象图像R0G130以|V130|/2的大小向右侧偏移地重叠。由此，对象图像L0G130和对象图像R0G130可是具有和最大差分矢量相同大小|V130|的视差。用户通过操作部142的未图示的按钮等，选择对象图像的视差为零时，对象图像重叠部124对左眼用摄影图像及右眼用摄影图像的每一个，在对象图像记录部125预先记录的位置上附加对象图像L0G130及R0G130。由此，对象图像附加到左眼用摄影图像及右眼用摄影图像的同一位置，对象图像感觉如同正好位于显示面上。(确定的最大差分矢量为零时)步骤S104中确定的最大差分矢量为零时，对象图像重叠部124对左眼用摄影图像及右眼用摄影图像的每一个，在对象图像记录部125预先记录的位置上附加对象图像。由此，对象图像附加到左眼用摄影图像及右眼用摄影图像的同一位置，对象图像感觉如同正好位于显示面上。上述对象图像的附加按照各区域进行，因此在感觉相对显示面如同向前方弹出的被摄体图像附近显示的对象图像，同样感觉相对显示面如同向前方弹出。对于感觉相对显示面如同向后方缩回的被摄体图像或感觉如同正好位于显示面上的被摄体图像的附近的对象图像也一样，感觉分别相对显示面如同向后方缩回、或如同正好位于显示面上。返回到图5，用户松开操作部142的未图示的录像按钮，切断摄像装置I的电源等，则结束本处理。如上所述，根据摄像装置1，对3D显示的摄影图像等重叠对象图像并显示时，对该对象图像向前方的弹出程度、向后方的缩回程度，可对应重叠了它们的3D图像的各区域的视差进行调整。因此，可抑制对象图像与其附近显示的被摄体图像之间感觉到的立体感的落差，可不对观察者造成负担地以3D显示对象图像。此外,在上述例子中，对应最大差分矢量为弹出矢量时、为缩回矢量时、及为零时，对重叠的对象图像的视差实施不同的处理，但摄像装置I也可重叠对象图像，以具有和各区域内的弹出矢量中最大的差分矢量相同的视差。由此，摄像装置I可考虑到各区域的视差，同时总可使得能够感觉到对象图像如同正在弹出。
以上以图I所述的摄像装置I为例说明了本发明的实施方式，作为本发明涉及的图像处理装置的实施方式不限于摄像装置，象放置型记录装置一样不具有摄像功能的机器中进行摄像数据的记录、重放时，当然也可进行同样的处理。
权利要求
1.一种3D图像处理装置，其特征在于具有 记录部，记录第一图像和第二图像； 对象图像记录部，记录重叠到上述第一图像和第二图像的每一个的对象图像； 视差计算部，计算上述第一图像中的被摄体图像和上述第二图像中的被摄体图像之间的视差；视差存在区域确定部，将通过上述第一图像和上述第二图像形成的3D图像分割为多个区域，确定上述视差计算部算出的上述视差存在于该被分割的多个区域中的哪个区域；视差决定部，对上述视差存在区域分割的上述区域的至少一个重叠上述对象图像时，根据确定为位于重叠上述对象图像的区域中的上述视差，决定该重叠的对象图像的视差；对象图像重叠部，将上述对象图像重叠到上述第一图像及上述第二图像上，以具有上述视差决定部决定的上述视差； 输出部，将重叠了上述对象图像的上述第一图像及上述第二图像作为3D图像输出。
2.根据权利要求I所述的3D图像处理装置，其特征在于，上述视差决定部决定该对象图像的视差，以具有和确定为位于重叠上述对象图像的区域中的上述视差中最大的视差相同的视差。
3.根据权利要求I所述的3D图像处理装置，其特征在于，上述视差决定部在感觉确定为位于重叠上述对象图像的区域中的上述视差中最大的视差如同使上述被摄体图像向前方弹出时，决定该对象图像的视差，以具有和该算出的视差相同的视差，在感觉最大的视差如同使上述被摄体图像向后方缩回时，决定该对象图像的视差，以具有和该算出的视差相同的视差，或使视差为零。
4.根据权利要求3所述的3D图像处理装置，其特征在于，上述视差存在区域确定部将上述3D图像在水平或垂直方向上至少分割为2个区域。
5.一种3D图像处理方法，其特征在于具有以下步骤 记录步骤，记录第一图像和第二图像； 计算步骤，计算上述第一图像中的被摄体图像和上述第二图像中的被摄体图像之间的视差； 确定步骤，将通过上述第一图像和上述第二图像形成的3D图像分割为多个区域，确定上述算出的被摄体图像的视差存在于该被分割的多个区域中的哪个区域； 决定步骤，从记录了重叠到上述第一图像和上述第二图像的每一个的对象图像的记录部中，读取与上述分割的上述区域中的至少一个重叠的对象图像，根据确定为位于重叠该重叠的对象图像的区域中的上述算出的被摄体图像的视差，决定该重叠的对象图像的视差; 重叠步骤，将上述对象图像重叠到上述第一图像及上述第二图像上，以具有上述决定的视差； 输出步骤，将重叠了上述对象图像的上述第一图像及上述第二图像作为3D图像输出。
6.根据权利要求5所述的3D图像处理方法，其特征在于，上述决定视差的步骤中，决定该重叠的对象图像的视差，以具有和确定为位于重叠的区域中的上述算出的被摄体图像的视差中最大的视差相同的视差。
7.根据权利要求5所述的3D图像处理方法，其特征在于，上述决定视差的步骤中，在感觉确定为位于重叠的区域中的上述算出的被摄体图像的视差中最大的视差如同使上述被摄体图像向前方弹出时，决定该重叠的对象图像的视差，以具有和该算出的被摄体图像相同的视差，在感觉最大的视差如同使上述被摄体图像向后方缩回时，决定该重叠的对象图像的视差，以具有和该算出的被摄体图像相同的视差，或使视差为零。
8.根据权利要求7所述的3D图像处理方法，其特征在于，上述确定步骤中，将上述3D图像在水平或垂直方向上至少分割为2个区域。
全文摘要
提供一种将对象图像重叠显示到3D图像上显示时，使该对象图像向前方弹出程度、向后方缩回程度，对应这些重叠的3D图像的各区域的视差进行调整的3D图像处理装置及3D图像处理方法。其中，视差计算部121计算第一及第二图像中的被摄体图像的视差，视差存在区域确定部122将输出的3D图像分割为多个区域，确定视差计算部121算出的视差存在于该被分割的多个区域中的哪个区域，对视差存在区域分割的上述区域的至少一个重叠对象图像时，视差决定部123根据确定为位于重叠对象图像的区域的视差，决定该对象图像的视差，对象图像重叠部124将对象图像重叠到第一及第二图像上，以具有该决定的视差。
文档编号H04N13/04GK102625121SQ20121002090
公开日2012年8月1日 申请日期2012年1月30日 优先权日2011年1月25日
发明者安立光将, 森胁淳, 铃木健太郎 申请人:Jvc建伍株式会社