专利名称：图像显示装置、图像显示方法和存储介质的制作方法
技术领域：
本发明涉及一种图像显示装置、图像显示方法和存储介质。特别地，涉及一种在一个画面中混合有2D图像(2维图像)和3D图像(3维图像)的图像显示装置。
背景技术：
3D图像，若与2D图像进行比较，能够有更高的表现力，随着近年来的图像显示技术的进步，对其关注度正在提高。3D图像是利用由左眼和右眼的视差而将空间认知为3维来实现的。更具体的3D图像的实现是通过图50所示的图像显 示装置来进行的。在3D图像显示部输入针对左眼的输入图像(左眼用视差图像)和针对右眼的输入图像(右眼用视差图像)，调整为用观察者的左眼和右眼分别识别这些图像，从而实现3D表现(立体表现)。而且，左眼用视差图像和右眼用视差图像是考虑到两眼的视差而生成的信号。这里，在专利文献I中，公开了下述技术通过检测在观察者观察立体图像时想要注视的区域，且对具有与该检测的区域不同的视差量的区域的信号进行低通型的滤波器处理，从而在模糊的状态下观察者察知注视区域和除此之外的区域。在专利文献2中，公开了下述技术在2维图像信号的移动量大于预定值时，附加与移动量相应的时间差来产生视差，模拟性地变换到左眼用图像信号和右眼用图像信号，产生模拟3维图像信号。而且，在专利文献3中，公开了下述技术在立体图像数据内具有表示是立体图像的识别信息，在用与立体图像不对应的设备进行观察时，察知是立体图像，在用与立体图像对应的设备进行观察时，识别信息不会成为观察者的障碍。而且，在专利文献4中，公开了下述技术通过使2D图像和3D图像混在一起、并且显示立体图像来降低数据量和耗电。专利文献4记载的图像显示装置，由视差图像生成部和3D图像显示部构成。视差图像生成部将2维图像和关注区域图像以及关注区域形状信息或者深度图像信号设为输入，并将与2维图像的关注区域相应的区域置换成从左右两个不同的视点进行表现的图像，从而生成左眼用视差图像和右眼用视差图像并输出。3D图像显示部，将所生成的左眼用视差图像和右眼用视差图像进行排序，以进行2D图像和3D图像的混合显示。这里，所谓设为输入的2维图像，是被3D显示的一个视点的图像信号。关注区域图像，是对2维图像中的关注区域进行表现的图像，所谓关注区域，是指在图像整体当中被立体表现的区域。在关注区域形状信息中，包含2维图像中的关注区域的位置和形状等的信息。深度图像信号，是以3维空间对视点与2维图像内的被摄体的距离进行表示的信号。在视差图像生成部，通过对关注区域图像信号进行仿射变换或透射变换之类的几何变换或在频域的滤波，在关注区域图像的各个像素上赋予视差，从而生成2D/3D混合图像。即，所生成的左眼用视差图像和右眼用视差图像的关注区域以外的区域变成与2维图像的关注区域以外的区域相同的图像。左眼用视差图像和右眼用视差图像是仅在关注区域具有视差的图像，而关注区域以外的图像是相同的。
专利文献I :日本特开平11-155154号公报专利文献2 :日本特开平7-281644号公报专利文献3 :日本特开2007-036528号公报专利文献4 :国际公开第2010/116614号。
以下的分析是根据本发明的观点来进行的。如上所述，3D图像具有比2D图像更高的表现力，不仅仅局限于娱乐领域，而且能够期待在各种各样的领域中的利用。但是，在3D图像的实现中，作为具有高的表现力的代价，如果与2D图像比较，需要更多的信息量。在图50所示的图像显示装置中，与左眼和右眼各自的视点相对应的左眼用视差图像和右眼用视差图像成为必需。在由专利文献I公开的技术中，左眼用视差图像和用于根据左眼用视差图像来生成右眼用视差图像的视差信息成为必需。这样，用于表现3D图像的数据量与2D图像的数据量相比增加了。如果数据量增力口，则有在用于连接对图像进行输出的设备和对图像进行显示的设备的电缆之间不能够进行数据传输、或者即使在同一设备内也超过了用内部的数据总线所能够进行处理的传输量的可能性。在用与单一视点的图像相同的光量来显示多个视点的图像的图像显示设备中，消耗更多的电力。此外，根据在专利文献I中公开的技术，进行针对全画面变成3D的输入图像信号的滤波器处理，但是，输入图像信号和输出图像信号也全部变成立体图像，与2维图像相比，数据的传输量和耗电显著地增加。根据在专利文献2中公开的技术，基于2维图像信号的移动量来算出视差量，进行左眼用图像信号和右眼用图像信号的生成，但是，输出图像整体变成3维信号，如果与2维显示相比，则耗电增加。而且，根据在专利文献3中公开的技术，通过表示立体图像的识别标记来进行立体图像数据的识别，但是，对于关注区域的自动提取方法、关注区域的自动判定方法、以及使关注区域成为立体视图的方法，并没有谈到。此外，在由专利文献4公开的技术中，需要预先准备观察者关注的关注图像区域。因此，存在除了 2维图像以外需要预先生成关注图像区域这样的问题。如上所述，3D图像尽管具有非常高的表现力以及希望更进一步普及，但是与2D图像相比，成为必需大量的数据。这样，就产生数据的传输容量不够和耗电增加这样的问题。而且，即使是专利文献4公开的技术，观察者关注的关注区域图像也是必需的，除了假设进行立体显示的图像以外，还需要生成关注区域图像。
发明内容
在本发明的一个方面中，希望提供通过降低数据量和耗电、从而自动生成观察者关注的关注区域图像来实现3D图像的图像显示装置、图像显示方法和存储介质。根据本发明的第I观点，提供一种图像显示装置，包括关注区域提取部，其在包含观察者希望关注的区域即关注区域在内的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号；视差图像生成部，其基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像、和所述2维图像，生成将所述关注区域以外的区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示部，用于显示所述左眼用视差图像和所述右眼用视差图像。根据本发明的第2观点，提供一种图像显示方法，包括关注区域提取步骤，在包含观察者希望关注的区域即关注区域的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号，由此提取关注区域；视差图像生成步骤，基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像、和所述2维图像，生成将所述关注区域以外的 区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示步骤，用于显示所述左眼用视差图像和所述右眼用视差图像。根据本发明的第3观点，提供一种计算机可读取的存储介质，该存储介质存储有构成图像显示装置的计算机所执行的程序，所述程序使计算机执行关注区域提取处理，在包含观察者希望关注的区域即关注区域在内的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号；视差图像生成处理，基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像和所述2维图像，生成将所述关注区域以外的区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示处理，用于显示所述左眼用视差图像和所述右眼用视差图像。(发明效果)根据本发明的各个观点，提供通过仅对关注区域进行立体表现和与2维图像混合来降低数据量和耗电、同时通过自动生成观察者关注的关注区域图像来实现3D图像的图像显示装置、图像显示方法和存储介质。在自动提取关注区域时，在输入信号是动画图像的情况下，通过进行考虑了移动量的深度变换，生成包含与关注区域图像相当的信息的深度图像信号，使眼睛的负担减少，能够生成更有意思的、丰富表现力的2D/3D混合内容。即使在输入信号变成静止的2维图像的情况下，也能够将关注区域以外的深度值变换成2D显示用的深度值，并且仅使关注区域自动地3D化。
图I是表示本发明第I实施方式的图像显示装置的构成的方框图。图2是表示第I实施方式的图像显示装置中的关注区域提取部的构成的一个例子的方框图。图3是用于对来自左右视点的视差量进行说明的示意图。图4是用于对来自左右视点的视差量进行说明的另一个示意图。图5是表不深度阈值和移动量的关系的一个例子的不意图。
图6是表不深度阈值和移动量的关系的一个例子的不意图。图7是表示3D空间中的各个 对象的配置的示意图。图8是用于说明关注区域提取处理的流程图。图9是表示在图8的关注区域提取处理中的前帧2维图像的示意图。图10是表示在图8的关注区域提取处理中的当前帧2维图像的示意图。图11是表示在图8的关注区域提取处理中的前帧分割后的2维图像的示意图。图12是表示在图8的关注区域提取处理中的当前帧分割后的2维图像的示意图。图13是表示在图8的关注区域提取处理中的移动量的计算结果的示意图。图14是表示在图8的关注区域提取处理中的深度图像信号的示意图。图15是表不在图8的关注区域提取处理中的深度阈值和移动量的关系的不意图。图16是表示在图8的关注区域提取处理中的变换后的深度图像信号的示意图。图17是表示第I实施方式的变形例的图像显示装置的构成的方框图。图18是表示图17中的关注区域提取部的内部构成的方框图。图19是通过使用多个帧的2维图像来进行关注区域的提取的处理的流程图。图20是表示在图19的关注区域提取处理中的前帧左眼用2维图像的示意图。图21是表示在图19的关注区域提取处理中的前帧右眼用2维图像的示意图。图22是表示在图19的关注区域提取处理中的当前帧左眼用2维图像的示意图。图23是表示在图19的关注区域提取处理中的当前帧右眼用2维图像的示意图。图24是表示在图19的关注区域提取处理中的前帧左眼用分割2维图像的示意图。图25是表示在图19的关注区域提取处理中的前帧右眼用分割2维图像的示意图。图26是表示在图19的关注区域提取处理中的当前帧左眼用分割2维图像的示意图。图27是表示在图19的关注区域提取处理中的当前帧右眼用分割2维图像的示意图。图28是表示在图19的关注区域提取处理中的左眼用移动量计算结果的示意图。图29是表示在图19的关注区域提取处理中的右眼用移动量计算结果的示意图。图30是表示在图19的关注区域提取处理中的当前帧左右图像的视差量的示意图。图31是表示在图19的关注区域提取处理中的左眼用深度图像信号的示意图。图32是表示图I中的关注区域提取部的另一个内部构成的方框图。图33是表示本发明第2实施方式的图像显示装置的内部构成的方框图。图34是表示图33中的关注区域提取部的内部构成的方框图。图35是第2实施方式中的关注区域提取处理的流程图。图36是表示在图35的关注区域提取处理中的2维图像的示意图。图37是表示在图35的关注区域提取处理中的分割后2维图像的示意图。图38是表示在图35的关注区域提取处理中的变换前的深度图像信号的示意图。图39是表示在图35的关注区域提取处理中的变换后的深度图像信号的示意图。
图40是表示深度推断LUT信号的一个例子的示意图。图41是表示本发明第3实施方式的图像显示装置的内部构成的方框图。图42是表示图41中的关注区域提取部的内部构成的方框图。图43是表示图41中的3D图像显示部的内部构成的方框图。图44是表示图43中的背光源控制器的内部构成的方框图。图45是表示第3实施方式中的LCD画面的亮度分布图的一个例子的示意图。图46是表示第3实施方式中的液晶面板的灰度等级值的一个例子的示意图。图47是表示第3实施方式中的背光源亮度信号分布的一个例子的示意图。图48是表示将图47的亮度分布变换后的亮度信号的一个例子的示意图。图49是表示将背光源的亮度变换后的液晶面板的灰度等级值的一个例子的示意图。图50是实现3D表现的图像显示装置的一个构成例。附图符号说明I 3、Ia图像显示装置110、110a、110b、210、310 关注区域提取部120、320视差图像生成部130、3303D图像显示部10、10a、10b、20、30 图像分割部ll、lla、31深度图像计算部12、12a、12b、32 移动量计算部13、13a、13b、23、33 深度图像变换部21深度图像生成部34背光源控制信号生成部341液晶控制器342背光源控制器343液晶面板344LED 背光源3421背光源亮度变换电路3422移位寄存器3423闩锁寄存器3424 开关1000、2000、1000L、2000L、1000R、2000R 2 维图像信号1000a、2000a、1000La、2000La、1000Ra、2000Ra 图像分割处理后的图像信号2000c、2000Lc、2000Rc 移动量1000d、2000d、2000Ld、2000Rd 变换前的深度图像信号
1010、2010、2010L变换后的深度图像信号1009深度推断LUT信号1100背光源位置信号1200背光源亮度信号
1300亮度 变换用LUT信号IOOOLo,2000Lo左眼用视差图像信号IOOORo,2000Ro右眼用视差图像信号
具体实施例方式[第I实施方式]在本发明的第I实施方式的2D/3D图像混合显示装置中，除了用于生成左眼用视差图像和右眼用视差图像的视差图像生成部、和用于进行2D/3D图像混合显示的3D图像显示部之外，还准备了用于使关注区域自动地3D化的关注区域提取部。参考图1，说明本发明第I实施方式的图像显示装置的构成。图I是表示本实施方式的图像显示装置I的构成的方框图。如图I所示，图像显示装置I包括关注区域提取部110 ;视差图像生成部120 ;和3D图像显示部130。关注区域提取部110，针对每个帧而输入所拍摄的2维图像。各个帧的2维图像被表记为1000、2000、...。关注区域提取部110，根据被连续输入的2维图像信号中所包含的亮度信息、移动量信息等，推测与当前处理中的帧图像2000(以下，简称为当前帧)相对应的深度图像2000d。深度图像信号是直接表现3维空间中的视点与图像内的被摄体之间的距离(深度值)的信号。在以下的说明中，假设能够针对I个像素用8比特的范围表现从视点到被摄体的距离。接着，使用将移动量设为参数的深度阈值来进行关注区域的判断，将关注区域以外的深度值变更为2D显示用的深度。然后，从关注区域提取部110输出变换后的深度图像2010。视差图像生成部120，从变换后的深度图像2010中算出关注区域图像的各个像素的视差信息，生成左眼用视差图像2000LO和右眼用视差图像2000RO。最后，对由3D图像显示部130生成的左眼用视差图像2000LO和右眼用视差图像2000RO进行排序，以进行2D图像和3D图像混合显示。下面，以从输入开始到输出为止的顺序来说明各个处理块的构成。图2是表示关注区域提取部110的构成的方框图。关注区域提取部110由图像分割部10、深度图像计算部U、移动量计算部12和深度图像变换部13构成。由于提高了后述的移动量计算、深度图像预测等处理的速度和精度，因此使得不用以像素单位来进行处理，而预先将所输入的2维图像分成几个区域，以区域单位来进行计算。在图像分割部10上连续地输入多张2维图像(1000,2000)。在这里，在多张2维图像当中，将前帧2维图像表记为2维图像1000，将当前帧2维图像表记为2维图像2000，并进行以下说明。在图像分割部10中，参考2维图像的坐标值和颜色信息，进行将输入的2维图像(1000,2000)分成具有相近像素特征(颜色信息、位置信息)的区域的分割处理。也就是说，使2维图像分解成具有相近特征的区域。然后，在所分割的各个区域上进行标签处理，分割后的输出图像的像素值设为分割后的各个区域的标签值。将对2维图像1000进行分割后的信号表记为分割后2维图像1000a，将对2维图像2000进行分割后的信号表记为分割后2维图像2000a。关于图像分割处理，后述具体的例子。接着，分割后2维图像(1000a，2000a)被输入到移动量计算部12，并且使用颜色信息、亮度信息、面积信息来推断前帧2维图像1000和当前帧2维图像2000的各个区域的对应(移动量)。具体地，对于从颜色信息、亮度信息等导出的区域，将对应的区域的重心位置的差分值输出作为该区域的移动量2000c。
而且，分割后2维图像(1000a，2000a)和移动量计算部12输出的各个区域的移动量被输入到深度图像计算部11。在深度图像计算部11，参考各个区域的位置信息、移动量、亮度信息等，预测各个区域的深度值。这里，使用图3和图4,说明视差量和深度值的关系。图3和图4是用于对从左右各个视点观测作为3维空间的对象物时的视差量进行说明的示意图。所谓视差量，是表示用左右各个视点得到的错开量，如图3所示，在对象物与各个视点之间的距离近的情况下，识别相同对象物的距离之差会有较大不同(参考图3的距离a、距离b)。另一方面，在对象物与各个视点之间的距离远的情况下，识别相同对象物的距离之差变小(参考图4的距离C、距离d)。这样，由于视差量大时意味着视点与对象区域的距离近，因此算出小的值作为深度值，相反，由于视差量小时意味着视点与对象区域的距离远，因此算出大的值作为深度值。如上所述，尽管能够从视差量来推断深度值，但是，由于在输入信号中只有一个摄像机信息，因此通过分割后2维图像2000a的亮度信息来推断深度值。在深度图像计算部11中推断的深度值和从移动量计算部12输出的各个区域的移动量2000c被输入到深度图像变换部13。如上所述，由于随着视点与对象区域的距离变近而视差量变大，因此当利用视点将较近的对象区域提取作为关注区域时，会得到更自然的2D/3D混合表现。因此，在深度图像变换部13中，使用式(I)和式(2)表示的变换式来对深度图像信号2000d进行变换处理。Dl < Dth(v) :D2 = Dl(I)Dl > Dth(v) D2 = 255(2)其中，假设Dl :变换前的深度值；D2 :变换后的深度值；Dth :深度阈值；v :移动量2000c。式(2)根据各个区域的移动量来决定深度值的阈值，在某个区域的深度值大于所计算的阈值时，将该区域所表示的对象物体的深度值变换成2D显示用的深度值。2D显示用的深度值，在3D空间中，取决于左右摄像机的配置方式。在左右摄像机是平行配置的情况下，2D显示用深度值变成与视点相比为无限远。在用移位传感器方式配置左右摄像机的情况下，2D显示用的深度值变成摄像机的屏幕(screen)面距离。这里，使用平行配置的立体摄像机来说明深度变换的一个例子。如式(2)所示，将具有比阈值大的深度值的对象物体看作与视点相比为无限远，并变换成255。式(I)表示在该区域的深度值小于阈值的情况下，不进行深度值的变换。通过进行这样的变换处理，将变换后的深度值不是255的区域提取作为关注区域图像。通过这样的变换，演出所谓飞出来似的立体感觉。而且，变换后的深度图像信号表记为2010。接着，说明深度阈值和移动量的关系。根据式(I)和式(2)，尽管使比视点近的对象区域成为3D，但是，由于移动量大的对象区域具有在数帧之后靠近观察者且变成关注区域的可能性，因此预先使阈值变高后进行3D显示。能够生成更有意思的、丰富表现力的2D/3D混合图像。因此，深度阈值和移动量的关系规定为式(3)那样的线性关系。Dth(v) = kXv+DO(3)k是深度阈值和移动量的比例系数，DO是与静止物体对应的深度阈值。图5图示出式⑶的关系。在观察3D画面时，当对象物进行过于剧烈的移动时，存在观察者的眼睛不能够进行追踪的情况。因此，为了防止这样的情况，还可以按照式(4)和式(5)所示那样的深度阈值和移动量的关系。V < vth Dth = klXv+Dl(4)v > vth Dth = k2 X v+D2(5)即，当对象的移动量变成某个值vth以上时，通过将深度阈值和移动量的比例系数k2设定为负的数或者降低比例系数(k2 < kl)，使从2D图像向3D图像的变换平稳地进行，从而减轻眼睛的负担。图6图示出式⑷和式(5)的关系。接着，更具体地说明关注区域的提取方法。参考图8，说明从配置了图7所示那样的3个球的3维空间进行关注区域的提取的处理。图8是表示关注区域提取处理的流程图的示意图。如图7所示，球I被置于从视点位置在视线方向上相距深度值180的位置上。然后，假设从该位置沿着点线箭头所示的运动轨迹移动。球2和球3分别被固定在从视点位置相距深度值100和深度值20的位置上。当使用位于z轴之视点位置的摄像机按时间顺序对上述那样的3维空间中的对象的移动进行拍摄时，能够得到多帧的2维图像(1000,2000)。在步骤S01，将所拍摄的多帧的2维图像(1000，2000)按时间顺序输入到关注区域提取部110。图9示出此时的前帧2维图像1000，图10示出当前帧2维图像2000。在2维图像1000中，与三个球对应的像素的亮度值分别变成10、100、200。在2维图像2000中，与三个球对应的图像的亮度值分别变成100、100、200。在步骤S02，参考坐标值和颜色信息，进行将输入的前帧2维图像1000和当前帧2维图像2000分成具有相近像素特征(颜色信息、位置信息)的区域的分割处理、和对所分割的各个区域赋予顺序的标签处理，输出分割后2维图像IOOOa和分割后2维图像2000a。在输入的2维图像1000和2000中，由于表示相同球的像素的像素值相等，因此所述三个球分别被分割作为一个区域。在分割后2维图像IOOOa和2000a中，与所述三个球对应的图像的像素值是该区域的标签值。图11示出前帧的分割后2维图像1000a，图12示出当前帧的分割后2维图像2000a。在步骤S03，使用在步骤S02分割的颜色信息和亮度信息，推断前帧的分割后2维图像IOOOa与当前帧的分割后2维图像2000a中的各个区域的对应关联。其结果是，各个区域的对应成为图13那样，将对应的各个区域的重心位置的差分值输出作为移动量。而且，移动量的计算，通过进行显示的画面的宽度等的画面坐标系信息和当前帧图像及前帧图像中的各个区域的位置信息而算出。例如，在图13的例子中，球I的移动量，在将画面的宽度设为100的情况下相当于12。因此，球I的移动量被算出为12，未移动的球2和球3的移动量变成O。即使在以后的说明中，画面的宽度也设为100。接着，将当前帧的分割后2维图像2000a和前帧的分割后2维图像IOOOa中的各个区域的移动量，输入到深度图像计算部11。在深度图像计算部11中，参考各个区域的位置信息、移动量、亮度信息，预测各个区域的深度图像信号2000d。在这里，深度值是通过输入图像的亮度信息来预测的。如果预先假定光源被配置在对象物与视点之间，则输入的2维图像内的该三个球的亮度差看作由与光源的距离的不同而产生。因此，能够推断为亮度值越大，深度值越小。根据当前帧的分割后2维图像2000a的亮度信息(球I和球2的亮度值变为相同，球3的亮度值最大)，还能够推断图14所示那样的深度图像信号2000d。在图14中，示出了球I和球2的深度值变为100，球3的深度值变为20。在步骤S04，根据各个区域的移动量来计算深度值的阈值，对深度图像信号2000d进行变换。此时，如式(2)所示，在某个区域的深度值是所计算的阈值以上的情况下，由于使该区域显示的对象物体成为2D，因此看作与视点相比为无限远，从而将深度值变换成255。相反，如式(I)所示，在该区域的深度值小于阈值的情况下，将深度值按原样进行输出。例如，假设将用于变换深度图像信号2000d的深度阈值和移动量的关系规定成图15那样的线性关系。这样，根据深度阈值和移动量的比例系数a = 10、静止 物体的深度阈值b =80，具有移动量12的球I的深度阈值变成200，静止的球I和球2的深度阈值变成80。如果将各个区域的深度阈值和深度值代入式(2)，则对于变换后的深度图像信号2010，球2的深度值变成255 (参考图16)。在步骤S05，输出变换后的深度图像信号2010。而且，尽管将深度阈值和移动量的关系假定成线性函数，但是也可以设为从属于除此以外的关系。如上所述，使用关注区域提取部110，通过对2维图像的各个像素进行考虑了移动量的深度变换，能够自动地生成包含有与关注区域图像相当的信息的深度图像信号。因此，在视差图像生成部120中，根据变换后的深度图像信号2010，能够复原被摄体与左右各个视点间的距离，能够算出当前帧图像2000内的各个像素的视差量。根据算出的视差量，通过对各个像素进行错开处理，能够生成左眼用视差图像2000LO和右眼用关注区域视差图像 2000Ro。由视差图像生成部120进行的处理，被示于式(6)。当前帧图像2000中的像素(U、V)的错开量Au(u、v)的计算式能够由式(6)表达。
a t 、 IOD IX .XAu(u,v) = —~-(6)
z{u, v) tan(/^v/2)其中，z(u, v)是与当前帧图像中的像素(u，v)对应的3维空间的点与视点的距离，能够根据变换后的深度图像信号2010算出。IOD是两视点的距离，Fov是视角。S卩，由于当深度值大时成为对象的像素从视点离开，因此错开量Au变小，特别地，深度值被变换到255的像素被看作距视点为无限远，并且视差量是O。相反，由于当深度值小时成为对象的像素距视点近，因此错开量Au变大。接着，使用算出的错开量，将当前帧图像的(U，v)的像素值适用于左眼用视差图像IOOOLo的坐标(u-Au,v)和右眼用关注区域视差图像IOOORo的坐标(u+Au,v)。通过这些处理，能够生成仅在关注区域具有视差的左眼用视差图像IOOOLo和右眼用视差图像IOOORo0最后，对由3D图像显示部生成的左眼用视差图像和右眼用视差图像进行排序，以进行2D图像和3D图像混合显示。根据本实施方式，在提取关注区域时，通过考虑对象物体的深度值和移动量，由于移动量大的对象区域有在数帧之后靠近观察者和变成关注区域的可能性，因此预先使阈值变高后进行3D显示，从而能够生成更有意思的、丰富表现力的2D/3D混合内容。另一方面，为了防止因剧烈的移动而导致的眼睛不能够进行追踪，通过使深度阈值依赖于移动量，使从2D向3D的变换平缓进行，从而能够减轻眼睛的负担。通过将关注区域以外的深度值变换成2D显示用的深度值，还能够仅使关注区域自动地3D化。
[变形例]而且，根据本实施方式，如图17那样，还能够将多帧的左眼用2维图像(1000L，2000L)和多帧的右眼用2维图像(1000R，2000R)输入到图像显示装置la。即使在该情况下，对左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R，2000R)的每一个，也能够适用关注区域的提取方法。如图17所示，图像显示装置Ia包括关注区域提取部110a、视差图像生成部120和3D图像显示部130。图18是表示关注区域提取部IlOa的构成例子的方框图。关注区域提取部IlOa由图像分割部10a、深度图像计算部11a、移动量计算部12a、和深度图像变换部13a构成。将左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R，2000R)连续地输入到图像分割部10a。分割后的左眼用2维图像信号变成IOOOLa和2000La。分割后的右眼用2维图像信号变成IOOORa和2000Ra。然后，在移动量计算部12a中，使用分割后的左右2维图像信号的颜色信息和亮度信息，将前帧的分割后2维图像(lOOOLa，IOOORa)与当前帧的分割后2维图像(2000La，2000Ra)中的各个区域的对应关联分成左右，分别进行推断，从而将对应的两个区域的重心位置的差分值输出作为该区域的移动量2000Rc和2000Lc。接着，将前帧的分割后左眼用2维图像IOOOLa和前帧的分割后右眼用2维图像1000Ra、当前帧的分割后左眼用2维图像2000La和当前帧的分割后右眼用2维图像2000Ra、以及当前帧的左右2维图像中的各个区域的移动量，输入到深度图像计算部11a。在深度图像计算部Ila中，参考各个区域的移动量、亮度信息，推断当前帧的分割后左眼用2维图像2000La与当前帧的分割后右眼用2维图像2000Ra中的各个区域的对应关联。根据对应的两个区域的重心位置，得到该区域的视差量，从而推断深度值。最后，将计算的深度值和移动量2000LC输入到深度图像变换部13a，使用将移动量设为参数的深度阈值Dth，进行关注区域的判断，从而将关注区域以外的深度值变更到2D显示用的深度。然后，输出变换后的深度图像2010L。在这里，套用上述的图18的情况，具体说明将多帧的左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R，2000R)设为输入的情况下的关注区域的提取方法。图19是表示通过使用多个帧的左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R，2000R)来进行关注区域的提取的处理的流程图的示意图。在步骤S11，将所拍摄的多帧的左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R，2000R)按时间顺序输入到关注区域提取部110a。图20到图23示出这些输入图像。这些2维图像被临时保存在处于关注区域提取部IlOa的帧缓冲存储器(未图示)中。在步骤S12，对所输入的多帧的左眼用2维图像(1000L，2000L)和右眼用2维图像(1000R, 2000R)进行图像分割处理。图24是前帧的分割后左眼用2维图像lOOOLa，图25是前帧的分割后右眼用2维图像1000Ra。图26是当前帧的分割后左眼用2维图像2000La，图27是当前帧的分割后右眼用2维图像2000Ra。
在步骤S13，使用颜色信息和亮度信息，将前帧的分割后2维图像(lOOOLa，IOOORa)与当前帧的分割后2维图像(2000La，2000Ra)中的各个区域的对应关联分成左右，分别进行推断，从而将对应的两个区域的重心位置的差分值输出作为该区域的移动量(参考图28和图29)。在图28中，示出了左眼用2维图像中的区域2和区域3的移动量是O、区域I的移动量是12的情况。右眼用2维图像中的各个区域的移动量也是同样的。 接着，将前帧的分割后左眼用2维图像IOOOLa和前帧的分割后右眼用2维图像1000Ra、当前帧的分割后左眼用2维图像2000La和当前帧的分割后右眼用2维图像2000Ra、以及当前帧的左右2维图像中的各个区域的移动量，输入到深度图像计算部11a。在深度图像计算部Ila中，参考各个区域的移动量、亮度信息，推断当前帧的分割后左眼用2维图像2000La与当前帧的分割后右眼用2维图像2000Ra中的各个区域的对应关联。然后，根据对应的两个区域的重心位置，得到该区域的视差量，从而推断深度值。图30表示当前帧的左右2维图像的视差量，用点线示出的球是右眼用视差图像中的各个区域的位置信息，灰色的球是左眼用视差图像中的各个区域的位置信息。在图30中，区域1(球I)和区域2(球2)的视差量变成相同的值，区域I和区域2的深度值被赋予相同的值。另一方面，由于区域3的视差量大于区域I和区域2的视差量，因此意味着区域3更接近视点，且被赋予小的深度值。图31示出所生成的当前帧的左眼用图像的深度图像信号2000Ld。在步骤S14，对在步骤S13中所生成的左眼用的深度图像信号2000Ld和右眼用的深度图像信号2000Rd的任何一个进行深度变换。具体的变换处理是与将上述的一张2维图像设为输入的情况下的步骤S04相同。在步骤S15，输出变换后的左眼用的深度图像信号2010L。将变换后的左眼用的深度图像信号2010L如上述那样输入到视差图像生成部120，根据式￠)，生成仅在关注区域上具有视差的左眼用视差图像2000Lo和右眼用视差图像2000Ro。此外，在被输入到图像显示装置I的信号仅为深度图像信号IOOOd和2维图像1000的情况下，还能够将关注区域提取部IlOb的构成设置为图32那样。关注区域提取部IlOb由图像分割部10b、移动量计算部12b、及深度图像变换部13b构成。通过将深度图像信号IOOOd直接地输入到深度图像变换部13b，而变成不再需要用于从2维图像生成深度值的深度图像计算部。此外，移动量计算部12b的输入，尽管使用了图像分割部IOb的输出，但是也可以直接输入2维图像。以上的说明，尽管为了产生飞出来似的立体感觉，说明了通过深度变换而从2D向3D的变换方法，但是也能够适用于产生进深感觉的情况。此时，在某个区域的深度值小于所计算的阈值时，将该区域的深度值变换成2D显示用的深度值。相反，在该区域的深度值大于阈值时，不变换深度值地进行输出。根据本实施方式，在提取关注区域时，通过考虑对象物体的深度值和移动量，由于移动量大的对象区域有在数帧之后靠近观察者和变成关注区域的可能性，因此预先使阈值变高后进行3D显示，从而能够生成更有意思的、丰富表现力的2D/3D混合内容。另一方面，为了防止因剧烈的移动导致的眼睛不能够进行追踪，通过使深度阈值依赖于移动量，使从2D向3D的变换平缓进行，从而能够减轻眼睛的负担。通过将关注区域以外的深度值变换成2D显示用的深度值，还能够仅使关注区域自动地3D化。如上所述，从不同的两个视点的图像中，自动地提取关注区域，从而能够仅对关注区域进行立体地表现的2D/3D混合显示。而且，在专利文献3中，公开了将2D图像和3D图像的识别标记配置在关注区域以外的技术，但是，没有公开关注区域的自动提取方法或关注区域的具体的判定方法。通过根据所输入的左右2维图像的视差量来推断深度图像信号，能够得到更正确的深度信息。而且，由于通过使用将移动量设为参数的深度阈值函数来提取关注区域，因此在动态图像的情况下，希望关注的区域能够被更加平滑地提取，能够生成使眼睛的负担少的2D/3D混合内容。
[第2实施方式]接着，参考附图，详细说明第2实施方式。图33是表示本实施方式的图像显示装置2的构成的方框图。在图33中，与图I相同的构成要素用相同的符号表示，省略其说明。图像显示装置2上输入2维图像1000、用于推断深度值的深度推断LUT信号1009以及用于变换深度值的深度阈值Dth。深度推断LUT信号1009是用于根据各个区域的形状、面积来推断深度值的查询表信号。图34表不关注区域提取部210的构成例子。图34所不的关注区域提取部210由图像分割部20、深度图像生成部21和深度图像变换部23构成。在图像分割部20中，将2维图像设为输入，根据坐标值和颜色信息来进行图像分割处理，输出分割后的2维图像。接着，将分割后的2维图像输入到深度图像生成部21，参考对各个区域的形状及面积与深度值之间的关系进行规定的表，生成深度图像信号1000d。深度图像变换部23，参考所输入的深度阈值，对深度图像生成部21所生成的深度图像信号1000d，进行式(I)和式(2)所示的深度变换处理。而且，在变换后的深度图像信号2010中，将关注区域以外的深度值设为255。接着，参考本实施方式的关注区域提取处理的流程图(图35)和图36至图40，将由工业操作画面经常使用的按钮画面作为例子，来说明关注区域提取处理的具体处理。将具有图36所示那样的3种形状且颜色不同的按钮的画面设为输入。将具有三角形形状的区域设为区域1，具有长方形形状的区域设为区域2，具有圆形形状的区域设为区域3。在步骤S21，将静止图像的2维图像1000输入到关注区域提取部210。在步骤S22，参考坐标值和亮度值，进行将输入的2维图像分割成具有同样的像素特征的区域的处理。图37是基于亮度值和坐标值将图36的按钮画面分割成3个区域的情况。在步骤S23，将分割后的2维图像的各个区域的特征量(形状信息、面积)设为相互独立的参数，通过参考深度推断LUT信号1009，来分配深度值。作为具体的处理，最初算出各个区域的面积。在图37所示的例子中，计算为三角形区域的面积为8，四边形区域的面积为12，圆形区域的面积为4。此后，通过对分割后的2维图像的各个区域的形状信息和面积、与深度推断LUT信号1009上所预先登记的表数据进行匹配，来对各个区域分配深度值。图38是参考图40所示的深度推断LUT信号1009所生成的深度图像信号1000d。按照图40的深度推断LUT信号1009，区域I (三角形区域)的深度值变为50，区域2 (四边形区域)的深度值变为30，区域3 (圆形区域)的深度值变为5。在步骤S24，对上述的步骤S23中所生成的深度图像信号lOOOd，进行式(I)和式(2)所示的深度图像变换。例如，在针对图38将深度阈值设定为40的情况下，变换后的深度图像信号1010变为图39那样。此时，图38的区域I (三角形区域)的深度值由于深度阈值大于40，因此被变换成255。在步骤S25中，将变换后的深度图像信号输出到视差图像生成部120。在本实施方式中，尽管叙述了根据一张2维图像，自动地提取关注区域图像的处理和自动地生成深度图像的处理，但是还能够适用于输入是左右2维图像的情况或者包含深度图像的情况。当深度图像信号被包含于输入图像信号时，不需要深度图像生成部21。本实施方式，即使在输入信号变成静止的2维图像的情况下，也能够将关注区域以外的深度值变换成2D显示用的深度值，能够仅使关注区域自动地3D化。 [第3实施方式]接着，参考附图，详细说明第3实施方式。在第I到第2实施方式中，主要说明了在3D图像显示部中应该显示的图像数据的生成。在本实施方式中，除了 3D图像显示部中应该显示的数据的生成之外，还对图像显示的控制器的控制进行说明。如果图像显示装置是液晶监视器，则通过直接控制液晶监视器的背光源，能够以低耗电提供表现力丰富的3D图像。图41是表示本实施方式的图像显示装置3的构成的方框图。图像显示装置3包括关注区域提取部310、视差图像生成部320和3D图像显示部330。在图像显示装置3上按时间顺序输入多个2维图像(1000,2000)。图42是表示关注区域提取部310的内部构成的方框图。关注区域提取部310，在第I实施方式记载的关注区域提取部110上加入了背光源控制信号生成部34。背光源控制信号生成部34，使用深度图像变换后的深度图像信号2010，算出对与关注区域即深度值不是255的区域相应的背光源中的LED的位置进行表示的位置信号1100，并进行输出。参考2维图像2000的亮度值2000，输出背光源中的各个LED的亮度信号1200。而且，将预定的亮度变换LUT信号1300输出到背光源控制信号生成部34。亮度变换LUT信号1300是用于变换亮度信号的参考表。对于使用亮度变换LUY信号1300的亮度变换的具体例子，将后述。视差图像生成部320，基于深度图像变换后的深度图像信号2010，将各个像素与所计算的视差对应的位置错开，生成左眼用视差图像2000LO和右眼用视差图像2000RO，并与上述背光源控制信号同时地输出到3D图像显示部330。3D图像显示部330，如图43所示，包括液晶控制器341、背光源控制器342、液晶面板343、和LED背光源344。液晶控制器341，将2维图像、左眼用视差图像2000Lo和右眼用视差图像2000RO设为输入，与液晶面板343的像素配置相吻合，来进行像素数据的排序处理，通过将输出的合成图像输出到液晶面板343，实现2D/3D混合显示。另一方面，即使对LED背光源344，也使用背光源控制器342，从而能够根据关注区域和背景区域，来进行LED的亮度值变换。图44是表示背光源控制器342的详细构成的方框图。背光源控制器342包括背光源亮度变换电路3421、移位寄存器3422、闩锁寄存器3423、和开关3424。背光源亮度变换电路3421将位置信号1100、亮度信号1200、亮度变换LUT信号1300设为输入，参考关注区域的位置信号1100和亮度变换LUT信号1300，来变换亮度信号1200的值。
在这里，说明亮度变换的具体处理。最初，亮度信号每次8比特地被输入到背光源亮度变换电路3421。然后，使用关注区域的位置信号，判断当前输入的亮度信号是否相应于关注区域。根据该判断结果，从亮度变换LUT信号1300中搜查合适的亮度值，进行亮度变换。其后，新生成的亮度信号被输入到移位寄存器3422。在移位寄存器3422中，每次I比特地接收亮度信号，并写入到寄存器。在8比特写入之后，将该8比特的信号传送到闩锁寄存器3423。最后，根据被写入到闩锁寄存器3423中的信号，在开关342中生成用于控制所对应的LED的开关信号。通过该开关信号，控制背光源的各个LED。接着，参考图45到图49，具体说明通过背光源亮度变换电路3421的亮度变换处理而能够降低耗电的理由。图45是IXD画面的亮度分布图。IXD画面的亮度取决于液晶面板的透射率和背光源的亮度。而且，由于液晶面板的透射率依赖于显示画面的灰度等级值，因此能够将液晶面板的透射率置换成灰度等级值。因此，在IXD画面和背光源的亮度变换成从0到255的整数值之后，进行说明。由于不用单独控制各个LED的点亮来实现图45所示那样的具有关注区域的亮度值为200、关注区域以外的亮度值为50这样的值的IXD画面，因此对于液晶面板的灰度等级值，需要如图46那样，将关注区域的亮度值设为200，关注区域外的亮度设为50，使背光源的亮度成为均等的255(100% )(图47)。这是因为，不能够单独控制各个LED的点亮，而需要关注区域外的LED也与关注区域的LED的点亮相吻合。在该情况下，由于使背光源的亮度成为最大而工作，所以耗电大。因此，为了削减液晶面板的耗电，在背光源亮度变换电路3421中进行背光源的控制。最初，图47的背光源的亮度信号每次8比特地被输入到背光源亮度变换电路3421。然后，在背光源亮度变换电路3421中，参考位置信号1100，判断所输入的信号是否是关注区域内。根据判断结果，从亮度变换LUT信号1300中搜查合适的亮度值，进行亮度变换。例如，如果输入信号是关注区域内的亮度信号，则对输入信号不进行变换而输出作为亮度信号。如果输入信号是关注区域外的亮度信号，则使输入信号的亮度成为半份，生成亮度信号。通过以上的处理，使图47的亮度信号变换成如图48那样。变换后的亮度信号中的关注区域的亮度值是255，关注区域外的亮度值被变换成是亮度信号的半份即126。另一方面，为了得到图45所示那样的LCD画面的亮度分布，使用背光源亮度变换电路3421，对于液晶面板的显示画面的灰度等级值，如图49所示那样，将关注区域变换成200，将关注区域以外变换成100。即，为了实现具有图45的亮度的LCD画面，进行下述控制抑制关注区域以外的区域的背光源的点亮，抑制的结果是，关注区域以外的亮度降低相应会提高液晶面板的显示画面的灰度等级值，通过灰度等级值的提高，来补偿亮度值。其结果是，关注区域外的LED的亮度下降，从而能够削减耗电。而且，尽管说明了将LED用的背光源亮度变换电路3421设置在背光源控制器342上的例子，但是也可以设置在视差图像生成部320内。尽管说明了基于图像显示装置3的3D图像显示部的构成，但是即使对第I和第2实施方式，也能够适用。如上所述，在进行2D/3D混合显示时，通过对背光源中的关注区域的LED和背景区域的LED赋予不同的亮度值，能够削减耗电。而且，将上述专利文献等的各个公开设为在本说明书中通过引用而编入的内容。在本发明的所有公开(包含权利要求书)的范围内，基于其基本的技术思想，实施方式的变更、调整也是可能的。在本发明权利要求的范围内，各种公开要素的多样的无组合选择是可能的。即，显然，本发明包括根据包含权利要求的所有公开、技术思想而由本领域普通技术人员能够得到的各种变形、修正。例如，尽管所有的实施方式都能够通过硬件的构成实现，但是本发明不局限于此。通过使CPU(中央处理单元)执行计算机程序来实现所有的处理也是可能的。在该情况下，计算机程序通过存储在存储介质中来提供是可能的，此外，通过介入因特网之外的通信介质而进行传输来进行提供也是可能的。而且，作为第I和第2实施方式为止的3D图像显示部，能够适用于IXD、有机EL、LED、PDP等显示装置。特别地，在适用于有机EL、LED、PDP等自发光的显示装置的情况下，由于耗电取决于各个像素的亮度，因此通过使用滤色处理、灰度等级变换等来降低关注区域外的亮度值，从而削减耗电的效果显著。
权利要求
1.一种图像显示装置，其特征在于，包括关注区域提取部，其在包含观察者希望关注的区域即关注区域在内的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号；视差图像生成部，其基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像、和所述2维图像，生成将所述关注区域以外的区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示部，其用于显示所述左眼用视差图像和所述右眼用视差图像。
2.根据权利要求I所述的图像显示装置，其特征在于，所述关注区域提取部包括图像分割部，其接收最新帧的第I个2维图像和所述第I个2维图像的前一帧的第2个2维图像，将所述第I个2维图像和所述第2个2维图像分割成在所述第I个2维图像和所述第2个2维图像中具有共同特征的分割区域，并生成分割后的第I个2维图像和分害I]后的第2个2维图像；移动量计算部，其计算所述分割后的第I个2维图像和所述分割后的第2个2维图像的分割区域的重心位置的差分值，并将所述差分值作为与所述分割后的第I个2维图像的分割区域对应的移动量来计算；深度图像计算部，其根据与所述分割后的第I个2维图像的分割区域对应的亮度信息，生成与所述分割后的第I个2维图像信号的分割区域的像素对应的深度预测值；以及深度图像变换部，其通过根据所述移动量而计算所述深度阈值，对所述深度预测值进行所述深度图像变换。
3.根据权利要求I所述的图像显示装置，其特征在于，所述关注区域提取部包括图像分割部，其接收最新帧的第I个左眼用2维图像和第I个右眼用2维图像、以及所述第I个左眼用2维图像和所述第I个右眼用2维图像的前一帧的第2个左眼用2维图像和第2个右眼用2维图像，通过将所述第I个左眼用2维图像、所述第2个左眼用2维图像、所述第I个右眼用2维图像、所述第2个右眼用2维图像分割成在各自的图像中具有共同特征的区域，生成分割后的第I个左眼用2维图像、分割后的第I个右眼用2维图像、分割后的第2个左眼用2维图像和分割后的第2个右眼用2维图像；移动量计算部，其计算所述分割后的第I个左眼用2维图像和所述分割后的第2个左眼用2维图像所对应的分割区域的重心位置、或者所述分割后的第I个右眼用2维图像和所述分割后的第2个右眼用2维图像所对应的分割区域的重心位置的差分值，并将所述差分值作为所述分割后的第I个左眼用2维图像和所述分割后的第I个右眼用2维图像的分割区域所对应的移动量来计算；深度图像计算部，其根据所述分割后的第I个左眼用2维图像与所述分割后的第I个右眼用2维图像的分割区域的视差量，生成所述分割后的第I个左眼用2维图像或者所述第I个右眼用2维图像的分割区域的像素所对应的深度预测值；以及深度图像变换部，其通过根据所述移动量而计算所述深度阈值，对所述深度预测值进行所述深度图像变换。
4.根据权利要求2所述的图像显示装置，其特征在于，通过在将比例常数乘以所述移动量之后，加上对在没有所述移动量的情况下的所述深度值进行表示的预定常数，来进行所述深度阈值的计算。
5.根据权利要求3所述的图像显示装置，其特征在于，通过在将比例常数乘以所述移动量之后，加上对在没有所述移动量的情况下的所述深度值进行表示的预定常数，来进行所述深度阈值的计算。
6.根据权利要求4所述的图像显示装置，其特征在于，在所述移动量超过预定的值的情况下，还使所述比例常数减少。
7.根据权利要求2所述的图像显示装置，其特征在于，所述深度图像变换部，在所述深度值小于所述深度阈值的情况下，不进行所述深度图像变换。
8.根据权利要求I所述的图像显示装置，其特征在于，所述3D图像显示部，包括LED背光源，其用于调整显示画面的亮度；以及背光源控制部，其能够部分地变更所述LED背光源的亮度，且使与所述关注区域以外的区域相应的LED的亮度降低，并且，所述视差图像生成部，在使所述LED的亮度降低的情况下，使所述关注区域以外的区域的灰度等级提闻。
9.根据权利要求I所述的图像显示装置，其特征在于，所述关注区域提取部，包括图像分割部，其接收用于规定第I个2维图像、图像区域的形状信息及面积信息、和深度值之间的关系的查询表，将所述第I个2维图像分割成在所述第I个2维图像中具有共同特征的区域，并生成分割后的第I个2维图像；深度图像生成部，其基于用于规定所述深度值和所述分割区域的形状信息及面积信息之间的关系的查询表，生成深度预测值；以及深度图像变换部，其使用所述深度预测值和预定的所述深度阈值来进行所述深度图像变换。
10.一种图像显示方法，其特征在于，包括关注区域提取步骤，在包含观察者希望关注的区域即关注区域在内的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号，由此提取关注区域；视差图像生成步骤，基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像、和所述2维图像，生成将所述关注区域以外的区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示步骤，用于显示所述左眼用视差图像和所述右眼用视差图像。
11.根据权利要求10所述的图像显示方法，其特征在于，所述关注区域提取步骤包括图像分割步骤，接收最新帧的第I个2维图像和所述第I个2维图像的前一帧的第2个2维图像，将所述第I个2维图像和所述第2个2维图像分割成在所述第I个2维图像和所述第2个2维图像中具有共同特征的分割区域，并生成分割后的第I个2维图像和分害I]后的第2个2维图移动量计算步骤，计算所述分割后的第I个2维图像和所述分割后的第2个2维图像的分割区域的重心位置的差分值，并将所述差分值作为与所述分割后的第I个2维图像的分割区域对应的移动量来计算；深度图像计算步骤，根据与所述分割后的第I个2维图像的分割区域对应的亮度信息，生成与所述分割后的第I个2维图像信号的分割区域的像素对应的深度预测值；以及深度图像变换步骤，通过根据所述移动量而计算所述深度阈值，对所述深度预测值进行所述深度图像变换。
12.根据权利要求10所述的图像显示方法，其特征在于，所述关注区域提取步骤包括图像分割步骤，接收最新帧的第I个左眼用2维图像和第I个右眼用2维图像、以及所述第I个左眼用2维图像和所述第I个右眼用2维图像的前一帧的第2个左眼用2维图像和第2个右眼用2维图像，通过将所述第I个左眼用2维图像、所述第2个左眼用2维图像、所述第I个右眼用2维图像、所述第2个右眼用2维图像分割成在各自的图像中具有共同特征的区域，生成分割后的第I个左眼用2维图像、分割后的第I个右眼用2维图像、分割后的第2个左眼用2维图像和分割后的第2个右眼用2维图像；移动量计算步骤，计算所述分割后的第I个左眼用2维图像和所述分割后的第2个左眼用2维图像所对应的分割区域的重心位置、或者所述分割后的第I个右眼用2维图像和所述分割后的第2个右眼用2维图像所对应的分割区域的重心位置的差分值，并将所述差分值作为所述分割后的第I个左眼用2维图像和所述分割后的第I个右眼用2维图像的分割区域所对应的移动量来计算；深度图像计算步骤，根据所述分割后的第I个左眼用2维图像与所述分割后的第I个右眼用2维图像的分割区域的视差量，生成所述分割后的第I个左眼用2维图像或者所述第I个右眼用2维图像的分割区域的像素所对应的深度预测值；以及深度图像变换步骤，通过根据所述移动量而计算所述深度阈值，对所述深度预测值进行所述深度图像变换。
13.根据权利要求11所述的图像显示方法，其特征在于，所述深度图像变换步骤，通过在将比例常数乘以所述移动量之后，加上对在没有所述移动量的情况下的所述深度值进行表示的预定常数，来进行所述深度阈值的计算。
14.根据权利要求12所述的图像显示方法，其特征在于，所述深度图像变换步骤，通过在将比例常数乘以所述移动量之后，加上对在没有所述移动量的情况下的所述深度值进行表示的预定常数，来进行所述深度阈值的计算。
15.根据权利要求13的图像显示方法，其特征在于，所述深度图像变换步骤，在所述移动量超过预定的值的情况下，还使所述比例常数减少。
16.根据权利要求11所述的图像显示方法，其特征在于，所述深度图像变换步骤，在所述深度值小于所述深度阈值的情况下，不进行所述深度图像变换。
17.根据权利要求10所述的图像显示方法，其特征在于，所述3D图像显示步骤，包括使与用于调整显示画面的亮度的LED背光源的所述关注区域以外的区域相应的LED的亮度降低的步骤，并且，所述视差图像生成步骤，在使所述LED的亮度降低的情况下，使所述关注区域以外的区域的灰度等级提闻。
18.一种计算机可读取的存储介质，存储有构成图像显示装置的计算机所执行的程序，所述程序使计算机执行关注区域提取处理，在包含观察者希望关注的区域即关注区域在内的2维图像中，若使用深度阈值对所述2维图像的各个像素与距视点的距离进行表示的深度值是所述深度阈值以上，则通过将所述深度值变换成2D显示用的深度值的深度图像变换，生成包含所述2维图像的各个像素与3维空间中的视点之间的距离信息在内的深度图像信号；视差图像生成处理，基于所述2维图像和所述深度图像信号，根据从左右各自的视点对所述关注区域上表现的关注区域图像进行变换后的图像、和所述2维图像，生成将所述关注区域以外的区域的视差消除后的左眼用视差图像和右眼用视差图像；以及3D图像显示处理，用于显示所述左眼用视差图像和所述右眼用视差图像。
19.根据权利要求18所述的存储介质，其特征在于，所述关注区域提取处理包括图像分割处理，接收最新帧的第I个2维图像和所述第I个2维图像的前一帧的第2个2维图像，通过将所述第I个2维图像和所述第2个2维图像分割成在所述第I个2维图像和所述第2个2维图像中具有共同特征的分割区域，并生成分割后的第I个2维图像和分割后的第2个2维图像；移动量计算处理，计算所述分割后的第I个2维图像和所述分割后的第2个2维图像的分割区域的重心位置的差分值，并将所述差分值作为与所述分割后的第I个2维图像的分割区域对应的移动量来计算；深度图像计算处理，根据与所述分割后的第I个2维图像的分割区域对应的亮度信息，生成与所述分割后的第I个2维图像信号的分割区域的像素对应的深度预测值；以及深度图像变换处理，如果所述深度预测值是根据所述移动量而算出的所述深度阈值以上，则将所述深度预测值变换到2D显示用的深度值。
20.根据权利要求18所述的存储介质，其特征在于，所述关注区域提取处理包括图像分割处理，接收最新帧的第I个左眼用2维图像和第I个右眼用2维图像、以及所述第I个左眼用2维图像和所述第I个右眼用2维图像的前一帧的第2个左眼用2维图像和第2个右眼用2维图像，通过将所述第I个左眼用2维图像、所述第2个左眼用2维图像、所述第I个右眼用2维图像、所述第2个右眼用2维图像分割成在各自的图像中具有共同特征的区域，生成分割后的第I个左眼用2维图像、分割后的第I个右眼用2维图像、分割后的第2个左眼用2维图像和分割后的第2个右眼用2维图像；移动量计算步骤，计算所述分割后的第I个左眼用2维图像和所述分割后的第2个左眼用2维图像所对应的分割区域的重心位置、或者所述分割后的第I个右眼用2维图像和所述分割后的第2个右眼用2维图像所对应的分割区域的重心位置的差分值，并将所述差分值作为所述分割后的第I个左眼用2维图像和所述分割后的第I个右眼用2维图像的分割区域所对应的移动量； 深度图像计算步骤，根据所述分割后的第I个左眼用2维图像与所述分割后的第I个右眼用2维图像的分割区域的视差量，生成所述分割后的第I个左眼用2维图像或者所述第I个右眼用2维图像的分割区域的像素所对应的深度预测值；以及深度图像变换步骤，若所述深度预测值是根据所述移动量而算出的所述深度阈值以上，则将所述深度预测值变换成2D显示用的深度值。
全文摘要
一种图像显示装置、图像显示方法和存储介质。3D图像由于与2D图像相比具有高的表现力，因此期待今后的普及。但是，与该表现力相反地，用于表现3D图像的数据和耗电会增加。因此，通过将观察者关注的区域的图像即从左右各自的视点对关注区域图像信号进行变换后的图像、和背景图像进行合成，实现仅使观察者关注的区域被3D显示、而关注度低的区域设为原样的2D显示的2D/3D混合显示。其结果是，能够降低3D表现所必需的数据量和耗电。还提供一种图像显示装置，其通过从2D图像自动生成观察者关注的关注区域图像，从而更简便地实现2D/3D混合显示。
文档编号H04N13/00GK102625117SQ201210015080
公开日2012年8月1日 申请日期2012年1月17日 优先权日2011年1月26日
发明者吴荻, 坂本道昭 申请人:Nlt科技股份有限公司