立体影像转换装置及立体影像显示装置的制作方法

专利名称：立体影像转换装置及立体影像显示装置的制作方法
技术领域：
本发明涉及一种立体影像转换装置及包括该装置的立体影像显示装置，该立体影像转换装置能够将影像转换成规定视差量以下的立体影像，并将其显示，而与显示画面尺寸无关。
背景技术：
为使用立体显示装置来进行立体影像的立体观看，需要对左眼和右眼显示与各自的视点相对应的不同的影像。该不同的影像即为根据两眼视差而拍摄到的左右图像，通过分别对观众的双眼入射左右图像，从而能够实现与左右图像的视差量相对应的立体感。
在进行立体观看时，左右图像的视差量是多大程度地感受到从显示面向观众前方侧跳出、或从显示面向内侧方向缩入的较大因素。例如，在跳出到显示装置的前方的情况下，通过较用于左眼的图像更左侧地显示用于右眼的图像，并较用于右眼的图像更右侧地显示用于左眼的图像来实现。此时，左右图像的视差量越大、跳出的量越大。另外，通过使其具有相反的视差量，可以使其显示成向显示装置的显示面内侧缩入。例如，通过较用于左眼的图像更右侧地显示用于右眼的图像，并较用于右眼的图像更左侧地显示用于左眼的图像，能够感受到向显示面内侧方向缩入的立体感。此时，左右图像的视差量越大，向内侧方向的缩入量也越大。另外，在左右图像不具有视差的情况下，看起来好像显示于显示面上。
也就是说，根据所显示的左右图像的视差量，进行立体观看时的纵深发生变化。由于以较大的视差量来进行显示将导致眼睛疲劳，或可能无法融合(融合限制)，因此需要注意所显示的视差量。关于与上述立体显示时的视差量相关的注意事项，提出有由3D协会发行的“3DC安全指南”等。特别地，在向纵深方向缩入而显示的情况下，由于在以观众的瞳孔间距以上的视差来进行显示时，左右眼球面对睁开方向，因此容易导致眼睛疲劳，对此需要注意。这里，在相同的拍摄条件下进行拍摄，并显示所保存的左右图像时，由于因显示装置尺寸的不同而使得视差量有所不同，因此具有在利用大画面来进行收视时、所显示的视差较大的问题。
基于图13、对由于画面尺寸的不同而导致的视差问题进行说明。图13 (A)、(B)分别是表示对画面尺寸不同的立体影像显示装置进行收视的情况的概要图，图中，303表示立体影像显示装置。图13 (A)、(B)中，显示尺寸以外的收视条件相同，两眼间距300的观众X对一起显示相同的左右影像数据的立体影像显示装置303进行收视。图13 (A)中，立体影像显示装置303的画面宽度为Wa，而在图13 (B)中，立体影像显示装置303的画面宽度为Wb，并且具有关系W a <W b。
由于影像数据相同，因此在图13化)中，图13(4)中的左右影像中的目标点3021^、3021 分别被显示于与画面尺寸大小成比例的位置即目标点302L'、302R'上。这里，图13 (A)中，目标点的视差量为视差量da，而在图13 (B)中，由于画面尺寸有所变化，因此与显示画面尺寸相对应地放大显示成视差量db。因此，产生如图13 (B)那样、具有两眼间距300以上的视差的情况。由此，即使左右影像数据相同，以多大的尺寸来进行显示也较为重要。
这里，简单地对拍摄图像的视差进行说明。
对于拍摄左右影像的立体拍摄装置，存在有为使显示立体影像时的立体感发生变化、而使两个拍摄装置的光轴成角度地进行会聚配置的拍摄系统。由此，若将两个拍摄装置进行会聚配置在左右、并使该两个拍摄装置面向内侧，则右侧拍摄装置的拍摄视野与左侧拍摄装置的拍摄视野的关系根据被摄体的纵深而发生改变。在被摄体处于眼前时，右侧拍摄装置的拍摄视野位于右侧，而左侧拍摄装置的拍摄视野位于左侧，但在左右拍摄装置的光轴的交点即会聚点处、右侧拍摄装置的拍摄视野与左侧拍摄装置的拍摄视野相一致。并且，对于处于深处的被摄体，右侧拍摄装置的拍摄视野位于左侧，而左侧拍摄装置的拍摄视野位于右侧，左右关系反转。若使显示装置对右眼显示右侧拍摄装置的图像，而对左眼显示左侧拍摄装置的图像，则观看到眼前的被摄体跳出到显示装置的前方，而会聚点上的被摄体位于与显示装置的显示面相同的位置上，由此，处于深处的被摄体看上去好像比显示装置的显示面要缩入。
在各拍摄装置单体的拍摄条件不发生改变的情况下，根据上述两个拍摄装置的光轴所成的角度即会聚角、会聚点，来规定显示面的位置、视差量。由此，具有如下特征:通过对会聚进行调整，从而易于对所注视的被摄体的纵深感进行调整，另一方面，存在如下问题:在利用产生会聚的拍摄装置拍摄到的图像中，背景等远处被摄体容易产生视差。因此，特别对于利用上述会聚拍摄到的图像而言，需要注意上述所显示的画面图像中的视差量。
关于根据上述显示尺寸来对视差量进行的调整，公开有如下技术，计算左右图像各自对应的区域的视差量，并根据所计算出的视差量来改变由拍摄装置拍摄到的左右图像的水平方向的显示位置即相对位置、来进行显示(例如，参照专利文献I)。由于该专利文献I所记载的技术通过改变所重放的图像的左右相对位置来改变左右图像的视差量，因此可以在各个显示装置的不同显示位置上进行重放，并改变视差量。
现有技术文献 专利文献
专利文献1:日本专利特开平8 — 9421号公报

发明内容
发明所要解决的技术问题 然而，在专利文献I所记载的技术中，若改变左右图像的相对位置、以使得显示器的内侧方向上所显示的被摄体的视差量变小，则在会聚点前方拍摄到的被摄体(显示为跳出到显示器向前)的视差量将急剧增大。另外，相反的，若改变左右图像的相对位置、以使得前方的视差量变小，则存在如下问题，即，在会聚点后方拍摄到的被摄体(显示为向显示器内侧缩入)的视差量将急剧增大。基于图14对该视差量的变化进行简要说明。
图14是示意性地表示使由产生会聚的2个拍摄装置得到的图像的相对位置发生变化时的视差量变化的图。图14中，将2个拍摄装置311L、311R的光学中心分别设为312 L、312 R，并将处于距离Lp的位置上的点P设为会聚点。此时处于距离L 1、L 2的某一点的视差量为314 a、314 b。在改变相对位置、以使得减小背景的视差量的情况下，左右侧的拍摄装置311 L、311 R的光学中心分别变为光学中心313 L ,313 R。
此时，可知:视差量314 a ,314 b分别变为视差量315 a ,315 b，并且在会聚点P的后方有所减少，但在会聚点P的前方增大较多。另外，在进行立体观看时、会聚点P的位置看上去像在显示面上，但通过使左右图像的相对位置发生变化，从而使其在显示面上向点Q的位置(距离Lq)变化。因此，在进行立体观看时，会识别为会聚点的位置发生变化，并且显示面上所显示的被摄体的位置也发生变化，从而使得在进行立体显示时，显示图像中的跳出及缩入的比例不同(视差O的位置发生了较大的变化)。并且，需要计算出各个左右影像的区域的视差量，使得处理量非常大。
本发明是鉴于上述问题而得以完成，其目的在于，提供一种立体影像转换装置及包括该装置的立体影像显示装置，能够在显示立体观看用的影像时，使缩入方向上的视差量为规定的视差以下来进行显示，而不依赖于画面尺寸。
为解决问题所采用的技术方案
为了解决上述问题，本发明的第I技术方案是一种立体影像转换装置，该立体影像转换装置输入视点不同的2个以上的影像，改变该输入的2个以上的影像的会聚角并将其输出，其特征在于，包括:拍摄条件提取部，该拍摄条件提取部提取作为拍摄上述2个以上的影像时的拍摄条件的会聚角转换信息；以及影像转换部，该影像转换部改变拍摄上述2个以上的影像时的会聚角，该影像转换部包括:会聚角修正值计算部，该会聚角修正值计算部基于由上述拍摄条件提取部提取出的会聚角转换信息及显示上述2个以上的影像的显示画面的显示尺寸信息，来计算上述2个以上的影像的最大视差量，并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值；以及会聚角转换处理部，该会聚角转换处理部基于该计算出的会聚角修正值，来生成改变了拍摄上述2个以上的影像时的会聚角的影像。
第2技术方案的特征在于，在第I技术方案中，上述影像转换部包括相对位置转换处理部，该相对位置转换处理部对利用上述会聚角转换处理部生成的影像的相对位置进行转换，使得上述会聚角改变前的会聚点的位置与上述会聚角改变后的会聚点的位置相一致。
第3技术方案的特征在于，在第I或第2技术方案中，上述会聚角转换处理部使会聚角发生改变，以使得上述2个以上的影像的最大视差量减少。
第4技术方案的特征在于，在第I 第3任一个技术方案中，上述预先指定的最大视差量为观众的眼宽间距。
第5技术方案的特征在于，在第4技术方案中，上述观众的眼宽间距为5cm。
第6技术方案的特征在于，在第I或第2技术方案中，上述会聚角转换处理部使会聚角发生改变，以使得上述2个以上的影像的最大视差量增大。
第7技术方案的特征在于，在第I 第6任一个技术方案中，上述拍摄条件提取部还提取拍摄上述2个以上的影像时的基线长信息及视角信息，以作为上述拍摄条件，上述会聚角修正值计算部基于上述显示尺寸信息、上述会聚角信息、上述基线长信息以及上述视角信息，来计算上述2个以上的影像的最大视差量，并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值。
第8技术方案的特征在于，在第I 第7任一个技术方案中，上述拍摄条件提取部从上述2个以上的影像的元数据中提取上述拍摄条件。
第9技术方案的特征在于，在第I 第7任一个技术方案中，上述拍摄条件提取部基于设备信息，参照将该设备信息与上述拍摄条件相关联的表格，来提取上述拍摄条件，其中，该设备信息用于确定分别拍摄上述2个以上的影像的拍摄装置。
第10技术方案是一种立体影像显示装置，该立体影像显示装置包括第I 第9任一个技术方案中的立体影像转换装置。
发明效果
根据本发明，无论利用何种画面尺寸来进行显示，都能减小会聚点的位移及跳出视差的增大，同时还能将缩入方向上的视差量调整到规定的视差量以下来进行显示，因此，不会使观众有眼睛疲劳等负担。
另外，还能在不改变会聚点位置的状态下，将缩入方向上的视差量调整到规定的视差量以下，因此，显示面上所显示的视差O的被摄体位置不发生变化。


图1是表示本发明的立体影像转换装置的简要结构示例的图。
图2是从上方观察利用产生会聚的拍摄装置进行拍摄的情况下的光学系统的简图。
图3是用于对进行会聚配置的2个拍摄装置的视差进行说明的图。
图4是表示显示画面上的视差量的图。
图5是表示视差量与显示宽度的比率、和观看距离的对应关系的一个示例的图。
图6是表示本发明的实施例1所涉及的影像转换部的结构例的框图。
图7是用于对会聚角修正值计算部的处理的一个示例进行说明的流程图。
图8是用于对本发明的实施例1中的会聚角转换处理的概要进行说明的图。
图9是用于将会聚角转换的视差量与改变左右图像的相对位置时的视差量进行比较并说明的简图。
图10是表示本发明的实施例2所涉及的影像转换部的结构例的框图。
图11是用于对本发明的实施例2中的会聚角转换处理及影像相对位置转换处理的概要进行说明的图。
图12是用于对仅使单侧拍摄装置产生会聚角时的会聚角转换处理的概要进行说明的图。
图13是用于对由于画面尺寸的不同而导致的视差问题进行说明的图。
图14是示意性地表示使由产生会聚的2个拍摄装置得到的图像的相对位置发生变化时的视差量变化的图。
具体实施例方式 下面，例举各实施例并参照附图、对本发明所涉及的立体影像转换装置及包括该装置的立体影像显示装置进行说明。
<实施例1>
图1是表示本发明的立体影像转换装置的简要结构示例的图。图1 (A)是显示包含立体影像转换装置的立体影像转换系统的结构例的图，图中，100表示立体影像转换装置，101表示影像输入装置，102表示影像输出装置。另外，图1 (B)是表示立体影像转换装置100的结构例的框图。该立体影像转换装置100包括拍摄条件提取部111、影像转换部112，作为从影像输入装置101获取到的2个以上视点的不同影像的一个示例，对拍摄左右影像时的会聚角进行改变(例如，射影转换等)，并将改变了该会聚角的左右影像输出到影像输出装置102。
另外，输入到影像输入装置101或立体影像转换装置100中的左右影像例如也包含以并排(side by side)方式、在一张影像(一帧)中混有不同视点的影像的情况，只要2个以上视点的不同影像被输入到影像输入装置101或立体影像转换装置100中即可，而2个以上视点的不同影像的传输方法(格式)则可任选。
影像输入装置101例如是立体影像拍摄装置101a、重放装置101b、通信网络IOlc等，该影像输入装置101将带有两眼视差的用于左眼、右眼的影像输入到立体影像转换装置100。立体影像转换装置100的影像转换部112基于指定最大视差量、显示画面的显示尺寸信息以及拍摄条件信息，对从影像输入装置101输入的左右影像进行左右影像的例如投影转换，并生成在预先指定的最大视差量内进行显示的左右影像，而与显示画面尺寸的大小无关。由影像转换部112生成的左右影像被传递给影像输出装置102。影像输出装置102是根据目的而输出来自立体影像转换装置100的左右影像的装置，例如是将左右影像作为立体影像来进行显示的立体影像显示装置102a、保存左右影像的记录装置102b、传输左右影像的通信网络102c等。此外，也可以采用使立体影像显示装置102a包括立体影像转换装置100的结构，使其成为一体。
下面，以输入到立体影像转换装置100的输入影像为由产生会聚的拍摄装置拍摄到的、带有双眼视差的立体观看用的影像的情况为代表示例进行说明。
图2是从上方观察利用产生会聚的拍摄装置进行拍摄时的光学系统的简图。图2中，为了简化在平面上进行标记，并仅对两个拍摄装置中单侧的拍摄装置进行记载。两个拍摄装置201L与210R配置成在基准面202上、间隔为距离Wb，并使得左侧拍摄装置201L处于左侧，而右侧拍摄装置201R处于右侧。
拍摄装置201L、201R产生分别向内侧倾斜的会聚，此时的左侧拍摄装置201L的光学中心为中心轴CL。另外，左侧拍摄装置201L以拍摄视角203进行拍摄，该情况下的拍摄范围的两端为左端204a及右端204b。利用拍摄装置201L进行拍摄的影像中，配置于视角203内(左端204a与右端204b之间的区域)的被摄体被拍摄到。这里，与基准面202相距距离Lo的平面205上存在被摄体0，将穿过被摄体O、与中心轴CL垂直且处于视角端204a、204b的范围内的平面设为206，另外，将与中心轴CL垂直且处于与拍摄装置201L的原点(基准面202与中心轴CL的交点)相距焦点距离f的平面上的假想传感器面设为207，在该情况下，被摄体O成像为传感器面207上的成像点O'。
此时，传感器面207上中心轴CL与成像点O'间的距离w'相对于传感器面207的宽度wc的比率等于平面206上中心轴CL与被摄体O的距离dL相对于平面206的宽度w的比率。这里，将该比率、即相对于距离L ο下的图像宽度的视差比率设为DL，视差比率DL如下式所示。
DL = Wj / w c = d L / w …式(1)
由此，若原封不动地显示利用拍摄装置201L拍摄到的影像，则被摄体O被显示于相对于显示画面宽度W偏离中心(W X DL)的位置上。
这里，同样考虑右边的拍摄装置。图3中，示出了将左右侧的拍摄装置会聚配置以互相面向内侧的状态。与图2相同的标记表示两者相同。图3中，两个拍摄装置201L与201R以距离Wb的间隔进行配置，而对于各拍摄装置的中心轴，拍摄装置201L的为中心轴CL，而拍摄装置201R的为中心轴CR。两个中心轴CL与CR的交点为会聚点P，从基准面202到会聚点P为止的距离为会聚点距离Lp，光轴CL与CR所成的角为会聚角Θ。这里，若在与基准面202相距距离Lo处存在被摄体0，则与图2的说明相同，相对于2个拍摄装置的拍摄图像中的被摄体O的图像宽度的视差比率DL、DR利用穿过被摄体O且分别处于与光轴垂直的面上的距离dL、dR被表示为:
D L = d L / w L …式(2)
D R= d R / w R …式(3)
这里，wL、wR与上述的图2的w相对应,相当于穿过各个摄像机的点O、与光轴垂直且处于拍摄视角内的宽度。
并且，在将利用两个拍摄装置拍摄到的图像作为立体观看用的图像来进行显示时，根据图4所示的显示画面400上的示例，被摄体O在拍摄装置201L的图像中被显示成0L，而在拍摄装置201R的图像中被显示成OR，S卩、在左右图像上显示于不同的位置上。此时、将显示上的视差量设为视差量d。视差量d由视差比率DL、DR所对应的视差总和决定，例如，在显示画面400的画面宽度为W的情况下，如下式所示:d =(D L + D R) X W…式(4)
也就是说，由此可知，以画面宽度W来显示存在于距离Lo上的被摄体O时，以视差量d来进行显示。其中，这里，对原封不动地显示来自拍摄装置的获取图像的情况进行说明。在对左右影像进行剪切等的情况下，需要根据剪切位置或尺寸来进行修正。在该情况下，以光学中心与剪切中心的位置或剪切尺寸的比率为系数、来对视差量d进行修正。另外，由于产生会聚，因此基准面202不平行于与各拍摄装置的光轴垂直的平面，但在为了修正由会聚角导致的左右影像间的失真而将其修正到同一平面上时，输入影像可以是转换到平行于基准面202的面上的图像。在该情况下，可以根据转换参数来修正视差量d。另外，严格而言，拍摄装置201的传感器具有像素，因此，像素被摄体的成像点O '被成像为处于传感器面207上的某个像素。因此，根据像素间距或尺寸并以像素为单位来进行位移，然而由于位移量极小，因此这里抛开像素的概念来进行说明。
接下来，对会聚角所对应的远景的最大视差进行说明。
在通常的影像中，包含有视差量较大的被摄体及视差量较小的被摄体，例如，如果输入影像中所包含的某个被摄体的视差量与显示画面宽度W的比为t %，则显示装置所显示的视差量为显示画面宽度W的t %，S卩、视差量为W X t / 100。这里，利用示例对被摄体距离与视差的对应关系进行说明。例如，在上述图3中，在将拍摄装置的间隔Wb设为65 mm,将拍摄装置的视角设为52度，并将会聚角Θ设为2.5度时，到会聚点的距离约为1.5m，从而使1.5m以后的远处的被摄体具有缩入方向的视差。在上述拍摄条件中，在使被摄体O的距离Lo的值从会聚点变化到远处的情况下，被摄体O处的视差量与画面宽度的比率如何变化如图5所示。如图5所示，在被摄体O处于无限远处时，视差量与显示画面宽度的比率收敛于固定值约4.5%。在该情况下，例如在显示画面宽度为132.9 cm的影像显示装置上进行显示时，最大视差量为132.9X4.5 / 100 ^ 6.0 c m，其大于儿童的平均眼宽间距5cm。
一般的，从2个拍摄装置获得的远处的视差比率在无限远处收敛，而该收敛值也会根据拍摄装置间的会聚角或基线长、拍摄装置的视角发生变化。例如，若将2个拍摄装置的视角设为相同值Θ V，并且2个拍摄装置的光轴所成的角度在垂直于平面202的面上等分，则在O处于无限远处时，可以利用拍摄装置的视角Θ V及2个会聚角Θ近似地将被摄体O的视差比率D L + D R表不成下式:
D L + D α X (T a η ( θ / 2) / T a η ( θ ν / 2))…式(5)
这里，α是由摄像机配置或摄像机参数所决定的、不依赖于视角及会聚角的系数。也就是说，最大视差比率的收敛值能够利用会聚角Θ和拍摄装置的视角θ ν来表示。其中，这里，对于无限远处LO来说，基线长为非常小的值。另外，在Θ为O的情况下，即在平行地配置2个拍摄装置的情况下，无限远处的视差比率收敛于O。
若将上述收敛值设为远处的最大视差比率X，则在利用画面宽度为W的显示器显示采用会聚结构拍摄到的影像的情况下，作为缩入方向的视差，有时将产生最大为W X X /100的视差。在如上述那样进行立体观看时，需要将缩入方向的视差抑制到某个规定值以下来进行显示，例如，使缩入方向的视差在观众的眼宽间距以下。由此，可以根据拍摄条件信息来计算最大视差比率X，另外，也可以说作为其对象的图像中、不具有超过所得到的最大视差比率的视差，因此，能够通过将左右影像的最大视差量的比率X作为基准，来规定所显示的最大视差量。如图5所示，一般的，由于视差比率相对于距离急剧增大，因此在用户利用产生会聚的拍摄装置来进行拍摄时，远处的被摄体进入背景的情况较多，使得在体验图像的立体感时、背景的视差成为接近于最大视差比率X的视差的可能性较大，由此即使视作左右影像的最大视差为w X X / 100、也问题不大。因此，本发明中，通过将左右影像的最大视差量的比率X作为基准来进行整个画面的视差量控制。
拍摄条件提取部111提取用于计算上述左右影像的最大视差比率的拍摄条件。具体而言，对被输入的左右影像，获取表示拍摄装置的位置关系的参数及拍摄装置的摄像机参数，并将转换所需的信息即会聚角转换信息移交给影像转换部112。提取基线长信息以作为表示拍摄装置的位置关系的参数，该基线长信息表示拍摄到左右影像的2个拍摄装置的光轴间的角度即会聚角信息、或2个拍摄装置的间距(即、2个拍摄装置的光学中心的间距)。也可以根据到会聚点为止的距离信息及基线长来计算该会聚角。另外，提取表示拍摄装置的拍摄范围的视角信息及拍摄分辨率以作为拍摄装置的摄像机参数。也可以通过使用拍摄装置的焦距及传感器尺寸信息来计算视角信息。
作为提取表示上述拍摄装置间的位置关系的参数、或表示各个摄像机拍摄条件的参数的一个方法，考虑从记录左右影像的影像文件的元数据中提取的方法。例如，在静止画面的情况下，保存左右图像的文件格式为经过普通社团法人相机与影像产品协会(CIPA:Camera&Imaging Products association)标准化的“ C I PADC- 007 多图像格式(ΜPF =Mult1-Picture Format)”，在上述文件中存在有将基线长信息或会聚角信息输入元数据的区域。从而能够从上述文件的元数据提取出必需的参数。拍摄视角等拍摄装置的光学信息可以通过各图像的E X i f数据来进行提取。例如，也可以根据拍摄图像的E X if数据中的、拍摄时的焦距信息或图像尺寸、像素密度信息等来求出视角。对于拍摄视角，若以3D显示时的视角为基准来进行剪切等，则需要对剪切尺寸进行修正。

如果无法从元数据得到所需信息，则也可以通过基于确定拍摄左右影像的拍摄装置的设备信息，参照如下表格来获取会聚角信息等所需的参数，该表格将该设备信息、与表示位置关系的参数或表示各个摄像机的拍摄条件的参数相关联。例如，拍摄条件提取部111也可以保持有拍摄装置的设备信息(设备的固有设备名等)、以及与上述各参数相关联的参数参照表。若拍摄条件提取部111获取到拍摄左右影像的拍摄装置的设备名，则从参数参照表提取出与该设备名相对应的参数。此外，设备名能够从图像文件的E X i f获取、或者在利用HDMI (High Definition Multimedia Interface:高清晰度多媒体接口)进行连接时从EDID (Extended Display Identification Data:扩展显示标识数据)等获取。设备名及参数也可以利用网络或广播波等来进行更新。另外，对于参数参照表，设其保持于拍摄条件提取部111中而进行了说明，然而，该表也可以处于外部，采用通过网络来进行参照的方法。将如上述那样由拍摄条件提取部111得到的用于转换的参数输出给影像转换部112。
接下来，对显示尺寸信息进行说明。这里的显示尺寸信息表示对从影像转换部112输出的左右影像进行显示的显示画面的画面尺寸，是与实际进行显示的画面宽度相关的信息。在与立体影像显示装置102a相连接的情况下，从立体影像显示装置102a获取显示画面尺寸，另外，在保存到记录装置102b、或输出到通信网络102c的情况下，使其为所假定的显示画面尺寸。所假定的显示画面尺寸例如也可以采用由用户指定的方法等。由此，从立体影像显示装置102a获取到的或由用户指定的显示尺寸信息被输入到立体影像转换装置100的影像转换部112。
接下来，对指定最大视差量进行说明。指定最大视差量是在进行立体显示时、实际显示的缩入方向上的最大视差量的值，即观众在观看显示画面时所目测到的视差量(实际值)。例如，若缩入方向上的视差量在眼宽间距以上，则容易成为眼睛疲劳的原因，因此，将最大视差量设定为观众的眼宽间距以下。对于观众的眼宽间距，一般来说，成人为65mm，儿童为50_。因此，优选为，将儿童观众也考虑在内，将指定最大视差量设定为儿童的平均眼宽间距即50mm以下。因此，在作为指定最大视差量而指定例如50mm的情况下，在与显示尺寸信息相对应的尺寸下、对输出影像进行立体显示时，以缩入方向上的视差为50mm以下来进行显示。此外，这里将指定最大视差量指定为50_，但也可以由用户适当地进行指定，从而能够以将用户的喜好、个人差异考虑在内的视差量进行显示。由此指定的指定最大视差量被输入到立体影像转换装置100的影像转换部112。
[影像转换部]
图6是表示本发明的实施例1所涉及的影像转换部112的结构例的框图。影像转换部112包括会聚角修正值计算部112a以及会聚角转换处理部112b，该会聚角修正值计算部112a基于由拍摄条件提取部111提取出的会聚角转换信息及显示左右影像的显示画面的显示尺寸信息，来计算左右影像的最大视差量，并计算使所计算出的最大视差量变为预先指定的指定最大视差量以下的会聚角修正值，而该会聚角转换处理部112b基于由会聚角修正值计算部112a计算出的会聚角修正值来生成改变了拍摄左右影像时的会聚角的影像。
即，影像转换部112根据从拍摄条件提取部111输入的左右影像的会聚角转换信息、以及显示左右影像的显示画面的显示尺寸信息，来计算向显示装置的显示画面内侧缩入的方向上的最大视差量，并判定所计算出的最大视差量是否超过指定最大视差量。在超过的情况下，生成对左右影像的会聚角进行调整后的影像，并将其输出，使得向显示装置的显示画面内侧缩入的方向上的最大视差量为指定最大视差量以下的视差量。另外，在所计算出的最大视差量未超过指定最大视差量的情况下，直接输出左右影像。
[会聚角修正值计算部]
接下来，基于图7的流程图来说明会聚角修正值计算部112a的处理的一个示例。会聚角修正值计算部112a将左右输入影像的会聚角转换信息及显示左右输入影像的显示装置的显示尺寸信息输入，并计算出向显示装置的显示画面内侧缩入的方向上的最大视差量(步骤SI)。然后，判定所计算出的最大视差量是否超过由最大视差量信息所示的指定最大视差量(步骤S2)。在超过指定最大视差量的情况下(是的情况下)，对各左右输入影像计算用于调整会聚角的会聚角修正值，使得向显示装置的显示画面内侧缩入的方向上的左右输入影像的最大视差量为指定最大视差量以下(步骤S3)。另外，在步骤S2，在未超过指定最大视差量的情况下(否的情况下)，将左右输入影像的会聚角修正值均置零(步骤S4)。然后，将所计算得出各左右输入影像的会聚角修正值输出到会聚角转换处理部112b。
如上所述，对步骤SI中的输入图像所对应的最大视差量进行的计算中，使用从拍摄条件提取部111接收到的会聚角信息或拍摄视角信息等会聚角转换信息来计算输入图像的最大视差比率X。在该情况下，由于从显示尺寸信息中得到显示画面的宽度W，因此在以该显示尺寸对输入图像进行显示的情况下，最大视差量d为d =W X X / 100。接下来，在步骤S2中，与输入的指定最大视差量d ’进行比较，在d > d ’的情况下，在S3中计算修正值，以达到指定最大视差量以下。这里，为了使视差量变为d ’，需要转换会聚角，使得修正后的视差比率X’为X’ =d’ /W XlOO (%)0在拍摄视角不变的情况下，能够利用会聚角来规定最大视差比率，因此，若设在最大视差比率为X的情况下的会聚角为Θ，在最大视差比率为X ’的情况下的会聚角为Θ ’，则将会聚角的变化量Λ Θ = Θ ’ 一 Θ所对应的各左右输入影像的会聚角修正值输出到会聚角转换处理部112b。
在本示例中，例如将指定最大视差量设为5 c m,将从显示尺寸信息得到的显示画面宽度设为101.8 c m，在该情况下，在根据输入图像的最大视差比率及显示图像宽度101.8cm计算出的视差量超过5cm时，需要进行转换。转换后的最大视差比率X ’根据X ’ =50 / 1018X 100求出，在该情况下，X ’ =4.9%。通过上述式(5)计算出该情况下的会聚角Θ ’，并分别求出与从拍摄条件提取部111得到的会聚角Θ的差分Λ Θ所对应的左右图像的会聚角修正值。例如，在左右侧的拍摄装置以相同的会聚角来进行配置的情况下，左右图像的会聚角修正值为Λ Θ / 2。
[会聚角转换处理部]接下来，对会聚角转换处理部112b进行说明。会聚角转换处理部112b基于由会聚角修正值计算部112a计算出的各左右输入影像的会聚角修正值，来对被输入的左右影像进行转换，并输出对会聚角进行了转换的左右影像，以使得最大视差量为指定最大视差量以下。
下面，基于图8对会聚角转换的图像转换处理进行说明。首先作为基本模型、以不产生会聚的平行配置向产生会聚的配置进行转换为例，对会聚角转换进行阐述。在左侧拍摄装置201L及右侧拍摄装置201R通过平行法来拍摄立体图像时，进行设置使得各拍摄装置的光轴与基线Wb垂直。若设平行法的情况下的左右侧拍摄装置的光轴为ZppZ p R，则各光轴平行。另外，在左右侧拍摄装置通过交叉法来拍摄立体图像时，左右侧拍摄装置的光轴具有相交的点(以下称作交点)。设穿过该交点、与平行法的情况下的左右侧拍摄装置的光轴Zp^ Zpr平行的轴为Z C。
这里，为了在左侧拍摄装置201L处产生会聚角、以使得交点位于图8所示的ZC轴上的点P的位置，使光轴Z “以光学中心O α为中心向纸面右侧旋转Θ LO同样的，为了在右侧拍摄装置201R处产生会聚角，使光轴Zpr以光学中心OcjrS中心向纸面左侧旋转Θ R。旋转后的左侧拍摄装置201L的三维坐标系能够表示成以Z。L为光轴(Z轴)、以X α为X轴、以图8的纸面内侧为Y轴。同样的，旋转后的右侧拍摄装置201R的三维坐标系能够表示成以Z为光轴(Z轴)、以XcjkSX轴、以图8的纸面内侧为Y轴。若使用左侧拍摄装置201L的会聚角分量Θ L及右侧拍摄装置201R的会聚角分量Θ R来表示交点P的会聚角Θ，则如下式那样能够以Θ匸与Θ R的和来进行表示。
Θ = Θ L+ Θ R…式(6)
接下来，对本实施例中的会聚角的转换方法进行详细说明。对于左侧拍摄装置201L及右侧拍摄装置201R各自的三维坐标系，通过以各自的Y轴为中心进行旋转能够转换会聚角。左侧拍摄装置201L以光学中心O u为中心将光轴Zt^向纸面左侧旋转一 Θ &。同样地，右侧拍摄装置201R以光学中心O。κ为中心将光轴Z u向纸面右侧旋转Θ yRO
旋转后(会聚角转换后)的左侧拍摄装置201L的三维坐标系中，光轴(Z轴)变为Z cLr，X轴变为XeJ，￥轴变为图8的纸面内侧。同样地，右侧拍摄装置201R的三维坐标系中，光轴(Z轴)变为Z ，X轴变为X。/，￥轴变为图8的纸面内侧。通过转换会聚角，从而使转换前的交点P移动到P'。交点Pf的左侧拍摄装置201L的会聚角分量Θ及右侧拍摄装置201R的会聚角分量Θ /可以如下那样进行表示。
Θ L' = Θ L— Θ yL…式(7)
0R' = θ R— θ yR …式(8) 此外，Θ ^及Θ ^相当于会聚角修正值。
并且，交点P'的会聚角Θ '可以用θ J与θ /的和进行表示。
θ , = Θ + Θ R,…式(9)[生成会聚角转换图像]
接下来，对将以P为交点、以Θ为会聚角拍摄到的图像转换成以P'为交点、以Θ'为会聚角的图像的方法进行说明。以拍摄装置的三维坐标系的Y轴为中心、使三维上的点X= [XxXyXz] τ进行旋转得到的点X' =[x’ Xx’ yx’ ζ] τ可以利用由下式(10)所示的Y轴旋转式来进行表示。
X ' =RX …式(10)
[数学式I]
权利要求
1.一种立体影像转换装置，该立体影像转换装置输入视点不同的2个以上的影像，改变该输入的2个以上的影像的会聚角并将其输出，其特征在于，包括: 拍摄条件提取部，该拍摄条件提取部提取作为拍摄所述2个以上的影像时的拍摄条件的会聚角转换信息；以及 影像转换部，该影像转换部改变拍摄所述2个以上的影像时的会聚角， 该影像转换部包括:会聚角修正值计算部，该会聚角修正值计算部基于由所述拍摄条件提取部提取出的会聚角转换信息及显示所述2个以上的影像的显示画面的显示尺寸信息，来计算所述2个以上的影像的最大视差量，并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值；以及会聚角转换处理部，该会聚角转换处理部基于该计算出的会聚角修正值，来生成改变了拍摄所述2个以上的影像时的会聚角的影像。
2.如权利要求1所述的立体影像转换装置，其特征在于， 所述影像转换部包括相对位置转换处理部，该相对位置转换处理部对利用所述会聚角转换处理部生成的影像的相对位置进行转换，使得所述会聚角改变前的会聚点的位置与所述会聚角改变后的会聚点的位置相一致。
3.如权利要求1或2所述的立体影像转换装置，其特征在于， 所述会聚角转换处理部使会聚角发生改变，以使得所述2个以上的影像的最大视差量减少。
4.如权利要求1至3任一项所述的立体影像转换装置，其特征在于， 所述预先指定的最大视差量为观众的眼宽间距。
5.如权利要求4所述 的立体影像转换装置，其特征在于， 所述观众的眼宽间距为5cm。
6.如权利要求1或2所述的立体影像转换装置，其特征在于， 所述会聚角转换处理部使会聚角发生改变，以使得所述2个以上的影像的最大视差量增大。
7.如权利要求1至6任一项所述的立体影像转换装置，其特征在于， 所述拍摄条件提取部还提取拍摄所述2个以上的影像时的基线长信息及视角信息，以作为所述拍摄条件，所述会聚角修正值计算部基于所述显示尺寸信息、所述会聚角信息、所述基线长信息以及所述视角信息，来计算所述2个以上的影像的最大视差量，并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值。
8.如权利要求1至7任一项所述的立体影像转换装置，其特征在于， 所述拍摄条件提取部从所述2个以上的影像的元数据中提取所述拍摄条件。
9.如权利要求1至7任一项所述的立体影像转换装置，其特征在于， 所述拍摄条件提取部基于设备信息，参照将该设备信息与所述拍摄条件相关联的表格，来提取所述拍摄条件，其中，该设备信息用于确定分别拍摄所述2个以上的影像的拍摄>j-U ρ α装直。
10.一种立体影像显示装置，其特征在于， 该立体影像显示装置包括权利要求1至9任一项所述的立体影像转换装置。
全文摘要
本发明提供一种立体影像转换装置，该立体影像转换装置在显示立体观看用的影像时，能够使缩入方向上的视差量为规定视差以下来进行显示，而不依赖于画面尺寸。立体影像转换装置(100)包括拍摄条件提取部(111)，该拍摄条件提取部(111)提取作为拍摄左右影像时的拍摄条件的会聚角转换信息；以及影像转换部(112)，该影像转换部(112)改变拍摄左右影像时的会聚角。影像转换部(112)包括会聚角修正值计算部，该会聚角修正值计算部基于由拍摄条件提取部(111)提取出的会聚角转换信息及显示左右影像的显示画面的显示尺寸信息，来计算左右影像的最大视差量，并计算使所计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值；以及会聚角转换处理部，该会聚角转换处理部基于所计算出的会聚角修正值，来生成改变了拍摄左右影像时的会聚角的影像。
文档编号G06T1/00GK103181175SQ20118004911
公开日2013年6月26日 申请日期2011年10月6日 优先权日2010年10月12日
发明者有田真一, 紫村智哉 申请人:夏普株式会社