图像处理装置、立体图像显示设备、图像处理方法和图像处理程序的制作方法
【专利摘要】本发明的一方面是无论观看者的位置如何，都尽可能地抑制画质的劣化，并且都使得能够观看到立体图像。提供一种在具有面板和光学孔径的显示装置上显示立体图像的图像处理装置，其包括：视差图像获取单元、观看者位置获取单元以及图像生成单元。所述视差图像获取单元获取至少一个视差图像，视差图像是对于一个视点的图像。所述观看者位置获取单元获取观看者的位置。所述图像生成单元基于观看者相对于显示装置的位置，来校正关于面板与光学孔径之间的对应关系的参数，并基于校正后的参数来生成图像，视差图像的每个像素被分配给该图像，以使得当立体图像显示在显示装置上时该立体图像对于观看者是可见的。
【专利说明】图像处理装置、立体图像显示设备、图像处理方法和图像处理程序
【技术领域】
[0001]本发明的实施例涉及一种图像处理装置、立体图像显示设备、图像处理方法和图像处理程序。
【背景技术】
[0002]立体图像显示设备使得观看者能够用肉眼、而不使用特殊眼镜来观察立体图像。这样的立体图像显示设备显示视点不同的多个图像(在下文中，这些图像中的每个图像被称为视差图像)，并且通过例如视差屏障和柱状透镜来控制来自这些视差图像的光线。此时，必须重新布置将显示的图像，以使得当观看者通过视差屏障、柱状透镜等查看所显示的图像时，可以在预期图像各自的预期方向上观察它们。在下文中，该重新布置方法被称为像素映射。因此，通过视差屏障、柱状透镜等以及适合于它们的像素映射而被控制的光线被引导到观看者的双眼。然后，如果观看者的观察位置适当，则观看者可以识别立体图像。观看者可以观察立体图像的这样的区域被称为观看区域。
[0003]然而，存在这样的观看区域具有限制的问题。存在伪立体观看区域，假立体观看区域是这样的观察区域，其中，例如，左眼所感知的图像的视点与右眼所感知的图像的视点相比相对位于右侧，并且立体图像不能被正确地识别。
[0004]照惯例，作为用于根据观看者的位置设置观看区域的技术，已知下述技术:在该技术中，通过某种方式(例如，传感器)来检测观看者的位置，并且根据观看者的位置来交换像素映射之前的视差图像以使得观看区域受到控制。
[0005][专利文献]美国专利N0.6064424
[0006][非专利文献]Image Preparation for3D-LCD
[0007]然而，在按照常规技术交换视差图像时，仅可以离散地控制观看区域的位置，而不能充分使该位置适合于连续移动的观看者的位置。因此，图像的画质根据视点的位置而变化。此外，在移动期间，特别是，在当交换视差图像时等，观看者见到运动图像突然切换，并且感觉到不舒服。这是因为，可以观看到视差图像的位置均预先按照视差屏障或柱状透镜的设计及其与面板的子像素的位置关系而固定，并且无论如何交换视差图像都无法处理与这些位置的偏离。
[0008]本发明的一方面要解决的目的是，无论观看者的位置如何，都尽可能地抑制画质的劣化，并且都使得能够观看到立体图像。
【发明内容】
[0009]根据实施例，提供一种在具有面板和光学孔径的显示装置上显示立体图像的图像处理装置，其包括:视差图像获取单元、观看者位置获取单元以及图像生成单元。
[0010]视差图像获取单元获取至少一个视差图像，视差图像是对于一个视点的图像。
[0011]观看者位置获取单元获取观看者的位置。[0012]图像生成单元基于观看者相对于显示装置的位置，来校正关于面板与光学孔径之间的对应关系的参数，并基于校正后的参数来产生图像，视差图像的每个像素被分配给该图像，以使得当立体图像显示在显示装置上时该图像对于观看者是可见的。
【专利附图】
【附图说明】
[0013]图1是示出根据实施例的包括图像处理装置的立体图像显示设备的构造例的示图；
[0014]图2是示出光学孔径和显示元件的视图；
[0015]图3是示出图1中所示的图像处理装置的处理流程的示图；
[0016]图4是用于说明面板与透镜之间的角度、像素映射和各个术语的意义的视图；
[0017]图5是用于说明关于面板与光学孔径之间的对应关系的参数与观看区域之间的关系的视图；以及
[0018]图6是示出其中原点被设置为面板中心的“X”、“Y”、“Z”坐标空间的视图。
【具体实施方式】
[0019]根据本实施例的图像处理装置可以用在使得观看者能够用肉眼观察立体图像的诸如TV、PC、智能电话和数字相框等立体图像显示设备中。立体图像是包括互相具有视差的多个视差图像的图像。观看者通过诸如柱状透镜和视差屏障等光学孔径来观察该图像，从而可以视觉识别立体图像。这里，实施例中所描述的图像可以是静态图像或运动图像。
[0020]图1是示出根据本实施例的立体图像显示设备的构造例的框图。立体图像显示设备包括:图像获取单元1、观看位置获取单元2、映射控制参数计算单元3、像素映射处理单元4以及显示单元(显示装置)5。图像获取单元1、观看位置获取单元2、映射控制参数计算单元3和像素映射处理单元4构成图像处理装置7。映射控制参数计算单元3和像素映射处理单元4构成图像生成单元8。
[0021]显示单元5是用于显示立体图像的显示装置。将观看者可以观察显示装置所显示的立体图像的范围(区域)称为观看区域。
[0022]在本实施例中，如图6中所示，在实空间中，原点被设置为面板的显示面(显示器)的中心，并且“x”、“Y”和“Z”轴分别被设置为显示面的水平方向、垂直方向和法向方向。在本实施例中，高度方向是指“Y”轴方向。然而，实空间中的坐标设置方法不限于此。
[0023]如图2Α中所示,显示装置包括显示元件20和孔径控制单元26。观看者通过经由孔径控制单元26观察显示元件20来视觉识别显示在显示装置上的立体图像。
[0024]显示元件20显示用于显示立体图像的视差图像。显示元件20的例子包括二维直观式显示器，诸如有机电致发光(有机EL)、液晶显示器(IXD)、等离子体显示面板(rop)和投影显示器。
[0025]显示元件20可以具有已知构造。例如，用于RGB的各种颜色的子像素分别按矩阵布置，在该矩阵中，RGB构成一个像素(在图2A中，作为显示元件20的每个小矩形表示RGB子像素)。在这种情况下，排列在第一方向上的各RGB颜色的子像素分别构成一个像素，并且在垂直于第一方向的第二方向上按视差的数量排列的相邻像素构成像素组。显示在像素组上的图像被称为要素图像30。第一方向是例如列方向(垂直方向或“Y”轴方向)，第二方向是例如行方向(水平方向或“X”轴方向)。关于显示元件20的子像素的布置，可以允许利用其它已知布置。此外，子像素不限于RGB的三种颜色。例如，可以利用四种颜色。
[0026]孔径控制单元26使从显示元件20向前辐射的光线通过孔径在预定方向上发射(在下文中，具有这样的功能的孔径被称为光学孔径)。光学孔径26的例子包括柱状透镜
和视差屏障。
[0027]光学孔径被布置为与显示元件20的每个要素图像30相对应。一个光学孔径与一个要素图像相对应。在显示元件20上显示多个要素图像30时，显示元件20显示与多个视差方向相对应的视差图像(多视差图像)。来自该多视差图像的光线通过各自的光学孔径。然后，位于观看区域中的观看者33通过左眼33A和右眼33B观察要素图像30中所包括的像素。因此，视差不同的图像分别向观看者33的左眼33A和右眼33B显示，从而观看者33可以观察到立体图像。
[0028]在本实施例中，如图2B的平面图和图4A的透视图中所示，光学孔径26被设置为平行于面板的显示面，并且在光学孔径的延伸方向与显示元件20的第一方向(“Y”轴方向)之间存在预定倾斜“ Θ ”。
[0029]下面将详细描述图1中所示的立体图像显示设备的每个块。
[0030][图像获取单元I]
[0031]图像获取单元I根据想要显示的视差图像的数量(视差的数量)来获取一个或多个视差图像。视差图像从存储介质获取。例如，视差图像可以从预先存储视差图像的硬盘、服务器等获取。可替代地，图像获取单元I可以被构造为直接从输入装置获取视差图像，输入装置诸如相机、多个相机彼此连接的相机阵列以及立体相机等。
[0032][观看位置获取单元2]
[0033]观看位置获取单元2获取在观看区域中观看者的实空间位置作为三维坐标值。可以例如通过使用图像拍摄装置来获取观看者的位置，图像拍摄装置诸如可见光相机和红外相机、或诸如雷达和传感器等其它装置。使用已知技术来根据通过这些装置获得的信息(在相机的情况下为所拍摄的图像)获取观看者的位置。
[0034]例如，在使用可见光相机的情况下，通过对于通过图像拍摄而获得的图像的图像分析，检测观看者，并计算观看者的位置。从而，观看位置获取单元2获取观看者的位置。
[0035]在使用雷达的情况下，通过对所获得的雷达信号执行信号处理，检测观看者，并计算观看者的位置。从而，观看位置获取单元2获取观看者的位置。
[0036]在人类检测和位置计算中的观看者的检测中，可以检测使得能够判断是否是人类的任何对象，诸如脸部、头部、整个人体和标记等。可以检测观看者的眼睛的位置。这里，获取观看者的位置的方法不限于上述方法。
[0037][像素映射处理单元4]
[0038]像素映射处理单元4基于控制参数来重新布置(分配)通过图像获取单元I获取的视差图像的各子像素，控制参数诸如视差的数量“N”、光学孔径相对于“Y”轴的倾斜“ Θ ”、“X”轴方向上光学孔径与面板之间的偏差量“koffset”(关于面板的移位量)、以及与一个光学孔径相对应的面板的一部分的宽度“Xn”等。从而，像素映射处理单元4确定每个要素图像30。在下文中，显示在整个显示元件20上的多个要素图像30被称为要素图像阵列。要素图像阵列是这样的图像，视差图像的每个像素被分配给该图像，以使得立体图像在显示时对于观看者是可见的。
[0039]在重新布置时，首先，计算从要素图像阵列的每个子像素辐射的光线通过光学孔径26发射的方向。对于该计算,例如，可以使用“Image Preparation for3D_LCD”中所描述的方法。
[0040]例如，可以使用下面的公式I来计算光线的发射方向。在该公式中，“sub_x”和“sub_y”分别表示当面板的左上角被设置为基准时子像素的坐标值。“v(SUb_X，SUb_y) ”表示从“SUb_X”、“SUb_y”处的子像素辐射的光线通过光学孔径26发射的方向。
【权利要求】
1.一种图像处理装置，该图像处理装置在具有面板和光学孔径的显示装置上显示立体图像，该图像处理装置包括: 视差图像获取单元，获取至少一个视差图像，所述视差图像是对于一个视点的图像； 观看者位置获取单元，获取观看者的位置；以及 图像生成单元，基于所述观看者相对于所述显示装置的位置，来校正关于所述面板与所述光学孔径之间的对应关系的参数，并基于校正后的参数来生成图像，所述视差图像的每个像素被分配给所述图像，以使得当立体图像显示在所述显示装置上时所述图像对于所述观看者是可见的。
2.根据权利要求1所述的图像处理装置， 其中，所述图像生成单元根据所述观看者在水平方向上相对于所述面板的位置以及所述观看者的观看距离来校正所述参数。
3.根据权利要求2所述的图像处理装置， 还包括映射控制参数计算单元， 其中，所述参数是所述面板与所述光学孔径之间的位置偏差量， 所述映射控制参数计算单元根据所述观看者在水平方向上相对于所述面板的位置以及所述观看者的观看距离来计算补偿量，并且 所述图像生成单元基于所述补偿量来校正所述参数。
4.根据权利要求1-3中的任一项所述的图像处理装置， 其中，所述图像生成单元根据所述观看者在垂直方向上相对于所述面板的位置以及所述光学孔径的宽度来校正所述参数。
5.根据权利要求4所述的图像处理装置， 还包括映射控制参数计算单元， 其中，所述参数表示与一个光学孔径相对应的所述面板的一部分的宽度， 所述映射控制参数计算单元根据所述观看者在垂直方向上相对于所述面板的位置以及所述光学孔径的宽度来计算补偿量，并且 所述图像生成单元基于所述补偿量来校正所述参数。
6.根据权利要求1-5中任一项所述的图像处理装置， 其中，所述观看者位置获取单元通过分析图像拍摄装置所拍摄的图像来识别脸部，并基于在所述图像中识别出的脸部来获取所述观看者的位置。
7.根据权利要求1-5中任一项所述的图像处理装置， 其中，所述观看者位置获取单元通过对检测所述观看者的运动的传感器所检测的信号进行处理，来获取所述观看者的位置。
8.一种图像处理方法，该图像处理方法用于在具有面板和光学孔径的显示装置上显示立体图像，该图像处理方法包括: 获取至少一个视差图像，所述视差图像是对于一个视点的图像； 获取观看者的位置；以及 基于所述观看者相对于所述显示装置的位置，来校正关于所述面板与所述光学孔径之间的对应关系的参数，并基于校正后的参数来生成图像，所述视差图像的每个像素被分配给所述图像，以使得当所述立体图像显示在所述显示装置上时所述图像对于所述观看者是可见的。
9.一种图像处理程序，该图像处理程序用于在具有面板和光学孔径的显示装置上显示立体图像，该图像处理程序使计算机执行如下处理步骤: 获取至少一个视差图像，所述视差图像是对于一个视点的图像； 获取观看者的位置；以及 基于所述观看者相对于所述显示装置的位置，来校正关于所述面板与所述光学孔径之间的对应关系的参数，并基于校正后的参数来生成图像，所述视差图像的每个像素被分配给所述图像，以使得当所述立体图像显示在所述显示装置上时所述图像对于所述观看者是可见的。
10.一种立体图像显示装置，包括: 显示单元，具有面板和光学孔径； 视差图像获取单元，获取至少一个视差图像，所述视差图像是对于一个视点的图像； 观看者位置获取单元，获取观看者的位置；以及 图像生成单元，基于所述观看者相对于所述显示装置的位置，来校正关于所述面板与所述光学孔径之间的对应关系的参数，并基于校正后的参数来生成图像，所述视差图像的每个像素被分配给所述图像，以使得当所述立体图像显示在所述显示单元上时所述图像对于所述观看者是可 见的， 其中，所述显示单元显示所述图像生成单元所生成的图像。
【文档编号】G02B27/22GK103947199SQ201180074832
【公开日】2014年7月23日 申请日期:2011年11月16日 优先权日:2011年11月16日
【发明者】中村德裕, 三田雄志, 下山贤一, 平井隆介, 三岛直 申请人:株式会社东芝