专利名称：显示控制装置、方法及程序的制作方法
技术领域：
本公开文件涉及显示控制装置、方法及程序，更具体地涉及能够减少用于显示多视点图像的显示器的功率消耗的显示控制装置和方法，以及程序。
背景技术：
在相关技术中，已经公开了在不带特别镜片的情况下能够通过视差屏障系统(parallax barrier system)、双面凸透镜系统等来显示立体图像的显示装置。如上所述，在能够显示立体图像而无需特别镜片(也就是说能够实施裸眼立体视觉)的显示装置中，ー些装置可以检测观看立体图像的观看者的头部位置并执行用于改变立体视觉范围的控制(例如，參见日本专利申请公开No. 2002-300610和日本专利申请公开 No.10-333092)。
发明内容
然而，在能够实施裸眼立体视觉的显示装置中，左眼图像和右眼图像(即双视点图像)被显示为分别由观看者的左眼和右眼观看。在能够在等于或大于三视点的多视点实施裸眼立体视觉的显示装置中，要被观看的左眼图像和右眼图像根据观看者的视点(位置)来改变。然而，用于不被观看的图像的功率消耗是浪费的。鉴于以上描述，需要減少用于显示多视点图像的显示器的功率消耗。根据本公开文件，提供了控制用于显示多视点图像的图像显示装置的显示控制装置，所述显示控制装置包括位置确定单元，被配置为确定用户的位置；图像确定单元，被配置为基于由位置确定单元确定的用户的位置来从所述多视点图像中确定由用户认知的视点处的图像；以及显示控制单元，被配置为进行控制以显示由图像确定单元确定的所述图像。图像显示装置可以包括被配置为以像素为单位发光的发光元件。显示控制単元可以进行控制以使与图像确定单元确定的图像相对应的发光元件发射光，由此进行控制以显示图像。位置确定单元可以基于所述用户的位置的变化来计算用户的移动距离。图像确定単元可以根据由位置确定单元计算出的用户的移动距离来确定由用户认知的两个或更多个视点处的图像。图像显示装置可以显示包括多视点图像的立体图像。根据本公开文件，提供一种对用于显示多视点图像的图像显示装置进行控制的显示控制装置的显示控制方法，该显示控制方法包括确定用户的位置；基于在确定用户的位置步骤中确定的用户的位置来从多视点图像中确定由用户认知的视点处的图像；以及进行控制以显示在确定图像的步骤中确定的图像。根据本公开文件，提供一种使计算机执行显示控制装置的显示处理的程序，所述显示控制装置对用于显示多视点图像的图像显示装置进行控制，其中所述程序使所述计算机执行包括以下步骤的处理确定用户的位置；基于在确定用户的位置步骤中确定的用户的位置来从多视点图像中确定由用户从用户的位置处认知的视点处的图像；以及进行控制以显示在确定图像的步骤中确定的图像。根据本公开文件的实施例，确定了用户的位置，在图像显示装置上显示的多视点图像中基于用户的被确定的位置确定了由用户认知的视点处的图像，并进行控制以显示所确定图像。根据本公开文件的实施例，可以减少用于显示多视点图像的显示器的功率消耗。
图I是示出根据实施例的采用本公开文件的多视点图像显示系统的外观配置的图；图2是用于说明视差屏障系统的图；
图3是用于说明视差屏障系统的图；图4是示出图像显示装置的功能配置示例的框图；图5是用于说明显示器显示控制处理的流程图；图6是用于说明设置给显示器的坐标系的图；图7是用于说明用户所认知的输入图像的图；以及图8是计算机硬件的配置示例的框图。
具体实施例方式下文中，參照附图详细描述本公开文件的优选实施例。注意在该说明书中和附图中，用相同的标记表示具有基本相同功能和结构的结构部件，并且省略对这些结构部件的重复描述。下文中，參照附图描述本公开文件的实施例。此外，按以下顺序进行描述。I.多视点图像显示系统的外观配置2.视差屏障系统的描述3.图像显示装置的功能配置4.显示器显示控制处理〈I.多视点图像显示系统的外观配置〉图I是示出根据实施例的采用本公开文件的多视点图像显示系统的外观配置的图。图I的多视点图像显示系统I显示多个视点图像，即，多视点图像，由此向用户2提供立体图像。用户2可以观看与用户2相对于多视点图像显示系统I的位置相对应的立体图像。此处，多视点是等于或高于三个视点的视点。多视点图像显示系统I包括图像再现装置11、立体摄像机12以及图像显示装置13。图像再现装置11再现多视点图像，由此把多视点图像输入到图像显示装置13。当多视点图像的数量为N吋，S卩，当再现N个视点图像吋，N个视点图像例如可以是由N个数码摄像机拍摄的图像，或通过对小于N个的数码摄像机拍摄的图像进行插值而获得的图像。
摄像机12包括布置在左侧和右侧的两个摄像机，并且在预定时间对作为对象的用户2进行成像以向图像再现装置11提供通过成像结果而获得的两个图像(摄像机图像)。图像显示装置13例如包括电视接收机等等。图像显示装置13具有包括以像素为単位进行发光的发光元件(比如有机电子发光(EL)元件)的显示器并通过视差屏障系统显示来自图像再现装置11的多视点图像。此外，基于来自立体摄像机12的两个摄像机图像，图像显示装置13通过立体匹配方法来确定用户2相对于图像显示装置13的深度方向的位置。也就是说，根据立体匹配方法，通过区域相关的算术运算来计算与右摄像机拍摄的摄像机图像的一部分相对应的、由立体摄像机12的左摄像机拍摄到的摄像机图像的位置，并使用基于这两个图像之间的对应关系的三角測量原理，从而计算用户2在深度方向上的位置。
然后，图像显示装置13控制构成显示器的发光元件(有机EL元件)的发光，以使得根据用户2在深度方向上的位置而在显示器上显示的多视点图像中仅显示位于用户2所认知的视点处的图像。<2.视差屏障系统的描述〉例如，当图像显示装置13显示4个视点图像时，与四个视点图像对应的标号为“I”至IJ“4”的发光元件(下文中称为发光元件“ I”到“4”)在图像显示装置13的显示器中发光，如图2所示。在显示器中，在发光元件的前侧(用户2侧)提供了具有在竖直方向上的缝隙的视差屏障，在用户的视点“ I ”到“4”中的两个彼此相邻的视点处捕获发光元件的透过视差屏障的缝隙的光，从而可以观看立体图像。此时，图像显示装置13使得与未被用户2认知的视点处的图像相对应的发光元件被视差屏障阻挡，并防止与在用户的视点处捕获不到的光相对应的发光兀件发光。具体地，如图3所示，当用户2的左眼对应于视点“2”而用户2的右眼对应于视点“3”时，在用户的视点处捕获不到图2中的发光元件“I”和“4”的光。因此，在这种情况下，图2中的发光元件“2”和“3”被控制为发光，而图2中的发光元件“I”和“4”被控制为不发光。<3.图像显示装置的功能配置〉接下来，參照图4描述图I的多视点图像显示系统I中的图像显示装置13的功能配置示例。下文中，假设图像再现装置11再现9个视点图像，这些再现的图像被输入到图像显示装置13中作为输入图像I至9。图4的图像显示装置13包括位置确定单元31、输入图像确定单元32、显示控制单元33和显示器34。位置确定单元31从立体摄像机12获取摄像机图像，基于摄像机图像通过上述立体匹配方法确定用户2相对于图像显示装置13在深度方向的位置。输入图像确定单元32从图像再现装置11接收输入图像I至9，确定由用户2认知的视点处的输入图像，也就是说，基于由位置确定单元31确定的用户2的位置从输入图像I至9中确定要输出到显示器34的输入图像。
显示控制单元33控制显示器34的显示以使得由输入图像确定单元32确定的输入图像被显示在显示器34上。显示器34包括以像素为单位来发光的自发光元件，比如有机EL元件，并在显示控制単元33的控制下通过视差屏障系统显示由输入图像确定单元32从来自图像再现装置11的九个视点的输入图像I至9中确定的输入图像。具体地，在显示器34中，与输入图像确定单元32确定的输入图像相对应的有机EL元件的光发射是由显示控制単元33控制的。此外，可允许图像显示装置13仅包括显示器34，而具有位置确定单元31、输入图像确定单元32，显示控制単元33的显示控制设备可以被设置为用于控制图像显示装置13的显示器的显示控制设备。<4.显示器显示控制处理〉下文中，參照图5的流程图来描述图像显示装置13中的显示器显示控制处理。如 果构成图I的多视点图像显示系统I的图像再现装置11、立体摄像机12以及图像显示装置13都接通电源，并且根据用户2的操作而指示在图像再现装置11中的图像再现，则开始图5的显示器显示控制处理。在步骤Sll中，位置确定单元31从立体摄像机12获取摄像机图像。在步骤S12中，位置确定单元31基于从立体摄像机12获取的摄像机图像通过上述立体匹配方法来确定用户2相对于图像显示装置13的深度方向的位置。此处，例如，如图6所示，设定坐标系以使得图像显示装置13的显示器34的中心被设定为原点0，包括显示器34的表面的平面上的水平方向(图6的向左方向)被设定为X轴方向，包括显不器34的表面的平面上的竖直方向(图6的向上方向)被设定为y轴方向，以及垂直于显不器34的表面的方向(朝用户的方向)被设定为z轴方向。在这种情况下，位置确定单元31通过立体匹配方法计算用户2在XZ平面上的位置(Px，Pz)，并在把位置信息提供给输入图像确定单元32的同时存储表示该位置(该坐标)的位置信息。在步骤S13，位置确定单元31基于其中存储的位置信息中的前ー个位置信息(下文中称为前ー个位置信息)以及在该时刻确定的位置信息(下文中称为当前位置信息)来确定用户2的位置的变化，并基于用户2的位置的变化来计算用户2的移动距离。例如，如果由当前位置信息表示的用户2的位置(当前位置)被设定为(Px，Pz)，由前ー个位置信息表示的用户2的位置(前ー个位置)被设定为(Px_pre, Pz_pre),则用户2在XZ平面上的移动距离D由以下等式I表示。等式I :D = (Px - Px — pre )z + (Pz - Pz — pre )2位置确定单元31把表示计算出的用户2的移动距离的移动距离信息提供给输入图像确定单元32。在步骤S14中，输入图像确定单元32基于来自位置确定单元31的位置信息(当前位置信息)所表示的用户2的当前位置(Px，Pz)来确定要从输入图像I至9中输出给显示器34的输入图像的输入号。换句话说，输入图像确定单元32基于用户2的当前位置(Px, Pz)从输入图像I至9中确定用户2所认知的视点处的输入图像的输入号。在下文中，參照图I描述用户2的视点和用户2所认知的输入图像。此外，在图I中，右方向是X轴方向，上方向是Z轴方向。如图7的右上部所示，如果用户2的当前位置(Px，Pz)被设定为用户2的双眼的中心，左眼和右眼之间的瞳距被设定为E，则在xz平面上用户2的左眼的位置(Px_left，Pz_left)由(Px_left,Pz_left) = (Px+E/2,Pz)表示，而用户 2 的右眼的位置(Px_right,Pz_right)由(Px_right, Pz_right) = (Px-E/2, Pz)表示。此外，假定用户 2 的双眼被定位为平行于显示器34的表面。此外，图7的下侧示出构成显示器 34的发光元件(有机EL元件)中的发光元件“I”至“9”，发光元件“I”至“9”发出透过在原点0(0，0)处的视差屏障的缝隙的光并对应于输入图像I至9。此外，在图7中，显示器34的发光元件的宽度相对于瞳距E而言近似彼此相等。但是，实际上，显示器34的发光元件的宽度相对于瞳距E而言足够小。此处，在图7中，当视差屏障的缝隙的宽度被视为点并且在显示器34的发光元件的表面和视差屏障之间的距离为已知吋，输入图像确定单元32确定用户2的左眼所认知到的输入图像是与经过用户2的左眼的位置(PX_left，PZ_left)和原点0的直延长线上的发光元件“4”相对应的输入图像4。此外，输入图像确定单元32确定用户2的右眼所认知到的输入图像(发光元件)是与经过用户2的右眼的位置(Px_right,Pz_right)和原点0的直延长线上的发光元件“5”相对应的输入图像5。也就是说，在图7的示例中，用户2认知的输入图像是输入图像4和5，输入图像确定单兀32把表不输入图像的输入号(I, J)设定为(4,5)。输入号(I, J)表不与相邻的发光兀件相对应的两个输入图像。以这种方式，根据用户2的在该时刻的位置确定了要输出给显示器34的两个输入图像。然而，当存在用户2的运动并且运动是快速时，认为用户的双眼认知发光元件的光，而不是与确定的两个输入图像相对应的发光元件。这种情况下，除了来自位置确定单元31的位置信息所表示的用户2的位置之外，输入图像确定单元32还基于由来自位置确定单元31的移动距离信息表示的用户2的移动距离来确定输入图像I至9中要输出给显示器34的输入图像的输入号。如果D_low被设定为用于确定用户2的移动距离D较短的阈值以及D_high被设定为用于确定用户2的移动距离较长的阈值，则表示要输出给显示器34的输入图像的输入号根据用户2的移动距离D被确定如下。(1)0 < D < D_low要输出给显示器34的输入图像的输入号(I，J)(2) D low ^ D < D_high要输出给显不器34的输入图像的输入号(1-1, I, J, J+1)(3)D_high ^ D要输出给显不器34的输入图像的输入号(1,2,3,4,5,6,7,8,9)也就是说，例如，在图7的示例中，当用户2的移动距离D小于阈值D_low时，由于表示要输出给显示器34的输入图像的输入号是(4，5)，所以两个输入图像4和5被输出给显不器34。
此外，在图7的示例中，当用户2的移动距离D等于或大于阈值D_low并小于阈值D_high时，由于表不要输出给显不器34的输入图像的输入号是(3,4,5,6)，所以四个输入图像3至6被输出给显示器34。此外，在图7的示例中，当用户2的移动距离D等于或大于阈值D_high吋，由于表示要输出给显示器34的输入图像的输入号是(1，2，3，4，5，6，7，8，9)，所以所有输入图像I至9被输出给显不器34。返回到图5的流程图的描述，在步骤S15中，显示控制単元33控制显示器34的显示以使得具有由输入图像确定单元32确定的输入号的输入图像被显示在显示器34上。也就是说，显示控制単元33控制显示器34中的与具有由输入图像确定单元32确定的输入号的输入图像相对应的发光元件的光发射。在执行步骤S15之后，处理进行到步骤S16，以使得图像显示装置13确定构成图I的多视点图像显示系统I的图像再现装置11、立体摄像机12以及图像显示装置13是否全 都接通电源。在步骤S16，当确定出图像再现装置11、立体摄像机12以及图像显示装置13全都接通电源时，处理返回到步骤S11，并且例如每隔0. 5秒重复一次步骤Sll至S16的处理。同时，在步骤S16，当确定出图像再现装置11、立体摄像机12以及图像显示装置13未全接通电源时，也就是说，图像再现装置11、立体摄像机12以及图像显示装置13中的任一个未接通电源时，显示控制处理结束。此外，在步骤S16中，确定图像再现装置11中的图像再现是否被用户2的操作停止。当确定出已经停止了再现时，显示器显示控制处理也可以结束。根据以上处理，基于用户2相对于显示器34的位置，仅允许与用户2认知出的输入图像相对应的发光元件发光，而与未被用户2认知出的输入图像相对应的发光元件关断。因此，不消耗与未被用户认知的图像相对应的发光元件的功率，以使得可以减少显示多视点图像的显示器的功率消耗。具体地，在N个视点显示多视点图像的显示器中，可以比允许全部发光元件都发光时減少2/N倍的功率消耗。此外，例如，即使存在用户的运动，由于除了与被确定为显示在显示器34上的输入图像相对应的发光元件之外的发光元件被允许根据移动距离发光预定时间比如0. 5秒的间隔，仍可以防止给边移动边观看图像的用户带来不便。目前为止，描述了ー个用户观看图像的情況。然而，当多个用户观看图像时，如果确定每个用户的位置并且与每个用户认知的图像对应的发光元件被允许发光，就足够了。此外，位置确定单元31基于来自立体摄像机12的摄像机图像来确定用户2的位置。然而，例如，替代两个立体摄像机12，可以提供使用预定技术测量用户2的位置的測量単元，可以使用测量单元的測量结果作为用户2的位置。此外，如图2所示，竖直方向上的缝隙被设置在显示器34的视差屏障中。然而，例如，可以设置水平方向上的缝隙，或者可以设置栅格状缝隙并且根据用户的位置仅允许发射透过此类缝隙的光的发光元件发光。此外，显示器34使用视差屏障来显示立体图像。然而，显示器34可以使用双面凸透镜系统来显示立体图像。此外，多视点图像显示系统I显示多视点图像，由此为用户2提供立体图像。然而，本公开文件不限于立体图像。例如，可以提供随着视点而改变的多个图像。此外，本公开文件应用于电视接收机。然而，本公开文件也可用于具有确定用户的位置以及再现和显示多视点图像的功能的电子设备，例如，设置有用于距离测量的摄像机和用于实施裸眼立体视觉的显示器的便携式移动设备等。可以通过硬件或软件执行上述处理系列。当通过软件执行处理系列时，可以从程序记录介质向能够通过安装各种程序来执行各种功能的通用个人计算机或嵌入在专用硬件中的计算机安装构成软件的程序。图8是示出使用程序执行上述处理系列的计算机硬件的配置示例的框图。在计算机中，中央处理器(CPU)901、只读存储器(R0M)902和随机存取存储器(RAM) 903通过总线904彼此相连。此外，输入/输出接ロ 905连接到总线904。输入/输出接ロ 905连接到包括键 盘、鼠标和麦克风等的输入单元906，连接到包括显示器、扬声器等的输出单元907，连接到包括硬盘、非易失性存储器等的存储单元908，连接到包括网络接ロ等的通信単元909，连接到用于驱动可移除介质911 (诸如，磁盘、光盘、磁光盘或半导体存储器)的驱动器910。在如上配置的计算机中，例如，CPU 901经由输入/输出接ロ 905和总线904把存储在存储单元901中的程序加载到RAM 903并执行该程序，从而执行上述处理系列。由计算机(CPU 901)执行的程序例如被记载在可移除介质911上，可移除介质911是包括磁盘(包括软盘)、光盘(压缩盘(⑶-ROM)、数字多功能盘(DVD)等)、磁光盘、半导体存储器等的封装介质，或经由有线或无线传输介质(诸如局域网、因特网或数字卫星广播等)提供。然后，通过把可移除介质911附连到驱动器910，可以经由输入/输出接ロ 905把程序安装到存储单元908中。此外，可以经由有线或无线传输介质在通信単元909中接收程序。或者，可以把程序事先安装在ROM 902或存储单元908中。此外，由计算机执行的程序可以根据说明书中描述的顺序按时间顺序执行，可以并行执行，或可以按在做出请求时地时序执行。此外，本公开文件的实施例不限于上述实施例，可以在不脱离本公开文件的范围的情况下进行各种修改。本领域技术人员应该理解取决于设计需要和其它因素可以进行各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同内容的范围内即可。附加地，本技术还可配置如下。(I) 一种对用于显示多视点图像的图像显示装置进行控制的显示控制装置，所述显示控制装置包括位置确定单元，被配置为确定用户的位置；图像确定单元，被配置为基于由所述位置确定单元确定的所述用户的所述位置来从所述多视点图像中确定由所述用户认知的视点处的图像；以及显示控制単元，被配置为进行控制以显示由所述图像确定单元确定的所述图像。(2)如(I)所述的显示控制装置，其中所述图像显示装置包括发光元件，被配置为以像素为单位发光；其中所述显示控制单元进行控制以使与所述图像确定单元确定的所述图像相对应的发光元件发射光，由此进行控制以显示所述图像。(3)如(I)或(2)所述的显示控制装置，其中所述位置确定单元基于所述用户的位置的变化来计算所述用户的移动距离，以及所述图像确定单元根据由所述位置确定单元计算出的所述用户的移动距离来确定由所述用户认知的两个或更多个视点处的图像。(4)如(I)至(3)中任一项所述的显示控制装置，其中所述图像显示装置显示包括所述多视点图像的立体图像。(5) 一种对用于显示多视点图像的图像显示装置进行控制的显示控制装置的显示控制方法，所述显示控制方法包括确定用户的位置；
中确定由所述用户认知的视点处的图像；以及进行控制以显示在确定所述图像的步骤中确定的所述图像。(6) 一种使计算机执行显示控制装置的显示处理的程序，所述显示控制装置对用于显示多视点图像的图像显示装置进行控制，其中所述程序使所述计算机执行包括以下步骤的处理确定用户的位置；基于在确定用户的位置步骤中确定的所述用户的所述位置来从所述多视点图像中确定由所述用户从所述用户的所述位置处认知的视点处的图像；以及进行控制以显示在确定所述图像的步骤中确定的所述图像。本公开文件的主题包含在2011年4月4日提交到日本专利局的日本在先专利申请JP 2011-082467中公开的主题，其全部内容通过引用而结合于此。
权利要求
1.一种对用于显示多视点图像的图像显示装置进行控制的显示控制装置，所述显示控制装置包括 位置确定单元，被配置为确定用户的位置； 图像确定单元，被配置为基于由所述位置确定单元确定的所述用户的所述位置来从所述多视点图像中确定由所述用户认知的视点处的图像；以及 显示控制単元，被配置为进行控制，以显示由所述图像确定单元确定的所述图像。
2.如权利要求I所述的显示控制装置，其中所述图像显示装置包括 发光元件，被配置为以像素为单位发光； 其中所述显示控制单元进行控制以使与所述图像确定单元确定的所述图像相对应的、发光元件发射光，由此进行控制以显示所述图像。
3.如权利要求I所述的显示控制装置，其中所述位置确定单元基于所述用户的位置的变化来计算所述用户的移动距离，以及 所述图像确定单元根据由所述位置确定单元计算出的所述用户的移动距离来确定由所述用户认知的两个或更多个视点处的图像。
4.如权利要求I所述的显示控制装置，其中所述图像显示装置显示包括所述多视点图像的立体图像。
5.如权利要求I所述的显示控制装置，其中所述位置确定单元基于当前时刻的位置信息和前一时刻的位置信息来确定所述用户的位置的变化，并基于用户的位置的变化来计算所述用户的移动距离，以及 所述图像确定单元根据由所述位置确定单元计算出的所述用户的移动距离来确定由所述用户认知的两个或更多个视点处的图像。
6.如权利要求I所述的显示控制装置，其中所述位置确定单元确定所述用户的当前时刻的位置信息，以及 所述图像确定单元根据所述位置确定单元确定出的所述当前时刻的位置信息来确定由所述用户认知的两个或更多个视点处的图像。
7.一种对用于显示多视点图像的图像显示装置进行控制的显示控制装置的显示控制方法，所述显示控制方法包括 确定用户的位置； 基于在确定用户的位置的步骤中确定的所述用户的所述位置来从所述多视点图像中确定由所述用户认知的视点处的图像；以及 进行控制以显示在确定所述图像的步骤中确定的所述图像。
8.一种使计算机执行显示控制装置的显示处理的程序，所述显示控制装置对用于显示多视点图像的图像显示装置进行控制，其中所述程序使所述计算机执行包括以下步骤的处理 确定用户的位置； 基于在确定用户的位置的步骤中确定的所述用户的所述位置来从所述多视点图像中确定由所述用户从所述用户的所述位置处认知的视点处的图像；以及 进行控制以显示在确定所述图像的步骤中确定的所述图像。
全文摘要
本发明涉及显示控制装置、方法及程序。在用于显示多视点图像的图像显示装置中，位置确定单元确定观看图像的用户的位置，图像确定单元基于由位置确定单元确定的用户的位置来从多视点图像中确定由用户认知的视点处的图像，以及显示控制单元进行控制以在显示器上显示由图像确定单元确定的图像。本公开文件例如应用于用于实施裸眼立体视觉的显示器。
文档编号H04N13/04GK102740101SQ20121008634
公开日2012年10月17日 申请日期2012年3月28日 优先权日2011年4月4日
发明者兵头克也 申请人:索尼公司