图像处理装置、图像处理方法及程序的制作方法

图像处理装置、图像处理方法及程序的制作方法
【专利摘要】本发明涉及图像处理装置、该装置中执行的图像处理方法以及使计算机执行该图像处理方法的程序。所述图像处理装置包括：布置判定单元，其判定用于形成显示屏的像素的子像素的布置是所述子像素的短边方向布置在所述显示屏的水平方向上的第一布置还是所述子像素的长边方向布置在所述显示屏的水平方向上的第二布置；视差确定单元，其确定所述子像素的所判定的布置的视差；和图像生成单元，其生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点。根据本发明，能够减少用户在用于形成显示屏像素的子像素的布置状态已经改变时可感受到的奇异感。
【专利说明】图像处理装置、图像处理方法及程序
【技术领域】
[0001 ] 本发明涉及图像处理装置、图像处理方法及程序。
【背景技术】
[0002]使用户将显示屏上所显示的图像识别为三维图像的方法的示例包括诸如利用用户的视差使用户能够观看到三维图像的视差屏障方法(parallax barrier method或disparity barrier method)和透镜方法。通过采用这些方法,用户能够在没有使用诸如偏光眼镜(polarized glasses)或液晶快门眼镜(liquid crystal shutter glasses)等外部设备的情况下观看到所呈现出的三维图像。
[0003]此外，例如，能够在显示屏旋转时与显示屏上所显示的图像一起旋转的装置近年来得到推广。在这样的装置中，例如当显示屏旋转90°时，通过使显示屏上所显示的图像也旋转90°来切换显示屏的长边方向与图像的水平方向一致的状态(以下称为“水平放置状态”)和显示屏的短边方向与图像的水平方向一致的状态(以下称为“垂直放置状态”)。
[0004]在这样的情形下，使用户在两个不同的显示屏状态中的任一状态下都能识别出三维图像的技术正得到发展。例如，日本特开第JP2011-17788A号专利申请描述了在视差屏障方法中使用户在两个不同的显示屏状态中的任一状态下都能识别出三维图像的技术。
[0005]例如，当采用在日本特开第JP2011-17788A号专利申请中所描述的技术时，用户能够在例如水平放置状态和垂直放置状态下识别出三维图像。这里，水平放置状态和垂直放置状态分别对应于用于用于形成显示屏像素的子像素的布置状态。
[0006]然而，在日本特开第JP2011-17788A号专利申请中所描述的技术没有对当例如切换水平放置状态和垂直放置状态时用户可感受到的视差变化做任何特别的考虑。因此，当采用在日本特开第JP2011-17788A号专利申请中所描述的技术时，例如当切换水平放置状态和垂直放置状态时，用户可感受到由视差变化造成的奇异感(sense of strangeness)。

【发明内容】

[0007]本发明实施例，提出了新颖和改进的图像处理装置、图像处理方法及程序，这能够减少当用于形成显示屏像素的子像素的布置状态已经改变时用户可感受到的奇异感。
[0008]本发明实施例提出的图像处理装置包括:布置判定单元，所述布置判定单元判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和图像生成单元，所述图像生成单元基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点。所述视差确定单元将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
[0009]此外，本发明实施例提出的图像处理装置包括:布置判定单元，所述布置判定单元判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；和视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差。基于在所述子像素的布置被判定为所述第二布置时所确定的视差的相邻视点图像的视差大于基于在所述子像素的布置被判定为所述第一布置时所确定的视差的相邻视点图像的视差。
[0010]此外，本发明实施例提出的图像处理方法包括:判定用于子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点。在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
[0011]此外，本发明实施例提出了使计算机执行以下步骤的程序:判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点。在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
[0012]根据上述本发明实施例，能够减少用户在形成所述显示屏的所述子像素的布置状态已经发生改变时可感受到的奇异感。
【专利附图】

【附图说明】
[0013]图1是表示用于形成显示屏上像素的子像素的布置的示例以及视差元件的布置的示例的说明图；
[0014]图2是表示用户在用于形成显示屏像素的子像素的布置状态已经改变时可感受到由视差变化造成的奇异感的原因的说明图；
[0015]图3是表示视差元件相对于显示屏的参考方向设置的角度的示例的说明图；
[0016]图4是表示本发明实施例的第一布置和本发明实施例的第二布置的说明图；
[0017]图5是表示由本发明实施例的图像处理装置执行的视差确定处理的另一个示例的说明图；[0018]图6是表示由本发明实施例的图像处理装置执行的视点图像生成处理的示例的说明图；
[0019]图7是表示在本发明实施例的图像处理方法中执行的处理示例的流程图；
[0020]图8是表示本发明实施例的图像处理装置的构造示例的框图；和
[0021]图9是表示本发明实施例的图像处理装置的硬件构造示例的说明图。
【具体实施方式】
[0022]在下文中，将参照附图对本发明的优选实施例进行详细地说明。应注意，在说明书和附图中，用同样的附图标记表示实质上具有同样功能和结构的结构元件，且省略了对这些结构元件的重复说明。
[0023]此外，在下文中，将按照如下的顺序进行说明:
[0024]1.本实施例的图像处理方法
[0025]2.本实施例的图像处理装置
[0026]3.本实施例的程序
[0027]1.本实施例的图像处理方法
[0028]在说明本实施例的图像处理装置的构造之前，将首先说明本实施例的图像处理方法。在下文中，将基于本实施例的图像处理装置执行本实施例的图像处理方法中所执行的处理的示例，对本实施例的图像处理方法进行说明。
[0029](I)用户可感受到由视差变化造成的奇异感的原因
[0030]如上所述，例如，当切换水平放置状态和垂直放置状态时，即，当用于形成显示屏像素的子像素的布置状态已经发生改变时，用户可感受到由视差变化造成的奇异感。在说明本实施例的图像处理方法中所执行的处理之前，将首先说明用户在用于形成显示屏像素的子像素已经改变的情况下可感受到由视差变化造成的奇异感的原因。
[0031]图1是表示用于形成显示屏上像素的子像素的布置的示例以及视差元件的布置的示例的说明图。在图1中，示出了如下示例:由R(红色)、G(绿色)和B(蓝色)三种子像素形成显示屏像素。此外，图1还示出了在显示屏上显示9视点图像(多视点图像的示例)的情形。在图1中，由数字“I”标记的子像素表示其上显示有第I视点图像的子像素，且在图1中用于标记各个子像素的数字“2”至“9”分别表示其上显示有第2至第9视点图像的子像素。
[0032]如图1所示，在用于形成显示屏像素的子像素上重复显示I视点图像至9视点图像。此外，图1中由字母A标记的三个RGB子像素形成一个像素(在图1中，作为像素的示例，其上显示有第2视点图像的像素由附图标记A标记，且这也适用于其他像素)。
[0033]此外，将用于形成视差屏障的视差元件具有相对于显示屏参考方向(例如，水平放置状态下的水平方向或垂直放置状态下的垂直方向)设置的角度Θ。
[0034]这里，从防止图像质量劣化的角度看，角度Θ可以例如与由显示屏的参考方向和用于形成一个像素的子像素的布置方向形成的角度一致。注意，角度Θ可以例如与由显示屏的参考方向和用于形成一个像素的子像素的布置方向形成的角度相同或不同。此外，从在水平放置状态和垂直放置状态下都产生视差的角度看，例如，角度Θ排除0°和90°。
[0035]在文中，作为示例，将说明如下情况:显示屏的参考方向是水平放置状态下的水平方向，并且角度Θ与由显示屏的参考方向和用于形成一个像素的子像素的布置方向形成的角度相同。
[0036]图2是表示用户在用于形成显示屏像素的子像素的布置状态已经改变时可感受到由视差变化造成的奇异感的原因的说明图。图2中的字母A表示观看水平放置状态下的显示屏上所显示的图像的用户。此外，图2中的字母B表示观看垂直放置状态下的显示屏上所显示的图像的用户。此外，类似于图1，图2中的角度Θ表示视差元件相对于显示屏的参考方向设置的角度。
[0037]此外，图2示出了如下情形:对于由图2中字母A标记的用户而言，下述公式I所表示的用户的眼间距视点数(eye gap viewpoint number)为“2”。这里，由下述公式I所表示的眼间距视点数是对应于用户所感知的视差的指标。为了使观看显示屏上所显示图像的用户更加正常地感知到三维图像，期望的是用户的眼间距视点数例如是0.5或更大。然而，即使眼间距视点数小于0.5，仍能够使观看显示屏上所显示图像的用户正常地感受到三维图像。
[0038]眼间距视点数=(用户的双眼间距)/ (相邻视点成像点距离)(公式I)
[0039]如图2中的字母A和B所表示，例如，当切换水平放置状态和垂直放置状态时(当显示屏旋转90°时)，眼间距视点数发生改变，使得在理想状态下(在下文中，称作“最佳观看距离”或“设计观看距离”)观看三维图像的观看距离不发生改变。更具体地，例如，在由图2中的A标记的水平放置状态下的眼间距视点数和由图2中的B标记的垂直放置状态下的眼间距视点数之间保持了下面的公式2所表示的关系。这里，公式2中的“ngap h”表示水平放置状态下的放置状态，且公式中的“ngap /’表示垂直放置状态下的放置状态。
[0040]η卿—h = η卿—v X (1/tan θ )(公式 2)
[0041]例如，如果公式2中的tan Θ为“3”(例如，当角度Θ与图1所示的典型RGB阵列的子像素的布置方向所形成的角度一致时)，那么在图2所示的示例中，图2中A的眼间距视点数为“2”，而图2中B的眼间距视点数大约为“0.67”。
[0042]图3是表示视差元件相对于显示屏的参考方向设置的角度的示例的说明图。图3示出了视差元件相对于如下情形下的显示屏的参考方向设置的角度，该显示屏的参考方向是水平放置状态下的水平方向。图3中的A示出了角度Θ不是0°和90°的示例。此外，图3中的B示出了角度Θ是90°的示例，且图3中的C示出了角度Θ是0°的示例。
[0043]这里，如图3B所示，当角度Θ是90°时，在垂直放置状态下不会出现视差。此外，如图3C所示，当角度Θ是0°时，在水平放置状态下不会出现视差。因此，如上所述，从在水平放置状态和垂直放置状态下都产生视差的角度看，例如，视差元件相对于显示屏的参考方向设置的角度Θ排除了 0°和90°。
[0044]如上所述，例如，当切换水平放置状态和垂直放置状态时，即，当用于形成显示屏像素的子像素的布置状态已经发生改变时，由于眼间距视点数在最佳观看距离不改变的情况下变化，所以视差发生变化。因此，例如，当切换水平放置状态和垂直放置状态时，即，当用于形成显示屏像素的子像素的布置状态已经发生改变时，用户可感受到由视差变化造成的奇异感。
[0045](2)本实施例的图像处理方法中所执行的处理的概要
[0046]接着，将说明本实施例的图像处理方法中所执行的处理的概要。[0047]如上述公式2所示，在用于形成显示屏像素的子像素的布置状态已经发生改变时的眼间距视点数取决于视差元件相对于显示屏的参考方向设置的角度Θ的正切函数。相应地，例如，如果将视差元件设置成使得角度Θ为45。，那么基于公式2，水平放置状态下的眼间距视点数与垂直放置状态下的眼间距视点数一致，使得能够消除视差在用于形成显示屏像素的子像素的布置状态已经发生改变时的变化。
[0048]然而，例如，如图1所示，用于形成显示屏像素的典型子像素具有短边方向(对应于图1中的水平方向)和长边方向(对应于图1中的垂直方向)。因此，当显示屏由图1所示的像素构造时，如果将视差元件设置成使得角度Θ为45°，那么显示屏上所显示的图像质量劣化。
[0049]一种不仅消除视差在用于形成显示屏像素的子像素的布置状态已经发生改变时出现的变化而且防止显示屏上所显示的图像质量劣化的措施是:将视差元件设置成使得角度Θ为45°，并且用于形成显示屏像素的子像素中的每一个采用方形子像素。通过采用这种措施，例如，即使当用于形成显示屏像素的子像素的布置状态已经发生改变时，眼间距视点数或设计观看距离没有变化，且深度感也能够保持不变。因此，能够实现更加自然的三维图像显示。
[0050]然而，如图1所示，用于形成显示屏像素的典型子像素不是方形子像素。因此，生产具有方形子像素的像素结构将会导致成本增加。
[0051]相应地，当用于形成显示屏像素的子像素如图1所示的不是方形时，本实施例的图像处理装置通过例如进行下面的处理来减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感:(I)判定处理、(2)视差确定处理和(3)视点图像生成处理。
[0052](I)判定处理
[0053]本实施例的图像处理装置判定用于形成显示屏像素的子像素的布置是第一布置还是第二布置。这里，本实施例的显示屏可以是但不限于本实施例的图像处理装置中所包含的显示单元(在下面说明)的显示屏。例如，本实施例的显示屏可以是本实施例的图像处理装置的外部设备中所包含的显示面板的显示屏。
[0054]图4是表示本发明实施例的第一布置和本发明实施例的第二布置的说明图。图4中的字母A表示本实施例的第一布置，且图4中的字母B表示本实施例的第二布置。此外，图4示出了由R(红色)、G (绿色)和B (蓝色)三种子像素形成的显示屏像素的示例。
[0055]如图4的A所示，本实施例的第一布置是如下布置:将子像素布置成使得用于形成显示屏像素的子像素的短边方向位于显示屏的水平方向上。此外，如图4的B所示，本实施例的第二布置是如下布置:将子像素布置成使得用于形成显示屏像素的子像素的长边方向位于显示屏的水平方向上。这里，本实施例的第一布置对应于例如实现了上述水平放置状态的布置，且本实施例的第二布置对应于例如实现了上述垂直放置状态的布置。
[0056]更具体地，本实施例的图像处理装置基于例如由一个或两个或多个诸如加速度传感器、角速度传感器和地磁传感器之类的能够检测显示屏状态的传感器得到的用于表示检测结果的检测信号来判定子像素的布置是第一布置(对应于水平放置状态)还是第二布置(对应于垂直放置状态)。本实施例的图像处理装置基于例如从该装置中所包含的各个传感器中传送的检测信号或从对应于显示屏的外部设备(例如，外部显示设备)中传送的检测信号来执行处理。
[0057]注意，由本实施例的图像处理装置执行的判定处理并不限于上述内容。例如，本实施例的图像处理装置可以基于从外部设备中传送的用于表示显示屏状态(例如，水平放置状态或垂直放置状态)的状态信息(数据)来判定子像素的布置是第一布置(对应于水平放置状态)还是第二布置(对应于垂直放置状态)。
[0058](2)视差确定处理
[0059]基于上述处理(I)的判定结果和用于表示视差元件相对于显示屏的参考方向设置的角度Θ的角度信息，本实施例的图像处理装置确定由上述处理(I)(判定处理)判定的子像素布置的视差。
[0060]这里，本实施例的图像处理装置通过例如读取存储在存储单元(在下面说明)中的角度信息、读取来自所连接的外部记录介质的角度信息或接收从外部设备(例如，外部显示设备、服务器等)中传送的角度信息来获得角度信息。例如，本实施例的图像处理装置通过把角度信息传送请求(其包括使外部设备传送角度信息的传送指令)传送到外部设备来从外部设备获取角度信息。
[0061]此外，本实施例的图像处理装置将在布置状态被判定为第二布置(对应于垂直放置状态的布置)时所确定的视差设定为大于在子像素的布置被判定为第一布置(对应于水平放置状态的布置)时所确定的视差。从另一个角度来说，基于本实施例的图像处理装置按照上述方法做出的确定，将基于在布置状态被判定为第二布置(对应于垂直放置状态的布置)时所确定的视差的相邻视点图像视差设定为大于基于在布置状态被判定为第一布置(对应于水平放置状态的布置)时所确定的视差的相邻视点图像视差。
[0062]如上述公式2所示，在布置对应于第一布置的水平放置状态下的眼间距视点数是在布置对应于第二布置的垂直放置状态下的眼间距视点数的“Ι/tan Θ ”。因此，如上所述，本实施例的图像处理装置通过将在布置状态被判定为第二布置(对应于垂直放置状态的布置)时所确定的视差设定为大于在布置状态被判定为第一布置(对应于水平放置状态的布置)时所确定的视差能够减少在用于形成显示屏像素的子像素的布置状态已经发生改变时出现的视差变化。
[0063]因此，如上所述，通过将在布置状态被判定为第二布置(对应于垂直放置状态的布置)时所确定的视差设定为大于在布置状态被判定为第一布置(对应于水平放置状态的布置)时所确定的视差，本实施例的图像处理装置能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0064](2-1)视差确定处理的第一示例
[0065]更具体地，例如，本实施例的图像处理装置以如下方式确定所判定的子像素布置的视差:如下述公式3所示，“通过将用于表示在子像素布置被判定为第一布置时的视差的值与角度信息所表示的角度的正切函数的绝对值相乘而获得的值”与“用于表示在子像素的布置被判定为第二布置时的视差的值”为相同的数值。
[0066]Dispv = Disph.| tan θ | (公式 3)
[0067]这里，公式3中的“Dispv”表示在布置状态被判定为第二布置状态时所确定的视差的值，且公式3中的“Disph”表示在布置状态被判定为第一布置状态时的视差的值。本实施例的视差值的不例包括相邻视点图像之间的相位差。这里，例如，本实施例的相位差是如下指标，该指标表示在用于形成三维图像的左眼图像(在下文中，有时被称作“L图像”)与用于形成三维图像的右眼图像(在下文中，有时被称作“R图像”)之间的视差量为“1.0”时的相邻视点图像之间的视差量。
[0068]注意，本实施例的视差值并不限于相位差。例如，本实施例的视差值可以是通过把相邻视点图像之间的视差量转换为像素而获得的数值。在文中，将基于本实施例的视差值是相位差的不例来说明。
[0069]此外，公式3中的“ Θ ”是由角度信息表示的视差元件相对于显示屏的参考方向设置的角度。
[0070]例如，通过采用基于处理目标图像信号估计出的视差值、预设视差值和由用户操作设定的视差值选择性地计算公式3，本实施例的图像处理装置确定由上述处理(I)(判定处理)判定出的子像素布置的视差。这里，基于处理目标图像信号所估计的视差值的示例包括用于在处理目标图像信号所指示的图像是平面图像的情况下表示深度估计结果的值和用于在处理目标图像信号所指示的图像是三维图像的情况下表示视差估计结果的值。
[0071]例如，如果估计或设定了用于表示在布置状态被判定为第一布置时的视差的值，且布置状态经在上述处理(I)(判定处理)中被判定为第一布置(对应于水平放置状态的布置)，那么本实施例的图像处理装置将用于表示视差的设定值确定为用于表示在布置状态被判定为第一布置情况下的视差的值。此外，例如，如果估计或设定了用于表示在布置状态被判定为第二布置时的视差的值，且布置状态在上述处理(I)(判定处理)中被判定为第二布置(对应于垂直放置状态的布置)，那么本实施例的图像处理装置将用于表示视差的设定值确定为用于在布置状态被判定为第二布置情况下的视差的值。
[0072]具体地，例如，当与用于表示所估计或设定的视差相对应的子像素布置和在上述处理(I)(判定处理)中判定出的子像素布置一致时，本实施例的图像处理装置不进行如在公式3所示的计算。
[0073]此外，例如，如果估计或设定了用于表示在布置状态被判定为第一布置(对应于水平放置状态的布置)时的视差的值，且布置状态经在上述处理(I)(判定处理)中被判定为第二布置(对应于垂直放置状态的布置)，那么本实施例的图像处理装置通过基于上述公式3计算用于表示在布置状态被判定为第二布置情况下的视差的值来确定用于在判定为第二布置情况下的视差的值。另外，例如，如果估计或设定了用于表示在布置状态被判定为第二布置时的视差的值，且布置状态在上述处理(I)(判定处理)中被判定为第一布置(对应于水平放置状态的布置)，那么本实施例的图像处理装置通过根据上述公式3计算用于表示在布置状态被判定为第一布置情况下的视差的值来确定用于表示在布置状态被判定为第一布置情况下的视差的值。
[0074]具体地，例如，当与用于表示所估计或设定的视差的值相对应的子像素布置与在上述处理(I)(判定处理)中被判定的子像素布置不一致时，本实施例的图像处理装置进行公式3所示的计算。这里，当执行公式3所示的计算时，如果针对用于表示在布置状态被判定为第一布置(对应于水平放置状态的布置)时的视差的值或针对用于表示在布置状态被判定为第二布置(对应于垂直放置状态的布置)时的视差的值来设定视差值，那么本实施例的图像处理装置能够确定其他视差值。
[0075]如上所述，本实施例的图像处理装置通过采用预设视差值和由用户设定的视差值选择性地计算公式3来确定在上述处理(I)(判定处理)中所判定的子像素布置的视差。例如，通过确定所判定的子像素布置的视差使得如上面公式3所示的“通过将用于表示在子像素布置被判定为第一布置时的视差的值与角度信息所表示的角度的正切函数的绝对值相乘而得到的值”与“用于表示在子像素布置被判定为第二布置时的视差的值”是相同的值，本实施例的图像处理装置能够消除在用于形成显示屏像素的子像素的布置状态已经发生改变时出现的视差变化。
[0076]因此，通过确定在上述处理(I)(判定处理)中被判定的子像素布置的视差使得满足上面的公式3，本实施例的图像处理装置能够消除用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0077]注意，由本实施例的图像处理装置执行的视差确定处理并不限于采用上面公式3的处理。
[0078](2-2)视差确定处理的第二示例
[0079]图5是表示由本发明实施例的图像处理装置执行的视差确定处理的另一个示例的说明图。图5中的Al表示第一布置状态下(对应于水平放置状态的布置)的显示屏上所显示的图像的示例。图5中的A2表示图5中的Al的视差的示例。图5中的BI表示第二布置状态下(对应于垂直放置状态的布置)的显示屏上所显示的图像的第一示例，其中图5中Al所表示的图像被显示在显示屏上的同时保持了由图5中Al所表示的图像的分辨率。此外，图5中的B2表示图5中BI的视差的示例。图5中的Cl表示第二布置状态下(对应于垂直放置状态的布置)的显示屏上所显示的图像的第二示例，其中由图5中Al所表示的图像已经按比例缩放以便显示在整个显示屏上。此外，图5中的C2表示图5中Cl的视差的示例。
[0080]例如,如图5中BI所表示，当图5中Al所表示的图像被显示在显示屏上的同时保持了图5中Al所表示的图像的分辨率时，本实施例的图像处理装置通过选择性地采用公式3来确定用于表示与在上述处理(I)的处理中判定的布置相对应的视差的值。
[0081]此外，例如，如图5中Cl所表示，当图5中的Al所表示的图像按比例缩放以便显示在整个显示屏上时，本实施例的图像处理装置将用于表示通过选择性地采用公式3确定的视差的值与基于图2的Al所表示的图像的分辨率的值相乘(在图5所示的示例中，为“720/1280”)，从而确定出用于表示与在上述处理(I)(判定处理)中所判定的布置相对应的视差的值。例如，如图5中的Cl所示，当由图5中的Al所示的图像按比例缩放以便显示在整个显示屏上时，通过以上述方式确定用于表示视差的值，本实施例的图像处理装置能够为用户提供了考虑到缩放比例的三维图像。
[0082](2-3)视差确定处理的第三示例
[0083]此外，当图像经放大并且被显示在显示屏上时，双眼视差角度增加，除非进行某种视差调节。因此，当图像被放大并且被显示在显示屏上时，本实施例的图像处理装置可以调节视差量(由(2-1)中的上述第一示例中执行的处理或由上述(2-2)中的第二示例中执行的处理确定的视差值，或对应于此视差值的量)。
[0084]这里，使用本实施例的图像处理装置调节视差量的一个示例是调节视差量使得双眼视差角度不超过I度(60分)，这是3D协会(3D Consortium)出版的指南中设定的标准。注意，本实施例的图像处理装置在调节视差量中使用的标准显然不限于I度(60分)。[0085](3)视点图像生成处理
[0086]基于在上述处理(2)(视差确定处理)中确定的视差以及处理目标图像信号，本实施例的图像处理装置生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由图像信号表示的图像的视点。
[0087]这里，本实施例的处理目标图像信号的示例包括表示平面图像的图像信号和表示三维图像(左眼图像信号和右眼图像信号)的图像信号。此外，由本实施例的处理目标图像信号表示的图像可以是例如静止图像或由多帧图像构成的移动图像。
[0088]本实施例的处理目标图像信号的另一示例包括由本实施例的图像处理装置从存储单元(在下文中说明)或外部记录介质中读取的对应于图像数据的信号。注意，本实施例的处理目标图像信号可以是由通信单元接收的信号(在下文中说明)或表示由成像单元(在下文中说明)捕获的图像的信号。
[0089]图6是表示由本发明实施例的图像处理装置执行的视点图像生成处理的示例的说明图。图6中的字母A表示由处理目标图像信号表示的图像的示例，其示出了用于形成三维图像的左眼图像和用于形成三维图像的右眼图像。此外，图6中的B表示当相位差是“0.125”时由本实施例的视点图像生成处理生成的另一个视点图像的示例,该相位差是在上述处理(2)(视差确定处理)中确定的视差值。此外，图6中的C表不当相位差是“0.200”时由本实施例的视点图像生成处理生成的另一个视点图像的另一个示例，该相位差是在上述处理(2)(视差确定处理)中确定的视差值。此外，在图6中的B和C中，示出了通过视点图像生成处理获得的从第I视点图像(图6中的视点I)到第9视点图像(图6中的视点9)的9视点图像的示例。
[0090]本实施例的图像处理装置将由处理目标图像信号表示的一幅或两幅图像设定为参考图像，并生成由于参考图像偏移在上述处理(2)(视差确定处理)中所确定的相位差而形成的图像，由此生成另一个视点的图像。注意，本实施例的图像处理装置能够通过执行例如基于能够生成其他视点图像的任何视点图像生成处理(例如，多视点图像生成处理)的处理来生成另一个视点图像。
[0091]这里，例如，当布置状态在上述处理(I)(判定处理)中被判定为第一布置(对应于水平放置状态的布置)时，本实施例的图像处理装置生成与当布置状态在上述处理(I)(判定处理)中被判定为第二布置(对应于垂直放置状态的布置)时相同数量的其他视点图像。由本实施例的图像处理装置生成的其他视点图像的数量是例如预设的数量或由用户设定的数量。
[0092]注意，由本实施例的图像处理装置执行的视点图像生成处理并不限于上述内容。例如，当布置状态在上述处理(I)(判定处理)中被判定为第二布置(对应于垂直放置状态的布置)时，本实施例的图像处理装置生成的其他视点图像的数量要小于当布置状态在上述处理(I)(判定处理)中被判定为第一布置(对应于水平放置状态的布置)时生成的其他视点图像的数量。
[0093]一般地，垂直放置状态下的显示屏在水平方向上的长度比水平放置状态下的显示屏在水平方向上的长度短。因此，即使当布置状态在上述处理(I)(判定处理)中被判定为第一布置(对应于水平放置状态的布置)时，本实施例的图像处理装置生成的其他视点图像比当布置状态被判定为第二布置(对应于垂直放置状态的布置)时生成的其他视点图像少，正在观看显示屏上所显示的图像的用户将感受到奇异感的可能性也很小。此外，本实施例的图像处理装置在布置状态被判定为第一布置时生成的其他视点图像的数量少于在布置状态被判定为第二布置时生成的其他视点图像的数量，由此甚至能够更多地减少视点图像生成处理中所执行的处理的数量。
[0094]对于本实施例的图像处理方法执行的处理，本实施例的图像处理装置执行例如上述处理(I)(判定处理)、上述处理(2)(视差确定处理)和上述处理(3)(视点图像生成处理)。在上述处理(2)(视差确定处理)中，本实施例的图像处理装置确定由上述处理(I)(确定处理)判定的子像素布置的视差，且如果布置状态被判定为第二布置(对应于垂直放置状态的布置)，那么将视差设定为大于在布置状态被判定为第一布置(对应于水平放置状态的布置)时的视差。此外，在上述处理(3)(视点图像生成处理)中，根据处理目标图像信号和在上述处理(2)(视差确定处理)中确定的视差，本实施例的图像处理装置生成一幅或两幅或多幅其他视点图像。
[0095]这里，例如，当切换水平放置状态和垂直放置状态时，即，当用于形成显示屏像素的子像素的布置状态已经在第一布置(对应于水平放置状态的布置)和第二布置(对应于垂直放置状态的布置)之间发生改变时，那么尽管设计观看距离没有变化，但是眼间距视点数的确发生了变化。如上所述，在上述处理(2)(视差确定处理)中，本实施例的图像处理装置确定视差，以对应于眼间距视点数变化的量，且在上述处理(3)(视点图像生成处理)中，基于在上述处理(2)(视差确定处理)中确定的视差生成其他视点图像。因此，本实施例的图像处理装置能够使用户在水平放置状态下感受到的三维效果和用户在垂直放置状态下感受到的三维效果变得更接近，且进一步地也能够统一这些效果。
[0096]因此，本实施例的图像处理装置能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0097]此外，在上述处理(I)(判定处理)中，本实施例的图像处理装置判定布置状态是第一布置(对应于水平放置状态的布置)还是第二布置(对应于垂直放置状态的布置)，然后进行上述处理(2)(视差确定处理)和上述处理(3)(视点图像生成处理)。因此，例如，如图1所示，即使当用于形成显示屏像素的子像素不是方形子像素时，本实施例的图像处理装置也能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0098]因此，因为本实施例的图像处理装置的使用不会由于方形子像素的生产导致成本增加，所以本实施例的图像处理装置能够抑制显示屏的像素构造相关的成本增加。
[0099]注意，本实施例的图像处理方法中执行的处理并不限于上述(I)(确定处理)到
(3)(视点图像生成处理)的处理。
[0100]例如，本实施例的图像处理装置可以将由处理目标图像信号表示的图像和在上述处理(3)(视点图像生成处理)中生成的图像显示在显示屏上(显示控制处理)。
[0101]这里，当将图像显示在外部设备上的显示屏上时，本实施例的图像处理装置通过经由通信单元(也没有图示)例如将由处理目标图像信号表示的图像、用于表示所生成图像的图像信号(或图像数据)和用于执行与外部设备上的显示相关的处理的处理指令传送到外部设备而将图像显示在显示屏上。此外，当将图像显示在显示单元(在下文中说明)的显示屏上时，本实施例的图像处理装置通过例如将由处理目标图像信号表示的图像和用于表示生成图像的图像信号(或图像数据)传送到显示单元(未图示)而将图像显示在显示屏上。
[0102]注意，本实施例的显示控制处理可以例如由能够与本实施例的图像处理装置通信的外部设备执行。当由外部设备执行本实施例的显示控制处理时，本实施例的图像处理装置将例如由处理目标图像信号表示的图像和在上述处理(3)(视点图像生成处理)中生成的图像传送到外部设备。
[0103](3)本实施例的图像处理方法中所执行的处理的具体示例
[0104]接着，将更加详细地说明本实施例的图像处理方法中执行上述处理的示例。下面的说明是基于本实施例的如下图像处理装置，该图像处理装置执行本实施例的图像处理方法中所执行的处理。
[0105]图7是表示本发明实施例的图像处理方法中所执行的处理的示例的流程图。这里，在图7中，例如，步骤S102中执行的处理对应于上述处理(I)(判定处理)，且步骤S104至SllO中所执行的处理对应于上述处理(2)(视差确定处理)。此外，在图7中，例如，步骤S112中所执行的处理对应于上述处理(3)(视点图像生成处理)，且步骤S114中所执行的处理对应于上述显示控制处理。
[0106]本实施例的图像处理装置确定是否已经检测到处理目标图像信号(S100)。如果在步骤SlOO中确定出还没有检测到处理目标图像信号，那么不继续处理，直至本实施例的图像处理装置已经检测到处理目标图像信号。
[0107]如果在步骤SlOO中确定已经检测到处理目标图像信号，那么本实施例的图像处理装置判定子像素布置(S102)。基于例如显示屏的状态(例如，水平放置状态或垂直放置状态)以及能够检测显示屏状态的一个或两个或多个传感器获得的用于表示检测结果的检测信号，本实施例的图像处理装置判定子像素的布置是第一布置(对应于水平放置状态)还是第二布置(对应于垂直放置状态)。
[0108]本实施例的图像处理装置确定由处理目标图像信号表示的图像是否是平面图像(S104)。例如，如果处理目标图像信号不是用于表示三维图像(左眼图像信号，右眼图像信号)的图像信号，那么本实施例的图像处理装置确定出由处理目标图像信号表示的图像是平面图像。
[0109]如果在步骤S104中确定出由处理目标图像信号表示的图像是平面图像，那么本实施例的图像处理装置基于图像信号进行深度估计(S106)。这里，通过例如使用一个或两个或多个结果(诸如采用多幅时序图像进行的运动检测处理的结果或从图像中检测特定目标(例如，人或物)的目标检测处理的结果)，本实施例的图像处理装置估计由处理目标图像信号表示的图像的深度。注意，本实施例的图像处理装置也能够采用任何能够执行深度估计的技术来执行步骤S106的处理。
[0110]此外，在步骤S104中，如果确定出由处理目标图像彳目号表不的图像不是平面图像，那么本实施例的图像处理装置基于图像信号(右眼图像和左眼图像)执行视差估计(S108)。这里,通过例如基于块一致(block matching)或诸如此类的技术对右眼图像和左眼图像进行比较并对右眼图像与左眼图像之间的视差的量进行计算，本实施例的图像处理装置由此估计视差。注意，本实施例的图像处理装置也能够采用任何能够执行视差估计的技术来执行步骤S108的处理。[0111]注意，在图7中，尽管示出了在步骤S102的处理之后执行步骤S104至S108的处理的示例，但是本实施例的图像处理装置能够独立地进行步骤S102的处理和步骤S104至S108的处理。因此，本实施例的图像处理装置可以例如在步骤S104至S108的处理之后执行步骤S102的处理或同时执行步骤S102的处理与步骤S104至S108的处理。
[0112]当完成步骤S102的处理和步骤S104至S108的处理时，基于在步骤S102中获得的布置的判定结果和在步骤S106或步骤S108(S110)中获得的估计结果，本实施例的图像处理装置确定在步骤S102中所判定的子像素布置的视差。本实施例的图像处理装置通过例如选择性地计算公式3来确定在步骤S102中所判定的子像素布置的视差。
[0113]当在步骤SllO中确定出视差时，基于所确定的视差和处理目标图像信号，本实施例的图像处理装置生成另一个视点图像(S112)。通过将由处理目标图像信号表示的一幅或两幅图像设定为参考图像，且生成由于参考图像偏移在步骤SllO中所确定的视差值(例如，相位差)而形成的图像，本实施例的图像处理装置生成另一视点图像。
[0114]当完成步骤S112的处理时，本实施例的图像处理装置将由处理目标图像信号表示的图像和在步骤S112中生成的图像显示中显示屏上(S114)。
[0115]例如，本实施例的图像处理装置执行图7所示的本实施例的处理。基于7所示的处理，实现了上述处理(I)(判定处理)至处理(3)(视点图像生成处理)以及上述显示控制处理。因此，例如，通过执行图7所示的处理，本实施例的图像处理装置能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。此外，通过执行图7所示的处理，本实施例的图像处理装置能够抑制与显示屏构造相关的成本的增加。注意，本实施例的图像处理装置所执行的本实施例的图像处理方法中的处理显然并不限于图7所示的处理。
[0116]2.本实施例的图像处理装置
[0117]接着，将说明本实施例的图像处理装置的构造的示例，该图像处理装置能够执行本实施例的图像处理方法中所执行的上述处理。
[0118]图8是表示本发明实施例的图像处理装置100的构造示例的框图。图像处理装置100包括例如通信单元102和控制单元104。
[0119]此外，图像处理装置100也可以包括例如ROM(只读存储器；未图示)、RAM(随机存取存储器；未图示)、存储单元(未图示)、用户可操作的操作单元(未图示)和能够在显示屏等上显示各种画面的显示单元(未图示)。图像处理装置100使用作为数据传送路径的总线把这些组成部件彼此连接。
[0120]这里，ROM(未图示)存储例如由控制单元104使用的程序和计算参数等控制数据。RAM(未图示)临时存储能够由控制单元104执行的程序或诸如此类的数据。
[0121]存储单元(未图示)是包含在图像处理装置100内的存储设备，例如，存储单元存储诸如图像数据和应用程序等各种数据。这里，存储单元(未图示)的示例包括诸如硬盘等磁记录介质、诸如闪存存储器等非易失性存储器等等。此外，存储单元(未图示)可以从图像处理装置100中拆卸。此外，操作单元(未图示)的示例包括下述操作输入设备。显示单元(未图示)的示例可以包括下述显示设备。
[0122](图像处理装置100的硬件构造的示例)
[0123]图9是表示本发明实施例的图像处理装置100的硬件构造的示例的说明图。例如，图像处理装置100包括MPU150、ROMl52, RAM154、记录介质156、输入/输出接口 158、操作输入设备160、显示设备162和通信接口 164。此外，图像处理装置100使用作为数据传送路径的总线166将这些组成部件彼此连接。
[0124]例如，MPU150由MPU(微处理单元)、各种处理电路等构造而成。MPU150充当用于对整个图像处理装置100进行控制的控制单元104。此外，在图像处理装置100中，例如，MPU150充当用于上述布置判定单元110、视差确定单元112和图像生成单元114。
[0125]ROMl52存储诸如MPU150所使用的程序和计算参数等控制数据。例如，RAMl54临时存储MPU150所执行的程序和诸如此类的数据。
[0126]记录介质156充当存储单元,例如,记录介质156存储诸如图像数据和应用程序等各种数据。这里，记录介质156的示例包括诸如硬盘等磁记录介质、诸如闪存存储器的非易失性存储器等等。此外，记录介质156可以从图像处理装置100中拆卸。
[0127]例如，输入/输出接口 158连接操作输入设备160和显示设备162。操作输入设备160充当操作单元(未图示)，且显示设备162充当显示单元(未图示)。这里，输入/输出接口 158包括USB (通用串行总线)端子、DVI (数字视频接口)端子、HDMI (高清晰多媒体接口)端子和各种处理电路等等。此外，例如，操作输入设备160被包含在图像处理装置100上，且与图像处理装置100中的输入/输出接口 158连接。操作输入设备160的示例包括按钮、方向键和诸如转点通(jog dial)等旋转式选择器以及这些组合。此外，例如，显示设备162被包含在图像处理装置100上，且与图像处理装置100中的输入/输出接口 158连接。输入/输出接口 158的示例包括液晶显示器(LCD)、有机电致发光平板显示器(有机电致发光平板显示器，也称作OLED (有机电致发光二极管))等等。
[0128]注意，对于图像处理装置100的外部设备，输入/输出接口 158显然也与诸如操作输入设备(例如，键盘、鼠标等)或显示设备连接。此外，显示设备162也可以是能够执行显示和用户操作的装置。
[0129]通信接口 164是被包含在图像处理装置100中的通信单元，通信接口 164充当通信单元102，其通过网络(或直接地)与显示设备或诸如服务器或成像设备等外部设备进行无线/有线通信。这里，通信接口 164的示例包括通信天线和RF (射频)电路(无线通信)、IEEE802.15.1端口和传送/接收电路(无线通信)、IEEE802.1lb端口和传送/接收电路(无线通信)或LAN(局域网)端子和传送/接收电路(无线通信)等等。此外，本发明的网络的示例包括诸如LAN或WAN(广域网)等有线网络、诸如无线LAN(无线局域网)和无线WAN(无线广域网)等经由基站的无线网络或采用诸如TCP/IP(传送控制协议/互联网协议)通信协议的因特网等。
[0130]例如，基于图9所示的构造，图像处理装置100执行本实施例的图像处理方法中所执行的处理。注意，本实施例的图像处理装置的硬件构造并不限于图9所示的构造。例如，图像处理装置100可以包括具有捕获静止图像或移动图像的成像单元(未图示)的功能的成像设备。例如，如果包含有成像设备，那么图像处理装置100能够对所捕获的图像(该图像是通过采用成像设备进行成像而生成的)进行处理。
[0131]本实施例的成像设备的示例包括透镜/成像元件和信号处理电路。透镜/成像元件是由光学系统透镜和采用诸如CMOS (互补金属氧化物半导体)等多个成像元件的图像传感器构造而成的。此外，信号处理电路包括例如AGC(自动增益控制)电路和ADC(模数转换器)电路。信号处理电路将成像元件生成的模拟信号转换为数字信号(图像数据)，且进行各种信号处理。由信号处理电路进行的信号处理的示例包括白平衡校正、色调校正、伽马(gamma)校正处理、YCbCr转换处理和边缘增强处理等等。
[0132]此外，例如，当图像处理装置100作为独立的构造执行处理时，图像处理装置100的构造可以没有通信接口 164。此外，图像处理装置100的构造也可以没有操作输入设备160或显示设备162。
[0133]将参照图8再次说明图像处理装置100的构造示例。通信单元102是被包含在图像处理装置100内的通信单元，通信单元102通过网络(或直接地)与显示设备或诸如服务器或成像设备等外部设备进行无线/有线通信。此外，例如，控制单元104控制通信单元
102的通信。这里，通信单元102的示例包括通信天线和RF (射频)电路、LAN终端和传送/接收电路等等。然而，通信单元102的构造并不限于这些示例。例如，通信单元102可以具有支持诸如USB端子和传送/接收电路等能够进行通信的任何标准的构造或具有通过网络能够与外部设备通信的任何构造。
[0134]例如，控制单元104由MPU构造而成，控制单元104具有对整个图像处理装置100进行控制的功能。此外，例如，包括布置判定单元110、视差确定单元112和图像生成单元114的控制单元104在本实施例的图像处理方法中所执行的处理中起到主导作用。
[0135]在上述处理(I)(判定处理)中起到主导作用的布置判定单元110判定用于形成显示屏像素的子像素的布置是第一布置(对应于水平放置状态的布置)还是第二布置(对应于垂直放置状态的布置)。更具体地，基于例如显示屏的状态(例如，水平放置状态或垂直放置状态)以及用于表示由能够检测显示屏状态的一个或两个或多个传感器得到的检测结果的检测信号，布置判定单元110判定子像素布置是第一布置还是第二布置。
[0136]基于角度信息和从布置判定单元110中传送的对子像素布置的判定结果，在上述处理(2)(视差确定处理)中起到主导作用的视差确定单元112确定由布置判定单元110判定的子像素布置的视差。更具体地，例如，通过执行在上述(2-1)至(2-3)中所述的任意处理，视差确定单元112确定由布置判定单元110判定的子像素布置的视差。
[0137]基于处理目标图像信号和由视差确定单元112确定的视差，在上述处理(3)(视点图像生成处理)中起到主导作用的图像生成单元114生成一幅或两幅或多幅其他视点图像，该其他视点是不同于由图像信号表示的图像的视点。
[0138]更具体地，通过将由处理目标图像信号表示的一幅或两幅图像设定为参考图像，且生成由于参考图像偏移视差确定单元112所确定的视差(相位差)而形成的图像，图像生成单元114生成另一个视点的图像。这里，例如，视差确定单元112可以基于从布置判定单元110传送的子像素布置的判定结果来改变将要生成的其他视点的数量或可以不考虑子像素布置的判定结果来生成预定数量的其他视点图像。此外，可以预先设定或由用户设定该预定数量。
[0139]例如，由于控制单元104包括布置判定单元110、视差确定单元112和图像生成单元114，所以制单元104在执行本实施例的图像处理方法中所执行的处理(例如，上述(I)(判定处理)至(3)(视点图像生成处理)的处理)时起到主导作用。
[0140]注意，本实施例的控制单元的构造并不限于图8所示的构造。例如，本实施例的控制单元还可以包括执行上述显示控制处理的显示控制单元(未图示)。[0141]例如，基于图8所示的构造，图像处理装置100执行本实施例的图像处理方法中所执行的处理(例如，上述(I)(判定处理)至(3)(视点图像生成处理)的处理))。因此，例如，基于图8所示的构造，图像处理装置100能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。此外，基于图8所示的构造，图像处理装置100能够抑制显示屏结构的相关成本的增加。
[0142]注意，本实施例的图像处理装置的构造并不限于图8所示的构造。
[0143]例如，本实施例的图像处理装置可以单独地包括(例如，通过个体的处理电路实现)图8所示的布置判定单元110、视差确定单元112和图像生成单元114以及未图示的显示控制单元。
[0144]此外，例如，本实施例的图像处理装置的构造也能够不包括在执行上述处理(3)(视点图像生成处理)时起到主导作用的图像生成单元114的构造。即使不包括图像生成单元114，本实施例的图像处理装置能够仍能够通过与可以执行上述处理(3)(视点图像生成处理)的外部设备一起执行处理，由此进行本实施例的处理(例如，上述处理(I)(判定处理)至处理(3)(视点图像生成处理))。更具体地，本实施例的图像处理装置执行上述处理(I)(判定处理)和上述处理(2)(视差确定处理)，且把用于表示所确定的视差的视差信息(数据)传送到外部设备。然后，外部设备接收视差信息且执行上述处理(3)(视点图像生成处理)。
[0145]此外，例如，本实施例的图像处理装置能够包括成像单元(未图示)。如果不包括成像单元，本实施例的图像处理装置能够对基于成像单元(未图示)的成像而生成的图像进行处理。成像设备(未图示)的示例包括上述本实施例的成像设备。
[0146]此外，例如，当本实施例的图像处理装置作为独立的构造执行处理时，图像处理装置的构造可以没有通信单元102。
[0147]因此，对于本实施例的图像处理方法中所执行的处理，本实施例的图像处理装置执行例如上述处理(I)(判定处理)、上述处理(2)(视差确定处理)和上述处理(3)(视点图像生成处理)。这里，例如，当切换水平放置状态和垂直放置状态时，即，当用于形成显示屏像素的子像素的布置已经在第一布置(对应于水平放置状态的布置)和第二布置(对应于垂直放置状态的布置)之间改变时，尽管设计观看距离没有变化，但是眼间距视点数的确发生变化。如上所述，在上述处理(2)(视差确定处理)中，本实施例的图像处理装置确定视差以对应于眼间距视点数变化的量，且在上述处理(3)(视点图像生成处理)中，根据在上述处理(2)(视差确定处理)中所确定的视差来生成其他视点图像。因此，本实施例的图像处理装置能够将用户在水平放置状态下感受到的三维效果和用户在垂直放置状态下感受到的三维效果变得更接近，且还能够统一这些效果。
[0148]因此，本实施例的图像处理装置能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0149]此外，在上述处理(I)(确定处理)中，本实施例的图像处理装置判定布置状态是第一布置(对应于水平放置状态的布置)还是第二布置(对应于垂直放置状态的布置)，然后执行上述处理(2)(视差确定处理)和上述处理(3)(视点图像生成处理)。因此，例如，如图1所示，即使当用于形成显示屏像素的子像素不是方形子像素，本实施例的图像处理装置也能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。
[0150]因此，由于本实施例的图像处理装置的使用不会由于生产方形子像素而导致成本增加，所以本实施例的图像处理装置能够抑制显示屏结构的相关成本的增加。
[0151]尽管上文将图像处理装置作为本发明实施例进行了说明，但是本实施例并不限于这个示例。本实施例也能够用于能够处理图像的各种设备，例如平板式设备、诸如移动电话或智能手机等通信设备、视频/音频播放设备(或视频/音频记录和播放设备)、游戏设备、诸如PC (个人计算机)等计算机和诸如数码相机或数码摄像机等成像设备等等。此外，本实施例也能够应用在处理能够包含在这样设备中的IC(集成电路)。
[0152]3.本实施例的程序
[0153]通过在计算机上执行程序(例如，能够执行中本实施例的图像处理方法中执行的处理的程序，例如“上述处理(I)(判定处理)至处理(3)(视点图像生成处理)”、“上述处理
(I)(判定处理)至处理(3)(视点图像生成处理)和上述显示控制处理”等)使计算机起到本实施例的图像处理装置的作用，由此能够减少用户在用于形成显示屏像素的子像素的布置状态已经发生改变时可感受到的奇异感。此外，通过在计算机上执行这样的程序使计算机起到本实施例的图像处理装置的作用，能够抑制显示屏的像素结构的相关成本增加。
[0154]本领域技术人员应当理解，依据设计要求和其他因素，可以在本发明随附的权利要求或其等同物的范围内进行各种修改、组合、次组合以及改变。
[0155]例如，尽管上面说明了使计算机起到本实施例的图像处理装置的作用的程序(计算机程序)，但是本实施例还能够进一步提供用于存储这程序的记录介质。
[0156]上述构造示出了本实施例的一个示例，且自然归入本发明实施例的技术范围。
[0157]此外，本技术也可以由如下的内容构造:
[0158](I) 一种图像处理装置，其包括:
[0159]布置判定单元，所述布置判定单元判定用于形成显示屏的像素的子像素的布置是第一布置还是第二布置，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；
[0160]视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和
[0161]图像生成单元，所述图像生成单元基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点，
[0162]其中，所述视差确定单元将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
[0163](2)根据项I所述的图像处理装置，其中，所述视差确定单元确定所述子像素的所判定的布置的所述视差，使得通过将用于表示在所述子像素的布置被判定为所述第一布置时的所述视差的值乘以由所述角度信息表示的角度的正切函数的绝对值而得到的值与用于表示在所述子像素的布置被判定为所述第二布置时的所述视差的值是相同值。
[0164](3)根据项I所述的图像处理装置，其中，所述视差确定单元确定所述子像素的所判定的布置的所述视差，使得满足下面的公式:
[0165]Dispv = Disph.tan Θ[0166]其中，0匕队表示在所述子像素的布置被判定为所述第二布置时的所述视差，Disph表示在所述子像素的布置被判定为所述第一布置时的所述视差，且Θ表示所述视差元件的所述角度。
[0167](4)根据项1-3中任一项所述的图像处理装置，其中，所述图像生成单元在所述子像素的布置被判定为所述第一布置时生成的其他视点的图像的数量与在所述子像素的布置被判定为所述第二布置时生成的其他视点的图像的数量相同。
[0168](5)根据项1-3中任一项所述的图像处理装置，其中，所述图像生成单元在所述子像素的布置被判定为所述第二布置时生成的其他视点的图像的数量比在所述子像素的布置被判定为所述第一布置时生成的其他视点的图像的数量少。
[0169](6) 一种图像处理装置，其包括:
[0170]布置判定单元，所述布置判定单元判定用于形成显示屏的像素的子像素的布置是第一布置还是第二布置，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；和
[0171]视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差，
[0172]其中，基于在所述子像素的布置被判定为所述第二布置时所确定的视差的相邻视点图像的视差大于基于在所述子像素的布置被判定为所述第一布置时所确定的视差的相邻视点图像的视差。
[0173](7) 一种图像处理方法，其包括:
[0174]判定用于形成显示屏的像素的子像素的布置是第一布置还是第二布置，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；
[0175]基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和
[0176]基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点，
[0177]其中，在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
[0178](8) 一种使计算机执行以下步骤的程序:
[0179]判定用于形成显示屏的像素的子像素的布置是第一布置还是第二布置，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；
[0180]基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和
[0181]基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点，
[0182]其中，在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。[0183]本申请包含与2012年7月31日向日本专利局提交的日本优先权专利申请JP2012-169563所公开的内容相关的主题，因此将该日本优先权申请的全部内容以引用的方式并入本文。
【权利要求】
1.一种图像处理装置，其包括: 布置判定单元，所述布置判定单元判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上； 视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和 图像生成单元，所述图像生成单元基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点， 其中，所述视差确定单元将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
2.根据权利要求1所述的图像处理装置，其中，所述视差确定单元确定所述子像素的所判定的布置的所述视差，使得通过将用于表示在所述子像素的布置被判定为所述第一布置时的所述视差的值乘以由所述角度信息表示的角度的正切函数的绝对值而得到的值与用于表示在所述子像素的布置被判定为所述第二布置时的所述视差的值是相同值。
3.根据权利要求1所述的图像处理装置，其中，所述视差确定单元确定所述子像素的所判定的布置的所述视差，使得满足下面的公式:
Dispv = Disph.I tan Θ 其中，Dispv表示在所述子像素的布置被判定为所述第二布置时的所述视差，Disph表示在所述子像素的布置被判定为所述第一布置时的所述视差，且Θ表示所述视差元件的所述角度。
4.根据权利要求1-3中任一项所述的图像处理装置，其中，所述图像生成单元在所述子像素的布置被判定为所述第一布置时生成的其他视点的图像的数量与在所述子像素的布置被判定为所述第二布置时生成的其他视点的图像的数量相同。
5.根据权利要求1-3中任一项所述的图像处理装置，其中，所述图像生成单元在所述子像素的布置被判定为所述第二布置时生成的其他视点的图像的数量比在所述子像素的布置被判定为所述第一布置时生成的其他视点的图像的数量少。
6.根据权利要求1或2所述的图像处理装置，其中，所述视差确定单元进一步调节所确定的视差，使得双眼视差角度不超过I度。
7.一种图像处理装置，其包括: 布置判定单元，所述布置判定单元判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上；和 视差确定单元，所述视差确定单元基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差， 其中，基于在所述子像素的布置被判定为所述第二布置时所确定的视差的相邻视点图像的视差大于基于在所述子像素的布置被判定为所述第一布置时所确定的视差的相邻视点图像的视差。
8.一种图像处理方法，其包括: 判定用于子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上； 基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和 基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点， 其中，在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
9.一种使计算机执行以下步骤的程序: 判定子像素的布置是第一布置还是第二布置，所述子像素用于形成显示屏的像素，在所述第一布置中所述子像素的短边方向布置在所述显示屏的水平方向上，在所述第二布置中所述子像素的长边方向布置在所述显示屏的水平方向上； 基于用于表示视差元件相对于所述显示屏的参考方向设置的角度的角度信息以及基于所述子像素的布置的判定结果来确定所述子像素的所判定的布置的视差；和 基于图像信号和所确定的视差来生成一幅或两幅或多幅其他视点的图像，所述其他视点不同于由所述图像信号表示的图像的视点， 其中，在确定所述视差时，将在所述子像素的布置被判定为所述第二布置时所确定的视差设定为大于在所述子像素的布置被判定为所述第一布置时所确定的视差。
【文档编号】G02B27/22GK103581644SQ201310311244
【公开日】2014年2月12日 申请日期:2013年7月23日 优先权日:2012年7月31日
【发明者】石川庆太, 大桥功 申请人:索尼公司