专利名称：图像处理设备、图像处理方法和图像处理系统的制作方法
技术领域：
本公开涉及一种图像处理设备、图像处理方法和图像处理系统。
背景技术：
近来，显示三维图像的显示设备得以广泛传播。三维图像显示设备被配置成使用空间和时间方法将两个不同的视频信号独立地传送到左和右眼，并且能够通过根据独立地传送到左和右眼的视频信号再现视差(disparity)来识别三维图像。以下日本专利申请待审第2009-239388号、日本专利申请待审第2009-239389号和日本专利申请待审第 2010-667M号公开了当显示三维图像时减少具有立体视角的用户的疲劳感觉的技术。
发明内容
然而，尽管已经设想出将视频图像独立地发送到左和右眼的各种方案，但是立体效果(深度效果)的程度极大地受视差的程度影响。具体地，当同时显示多个三维图像时， 各个三维图像的立体效果可能不同。这是因为，例如，左和右图像之间的视差量的差别由于形成视频图像所在的环境的差别而在多个单独的视频图像之间有所变化。多个三维图像之间的视差量的差别被用户识别为图像的立体效果之间的差别，并给予用户奇怪的感觉。而且，当同时显示多个三维图像时，如果用户的目光在不同立体效果的多个视频图像之间移动，则用户必须针对每个视频图像无意识地调节焦距，结果存在眼睛变得疲劳的问题。有鉴于此，期望提供一种新颖且改进的图像处理设备、图像处理方法和图像处理系统，使得用户在观看多个三维图像时能够毫无奇怪感觉地观看图像。根据本发明的实施例，提供了一种图像处理设备，包括特征值提取单元，用于接收形成多个三维图像的视频数据的输入，并且提取表示深度方向上每个三维图像的位置的特征值；和特征值校正单元，用于校正所述特征值以便使得所述多个三维图像的立体效果统一。在这种配置中，所述特征值校正单元校正所述特征值从而每个三维图像的特征值的动态范围变得相等。在这种配置中，所述特征值校正单元校正所述特征值以便使得形成所述三维图像的每帧的每个三维图像的特征值的动态范围相等。在这种配置中，所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的动态范围在任意时间内相等。在这种配置中，所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的最大值或最小值相等。 在这种配置中，所述特征值校正单元校正所述特征值以便使得形成所述三维图像的每帧的每个三维值的特征值的最大值或最小值相等。 在这种配置中，所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的最大值或最小值在任意时间内相等。根据本发明的另一实施例，提供了一种图像处理方法，包括接收形成多个三维图像的视频数据的输入，并且提取表示深度方向上每个三维图像的位置的特征值；和校正所述特征值以便使得所述多个三维图像的立体效果统一。根据本发明的另一实施例，提供了一种图像处理系统，包括第一图像处理设备和第二图像处理设备。所述第一图像处理设备包括第一特征值提取单元，用于接收形成三维图像的视频数据的输入，并且提取表示深度方向上三维图像的位置的第一特征值；第一特征值校正单元，用于基于第二图像处理设备中提取的第二特征值校正所述第一特征值以便针对输入到第二图像处理设备的三维图像使得立体效果统一；和第一控制单元，用于获取与在所述第二图像处理设备中提取的第二特征值相关的信息。所述第二图像处理设备包括第二特征值提取单元，用于接收形成三维图像的视频数据的输入，并且提取表示深度方向上三维图像的位置的第二特征值；第二特征值校正单元，用于基于第一图像处理设备中提取的第一特征值校正所述第二特征值以便针对输入到第一图像处理设备的三维图像使得立体效果统一；和第二控制单元，用于获取在所述第一图像处理设备中提取的第一特征值。根据本公开，当用户观看多个三维图像时，用户能够毫无奇怪感觉地观看视频图像。
图1是图示根据本公开一个实施例的电视接收机的配置示例的示意图；图2是描述Z值的动态范围、最大值和最小值的示意图；和图3是图示具有多个电视接收机的系统的配置示例的示意图。
具体实施例方式下面，将参考附图来详细描述本公开的优选实施例。注意，在该说明书和附图中， 用相同的附图标记指代具有基本相同功能和结构的结构元件，并且省略这些结构元件的重复说明。另外，将以下列顺序进行描述。1.电视接收机的配置示例2. Z值校正单元的Z值校正3.具有多个电视接收机的系统的配置示例[1.电视接收机的配置示例]根据本实施例，提供了一种图像处理设备、图像处理方法和图像处理系统，其使得多个三维图像之间立体效果统一并且以该统一的立体效果显示所有三维图像。图1是图示按照本公开的实施例的电视接收机100的配置示例的示意图。注意，尽管将在下面描述电视接收机，但是按照本实施例的设备决不限于该电视接收机，并且可应用于使得用户能够观看多个三维图像的设备和系统。例如，按照本实施例的设备可以是诸如显示多个三维图像的个人计算机(PC)之类的信息处理设备以及诸如数码相机和移动电话之类的移动设备。
图1中图示的电视接收机100具有作为多个视频输入端的调谐器102、Ether (以太)输入/输出端106、HDMI端110和模拟输入端112。广播系统的视频源通过调谐器102 输入，并且网络系统的视频源通过Ether输入/输出端106输入。而且，基带数字视频源通过HDMI端110输入。而且，诸如DVD (数字多用途盘)播放器输出和磁带录像机输出之类的模拟视频源通过模拟输入端112输入。输入到调谐器102的视频源在解码单元104中被解码并且被输出到Z值提取单元 114。而且，输入到Ether输入/输出端106的视频源在解码单元108中被解码并且被输出到Z值提取单元114。与此相比，输入到HDMI端110的视频源和输入到模拟输入端112的视频源被直接输出到Z值提取单元114。另外，当在模拟广播中进行3D广播时，按照调谐器102的随后处理，调谐器102的输出通过一条不经历解码单元104的路径(未图示)被输入到Z值提取单元114。尽管存在各种各样的三维图像的信号格式，但是对于通过每个输入端输入的视频源包括关于深度方向上的每个像素的信息的情况以及视频源不包括关于深度方向上的每个像素的信息的情况两者，都假设信号格式。在本实施例中，深度方向上的该信息的数量(特征值)称作“Z值”。Z值提取单元 114首先从所有视频源中提取Z值。通过提取和利用伴随视频信号的值来提取Z值。而且，当Z值不伴随视频信号时，Z值提取单元114通过图像分析来提取Z值。例如，当存在用来发送左眼和右眼的两种类型图像的三维视频格式时，在像素级别比较这两种图像，并且识别图案以计算像素之间的视差量并且从该视差量中获取Z值。例如，在左眼和右眼的两种类型的各个图像中存在相应图案(例如，建筑物和人)，因此Z值提取单元 114根据这些图案识别结果来计算左眼和右眼的两个图像中的每个图案的视差量(像素移位量)。因此，所有像素的视差量被提取。作为关于深度方向上的三维图像的信息量的Z值是与视差量对应的值，并且可以从视差量中计算得出。而且，视差量可被用作Z值。以这种方式获取的Z值被输入到Z值校正单元116。尽管下面详细描述，但是Z值校正单元116基于比较匹配视频源的视频信号之间的Z值的结果来校正Z值，以便调节三维图像信号的立体效果之间的差。显示处理单元118接收校正的Z值的视频源。显示处理单元118根据校正的Z值计算每个像素的视差量，并且进行生成包括视差的左眼和右眼的两种类型视频数据项的处理。显示单元120例如具有液晶显示器，并且基于从显示处理单元118输入的视频数据来提供显示。控制单元130可用中央处理单元(CPU)来配置，并且控制图1中图示的组件。具体地，控制单元130比较Z值提取单元114中提取的并与每个视频源相关联的Z值，并且根据该结果控制Z值校正单元116中的Z值的校正。而且，控制单元130基于校正的Z值来控制显示处理单元118中的视频数据的生成处理。[2. Z值校正单元的Z值校正]接着，将详细描述Z值校正单元116中的Z值的校正。Z值校正单元116根据如下列⑴到⑷中描述的校正方法来校正Z值。(1)比较在某一时刻的三维图像的一帧的Z值的分布，并且调节Z值，从而该分布的动态范围变得相等。
使用这种方法，从一帧的图像中位于深度方向上最前侧上(最接近观众)的图像与位于最深侧(距视图最远)上的图像之间的差，每个视频源计算Z值的动态范围。而且， 校正Z值使得动态范围变得每帧在每个视频源中相等。这样，所有三维图像的动态范围被调节成相等，因此用户可以在所有视频源具有统一的立体效果的状态下观看多个三维图像。结果，能够防止深度方向上特定视频源的立体效果被加强的问题。这样，能够抑制给予观众奇怪的感觉并且抑制观众疲劳的感觉。(2)在某一时间段(超过多个帧)上研究三维图像的Z值的分布，并且调节Z值使得动态范围变得相等。利用这种方法，每个视频源获取某一时间段内的Z值的分布，并且校正Z值，使得每个视频源的动态范围在该某一时间段内变得相等。例如，校正Z值，使得在某一时间段内每个视频源的动态范围被校正为该某一时间段内每个视频源的动态范围的平均值。通过这种方式，能够抑制每帧快速改变动态范围的视频源的动态范围的快速变化，并且提供观众能够容易观看的多个三维图像。(3)比较某一时刻一帧中的三维图像的Z值的分布，并且调节Z值，使得该Z值的最大值(或最小值)变得相等。利用这种方法，校正Z值使得每帧的每个视频源的最大值 (或最小值)变得相等。当校正Z值使得Z值的最大值变得相等时，位于最前侧(在观众侧)上的图像的位置每帧在每个视频源中变得相等。结果，与其它视频源相比，能够防止特定视频源的图像显示在前侧。而且，当校正Z值使得Z值的最小值变得相等时，位于最深侧 (最远离观众)中的图像的位置每帧变得在每个视频源中相等。结果，与其它视频源相比， 能够防止特定视频源的图像显示在深侧。通过这种方式，能够抑制给予观众的奇怪感觉并且抑制观众的疲劳感觉。(4)研究某一时间段上的三维图像的Z值的分布，并且调节该Z值使得Z值的最大值(或最小值)变得相等。利用这种方法，每个视频源获取在某一时间段内的Z值的分布， 并且校正Z值使得该某一时间段内的最大值(或最小值)变得相等。例如，校正Z值使得某一时间段内的每个视频源的最大值(或最小值)变成该某一时间段内每个视频源的每帧中的最大值(或最小值)的平均值。通过这种方式，能够防止每帧明显改变最大值(或最小值)的视频源的最大值(或最小值)的快速变化，并且提供观众能够更容易观看的多个三维图像。另外，甚至在这种情况下，保持(维持)了原始源的动态范围，因此能够不破坏深度效果地显示图像。图2是用于描述Z值的动态范围、最大值和最小值的示意图。图2是图示回退 (receded)图像和投影图像的示意图，该回退图像表面上显示在超出显示器表面的深度上， 该投影图像相对于显示器表面(显示器)的位置表面上显示在显示器表面之前。如图2中图示，显示器表面上的Z值为0。上面的动态范围对应于表面上显示在最前侧上的投影图像的Z值(zl(>0))与表面上显示在最深侧上的回退图像的Z值(z2(<0))之间的差D(= zl-z2)。Z值的最大值是表面上显示在最前侧上的投影图像的Z值的值zl，并且Z值的最小值是表面上显示在最深侧上的回退图像的Z值的值z2。表面上显示在最前侧上的投影图像提供了最大视差量，并且表面上显示在最深侧上的回退图像提供了最小视差量。同时，在这种情况下，最大视差量和最小视差量的符号相反。而且，就显示器表面的位置中的图像而言，视差量为O。
根据上面的(1)方法，校正每个视频源的Z值，使得作为表面上显示在最深侧上的回退图像的Z值(U)与表面上显示在最前侧上的投影图像的Z值(Zl)之间的差的动态范围D变得在视频源之间相等。结果，能够使得所有视频源的立体效果统一，抑制给予用户的奇怪感觉并且抑制用户眼睛的疲劳感觉。而且，根据方法O)，在某一时间段中显示的每帧中，校正Z值，使得动态范围D在视频源之间相等。结果，能够使得所有视频源的立体效果统一，防止动态范围的快速改变并且可靠地抑制用户眼睛的疲劳感觉。而且，根据方法(3)，Z值的最大值zl或最小值z2每帧被校正成在视频源之间相等。结果，能够调整表面上显示在最前侧上的投影图像的位置以及表面上显示在最深侧上的回退图像的位置，抑制给予用户的奇怪感觉并且最小化用户眼睛的疲劳感觉。当动态范围变得统一时，例如，如果显示在前侧上的人在深度方向上移动，则深度方向上的背景的位置期望在人的移动之后移动。然而，通过将最大值zl或最小值z2校正成相等，能够统一地调整前侧上的图像的位置或者深度侧上的背景的位置。再者，根据方法(4)，Z值的最大值zl或最小值z2被校正为在某一时间段中显示的每帧中的视频源之间相等。结果，能够使得所有视频源的立体效果统一，防止Z值的最大值zl或最小值z2的快速变化并且可靠地抑制用户眼睛的疲劳感觉。如上所述，在这种情况下，原始源的动态范围得以保持(维持)，因此能够毫无损坏深度效果地显示图像。而且，可以单独或者组合地使用上面的方法(1)到0)。例如，通过组合方法(1) 和(3)，能够使得三维图像在深度方向上的动态范围统一，并且统一地控制三维图像的投影的最大量或者回退的最大量。[3.具有多个电视接收机的系统的配置示例]图3是图示具有多个电视接收机100的系统的配置示例的示意图。该系统具有图 1中图示的电视接收机100和电视接收机200，该电视接收机200采用了与电视接收机100 相同的配置。如图3中所示，电视接收机100的控制单元130和电视接收机200的控制单元130 彼此连接。这种连接可以是有线的或者无线的。通过这种方式，电视接收机100的控制单元130和电视接收机200的控制单元130可以彼此发送和接收信息。 利用图3中图示的配置，电视接收机100的控制单元130从Z值提取单元114中获取每个视频源的ζ值。而且，电视接收机200的控制单元130也从Z值提取单元114中获取每个视频源的Z值。电视接收机100的控制单元130和电视接收机200的控制单元130 彼此通信，并且获取输入到电视接收机100和电视接收机200两者的所有视频源的Z值。再者，电视接收机100和电视接收机200的控制单元130基于所有视频源的Z值，根据上面方法(1)到(4)或者它们的组合来控制Z值校正单元116的校正处理。
通过这种方式，能够使得显示在电视接收机100和电视接收机200两者上的所有三维图像的立体效果统一。结果，当用户将目光从一个电视接收机的图像移动到另一个电视接收机的图像时，观看电视接收机100和电视接收机200两者的用户不会具有奇怪的感觉。而且，甚至当用户将目光从一个电视接收机的图像移动到另一个电视接收机的图像时， 每个视频源的立体效果变得统一，从而调节眼睛的焦距的位置不会明显变化，结果，能够使眼睛的疲劳最小化。
如上所述，根据本实施例，当三维图像显示设备同时显示多个三维图像时，能够使得所有图像的立体效果统一，并且向观众提供自然的立体效果。而且，当显示具有统一立体效果的多个图像并且用户将目光在图像之间移动时，用户可以通过最小地调节焦距将眼睛聚焦在每个图像上。结果，能够将眼睛的疲劳抑制到最小，并且使得更容易长时间观看三维图像。本领域的技术人员应当理解，按照落入所附权利要求或其等价物的范畴之内的设计要求和其它因素，可以发生各种变化、组合、子组合和替换。本公开包含与2010年8月27日向日本专利局提交的日本优先权专利申请JP 2010-190924中公开的主题相关的主题，特此并入其整体内容作为参考。
权利要求
1.一种图像处理设备，包括特征值提取单元，用于接收形成多个三维图像的视频数据的输入，并且提取表示深度方向上每个三维图像的位置的特征值；和特征值校正单元，用于校正所述特征值以便使得所述多个三维图像的立体效果统一。
2.如权利要求1所述的图像处理设备，其中所述特征值校正单元校正所述特征值从而每个三维图像的特征值的动态范围变得相等。
3.如权利要求2所述的图像处理设备，其中所述特征值校正单元校正所述特征值以便使得形成所述三维图像的每帧的每个三维图像的特征值的动态范围相等。
4.如权利要求2所述的图像处理设备，其中所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的动态范围在任意时间内相等。
5.如权利要求1所述的图像处理设备，其中所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的最大值或最小值相等。
6.如权利要求5所述的图像处理设备，其中所述特征值校正单元校正所述特征值以便使得形成所述三维图像的每帧的每个三维图像的特征值的最大值或最小值相等。
7.如权利要求5所述的图像处理设备，其中所述特征值校正单元校正所述特征值以便使得每个三维图像的特征值的最大值或最小值在任意时间内相等。
8.一种图像处理方法，包括接收形成多个三维图像的视频数据的输入，并且提取表示深度方向上每个三维图像的位置的特征值；和校正所述特征值以便使得所述多个三维图像的立体效果统一。
9.一种图像处理系统，包括第一图像处理设备，包括第一特征值提取单元，用于接收形成三维图像的视频数据的输入，并且提取表示深度方向上三维图像的位置的第一特征值；第一特征值校正单元，用于基于第二图像处理设备中提取的第二特征值校正所述第一特征值以便针对输入到第二图像处理设备的三维图像使得立体效果统一；和第一控制单元，用于获取与在所述第二图像处理设备中提取的第二特征值相关的信息；和所述第二图像处理设备包括第二特征值提取单元，用于接收形成三维图像的视频数据的输入，并且提取表示深度方向上三维图像的位置的第二特征值；第二特征值校正单元，用于基于第一图像处理设备中提取的第一特征值校正所述第二特征值以便针对输入到第一图像处理设备的三维图像使得立体效果统一；和第二控制单元，用于获取在所述第一图像处理设备中提取的第一特征值。
全文摘要
本发明的图像处理设备包括特征值提取单元，用于接收形成多个三维图像的视频数据的输入，并且提取表示深度方向上每个三维图像的位置的特征值；和特征值校正单元，用于校正所述特征值以便使得所述多个三维图像的立体效果统一。
文档编号H04N13/00GK102438159SQ20111023877
公开日2012年5月2日 申请日期2011年8月19日 优先权日2010年8月27日
发明者武居雅晓 申请人:索尼公司