图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法，更具体地，涉及观看者可借助其 来更好地欣赏3D图像数据的图像处理设备和图像处理方法。
背景技术：
3D (三维)显示系统是近年来随着诸如液晶显示器(IXD)之类的显示器的帧率的 增加和像素数的增长而变得可能的图像显示系统。利用3D显示系统，观看者可以三维地辨 识物体。以下，在适当情况下，可以通过观看来三维地辨识物体的图像被称为3D图像，包含 3D图像的数据的内容被称为3D图像数据。观看3D图像的方法包括使用快门眼镜或偏振滤光眼镜的带眼镜的方法以及诸如 透镜(lenticular)方法之类的不使用眼镜的裸眼方法。作为显示3D图像的再现方法，存 在带视差的用于左眼的图像和用于右眼的图像被交替显示的帧序方法(frame sequential method)。通过利用快门眼镜等将用于左眼的图像和用于右眼的图像分别向观看者的左眼 和右眼示出，可以为观看者创造三维感。例如，日本未实审专利申请公报No. 2006-262191公开了这样的显示设备，通过该 显示设备，使用一台三维图像显示设备使得多个观看者可以通过适合于各自的显示方式来 单独地观看3D图像。

发明内容
当3D图像数据提供了更强的三维感时，例如动作和体育类别的3D图像数据通常 具有更好的观赏性，而3D图像数据具有更好的观赏性正是观看者所希望的。希望使得用户能够更好地欣赏3D图像数据。根据本发明一个实施例的图像处理设备包括再现装置，所述再现装置被配置成 再现3D图像数据，所述3D图像数据包括被设置了预定视差的用于右眼的图像和用于左眼 的图像的图像数据；类别指定装置，所述类别指定装置被配置成指定由再现装置再现的3D 图像数据的类别；确定装置，所述确定装置被配置成参考表格以便确定与由类别指定装置 指定的类别相对应的视差的强度，3D图像数据的每个类别和视差的强度在所述表格中被关 联；以及视差控制装置，所述视差控制装置被配置成将由再现装置再现的3D图像数据的视 差控制到由确定装置确定的视差的强度。根据本发明另一实施例的图像处理方法包括以下步骤再现3D图像数据，所述3D 图像数据包括被设置了预定视差的用于右眼的图像和用于左眼的图像的图像数据；指定再 现的3D图像数据的类别；参考表格，以便确定与指定的类别相对应的视差的强度，3D图像 数据的每个类别和视差的强度在所述表格中被关联；以及将再现的3D图像数据的视差控 制到所确定的视差的强度。根据本发明又一实施例，3D图像数据被再现，所述3D图像数据包括被设置了预定 视差的用于右眼的图像和用于左眼的图像的图像数据；再现的3D图像数据的类别被指定；
3表格被参考以便确定与指定的类别相对应的视差的强度，3D图像数据的每个类别和视差的 强度在所述表格中被关联；并且再现的3D图像数据的视差被控制到所确定的视差的强度。根据本发明的实施例，观看者可以更好地享受3D图像数据。


图1例示了根据本发明一个实施例的3D图像显示系统的配置示例；图2是示出显示控制设备的配置示例的框图；图3是示出再现处理单元的配置示例的框图；图4例示了 3D图像数据类别表格；图5例示了视差控制表格；图6是例示了再现处理单元所进行的处理的流程图；并且图7是示出根据本发明一个实施例的计算机的配置示例的框图。
具体实施例方式下面参考附图详细描述本发明的具体实施例。图1例示了根据本发明一个实施例的3D图像显示系统的配置示例。注意，在本说 明书中，系统指配备了多个设备的整个装置。图1中的3D图像显示系统包括显示控制设备1、电视接收机(TV)2、远程命令器 (remote commander) 3和由作为图像数据的观看者的用户佩戴的快门眼镜4。也就是说，利 用图1的3D图像显示系统来观看3D图像的方法是使用眼镜的方法。显示控制设备1和TV 2例如通过高清多媒体接口(HDMI)线缆来连接。显示控制设备1经由包括因特网等在内的网络11与3D图像数据服务器12相连。 显示控制设备1和3D图像数据服务器12之间的通信是经由网络11来执行的，并且3D图 像数据服务器12内存储的3D图像数据被发送到显示控制设备1。3D图像数据服务器12 是响应于来自经由网络11进行访问的设备的请求而提供3D图像数据的服务器。显示控制设备1安装有Web浏览器。例如，基于当3D图像数据服务器12被访问 时从3D图像数据服务器12发送来的诸如HTML文件之类的数据，显示控制设备1令TV 2 显示选择画面，所述选择画面显示了代表可观看的3D图像数据的对齐的缩略图。用户可以 通过借助远程命令器3的操作来操作和移动画面上显示的光标并指定缩略图，而发出开始 接收和再现3D图像数据的指令。3D图像数据服务器12提供的3D图像数据包括用于右眼的图像的图像数据、用于 左眼的图像的图像数据以及附加数据。附加数据例如包括示出3D图像数据的类别的类别 信息(见图4)。注意，3D图像数据还包括根据图像数据的再现而再现的声音数据。显示控制设备1再现从3D图像数据服务器12发送来的3D图像数据并令TV 2交 替显示用于右眼的图像和用于左眼的图像。此时，显示控制设备1执行视差控制以根据3D 图像数据的类别来调整视差的强度(degree of parallax)。经由例如使用红外光的无线通信，从显示控制设备1向快门眼镜4提供控制信号， 该控制信号包括图像的垂直同步信号的信息。快门眼镜4的左眼侧的透明部分和右眼侧的 透明部分配备有能够控制其偏振特性的液晶器件。根据该控制信号，快门眼镜4交替重复打开和关闭快门、即打开左眼时关闭右眼和关闭左眼时打开右眼这两个操作。结果，用于右 眼的图像和用于左眼的图像分别仅被输入到用户的右眼和左眼。通过交替查看用于右眼的 图像和用于左眼的图像，用户感觉到物体是三维的。通过这种方式，显示控制设备1执行从3D图像数据服务器12发送来的3D图像数 据的再现。接下来，图2是示出显示控制设备1的配置示例的框图。如图2所示，显示控制设备1包括系统控制器21、用户接口 22、信号输出单元23、 存储器对、通信单元25、再现处理单元沈和显示控制单元27。系统控制器21包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器 (RAM)等，并根据从用户接口 22提供来的代表用户的操作内容的信号来控制显示控制设备 1的整个操作。例如，系统控制器21通过控制通信单元25来接收从3D图像数据服务器12 递送来的3D图像数据，并通过控制再现处理单元沈来再现3D图像数据。用户接口 22检测用户对远程命令器3的操作，并向系统控制器21输出代表操作 的内容的信号。信号输出单元23将从系统控制器21提供来的控制信号发送到快门眼镜4。在已 接收到从信号输出单元23发送来的控制信号的快门眼镜4中，左眼侧的透明部分和右眼侧 的透明部分中的快门操作被控制。存储器M是诸如闪存之类的可重写存储器(例如，电可擦除可编程只读存储器 (EEPROM))，并存储显示控制设备1中登记的用户的个人信息、各种设置信息等。通信单元25是用于网络11的接口并经由网络11执行与3D图像数据服务器12 的通信。通信单元25根据系统控制器21的控制来请求3D图像数据服务器12发送预定的 3D图像数据，接收所发送的3D图像数据，并将3D图像数据输出到再现处理单元26。再现处理单元沈对从通信单元25提供来的将被再现的3D图像数据执行诸如对 压缩数据进行解压缩的解码处理之类的再现处理。再现处理单元沈将通过3D图像数据的 再现而获得的用于右眼的图像和用于左眼的图像的图像数据输出到显示控制单元27。另 外，再现处理单元26执行稍后将参考图6的流程图来描述的适合于3D图像数据的类别的 视差控制。注意，用于根据图像数据的图像来输出声音的声音数据经由来自再现处理单元 26的电路(未示出)被输出到外部扬声器等。显示控制单元27基于从再现处理单元沈提供来的用于右眼的图像和用于左眼的 图像的图像数据来控制TV 2的显示，并令TV 2交替显示用于右眼的图像和用于左眼的图像。在按照此方式配置的显示控制设备1中，从3D图像数据服务器12递送来的3D图 像数据被通信单元25接收，并且再现处理被再现处理单元沈执行。如上所述，3D图像数据 包括用于右眼的图像的图像数据、用于左眼的图像的图像数据以及附加数据，并且这些条 数据复用而成的复用数据被从3D图像数据服务器12递送。注意，作为附加数据的类别信 息等例如可以被存储为MPEG-2传输流(TS)的描述符中所定义的或MPEG-4盒(box)中所 定义的、用于视频的用户数据。在显示控制设备1的再现处理单元沈中，从将被再现的3D图像数据中提取的附 加数据中所包含的类别信息被参考，并且适合于3D图像数据的类别的视差控制被执行，以便其三维强度(three-dimensionality)被调整(降低)的3D图像数据被显示在TV 2中。接下来，图3是示出图2中的再现处理单元沈的配置示例的框图。如图3所示，再现处理单元沈包括提取单元41、解码单元42、三维强度确定单元 43和视差控制单元44。从图2的通信单元25接收的3D图像数据的复用数据被提供到提取单元41，并且 提取单元41划分复用数据以提取编码数据和附加数据。然后，提取单元41将编码数据提 供给解码单元42并将附加数据提供给三维强度确定单元43。解码单元42将通过对来自提取单元41的编码数据进行解码而获得的图像数据提 供给视差控制单元44。也就是说，解码单元42对用于右眼的图像的编码数据进行解码以将 因此而获得的用于右眼的图像的图像数据提供给视差控制单元44，还对用于左眼的图像的 编码数据进行解码以将因此而获得的用于左眼的图像的图像数据提供给视差控制单元44。三维强度确定单元43基于来自提取单元41的附加数据经由系统控制器21参考 存储器M中存储的信息，并判断再现所递送的3D图像数据时是否调整三维强度。存储器 M存储用户针对显示控制设备1登记的示出各种设置的设置信息。设置信息例如包括示出 是否执行三维强度的调整的信息(标记)。例如，用户可以通过远程命令器3的操作来设置 显示控制设备1以执行三维强度的调整。当3D图像数据的三维强度将被调整时，三维强度确定单元43确定调整后的三维 强度并向视差控制单元44提供示出用于这种三维强度的视差参数的范围的视差参数的 最大值和最小值。这里，视差参数的值和视差的差距(difference)彼此成比例；视差参 数的值越大，表示用于右眼的图像和用于左眼的图像之间的视差的差距越大，从而查看3D 图像数据的用户感觉物体三维感越强，看到的物体越突出。也就是说，视差参数示出了突 出量(stand-out amount)，即用户所看到的3D图像数据的物体突出的程度。具体而言， 视差参数的例子是当用于右眼的图像和用于左眼的图像重叠时，从用于右眼的图像中示 出的物体的预定点指向与该预定点相对应的用于左眼的图像中的物体的点的向量的幅度 (magnitude)。三维强度确定单元43存储3D图像数据类别表格和视差控制表格，该3D图像数 据类别表格中，3D图像数据的类别和被设置为适合于每个类别的三维强度等级被关联并登 记，在视差控制表格中，根据三维强度等级的视差参数的最大值和最小值被登记。基于来自 提取单元41的附加数据中所包含的类别信息、3D图像数据类别表格和参数控制表格，三维 强度确定单元43确定调整后的3D图像数据的三维强度并获得视差参数的最大值和最小 值。如图4所示，3D图像数据类别表格是其中3D图像数据的类别和适合于3D图像数 据的每个类别的三维强度等级被关联并登记的表格。在3D图像数据类别表格中，对于条目 ID 0，类别“动画/CG”与三维强度等级“3”相关联，并且对于条目ID 1，类别“动作”与三 维强度等级“4”相关联。另外，对于条目ID 2，类别“惊悚片”与三维强度等级“0”相关联， 并且对于条目ID 3，类别“人文戏剧/喜剧”与三维强度等级“2”相关联。另外，对于条目 ID 4，类别“运动”与三维强度等级“4”相关联，并且对于条目ID 5，类别“记录片”与三维 强度等级“2”相关联。另外，对于条目ID 6，类别“综艺节目”与三维强度等级“1”相关联， 并且对于条目ID 7，类别“音乐”与三维强度等级“3”相关联。
如图5所示，视差控制表格是其中三维强度等级以及视差参数的最大值和最小值 被关联并登记的表格。在视差控制表格中，三维强度等级“0”与视差参数的最大值“aa”和 最小值“bb”相关联，并且三维强度等级“ 1 ”与视差参数的最大值“cc”和最小值“dd”相关 联。另外，三维强度等级“2”与视差参数的最大值“ee”和最小值“ff”相关联，三维强度等 级“3”与视差参数的最大值“gg”和最小值“hh”相关联，并且三维强度等级“4”与视差参 数的最大值“ ii ”和最小值“ j j，，相关联。当视差参数的最大值和最小值被从三维强度确定单元43提供时，视差控制单元 44根据视差参数的范围来执行对从解码单元42提供来的用于右眼的图像和用于左眼的图 像的图像数据的视差控制，以调整3D图像数据的三维强度。当用于右眼的图像和用于左眼 的图像之间的视差大于等于视差参数的最大值时，视差控制单元44例如使得当用于左眼 的图像与用于右眼的图像重叠时，作为用于左眼的图像中的偏移的、用于左眼的图像中的 物体的位置更接近于用于右眼的图像中示出的物体，以便执行控制来将视差带入来自三维 强度确定单元43的视差参数的范围内。视差按照该方式被调整过的3D图像数据的用于右 眼的图像和用于左眼的图像的图像数据被从视差控制单元44输出。通过这种方式，在再现处理单元沈中，将被再现的3D图像数据的三维强度被三维 强度确定单元43确定，并且被视差控制单元44调整而具有了所确定的三维强度或更小的 三维强度的3D图像数据被输出。接下来，图6是例示了利用图3中的再现处理单元沈执行视差控制的处理的流程 图。例如，处理在从3D图像数据服务器12递送来的3D图像数据的复用数据被提供给 再现处理单元沈时开始，并且在步骤S21中，提取单元41从复用数据中提取编码数据和附 加数据。当提取单元41将编码数据提供给解码单元42并将附加数据提供给三维强度确定 单元43时，处理进行到步骤S22。在步骤S22中，解码单元42开始对从提取单元41提供来的编码数据进行解码，并 依次向视差控制单元44提供作为解码的结果而获得的用于右眼的图像和用于左眼的图像 的图像数据。在步骤S23中，三维强度确定单元43经由系统控制器21参考存储器M中存储的 设置信息(示出是否执行三维强度的调整的信息)，并确定该设置是否指示三维强度的调 離
iF. ο当三维强度确定单元43在步骤S23中确定该设置指示三维强度的调整时，处理进 行到步骤S24。在步骤S24中，3D图像数据的类别基于在步骤S21中从提取单元41提供来 的附加数据中包含的类别信息而被指定。然后，三维强度确定单元43参考3D图像数据类 别表格(见图4)并将与所指定的类别相关联的三维强度等级确定为将被应用到三维强度 调整后的3D图像数据的三维强度。在步骤S24的处理之后，处理进行到步骤S25，在步骤S25中，三维强度确定单元 43参考视差控制表格(见图幻以获得并向视差控制单元44提供与在步骤SM中确定的三 维强度等级相关联的视差参数的最大值和最小值。在步骤S25的处理之后，处理进行到步骤S26，在步骤S26中，视差控制单元44设 置将被执行的视差控制，以使得基于从解码单元42提供来的用于右眼的图像和用于左眼的图像的图像数据的3D图像数据的视差强度落入从三维强度确定单元43提供来的视差参 数的最大值和最小值之间的范围，并且视差控制单元44根据该设置开始视差控制。在步骤S26的处理之后，或者当三维强度确定单元43在步骤S23中确定所述设置 不指示三维强度的调整时，处理终止。由于再现处理单元沈按上述方式根据3D图像数据的类别来调整3D图像数据的 三维强度，因此对于三维强度越高观赏性越强的例如动作或运动的3D图像数据，3D强度可 以提高。因此，观看者对3D图像数据的沉浸感(sense of immersion)可以被加强，并且观 看者可以更好地欣赏3D图像数据。注意，3D图像数据的类别信息不限于作为3D图像数据的附加数据而被递送的那 些数据，而是例如还可以从电子节目指南(EPG)获取。也就是说，即使类别信息不被添加到 3D图像数据上，根据类别的视差控制也可被执行。另外，显示控制设备1可分析3D图像数 据的类别来执行视差控制，或者用户可通过远程命令器3的操作来输入类别。注意，例如，除了在整个3D图像数据上同等地执行视差控制之外，再现处理单元 沈可在3D图像数据的预定区间(section)上执行视差控制。例如，再现处理单元沈可以 检测3D图像数据中是否存在具有大视差的连续区间，并且当存在具有大视差的连续区间 时，将较低的三维强度应用到正在再现的3D图像数据上。例如，由于当具有大视差的3D图 像数据被长时间连续观看时疲劳感通常增大，因此，即使图像数据的三维强度高，当存在具 有大视差的连续区间时，也可以通过减小视差来降低观看者的疲劳感。另外，显示控制设备1可以分析3D图像数据以检测3D图像数据中场景改变的定 时(场景改变)，并执行视差控制以减小场景改变前后的视差。因此，例如，观看者由于场景 改变前后的视差改变所产生的疲劳感可以降低。注意，尽管在本实施例中已描述了经由网络11从3D图像数据服务器12递送3D 图像数据的示例，但是3D图像数据例如可以通过记录在盘上来提供，或者可通过利用广播 波(broadcast wave)广播来提供。在这种情况下，显示控制设备1可以利用盘驱动器来获 取3D图像数据，或者经由接收广播波的接收器设备来获取3D图像数据。除了对包含两个图像(所谓的立体图像)、即用于右眼的图像和用于左眼的图像 的3D图像数据执行处理的图像处理设备之外，本发明的实施例可以被应用到例如对包含 由三个或更多个图像形成的多视图像(multiview image)的3D图像数据执行处理的图像 处理设备。也就是说，与上述处理类似的处理可以被应用到对包含多个图像的多视图像内 的两个图像的视差控制，使得物体从用户的方向看起来是三维的。上述处理(图像处理方法)的序列可以用硬件执行或者可以用软件执行。当处理 序列用软件执行时，形成软件的程序从记录了该程序的程序记录介质被安装到构建在专用 硬件中的计算机或者例如能够通过安装各种程序来执行各种功能的通用个人计算机上。图7是示出通过程序来执行上述处理序列的计算机的硬件的配置示例的框图。在该计算机中，中央处理单元(CPU) 101、只读存储器(ROM) 102、随机存取存储器 (RAM) 103和总线104相互连接。总线104还与输入-输出接口 105相连。输入-输出接口 105与包括键盘、鼠标 和麦克风的输入单元106、包括显示器和扬声器的输出单元107、包括硬盘或非易失性存储 器的存储单元108、包括网络接口的通信单元109和驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质111的驱动器110相连。在按上述方式配置的计算机中，上述处理序列例如是通过由CPU 101经由输 入-输出接口 105和总线104加载到RAM 103中并在RAM 103中运行的存储单元108中所 存储的程序来执行的。将有计算机(CPU 101)运行的程序例如通过记录在可移除介质111上或经由有线 或无线传输介质而被提供，所述可移除介质111是包括磁盘(包括软盘)、光盘(诸如致密 盘-只读存储器(CD-ROM)或数字万用盘(DVD))、磁光盘或半导体存储器在内的介质封装， 所述有线或无线传输介质例如是局域网、因特网或数字卫星广播。程序可以通过将可移除介质111连接到驱动器110而经由输入-输出接口 105被 安装在存储单元108中。另外，程序可经由有线或无线传输介质由通信单元109接收并安 装在存储单元108中。否则，程序可事先安装在ROM 102或存储单元108中。注意，计算机运行的程序可以是按照本说明书中描述的时间顺序来执行处理的程 序，或者可以是并列地执行处理或在诸如调用时的适当定时执行处理的程序。本申请包含与2009年12月28日递交日本专利局的日本优先专利申请JP 2009-298452公开的主题相关的主题，该日本优先专利申请的全部内容通过引用结合于此。本领域技术人员应该明白，取决于设计要求和其他因素，可以想到各种修改、组 合、子组合和变更，只要它们落入所附权利要求或其等同物的范围内即可。
权利要求
1.一种图像处理设备，包括再现装置，所述再现装置被配置成再现3D图像数据，所述3D图像数据包括被设置了预 定视差的用于右眼的图像和用于左眼的图像的图像数据；类别指定装置，所述类别指定装置被配置成指定由所述再现装置再现的所述3D图像 数据的类别；确定装置，所述判定装置被配置成参考表格以便确定与由所述类别指定装置指定的类 别相对应的视差的强度，所述3D图像数据的每个类别和视差的强度在所述表格中被关联； 以及视差控制装置，所述视差控制装置被配置成将由所述再现装置再现的所述3D图像数 据的视差控制到由所述确定装置确定的视差的强度。
2.根据权利要求1所述的图像处理设备，其中所述确定装置参考视差控制表格以获得与根据类别而确定的视差的强度相对应的视 差参数，在所述视差控制表格中，示出由所述视差控制装置控制的视差的差距的视差参数 与视差的强度被关联；并且所述视差控制装置根据由所述确定装置获得的视差参数来控制所述3D图像数据的视差。
3.根据权利要求2所述图像处理设备，其中所述视差控制表格将视差的强度与视差参数的最大值和最小值相关联；并且所述视差控制装置控制所述3D图像数据的视差以落入由所述确定装置获得的视差参 数的最大值和最小值之间的范围内。
4.一种图像处理方法，包括以下步骤再现3D图像数据，所述3D图像数据包括被设置了预定视差的用于右眼的图像和用于 左眼的图像的图像数据；指定再现的所述3D图像数据的类别；参考表格以便确定与指定的类别相对应的视差的强度，所述3D图像数据的每个类别 和视差的强度在所述表格中被关联；以及将再现的3D图像数据的视差控制到所确定的视差的强度。
5.一种图像处理设备，包括再现单元，所述再现单元被配置成再现3D图像数据，所述3D图像数据包括被设置了预 定视差的用于右眼的图像和用于左眼的图像的图像数据；类别指定单元，所述类别指定单元被配置成指定由所述再现单元再现的所述3D图像 数据的类别；确定单元，所述确定单元被配置成参考表格以便确定与由所述类别指定单元指定的类 别相对应的视差的强度，所述3D图像数据的每个类别和视差的强度在所述表格中被关联； 以及视差控制单元，所述视差控制单元被配置成将由所述再现单元再现的所述3D图像数 据的视差控制到由所述确定单元确定的视差的强度。
全文摘要
本发明公开了图像处理设备和图像处理方法。所述图像处理设备包括再现单元，所述再现单元被配置成再现3D图像数据，所述3D图像数据包括被设置了预定视差的用于右眼的图像和用于左眼的图像的图像数据；类别指定单元，所述类别指定单元被配置成指定由再现单元再现的3D图像数据的类别；确定单元，所述确定单元被配置成参考表格以便确定与由类别指定单元指定的类别相对应的视差的强度，3D图像数据的每个类别和视差的强度在所述表格中被关联；以及视差控制单元，所述视差控制单元被配置成将由再现单元再现的3D图像数据的视差控制到由确定单元确定的视差的强度。
文档编号G02B27/22GK102111634SQ201010608999
公开日2011年6月29日 申请日期2010年12月21日 优先权日2009年12月28日
发明者铃木辉彦 申请人:索尼公司