能够变更立体视觉影像的进深的影像处理装置、系统、影像处理方法、影像处理程序的制作方法

专利名称：能够变更立体视觉影像的进深的影像处理装置、系统、影像处理方法、影像处理程序的制作方法
技术领域：
本发明涉及立体视觉影像的进深调整技术的技术领域。
背景技术：
所谓立体视觉影像的进深调整 技术是指这样的技术，即在要将设想是在某种尺寸的画面上进行显示而生成的立体视觉影像显示在不同尺寸的画面上并进行再现的情况下，对构成立体视觉影像的两个以上的多视点影像数据中的视差进行调整，由此实现与该另一种画面的适应性。关于进深调整有专利文献1、2记载的现有技术。专利文献I公开的进深调整是这样的技术通过使左眼和右眼的影像整体在相反方向上沿水平方向进行位移，使对象(object)的进深移动到近前或退回到里侧。专利文献2公开的进深调整是这样的技术通过生成虚拟视点，使待变更的视差的量因存在于立体影像中的每个对象而不同，因而实际看起来进深感好像在增大/减小。在按照该专利文献2的方法这样根据视差映射(map)来变更进深的情况下，虚拟地生成的虚拟视点的影像依赖于视差映射的精度。现有技术文献专利文献专利文献I :日本特开2005 - 73049号公报专利文献2 日本特开2003 - 209858号公报非专利文献非专利文献I :Kurt Konolige “Small Vision Systems:Hardware andImplementation，，Artificial Intelligence Center, SRI International非专利文献2 :Heiko Hirschm·· uller “Accurate and Ef_cient StereoProcessing by Semi-Global Matching and Mutual Information’’Institute of Roboticsand Mechatronics Oberpfaffenhofen German Aerospace Center (DLR), June,2005非专利文献3 :Vladimir Kolmogorov “GRAPH BASED ALGORITHMS FOR SCENEREC0NSTRUTION FROM TWO OR MORE VIEWS” the Graduate School of Cornell University,January 2004
发明概要发明要解决的问题作为上述技术领域的近年来的趋势，具有通过将作为流供给源的设备、作为显示主体的设备相互连接从而来实现立体视觉影像的设备间传输的趋势。其目的是实现跨越多台设备来再现立体视觉影像的视听方式。例如，使录制在BD记录器中的内容移动到家庭的具有大型显示器的设备、汽车导航、可携带播放器中并进行显示，或者不进行移动，而是显示通过进行有线或无线的通信来向其它设备传输数据的内容。当在设备之间进行传输时，存在将作为流供给源的设备和作为显示主体的设备相互连接的情况，和需要在进行显示的装置中调整立体视觉影像的进深的情况。在这种情况下，基本想法是在要进行显示的设备侧进行进深调整。但是，在显示装置中，存在具有合适的画面尺寸而不需要进深调整的显示装置、和需要进深调整的显示装置。并且，也存在进深调整能力高的显示装置与进深调整能力低的显示装置之差异。同样，流供给源也存在进深调整能力高的流供给源、与进深调整能力低的流供给源之差异。该进深调整技术通常是专利文献2公开的技术。在该专利文献2的进深调整技术中，虚拟地生成的虚拟视点的影像依赖于视差映射的精度，因而多高精度地生成这种视差映射，较大地影响立体视觉影像的质量。即，在适用专利文献2的进深调整技术的情况下，根据能够以多高的精度生成视差映射，立体视觉的质量大幅变化，因而导致设备中的进深调整性能的差异作为立体视觉显示性能的差异而被大幅夸大的结果。至于是否需要进深调整，这根据设备的画面尺寸而不同，并且进深调整性能因每台设备而异，如果是在由显示侧进行进深调整这样的固定前提下对进深不做调整即发送图
像，则在显示装置侧不能适当地调整进深，导致实现了不适合的立体视觉显示。但是，如果一律在作为流发送侧的装置侧进行进深调整，在数据发送接收的对方侧是具有较高的进深调整能力的显示装置的情况下，存在尽管能够在显示装置侧进行适当的进深调整，但是却通过不充分的进深调整而实现了立体视觉再现。另外，在假定所连接的装置的能力全部比较低，却要求再现装置侧具备较高的进深调整能力时，将导致再现装置的成本高涨。以上举出了在假设将作为流供给源的设备、作为显示主体的设备相互连接时的技术课题，但是在说明上述技术课题时，这种假设只不过是选择了身边的题材，在本申请中作为对象的技术课题不限于将作为流供给源的设备、作为显示主体的设备相互连接的情况。消除在对构成立体视觉影像的两个以上的视点影像数据进行某种处理的影像处理装置相互连接并执行设备间传输时产生的所有不整合现象，是在本申请中需要解决的技术课题，在不久的将来，当在工业产品的领域中实际应用上述技术时，这些课题将成为本行业人员必须面对的技术壁垒。

发明内容
本发明的目的在于，提供一种影像处理装置，即使是所有设备均不具备较高的进深调整能力，也能够在两个以上的视点影像数据的设备间传输中实现高品质的立体视觉影像的显示。用于解决问题的手段能够解决这种课题的一种影像处理装置，进行两个以上的视点影像数据的发送接收，并且调整由两个以上的视点影像数据构成的立体视觉影像的进深，其特征在于，该影像处理装置具有设备间接口，在进行两个以上的视点影像数据的发送接收时，进行与作为数据发送接收的对方侧的装置之间的连接；确定单元，通过在作为数据发送接收的对方侧的装置与本装置之间执行规定的通信序列，确定由哪个装置调整立体视觉影像中的进深；以及处理单元，在通过通信序列确定了在本装置侧进行进深调整的情况下，对从数据发送接收的对方侧发送的两个以上的视点影像数据、或者应该发送给数据发送接收的对方侧的两个以上的视点影像数据实施进深调整，所述进深调整包括这样的处理，即从其它视点影像数据中搜索与构成一个视点影像数据的像素组匹配的匹配像素组，并检测构成一个视点影像数据的像素组与构成其它视点影像数据的像素组之间的视差，所述通信序列包括发送接收阶段，在本装置与数据发送接收的对方侧之间进行表示匹配像素组的搜索性能的性能信息的发送接收；以及比较阶段，进行本装置的匹配像素组的搜索性能与数据发送接收的对方侧的匹配像素组的搜索性能的比较。发明效果 在影像处理装置与其它装置连接时，确定执行通信序列并应该进行进深调整的装置，因而能力较高的装置成为进深调整主体，避免了由匹配像素的搜索性能较低的设备进行进深调整并在其对方侧的设备中进行进深调整结果的显示的不良情况。在两台设备进行连接时，确定使哪台设备进行进深调整并执行两个以上的视点影像数据的传输，因而在用户已购买进深调整能力较高的显示装置的情况下，不需要购买进深调整能力较高的再现装置。根据作为数据发送接收的对方侧的装置来自动确定进深调整主体，因而能够实现这样的装置选择，即将再现装置设为进深调整能力较高的装置、将显示装置设为进深调整能力较低的装置，并且由于将显示装置选择为高能力的装置，因而能够实现选择购买低能力的再现装置这种实惠的商品选择。因此，能够进一步实现立体视觉再现环境的普及。在确定为进行进深调整的情况下，将流原样传输给数据发送接收的对方侧，因而调整能力较低的设备不会成为主体。虽然是任意的，但是上述进深调整也可以包括这样的处理根据检测到的视差来生成深度图像，根据应该显示两个以上的视点影像数据的画面进行深度图像的校正，对一个视点影像实施以被实施校正后的深度图像为基础的基于深度图像的绘制，由此得到具有被修正后的视差的两个以上的视点影像。在进行基于深度图像的绘制的软件处理、硬件处理的延长线上能够实现进深调整处理，能够促进影像处理装置的产品化。并且，即使是设定了诸如两个以上的视点影像数据适合于50英寸显示画面的显示的左眼图像、右眼图像间的视差量的情况下，也能够重新生成适合于更大画面或者更小画面的显示的左眼图像、右眼图像。


图I是由两台以上的影像处理装置构成的家庭影院系统的一个方式的图。图2表示图I所示的设备中作为流发送侧(再现装置100)的设备的内部结构。图3表示图I所示的设备中作为显示主体(电视机200、电视机300)的设备的内部结构。图4表示基于飞出、后退的进深。图5表示图I所示的电视机200 便携式终端400各自的进深量。
图6是对比表示概念上的两个画面的图。图7是不意地表不视差映射的图。图8是对具体图像适用深度生成器10的处理内容的图。图9是对具体图像适用DIBR部12的处理内容的图。图10表示在进行如图9所示的进深调整时立体视觉影像的飞出量是何种程度。图11表示利用深度图像表示的进深根据匹配点搜索算法如何变化。图12表示基于块匹配、半全局匹配、图切割的匹配点搜索。图13是表示通信序列的图。图14是图I所示的再现装置100、电视机200、电视机300、便携式终端的性能信息·的设定示例。图15表不应答信息的一例。图16表不应答信息的一例。图17表示设备的连接变形及其连接时的显示影像。图18表示设备的连接变形及其连接时的显示影像。图19是进深设备确定的处理步骤的主流程图。图20是表示判定是否需要内容进深调整以及设备协商的处理步骤的流程图。图21是表示设备性能的交换步骤的流程图。图22是表示进行进深调整的设备的选择步骤的流程图。图23是表示进深调整处理的处理步骤的流程图。图24是表示视差映射生成的处理步骤的流程图。图25表示考虑了视频流以外的其它数据的影像处理装置的内部结构。
具体实施例方式具备上述课题解决手段的影像处理装置的发明能够作为播放器设备、电视机设备、便携式终端设备进行实施，集成电路的发明能够作为被装配在这些设备中的系统LSI进行实施。影像处理方法的发明能够作为由这些设备实现的时间序列步骤进行实施。程序的发明能够作为被记录在计算机可读的记录介质中，并被安装在这些设备中的执行格式的程序进行实施。图I表示由再现装置、显示装置、眼镜构成的家庭影院系统。如图I (a)所示，再现装置、显示装置、便携式终端与眼镜、遥控器一起构成家庭影院系统，提供给用户使用。再现装置100在与大型显示器200、中型电视机300或者便携式终端400连接时，进行被记录在光盘101中的内容的再现，并将其再现影像显示在大型显示器200、中型电视机300或者便携式终端400的显示画面上。在从再现装置100输出的影像输出是与立体视觉影像(也称为3D影像)对应的影像输出的情况下，立体视觉影像被输出到与再现装置100连接的大型显示器200、中型电视机300或者便携式终端400的显示画面上。光盘101是BD — ROM、DVD — Video，是装填在再现装置中的记录介质的一例。遥控器102接受用户操作，使再现装置100、大型显示器200、中型显示器300进行与该用户操作对应的动作。大型显示器200是70英寸等大画面的大型电视机，具有立体影像进深调整功能。
中型显示器300是50英寸等常规画面的电视机，是具有立体影像进深调整功能的设备。便携式终端400是5英寸等的小型显示器设备，包括立体视觉摄影部；写入部，将通过摄影而得到的两个以上的视点影像数据存储在立体视觉照片文件中，并写入到记录介质中；以及通信部，进行两个以上的视点影像数据的发送接收。该便携式终端400具有再现立体视觉影像的功能以及立体影像进深调整功能。图I所示的设备(具体地讲，指再现装置100、大型显示器200、中型电视机300或者便携式终端400的显示画面)构成为全部兼备立体影像进深调整功能，但是根据所连接的设备，由任意一方设备实施立体影像进深调整处理。在该图I的示例中，大型显示器200通常被安装成为硬件性能比较高，对于从再现装置100接收到的立体视觉影像，在调整为与大型显示器200的画面显示对应的进深后进行立体视觉显示，因而使大型显示器200进行进深调整处理。
另一方面，便携式终端400的硬件性能往往不高于大型显示器200，所以在使便携式终端400进行进深调整处理时，存在施加给便携式终端400的负荷增大的情况，有可能使立体视觉影像显示产生故障，因而构成为在再现装置100侧调整为与便携式终端400的画面显示对应的进深，然后向便携式终端400输出立体视觉影像显示。图I所示的这些设备中的再现装置100是位于流发送侧的设备。电视机200、电视机300是有可能成为显示主体的设备。便携式终端400有可能成为流发送侧和显示主体双方。图2表示图I所示的设备中作为流发送侧(再现装置100)的设备的内部结构。如图2所示，作为流发送侧的设备由以下部分构成网络接口 I、盘驱动器2a、本地存储器2b、广播接收部3、解复用器4、左眼图像解码器5、右眼图像解码器6、左眼平面存储器7、右眼平面存储器8、调整部9、深度生成器10、调整度计算部11、深度图像存储器12、DIBR部13、开关14a和14b、内容属性保存模块15、显示对象设备属性保存模块16、进深调整判定模块17、U0检测模块18、设备接口 19、解析器(parser) 20、通信控制部21、性能信息存储模块22、通信信息生成模块23、性能比较模块24、应答信息生成模块25。图3表示图I所示的设备中作为显示主体(电视机200、电视机300)的设备的内部结构。该图是以图2为基础而制图的，与作为其基础的图2相比，不同之处在于没有网络接口 I、光盘驱动器2a、本地存储器2b，追加了显示部26。在图2、图3的内部结构中，箭头表示图示的图像数据经由哪些构成要素这样的途中路径。下面，对作为流发送侧的设备所特有的构成要素进行说明。如果按照功能将该共同的构成要素进行分类，可以分类为“流供给源”、“再现部”、“进深调整部”、“用户输入”、“设备间连接”、“画面适应”这多个结构组。I.流供给源被分类到“流供给源”这一组中的构成要素有网络接口 I、光盘驱动器2a、本地存储器2b、广播接收部3、解复用器4。在立体影像是动态图像的情况下，也可以分别准备右眼用流、左眼用流，还可以在一个流文件中嵌入右眼用流、左眼用流。在本实施方式中，以预先在一个流文件中嵌入了右眼用流和左眼用流的结构为例进行说明。在这种情况下，在一个流的头(header)信息中包含用于分配左眼用流和右眼用流的信息。下面，对属于流供给源的构成要素进行说明。
网络接口 I是在进行设备之间的协商(negotiation)或者再现对象内容的传输时使用的通信接口。作为该网络接口 I的物理设备，例如有在全世界的办公室和家庭中普遍使用的有线/无线LAN (Local Area Network :局域网)或者无线标准的蓝牙BLUETOOTH(TM)等、能够进行使用了 TCP/UDP的包单位的发送接收的设备等。盘驱动器2a进行BD — R0M100的装填/弹出，执行对BD — R0M100的访问。BD —R0M100是与可移动介质相同地在进行再现对象的内容传递时使用的一种手段。如果安装了其它的进行立体影像的传递的手段，则不一定需要在本装置中安装盘驱动器2a。本地存储器2b是从外部插槽(未图示)插入的存储介质，作为记录介质的优选的一例有安全的存储卡、被称为闪存的半导体存储器、磁记录介质等。图2所示的影像处理装置具有用于插入可移动介质的外部插槽(未图示)，在向该外部插槽中插入可移动介质后，通过用于向可移动介质进行访问的接口(未图示)进行访问(读取、写入)。广播接收部3得到广播中的传输流并输出给解复用器4。 解复用器4从通过网络接口 I、光盘驱动器2a、本地存储器2b、广播接收部3得到的流的头信息中，进行左眼用视频帧和右眼用视频帧的分配。解复用器4交替地进行针对左眼用视频帧和右眼用视频帧的解复用，在左眼用的影像和右眼用的影像双方结束的时刻输出双方的影像。按照输出形式交替地进行输出。另外，当在硬件结构上具有两种输出的情况下，分别输出左眼用和右眼用的影像。以上结束对属于流供给源的构成要素的说明。2.再现部被分类到“再现部”这一组中的构成要素有左眼图像解码器5、右眼图像解码器6、左眼平面存储器7、右眼平面存储器8。下面，对这些构成要素进行说明。<左眼图像解码器5、右眼图像解码器6>左眼图像解码器5对左眼图像数据进行解码。右眼图像解码器6对右眼图像数据进行解码。左眼图像解码器5除接受来自解复用器4的流供给之外，还具有从设备间接口 19接受压缩状态的左眼图像数据的供给的路径rtl。该路径是在假定从其它设备的流供给源以直通(pass-through)方式进行输入时的路径。同样，右眼图像解码器6除接受来自解复用器4的流供给之外，也具有从设备间接口 19接受压缩状态的右眼图像数据的供给的路径rt2。该路径也是在假定从其它设备的流供给源以直通方式进行输入时的路径。<左眼平面存储器7>左眼平面存储器7存储通过左眼图像解码器5的解码而得到的非压缩的左眼图像数据。<右眼平面存储器8>右眼平面存储器8存储通过右眼图像解码器6的解码而得到的非压缩的右眼图像数据。3.进深调整进深调整是实际处理立体视觉影像的进深调整的部分。被分类到进深调整部这一组中的构成要素有调整部9、深度生成器10、深度平面存储器11、DIBR部12、开关13、开关14、内容属性保存模块15、显示对象设备属性保存模块16、进深调整判定模块17。下面，对具体实现进深调整的构成要素进行说明。<调整部9>调整部9由深度生成器10、深度平面存储器IUDIBR部12构成，用于使左眼图像、右眼图像的视差成为合适的视差。在说明深度生成器10、深度平面存储器IUDIBR部12之前，先说明进深调整是什么样的处理。包含于左眼用的图像中的物体A的显示位置、包含于右眼用的图像中的物体A的显示位置是不同的，因而在将物体A显示于显示器时，显示位置当然是不同的。以较短的时间间隔交替地切换左眼用的图像和右眼用的图像来进行显示，并使用闸门眼镜使佩戴了闸门眼镜的视听者的左眼能够看到左眼用的图像、使右眼能够看到右眼用的图像，作为调整的对象的进深存在从画面飞出的情况和从画面后退的情况。图4表示基于这种飞出、后退的进深。人的眼睛是利用两只眼睛来对准针对对象物的焦点位置。图4 (a)所示的物体A的焦点对准的是连接左眼和包含于左眼用的图像中的物体A的直线、与连接右眼和包含于右眼用的图像中的物体A的直线这两条直线的交点的位置。结果，人的大脑识别为物体好 像位于显示器里侧的位置，人产生物体A好像位于显示器里侧的位置的错觉。相对于显示器的飞出量及后退量根据这种错开量的大小而变化。并且，图像内的被摄体相对于显示器是飞出还是后退，根据左右图像的错开方向来确定。对于诸如电影那样针对大画面的内容，以使左右图像的视差较小、即左右图像的错开量较小的方式进行制作，对于诸如利用摄像装置或便携式终端拍摄的针对小画面的内容，以使左右图像的视差较大、即左右图像的错开量较大的方式进行制作，由此减轻视听者的眼睛的疲劳程度，能够实现可以充分感觉到立体感的立体视觉影像、以及立体视觉影像的再现。在图4 (a)中进行有关看起来向显示器里侧后退了何种程度的说明。将从视听位置到显示器的距离设为Z，将从视听位置到物体的距离设为S，将两眼之间的宽度(基线长度)设为IPD，当在显示器上对看起来后退到显示器里侧的物体A进行投影时，将在显示器上进行投影的物体A与包含于左眼用的图像中的物体A之间的距离、而且是显示器的水平方向的距离设为左眼用图像的位移量P时，存在诸如下面的数式(I)所示的关系。P = (IPD/2) X (I — Z/S) ......数式(I)在图4中，距显示器的距离Z与距飞出位置的距离S之比表示进深。这种距显示器的距离Z被设定为画面的纵向幅度尺寸的3倍。在图4 (b)中进行有关看起来从显示器飞出了何种程度的说明。将从视听位置到显示器的距离设为Z，将从视听位置到物体的距离设为S，将两眼之间的宽度(基线长度)设为IPD，当在显示器上对看起来从显示器飞出的物体B进行投影时，将在显示器上进行投影的物体B与包含于左眼用的图像中的物体B之间的距离、而且是显示器的水平方向的距离设为左眼用图像的位移量P时，存在诸如下面的数式(2)所示的关系。P = (IPD/2) X (Z/S — I) ……数式(2)视差是向这些数式(1)、(2)中的位移量P乘以“2”得到的值。但是，在考虑位移的朝向的情况下，也需要考虑极性。对于诸如电影那样的针对大画面的内容，以使左右图像的视差较小、即左右图像的错开量较小的方式进行制作，对于诸如利用摄像装置或便携式终端拍摄的针对小画面的内容，以使左右图像的视差较大、即左右图像的错开量较大的方式进行制作，由此减轻视听者的眼睛的疲劳程度，能够实现可以充分感觉到立体感的立体视觉影像、以及立体视觉影像的再现。图5表示进深调整。在图I所示的多台设备中，各台设备的画面的英寸数不同，因而进深量也不同。图5表示图I所示的电视机200 便携式终端400各自的进深量。在该图中，对于电视机200 便携式终端400的外观追加记述了用于规定图4所示的进深量的参数。电视机300是内容的创作者具有内容假定画面的显示器。所说内容假定画面表示假定了再现立体视觉内容的画面。在大多数情况下，假定立体视觉电影内容是用50英寸的显示装置进行再现，因而50英寸成为内容假定画面尺寸。另一方面，假定利用个人的3D摄像机拍摄的立体视觉照片被显示于更小的画面上，因而这种较小的画面成为内容假定画面尺寸。内容假定画面在用户的人脸侧观察时位于Z位置，影像根据立体视觉效果而飞出的位置是S。电视机200是比内容假定画面大的画面，画面是Z (I)位置，影像根据立体视觉效果而飞出的位置是S (I)。便携式终端400是比内容假定画面小的画面，画面是Z (2)位置，影像根据立体视觉效果而飞出的位置是S (2)。无论这些画面的大小如何，如果使画 面的进深位置与飞出位置之比值为一定，则可以确定用于使Z/S = Z (1)/S (I) = Z (2)/S (2)这种关系成立的画面上的视差。其中，电视机300的进深量被表示为S/Z。这样，电视机200的进深量为S (I)/Z
(1)，便携式终端400的进深量为S (2)/Z (2)。电视机200、便携式终端400由于尺寸不同，因而进深量也不同，但为了使它们能够在多台设备之间共用，则必须调整画面上的位移量即Ps (l)、Ps (2)。对调整度Mrate进行说明。调整度Mrate用于计算适合于显示对象的画面的视差，以使上述Z与S之比值固定。因此，需要使用在内容假定画面中利用原尺寸确定的视差、与在作为显示对象的画面(X)中利用原尺寸确定的视差之比，来确定调整度Mrate。S卩，调整度Mrate是指内容假定画面中的位移量Ps与任意尺寸的画面X的位移量Ps (X)之比。图6对比表示概念上的两个画面。概念上的画面中的一个画面是根据纵像素数、横像素数(w_pix,h_pix)确定的画面。另一个画面是根据实际的纵横原尺寸(Width (mm),Height (mm))确定的画面。图6 (a)对比表示内容假定画面和显示对象画面(X)。上侧表示内容假定画面,将根据纵像素数、横像素数确定的画面、和根据实际的纵横原尺寸确定的画面进行重叠显示。下侧表示显示对象画面(X)，将根据纵像素数、横像素数确定的画面、和根据实际的纵横原尺寸确定的画面进行重叠显示。在该图(a)中，调整度Mrate是根据内容假定画面中的位移量Ps与显示对象画面(X)中的位移量Ps (X)之比而计算出的。这样，在显示对象画面(X)中所需要的位移量P (X)是向内容假定画面中的位移量P乘以调整度Mrate而得到的。通过这样求出调整度Mrate，并与根据纵像素数、横像素数确定的画面中的位移量P相乘，能够得到适合于显示对象画面(X)的位移量P (X)，通过将该像素位移量变成2倍，能够得到视差。图6 (b)表示如何计算 Width (宽)、Height (高)。Width、Height 之比为 m :n,如果将该Width的平方与Height的平方之和设为X的平方，则width可以确定为诸如图中使用符号^的数式。图6 (c)对比表示根据像素数规定的视差P (=(IPD/2) X (z/s-1))、和根据实际尺寸规定的视差Ps (= { (IPD/2)/ (width/w_pix)}X (z/s— I))的区别。如果显示对象画面(X)中的视差是Ps (X)，则用于使内容假定画面中的基于像素数的视差P适合于显示对象画面(X)的调整度Mrate为Ps (x)/Ps0由此，计算出调整度Mrate是内容假定画面中的画面上的实际视差Ps、与作为显示对象的画面(X)中的视差P(X)之比 Ps (X) /Ps0如果使用显示对象画面(X)中的width (X)、w_pix (x)来表示调整度Mrate,则调整度Mrate可以表示为如图6 (d)所示的数式(w_pix (x) /width (x) · width/w_pix)。说明显示于50英寸显示器时和显示于5英寸显示器时的位移量相差多少。通常，基线长度IPD = 6. 5cm。在50英寸显示器中，考虑到物体仅飞出10%，例如在50英寸显示器中的图像的位移量有6像素即可。与此相对，在5英寸显示器中的位移量需要63像素。以上结束对有关调整度的说明。〈深度生成器10>
深度生成器10从其它视点影像中搜索与构成一个视点影像的像素组匹配的匹配像素组，并检测构成一个视点影像的像素组与构成其它视点影像的像素组之间的视差，使用该视差生成作为进深调整的基础的映射信息。作为进深调整的基础的映射信息有视差映射和深度图像。视差映射是指在左右图像中错开几个像素进行排列的映射信息，深度图像是指通过排列在距离视点多远的位置处而得到的图像。这些信息在上述的数式(2)中能够相互变换，因而被视为是相同的。在深度图像中，利用构成图像的像素的值表示进深。通过使该深度图像中的像素的亮度变亮或者变暗，能够改变图像中的对象的进深。图7是示意地表示视差映射的图。该图的视差映射是与表示人物的左眼图像对应的视差映射，四方框表示该左眼图像的矩形像素组。四方框中的数值表示与右眼图像中的像素组的视差，即与左眼图像中的像素组的对应像素组的视差。在该图中，在I 15像素的范围内表示左眼图像一右眼图像间的视差，因而可知视差被高精度再现。深度生成器10在搜索到左眼图像、右眼图像间的视差后，生成按照每个像素区域来表示所搜索到的视差的深度图像。然后，将与显示侧的画面尺寸对应的调整度与各个视差相乘，以适合于显示侧的画面。将这样适合处理后的深度图像中的每个像素的视差变换为进深，由此得到深度图像。图8是对具体图像适用深度生成器10的处理内容的图。在该图中将深度生成器10和与其相关联的构成要素抽出进行描绘，并追加记述了数据的流动。左上部表示被存储于左眼平面存储器中的左眼图像，右上部表示被存储于右眼平面存储器中的右眼图像。正中间表示深度图像生成器，下侧表示深度图像。在此，图8中的深度图像是示意性地描画的，在实际的深度图像中，不会用黑线表示服装或人脸的轮廓。实际的深度图像的内容是整体为黑底白色的轮廓，具有立体感的部位的周围部位带有灰色。图8中的斜线象征性地表示深度图像的性质，即利用灰色表示具有立体感的部位的周围。〈调整度计算部11>调整度计算部11根据数式(w_pix (X)/width (x)IidthZw^pix)计算调整度并进行保存。此处的调整度用于与通过匹配点搜索而检测到的视差进行相乘，通过向通过匹配点搜索而检测到的视差乘以该调整度，得到新的深度图像。〈深度图像存储器12>深度图像存储器12存储由深度生成器10生成的深度图像。
〈DIBR 部 13>DIBR部13对一个视点影像即左眼图像实施基于深度图像的绘制(DIBR)，由此得到具有被修正后的视差的两个以上的视点影像，该基于深度图像的绘制是以实施了基于调整度的校正后的深度图像为基础的。图9是对具体图像适用DIBR部12的处理内容的图。左上部表示深度图像，右上部表示被存储在平面存储器中的左眼图像。正中间表示DIBR，下侧表示3个立体视觉影像。下侧的左端表示被设定了较大视差的立体视觉影像，下侧的正中间表示被设定了中等程度视差的立体视觉影像，下侧的右端表示被设定了较小视差的立体视觉影像。在被记录于光盘中的立体视觉内容是以50英寸再现为前提的情况下，如果显示画面是5英寸，则按照上面所述设定较大的视差。另外，如果显示画面是70英寸，则按照上面所述设定较小的视差。图9中的深度图像与图8相同地是示意性地描画的图像，在实际的深度图像中，不会用黑线表示服装或人脸的轮廓。深度图像的内容是整体为黑底白色的轮廓，具有立体感的部位的周围部位带有灰色。图10表示在进行如图9所示的进深调整时立体视觉影像的飞出量是何种程度。图10 (a)表示被设定了较大视差的立体视觉影像从画面中飞出何种程度。图10 (b)表示被 设定了中等程度视差的立体视觉影像从画面中飞出何种程度。图10 (C)表示被设定了较小视差的立体视觉影像从画面中飞出何种程度。以上的说明以通过深度生成器10生成了精巧地再现对象物的进深的深度图像为前提。但是，深度图像的生成大大依赖于匹配点的搜索精度，该搜索性能的差异将影响到立体视觉影像的质量。在生成这种深度图像时，右眼区域中间隔多远存在与左眼区域最整合的区域这种匹配点搜索很重要。这种匹配点搜索的基本原理很重要，因而准备与上述内部结构不同的图11 图12的说明图，对匹配点搜索进行详细说明。参照这些说明图进行详细说明。下面，对如何进行匹配点搜索进行说明。图11表示利用深度图像表示的进深根据匹配点搜索算法如何变化。图11 (a)是从精度最低的匹配点搜索中得到的深度图像。在这种情况下，图11 (a)中的深度图像所表示的进深是在平面上与背景图像相比稍微浮起的程度的进深。深度图像的精度较低的原因是因为与整体区域中的匹配点的视差是基本相同的值。图11 (b)是通过精度为中间级别的匹配点搜索而得到的深度图像。在该图11(b)中，由于稍微高精度地检测到与匹配点的视差，因而根据匹配点搜索的结果而生成的深度图像的进深是曲面的。与此相对，在图11 (c)中忠实地再现了人物的进深。下面，对这些算法进行说明。关于所生成的深度图像是接近图11 (a)、(b)、(c)中哪一方的深度图像，根据在调整中使用的算法是块匹配(block matching)、半全局匹配(semi-global matching)还是图切割(graph cut)中的哪一个、以及搜索范围多大而变化。因此，将各台设备的搜索算法记述为属性。在本申请中，作为代表性的搜索算法是假定了块匹配、半全局匹配、图切割。下面，对这些搜索算法进行说明a.块匹配块匹配是这样的算法，即将一只眼睛的影像分割为多个区域，从另一只眼睛的影像中抽取与分割后的一只眼睛的影像之间的像素值之差为最小的区域的算法。更具体地讲，将与一只眼睛的影像的分割后的区域相同的区域设定于另一只眼睛的影像(称为整合区域)。此时，一只眼睛的影像的分割后的区域的垂直方向的位置、与对另一只眼睛的影像设定的区域的垂直方向的位置相同。计算包含于一只眼睛的影像的分割后的区域中的像素的值、与包含于对另一只眼睛的影像设定的整合区域中的像素的值之差。然后，使整合区域的水平方向的位置沿水平方向错开，同样计算像素之差。这样，沿水平方向搜索整合区域，将差值为最小的整合区域作为最整合区域，将最整合区域的水平方向的位置、与一只眼睛的影像的分割后的区域的水平方向的位置之差作为最整合区域间的距离，生成将距该最整合区域的距离表示为进深的视差映射(参照非专利文献I)。图12 (a)表示基于块匹配的匹配点搜索。箭头shl、sh2、sh3表示右眼图像中的区域与左眼图像中的区域的像素值的对t匕。水平方向的箭头scl表示右眼图像中的水平 方向的扫描。通过这些对比和扫描来发现最整合区域。b.半全局匹配半全局匹配是这样的算法，即考虑相邻接的多个方向的区域的整合性沿水平方向搜索整合区域，并使最整合区域间的距离相匹配(参照非专利文献2)。图12 (b)表示基于半全局匹配的搜索。箭头sh5、sh6表示右眼图像中的区域与左眼图像中的区域的像素值的对比。朝向8个方向的箭头表示相对于8个方向的整合性的参照。水平方向的箭头sc2表示右眼图像中的水平方向的扫描。通过这些对比和扫描来发现最整合区域。c.图切割图切割是按照每个对象来分割影像并使分割区域间的距离相匹配的算法。图12 (C)示意地表示基于图切割的搜索。图中的obj2、3、4、5表示在图8中的人物是搜索对象的情况下，通过图像识别而得到的躯体、人脸、手脚这些人体部件被识别为对象，按照该对象单位进行匹配点搜索。箭头cml、cm2、cm3、cm4表示右眼图像中的区域与左眼图像中的区域的像素值的对比。在图切割中，首先进行图像识别，然后通过图切割来高精度地进行匹配点的搜索。以上是关于搜索算法的说明。〈开关14a>开关14a用于切换应该写入到左眼平面存储器7中的图像数据的输入。在切换元件被设定为接点a侧的情况下，在左眼平面存储器7中存储通过左眼图像解码器5的解码而得到的非压缩的左眼图像数据。在被设定为接点b侧的情况下，在左眼平面存储器7中存储通过设备间接口 19从其它设备传输来的非压缩的左眼图像数据。由此，能够将通过左眼图像解码器5的解码而得到的非压缩的左眼图像、以及从其它设备传输的非压缩的左眼图像双方作为进深调整的对象。路径rt3是用于将从其它设备的流供给源以直通方式输入的左眼图像存储在左眼平面存储器7中的路径。〈开关14b>开关14b用于切换应该写入到右眼平面存储器8中的图像数据的输入。在切换元件被设定为接点c侧的情况下，在右眼平面存储器8中存储通过右眼图像解码器6的解码而得到的非压缩的右眼图像数据。在被设定为接点d侧的情况下，在右眼平面存储器8中存储通过设备间接口 19从其它设备传输的非压缩的右眼图像数据。由此，能够将通过右眼图像解码器6的解码而得到的非压缩的右眼图像、以及从其它设备传输的非压缩的右眼图像双方作为进深调整的对象。路径rt4是用于将从其它设备的流供给源以直通方式输入的右眼图像存储在右眼平面存储器8中的路径。<内容属性保存模块15>内容属性保存模块15存储内容的属性，该内容属性表示作为立体视觉的对象的图像数据是以多大的画面尺寸为前提的。内容属性包括例如与内容对应的影像的分辨率、与内容对应的影像是否是立体视觉影像、与内容对应的影像是否是被实施了进深调整的影像、在被实施了进深调整时其调整程度、内容的编码格式(LR复用流/并排(side byside)/上下(top bottom))这样的信息、再现对象内容是否是内容已被实施了进深调整的信息、已被实施了何种程度的进深调整、内容的分辨率、内容的再现假定画面尺寸等。这些Ih息例如是从与内容对应的流的头信息中取得的信息。<显示设备属性保存模块16>显示设备属性保存模块16是保存立体视觉映像的显示对象的设备的性能信息的 控制寄存器。显示设备的属性包括显示设备的显示画面的分辨率、显示设备的显示画面的尺寸、显示设备是否能够进行立体视觉显示、显示设备是否具有进深调整功能、在具有进深调整功能时当前的进深调整的设定是由用户如何设定的、显示设备的显示格式(帧序列/并排/上下)、以及显示设备是否是远程的信息等。显示对象的设备不限于是自身设备。例如，当然存在进行协商的远程设备是显示对象的设备、或者自身显示从其它设备接收到的映像的情况。显示对象设备属性的取得例如通过设备间接口 19进行。该取得定时被设为例如作为客户端的设备的起动时、或者作为客户端的设备与作为服务器的设备的远程连接时等在受理立体视觉影像再现请求之前进行。取得属性的显示对象设备如果是在设置了立体视觉影像的再现的触发器的设备进行显示，则设置了立体视觉影像的再现的触发器的设备本身相当于显示对象设备。另外，如果不在设置了立体视觉影像的再现的触发器的设备进行显示，则与设置了立体视觉影像的再现的触发器的设备连接的设备、而且是具有显示功能的设备相当于显示对象设备。在设置了立体视觉影像的再现的触发器的设备本身是显示对象设备的情况下，使用预先在自身设备的硬盘、存储器等存储单元(未图示)等中存储的信息来设定属性，在显示对象设备是远程设备的情况下，保存通过网络接口 I或者设备间接口 19的多媒体线缆接口从显示对象设备取得的属性。<进深调整判定模块17>进深调整判定模块17用于在进行内容的再现时，通过判定作为其显示对象的画面尺寸是否与内容假定画面尺寸的画面尺寸一致，来判定是否需要进深调整。说明为何需要在影像处理装置中设置进深调整判定模块17的必然性。判定是否需要进深调整是根据以下请求而产生的。在BD - ROM中，构成立体视觉影像的左眼图像、右眼图像位于BD - ROM内的传输流中，因而如果对左眼图像、右眼图像进行解码，则导致由创作者(authoring side)进行了进深调整的立体视觉影像被再现。在此，假定在左眼图像、右眼图像中表现出的视差是在50英寸等的画面中再现左眼图像、右眼图像。因此，在实际显示的画面大于创作者假定的画面时导致飞出程度过度，而在小于创作者假定的画面时导致飞出程度不足。因此，进行使对于显示飞出量的显示器而言成为最佳程度的进深调整。判定是否需要进深调整是通过画面尺寸的直接比较而进行的，但是至于应该再现的内容是假定以何种画面尺寸来再现，则不能得到足够的信息。在这种情况下，将现状的进深调整的程度用作判定材料。具体而言，有关被实施进深调整的左眼图像、右眼图像的视差的数值范围依赖于内容假定画面尺寸的大小。因此，如果对假定再现的多个画面尺寸分别准备视差的基准值并保存在设备中，并将有关被实施进深调整的左眼图像、右眼图像的视差与设备预先保存的基准值进行比较，则由此能够判定对由该左眼图像、右眼图像构成的内容所假定的画面尺寸是多大尺寸。如果这样检测内容假定画面尺寸，并将其与在显示设备属性保存模块16中保存的显示画面尺寸进行比较，则能够判定是否需要进深调整。如上所述，进深调整判定模块17根据在显示设备属性保存模块16中保存的信息和在再现内容属性保存模块7中保存的信息，进行是否需要内容的进深调整的判定。4.用户输入被分类到用户输入这一组中的构成要素有UO检测模块18。〈U0检测模块18>
UO检测模块18是接收例如与用户操作遥控器等进行指示的命令对应的信号的部分。能够从UO检测模块接收例如与基于键操作的实时的立体视觉影像的进深的指示对应的信号，或者接收与设备设定(也包括进深程度调整设定)的调整指示对应的信号。根据用户对遥控器的操作不同，存在UO检测模块18检测到立体视觉影像的再现请求的情况，UO检测模块18向相当于再现部的构成要素组传输立体视觉影像的再现请求、或者利用所起动的应用来传送立体视觉影像的再现的情况等。从所起动的应用来请求立体视觉影像的再现的情况是指这样的情况，例如，利用从应用起动菜单起动Java应用等字节码应用，所起动的应用根据来自UO检测模块18的用户操作，向相当于再现部的构成要素组传输立体视觉影像的再现请求等。立体视觉影像的再现请求包括成为再现的对象的内容的取得位置、属于图像内容平面视觉/立体视觉哪一方的信息。5.设备间通信对被分类到“设备间通信”这一组中的构成要素进行说明。对被分类到“设备间通信”这一组中的构成要素有设备接口 19、解析器20、通信控制部21、性能信息存储模块22、通信信息生成模块23、性能比较模块24、应答信息生成模块25。下面，对这些构成要素进行说明。〈设备接口19>设备接口 19通过例如依据于HDMI标准的多媒体线缆或复合线缆、分量线缆进行已解码的影像或声音的传输。尤其是HDMI，除影像外，还能够附加各种属性信息。在使用设备间接口 19中的多媒体线缆接口取代网络接口 I的情况下，通过多媒体线缆接口在显示设备属性保存模块6中保存执行显示处理的设备的性能信息。〈解析器20>解析器20进行设备间的协商的数据的解析(parsing)，并将由发送信息生成模块9或者应答信息生成模块12生成的信息变换为设备能够处理的数据。〈通信控制部21>通信控制部21进行影像处理装置中的通信控制。通信控制部21不是独立具有意义的部分，而是在通过与具有相同结构的设备相互连接来发送接收消息或数据这样的通信序列中体现价值。下面，对设备间的通信序列进行说明。图13 (a)表示由通信控制部21进行的通信序列。左侧表示发送侧，右侧表示接收侧。在纵向上描画了多台设备共用的时间轴。在该图中，由判定是否需要进深调整的阶段PhU协商阶段ph2、使用性能信息判定进深调整主体的阶段Ph3、进行构成立体视觉内容的左眼图像数据和右眼图像数据的传输的阶段ph4构成，关于进深调整主体确定阶段Ph3、传输阶段ph4，根据搜索算法的性能的不同而存在两种变形。在图13中存在(a) (b)这两种序列，即表示了这种变形的差异。其中，图(a)表示发送侧的能力较高的情况，图(b)表示接收侧的搜索能力较高的情况。图13 (a)表示接收侧的算法能力(Algo (dst))高于发送侧的算法能力(Algo(src))的情况，图13 (b)表示与其相反的情况。这种差异根据进深调整主体的确定阶段的内容即可明了。S卩，在图13 (a)、图13 (b)中，发送侧的搜索应用的级别(Algo (src))与接收侧的搜索应用的级别(Algo (dst))的不等号关系可以交换。并且，这种差异也体现在 传输阶段中。在传输阶段中，横向排列的平行四边形表示构成立体视觉的左眼图像、右眼图像的组。并且，左眼图像、右眼图像中平行四边形彼此的间隔较小的图像表示未调整进深的图像，间隔较大的图像表示已调整进深的图像。在图13 (a)中是在发送侧进行进深调整，而在图13 (b)中是在接收侧进行进深调整。产生这种差异是因为图13 (a)假定接收侧的进深调整能力较高，而图13 (b)假定发送侧的进深调整能力较高。如上所述可知，在确定阶段中，关于进深调整主体，根据发送侧、接收侧哪一方的能力更高，来切换是由发送侧进行进深调整还是由接收侧进行进深调整。以上结束有关通信控制部21的说明。<性能信息存储模块22>性能信息存储模块22存储在本装置中进深调整的程度如何这样的性能信息的属性。性能信息表示在各台设备中进行何种程度的进深调整，因而其设定值因每台设备而异。图14是图I所示的再现装置100、电视机200、电视机300、便携式终端400的性能信息的设定示例。在这些性能信息中，本图的性能信息由有无调整功能、搜索算法、搜索范围、传输速率、再现对象内容的参照目标、调整能力这些信息要素构成。下面，对性能信息的信息要素进行说明。并且，也对设定的具体示例进行说明，即上述的信息要素被设定为什么数值。“有无调整功能”是被预先嵌入设备中的属性，是能够判定设备是否具有进深变换功能的信息。在图14示出的例子中，表示再现装置100、电视机200、电视机300、便携式终端400这些设备均具有进深调整功能。“搜索算法”是被预先嵌入设备中的属性，被作为与设备具有的进深变换的实施方法的算法名称对应的数值进行保存。在图14中，可知再现装置100、电视机300的搜索算法均采用图切割。另一方面，可知电视机200采用半全局匹配，便携式终端400采用块匹配。本算法不仅保存一种，也存在保存多种的情况。在这种情况下，对进深调整算法的属性设定多个不同的值。“搜索范围”是被预先嵌入设备中的属性，例如是适用在搜索算法中设定的算法时的默认的参数。算法的参数例如是利用像素单位来表示在得到左眼和右眼的视差信息时沿水平方向进行搜索的范围的参数。在图14示出的例子中，可知电视机300的搜索范围被设定为24像素，再现装置100、电视机300、电视机200的搜索范围均被设定为16像素。“传输速率”是表示在与连接对象的设备进行连接时所连接的接口的吞吐量是何种程度的值。进深调整能力属性中的数据传输能力用于分辨作为数据发送接收的对方侧的设备的传输是基于HDMI的有线方式还是基于Wifi的无线方式。传输速率可以是被预先嵌入设备中的属性，也可以在进行协商时测定吞吐量并利用其值。在图14示出的例子中，图
14Ca)示出了再现装置100的传输速率被设定为53. 3 (Mbps),电视机200、电视机300被设定为24 (Mbps)、便携式终端400被设定为8 (Mbps)的示例。“再现对象内容的参照目标”表示再现对象的内容的保存介质、所保存的文件路径。在图14示出的例子中，可知图14 (a)的再现装置100中的再现对象的内容的参照目标被设定为“E:/local/path/01234.mt2s”，图14 (d)的便携式终端400中的再现对象的内容的参照目标被设定为“C:/local/path/01234. mt2s”。“调整能力”是表示将搜索算法和搜索范围适用于再现对象内容时的性能的基准分数(benchmark score) 0优选其值是考虑了再现对象的内容的保存目的地的数据吞吐量 的值。例如，被保存在可移动介质和盘驱动器2a中的数据也依赖于设备的介质读入速度，因而优选在尝试一次进深调整的基础上去发现进深调整处理能力。关于其值，在搜索算法所示出的值有多个的情况下，存在与每种搜索算法对应的进深调整处理能力的值。在图14的一例中，可知再现装置100、电视机200、电视机300的调整能力均是85(Mbps)，达到了毫不逊色的能力。另一方面，可知便携式终端400的调整能力是43 (Mbps)，调整能力低。综上所述，在图14中，对任何设备均设定为“有”调整能力。关于算法，再现装置100、电视机300均被设定为图切割，电视机200被设定为半全局匹配,便携式终端400被设定为块匹配。关于搜索范围，只有电视机300被设定为24像素。可知如上所述的各个体的性能差被体现在各台设备的性能信息中。<通信信息生成模块23>通信信息生成模块23在本设备是发送侧时读出本设备的性能信息，将其变换为适合于向对方设备传输的数据形式，由此生成发送信息。〈性能比较模块24>性能比较模块24是这样的模块，将从对方接收到的性能信息中的搜索级别和本装置的搜索级别进行比较，根据从作为协商的对象的对方设备接收到的发送信息，判定由“哪台设备” “如何”进行进深调整。性能比较模块24将在进行设备连接时从发送侧发送过来的性能信息所表示的搜索算法、与自身的性能信息所表示的搜索算法进行比较，由此确定将发送侧、接收侧哪一方作为进深调整主体。根据搜索算法的高低来确定进深调整主体，这是因为搜索算法的差异将大大影响匹配点搜索精度。在两台设备的搜索算法的级别相同的情况下，根据搜索范围的大小来确定。在两台设备的搜索范围相同的情况下，根据两台设备的进深调整的快慢来确定。如上所述，将相互连接的两台设备的搜索算法进行比较，在分不出优劣的情况下，根据搜索范围的大小、进深调整能力的快慢这些不同的下一维的参数进行设备的比较。这不是单纯地比较进深调整的快慢，而是利用质量优势来确定进深调整主体的产品概念的体现。<应答信息生成模块25>应答信息生成模块25在由性能信息存储模块22进行了比较时，生成表示其比较结果的应答信息并发送给发送侧。说明在假定各台设备的性能信息是按照图14所示进行设定的情况下进行设备相互间的连接时发送何种应答信息。图15(a)表示在进行再现装置100 —电视机300的连接时从电视机300发送的应答信息，图15 (b)表示在进行便携式终端400 —电视机200的连接时从电视机200发送的应答信息。图16 Ca)表示在进行便携式终端400 —再现装置100的连接时从便携式终端400发送的应答信息，图16 (b)表示在进行电视机200 —再现装置100的连接时从电视机200发送的应答信息。对在这些附图中共同的应答信息的共同的数据构造进行说明。应答信息由调整设备、终端功能、调整级别、搜索算法、搜索范围这些信息字段构成。“调整设备”表示发送侧、接收侧中哪一方成为调整主体的调整结果。在图15(a)、图15 (b)、图16 (a)的连接模式的应答信息中，表示接收侧(dst)是调整主体。调整设备被设定为接收侧是因为在按照图15 (a)、图15 (b)、图16 (a)的连接模式将性能信息进行比较时，接收侧的性能比较高。在图16 (b)的连接模式的应答信息中，表示发送侧(src)是调整主体。调整设备被设定为发送侧是因为在按照图16 (b)的连接模式将性能信息进行比较时，发送侧的性能比较高。“终端功能”表示进深调整是根据自动/手动中哪种方式进行的。在图15 (a)、图 15(b)、图16 (a)、图16 (b)的连接模式中，该终端功能均被设定为自动。“调整级别”表示将飞出程度设定为高中低中的哪种级别。在图15(a)、图15(b)、图16 (a)、图16 (b)的连接模式中，调整级别均被设定为“中”。“搜索算法”表示进深调整主体使用的算法。可知在图15 Ca)中算法被设定为图切割，在图15 (b)中被设定为半全局匹配。可知在图16 (a)、图16 (b)中被设定为图切割。“搜索范围”表示进深调整主体对匹配点的搜索范围。在图15 (b)、图16 (a)、图
16(b)的连接模式的应答信息中，表示搜索范围是16像素。在图16 (a)的连接模式的应答 目息中，表不搜索范围是24像素。综上所述可知，在各个连接模式中，发送侧一接收侧中具有更高的调整能力的一方，利用应答信息通知对方。根据图15 (a)，虽然算法相同，但是搜索范围是电视机300比较大，因而电视机300被确定为调整主体。因此，从再现装置100向电视机300发送已调整进深的左眼图像数据、右眼图像数据。并且，在电视机300侧利用自身的算法进行进深调
M
iF. O6.画面适应化被分类到“画面适应化”这一组中的构成要素有输出影像变换器26。下面，对该构成要素进行说明。输出影像变换器26根据应答信息的信息，判定以什么样的格式来发送协商目标和立体视觉影像内容，将非压缩的左眼图像数据、右眼图像数据变换为作为判定结果的格式。例如，可以举出将实施进深调整并已进行解码的数据变换为协商目标的设备能够处理的格式并进行发送，或者接收已进行解码的立体视觉影像数据并实施进深调整，并由自身进行显示等各种模式。说明在从接收侧发送给发送侧的应答信息是图15 (a)和(b)、图16Ca)和(b)所示的内容的情况下，通过由输出影像变换器26进行格式变换，电视机200、电视机300、便携式终端400的显示内容是什么。图17、图18表示发送侧一接收侧的多个模式、和各个模式时的立体视觉显示。图17 Ca)表示进行电视机300 —再现装置100的连接时。在再现装置100 —电视机300中，虽然搜索算法相同，但是搜索范围是电视机300比较大，因而电视机300被确定为调整主体。因此，从再现装置100向电视机300发送未调整进深的左眼图像数据、右眼图像数据。并且，在电视机300侧根据自身的算法进行进深调整。图17 (b)表示进行便携式终端400 -电视机200的连接时。在进行便携式终端400 —电视机200的连接时，能够按照半全局匹配进行匹配点搜索的电视机200成为进深调整主体。在这种情况下，电视机200是接收侧，因而左右图像在未进行调整的状态下被输出给接收侧。通过由电视机200实施基于半全局匹配的进深调整，实现飞出量级别较小的立体视觉再现。图18 Ca)表示进行便携式终端400 —再现装置100的连接时。在进行便携式终端400 —再现装置100的连接时，能够按照图切割进行匹配点搜索的再现装置100成为进深调整主体。在这种情况下，便携式终端400是发送侧，因而左右图像在由发送侧进行调整后被输出给接收侧。因此，通过由再现装置100实施基于图切割的进深调整，实现飞出量级别较大的立体视觉再现。
图18 (b)表示进行再现装置100 —电视机200的连接时。在进行电视机200 —再现装置100的连接时，能够按照图切割进行匹配点搜索的电视机200成为进深调整主体。在这种情况下，电视机200是接收侧，因而左右图像在未进行调整的状态下被输出给接收侦U。这样，通过由电视机200实施基于图切割的进深调整，实现飞出量级别中等的立体视觉再现。以上结束有关画面适应化组的说明。下面，对显示装置特有的构成要素进行说明。该特有的构成要素是显示部26。〈显示部26>显示部26接收由本设备进行了进深调整及格式变换的左眼图像和右眼图像，以提供给画面显示。不仅如此，也接收由其它设备进行了进深调整及格式变换的左眼图像和右眼图像，以备进行画面显示。本实施方式的影像处理装置通过利用ASIC等硬件集成元件具体实现如上所述的影像处理装置中的各个构成要素，能够进行工业生产。在这种硬件集成元件采用CPU、代码ROM、RAM这样通用的计算机结构的情况下，必须预先在代码ROM中安装利用计算机代码记述了如上所述的各个构成要素的处理步骤的程序，使硬件集成元件内的CPU执行该程序的处理步骤。说明在采用通用的计算机系统的构架时的软件安装所需要的处理步骤。图19是进深设备确定的处理步骤的主流程图。本流程图相当于最上位的处理即主例程，作为本流程图的下位的流程图有图20 图24所示的流程图。下面，对主例程中的处理步骤进行说明。该立体视觉影像的进深调整方法有可能包括两台以上的设备的处理，图7所示的处理示出了设置了立体视觉影像的再现的触发器的设备即作为客户端的设备的整体处理。图19是影像处理装置的处理步骤的主流程。在该流程图中，取得显示设备的属性(步骤SI)，开始再现(步骤S2)，取得内容的属性(步骤S3)，进入到步骤S6的判定步骤。在用户请求了开始再现的情况下(步骤S4)，跳过步骤SI，从步骤S2开始处理。在根据用户操作(UO)而产生了进深调整请求的情况下(步骤S5)，跳过步骤SI 步骤S3，从步骤S6开始处理。
步骤S6的判定步骤用于判定是否需要进行内容的进深调整，如果不需要进深调整，则进行步骤S7 步骤S9。在步骤S7，判定本装置是否是显示设备，如果是显示设备，则显示立体视觉影像(步骤S8)。如果不是显示设备，将立体视觉影像内容发送给作为数据发送接收的对方的显示设备(步骤S9)。在步骤S6，如果判定为需要进深调整，则进入到步骤Sll 步骤S17的一系列处理。在这一系列的处理中，进行设备的协商(步骤SI I )，如果成功则进行设备性能的交换(步骤S12)，在步骤S13判定内容的保存位置是否是本装置。如果保存位置是本装置，在步骤S14执行用于进行进深调整的设备的选择。如果保存位置不是本装置，在步骤S17进行等待立体视觉影像内容的接收，在接收到立体视觉影像内容后，在步骤S14执行用于进行进深调整的设备的选择。在步骤S15，判定所选择的设备是否是本装置。如果本装置是进深调整主体，在步
骤S16执行进深调整，并进入到步骤S8 步骤S10，如果本装置是显示设备，则显示立体视觉影像。如果本装置不是进深调整主体，则跳过步骤S16，进入到步骤S8 步骤S10，如果本装置是显示设备，则显示立体视觉影像。图20是表示确定是否需要内容进深调整以及设备协商的处理步骤的流程图。图20 (a)是表示确定是否需要内容进深调整的处理的图。本图的流程图是子例程，在结束子例程时，使返回值返回到进行调用的一侧的流程图中。该返回值被记述在流程图的末尾。在步骤S21，判定显示设备属性中的自动进深调整功能是否为0N。在步骤S22，通过判定显示设备属性中的画面尺寸与再现内容属性中的立体视觉对应画面尺寸是否一致，判定是否需要进深调整。在该步骤S22，考虑当前的进深调整的程度。该处理能够这样进行，例如对于被实施进深调整的已调整匹配点，将通过匹配点搜索而检测到的视差与设备预先保存的基准值进行比较，并判定是否大于基准值等。如果步骤S21、步骤S22均为Yes (是)，则视为需要进深调整并返回。如果步骤S21、步骤S22均为No (否)，则视为不需要进深调整并返回。图20 (b)是表示设备的协商的详细处理的一例的流程图。在步骤S23，判定是否存在至少一个能够进行双向的数据发送接收的接口。所说该接口包括前述的网络接口 I。例如，关于采用网络接口 I的方法，有使用Bluetooth或者HTTP协议进行通信的方法、或者将它们相结合的方法等。关于接收侧的设备对应于哪种接口，使用显示对象设备属性保存模块6中的信息来判定。在步骤S24，在能够进行双向的数据发送接收的接口中尝试进行连接。然后，立体视觉影像再现引擎15确认与连接对象的设备的连接。关于与设备的连接，例如在协商采用网络接口 I的情况下，使用Bluetooth或者HTTP协议进行通信来确认与对象设备的连接是否成功。在协商采用多媒体线缆接口 4的情况下，确认是否进行了物理连接。如果步骤S23、步骤S24均为Yes，则进入到设备性能的交换，如果步骤S23、步骤S24任意一方为No，则进入到进深调整的执行。图21是表示设备性能的交换步骤的流程图。作为发送侧的处理步骤，生成性能信息(步骤S31)，将性能信息发送给接收侧(步骤S32)，处于等待来自接收侧的应答的状态(步骤S33)，如果接收到应答信息，则进行应答信息的解析(步骤S34)。
作为接收侧的处理步骤，在步骤S41等待接收性能信息，如果接收到性能信息，则对性能信息进行解析(步骤S42)，并抽取本设备的性能信息(步骤S43)，然后将本设备的性能信息与接收到的性能信息所表示的性能信息进行比较(步骤S44)，根据比较结果确定进深调整设备(步骤S45)，生成针对性能信息的应答信息(步骤S46)，并且发送信息(步骤S47)。<进行进深调整的设备的选择>图22是表示进行进深调整的设备的选择步骤的流程图。本流程图由步骤S50 S53的判定步骤组构成，在这些判定步骤组中，根据哪个判定步骤为Yes，确定结果将不同。在步骤S50，判定发送侧、接收侧双方是否具有进深调整，在步骤S51，判定两台设备的深度图像的生成速度是否足够。在步骤S52，判定两台设备的搜索算法的性能是否相同，在步骤S52，判定两台设备的匹配点的搜索范围是否相同。在发送侧、接收侧中只有一方具有进深调整的情况下，在步骤S54，由具有该进深调整能力的设备进行进深调整。在双方设备具有进深调整的情况下，在步骤S51，进行判定双方设备的匹配点搜索的处理速度是否 足够。在一方设备的处理速度超过规定的阈值的情况下，在步骤S55，选择能够以超过该阈值的处理速度进行匹配点搜索的设备。在双方设备的匹配点搜索的处理速度超过阈值的情况下，在步骤S52，进行搜索算法的级别比较。在一方设备的搜索算法的级别高的情况下，在步骤S56，选择具有级别高的算法的设备。在双方设备的搜索算法是相同级别的情况下，在步骤S53，进行搜索范围的比较。在一方设备的搜索范围大的情况下，在步骤S57，选择该搜索范围大的设备作为进深调整主体。在双方设备的搜索范围相同的情况下，在步骤S58，选择匹配搜索的处理速度快的设备作为进深调整主体。在双方设备的匹配搜索的处理速度相同的情况下，选择显示侧的设备作为进深调整主体。图23是表示进深调整处理的处理步骤的流程图。进深调整处理如前面所述，采用非专利文献I的块匹配或非专利文献2的图切割等视差计算处理来生成视差映射，向该视差映射的各个像素乘以由进行进深调整处理的设备预先保存的调整度(例如1/2)，得到新的视差映射后，根据与该视差映射对应的深度图像，使左眼图像和右眼图像的各个像素沿水平方向错开。在步骤S61，按照应答信息中的进深调整算法和进深调整参数来生成视差映射，在步骤S62，向视差映射的像素乘以设备具备的调整度，得到新的视差映射、深度图像。在步骤S63，根据与新的视差映射对应的深度图像，使左眼图像和右眼图像的各个像素沿水平方向移位。图24是表示视差映射生成的处理步骤的流程图。在步骤S71，判定应答信息中的调整算法的内容。如果算法是块匹配，在步骤S72，沿水平方向搜索另一只眼睛的影像中的整合区域，得到最整合区域。如果算法是半全局匹配，在步骤S73，考虑与相邻接的多个方向上的分割区域的整合性，搜索另一只眼睛的影像中的整合区域，得到最整合区域。如果算法是图切割，在步骤S74，按照每个对象来分割影像，对各个分割区域搜索最整合区域，得到最整合区域。在步骤S75，将最整合区域的水平方向的位置与一只眼睛的分割后的区域的水平方向的位置的差异作为最整合区域的距离进行映射，由此得到视差映射。(第2实施方式)在第I实施方式中，将应该作为再现的对象的流仅限定为视频流这一种流进行了说明，而在本实施方式中，采用考虑了视频流以外的其它数据的内部结构。图25表示考虑了视频流以外的其它数据的内部结构。如该图所示，在第2实施方式的影像处理装置中追加了图形解码器30、图形存储器31、位移部32、合成部33a和33b、音频解码器34。图形解码器30对由解复用器4进行解复用后的JPG/PNG等图形数据进行解码，得到非压缩图形。图形存储器31存储通过解码而得到的非压缩的图形。 位移部32按照预先设定的偏置执行平面移位，得到左眼图形、右眼图形。该平面移位是在专利文献I中公开的技术。在平面移位中，使画面整体进行移位，因而影像内的所有对象的进深进行相同的变化。其结果是，影像的立体感不变，看起来呈立体的影像的显示位置被调整为看起来好像位于近前位置、或者被调整为看起来好像位于更里侧位置。合成部33a将从左眼图像解码器5输出的左眼图像、和位移部32生成的左眼图形合成。合成部33b将从右眼图像解码器6输出的右眼图像、和位移部32生成的右眼图形合成。 音频解码器34对从解复用器4输出的音频帧进行解码，并输出非压缩形式的音频数据。根据上述结构，能够将在左眼图像、右眼图像中合成了图形的合成图像作为进深调整的对象。如果该图形是表示GUI的图形，则也能够将GUI的进深成为合适的进深。如上所述，位移部32按照预先设定的偏置执行平面移位。因此，在本实施方式中，通过增减该偏置来控制图形的飞出程度。根据以上所述的本实施方式，对于被合成到图像中的图形实施与显示装置的画面尺寸对应的增减，因而能够对图像、图形的飞出量进行优化。< 备注 >以上对在递交本申请时申请人所知道的最佳的实施方式进行了说明，还能够对以下示出的技术题目实施更进一步的改进或变更。需要注意的是至于按照各个实施方式所述进行实施、还是实施这些改进/变更，都依据于实施者的主观想法，是可以任意选择的。(属性取得)也可以是，在进行设备协商时取得显示装置的属性。(由第3设备进行的进深调整)当相互连接的两台设备均不具有进深调整的情况下，优选使第3设备进行进深调整。如果存在该第3设备的唯一候选，则使该设备进行进深调整。另一方面，如果存在第3设备的多个候选，优选将这些候选设备中的任意一台设备选择为进深调整主体。关于这种进深调整主体的确定，应该考虑往复时间来确定。此处的往复时间包括将未调整的图像数据传输给作为候选的设备的时间、从作为候选的设备接收已调整的图像数据的时间。并且，该往复时间还根据传输速率来确定。因此，能够通过比较该传输速率，判定能够更快速地获取已调整图像数据的候选设备是哪台设备。因此，优选通过比较传输速率，判定候选设备中的哪台设备应该作为第3设备。(流供给源的变形)为了实现立体影像进深调整功能，不需要全部具备网络接口 I、可移动介质、BD -ROM驱动器3、以及多媒体线缆接口 4。如果通过连接至少两台设备，即可进行立体视觉影像的再现和显示，并能够从本设备或者接收侧的设备取得立体视觉影像的相关信息，则其中一台设备不一定需要具备全部的网络接口 I、可移动介质、BD - ROM驱动器3、以及多媒体线缆接口 4，也可以构成为仅具备上述接口中的必要部分作为用于从外部获取信息的接口。在本实施方式中说明了这样的示例，即包括立体视觉影像在内的流数据的获取是通过网络接口 I、可移动介质、盘驱动器2a来获取的，所获取的流数据的传输是通过多媒体线缆接口 4进行的，设备之间的协商是通过网络接口进行的，但是不限于这种示例。 例如，在采用多媒体线缆接口 4的设备之间的连接例如是根据HDMI连接而实现的情况下，如果使用HDMI的扩展区域进行协商，则不一定需要采用网络接口的连接。例如，大型显示器400、中型电视机300或者便携式终端600不一定需要具备BD —ROM驱动器3。(可移动介质的变形)可移动介质是在设备之间进行再现对象的内容传递时使用的一种手段。作为假定的用途情况，例如，假定在利用位于远程的安装了小型显示器的其它设备来再现被保存于光盘中的大型显示器用的内容时，作为立体影像的发送单元是利用可移动介质。如果搭载了其它的进行立体影像的传递的单元，则不一定需要在本装置中安装可移动介质。(接口的变形)在立体影像进深的协商方法采用多媒体线缆接口的情况下，不一定需要安装本网络接口 I。(虚拟文件系统的适用)在实施方式I中，说明了通过网络接口 I、可移动介质、盘驱动器2a来取得流数据或者JPG/PNG等立体视觉影像文件的结构，但是不限于这种结构。例如，在采用未图示的虚拟文件系统的设备(例如再现装置200等)中，也能够通过虚拟文件系统从可移动介质或者盘驱动器2a取得流数据或者JPG/PNG等立体视觉影像文件等的信息。虚拟文件系统发挥这样的作用，将BD - R0M100或者硬盘或者可移动介质进行虚拟组合，使在请求信息的请求源看起来好像被记录在一个记录介质中。为了实现这一目的，例如虚拟文件系统保存在立体视觉影像的相关数据之外的如下数据与包括向虚拟文件系统请求的文件路径在内的访问目的地的数据信息、以及表示与该访问目的地对应的数据实际所在的位置的文件路径相关的访问目的地变换信息。在向虚拟文件系统进行访问请求的情况下，虚拟文件系统参照访问目的地变换信息，将访问目的地变换为被请求访问的数据所在的文件路径，进行访问。由此，例如如果将向虚拟文件系统请求的文件路径设为好像位于虚拟设定的一个记录介质中的文件路径，则请求源不需意识到进行访问请求的数据是否位于可移动介质、盘驱动器等不同的设备中，即可进行访问请求。
并且，进行立体度调整的功能也可以设于显示装置侧。另外，在本实施方式中，说明了使用眼镜来实现立体视觉的装置，但也可以适用于不使用眼镜即可实现立体视觉的裸眼立体视觉。(进深调整主体的变形)实施方式I中的进深调整主体的确定仅是一个示例，如果中型电视机300或者便携式终端400的硬件性能比较高，即使在中型电视机300或者便携式终端400中进行进深调整处理也不会对立体视觉影像的显示带来不便，则也可以在中型电视机300或者便携式终端400中进行进深调整处理。(作为便携式终端的实施)便携式终端从立体视觉照片文件中取出压缩左眼图像数据、压缩右眼图像数据，以供给再现。此处的立体视觉照片文件有MPO文件。MP0(Multi picture object :多图像对象)文件是指能够利用任天堂株式会社的3DS、富士胶片的FinePix REAL 3D Wl以及W3 摄像机进行拍摄的文件，包括摄影日期、尺寸、压缩左眼图像、压缩右眼图像，并且包括作为与摄影地相关的地理信息的地理纬度、经度、海拔、方位、倾斜。压缩左眼图像、压缩右眼图像是以JPEG格式进行压缩的数据。因此，便携式终端400通过进行JPEG格式的数据的解压缩而得到右眼图像、左眼图像。(作为BD- ROM再现装置的实施)读出部从记录介质读出立体视觉交织流文件。读出部在读出立体视觉交织流文件时进行如下处理使用3D流信息文件中的片段(clip)基本信息内的区段(extent)开始点信息、和片段从属信息内的区段开始点信息，将立体视觉交织流文件分割为主TS和辅TS，并存储在不同的读缓冲器中。该分割是通过反复如下两个处理来进行的按照片段从属信息中的区段开始点信息所表示的源包号码的包数量，从立体视觉交织流文件中取出源包并追加在主TS中的处理；按照片段基本信息中的区段开始点信息所表示的源包号码的包数量，从立体视觉交织流文件中取出源包并追加在辅TS中的处理。左眼图像解码器5和右眼图像解码器6均具有编码数据缓冲器、解码数据缓冲器，将构成从属视(dependent view)视频流的视分量预加载到编码数据缓冲器中，对期望将位于基本视视频流内的封闭GOP(close GOP)的开头的解码器刷新的图片类型(IDR型)的视分量进行解码。在进行该解码时，将编码数据缓冲器、解码数据缓冲器全部清空。这样在对IDR型的视分量进行解码后，左眼图像解码器5和右眼图像解码器6对根据与该视分量的相关性被实施了压缩编码的基本视视频流的后续的视分量以及从属视视频流的视分量进行解码。如果通过解码得到了有关该视分量的非压缩的图片数据，则存储在解码数据缓冲器中，将该图片数据作为参照图片。左眼图像解码器5和右眼图像解码器6使用该参照图片，对基本视视频流的后续的视分量以及从属视视频流的视分量进行运动补偿。如果通过运动补偿得到了有关基本视视频流的后续的视分量以及从属视视频流的视分量的非压缩的图片数据，则将这些图片数据存储在解码数据缓冲器中并作为参照图片。以上的解码处理是在各个访问单元的解码时间戳所表示的解码开始时刻到来时进行的。(作为电视广播接收装置的结构)为了使显示装置构成为电视广播接收装置，需要对显示装置追加服务受理部、接收部、解复用部和显示判定部。服务受理部管理服务选择。具体地讲，接收基于来自遥控器信号的用户指示或来自应用的指示的服务变更请求，并通知接收部。接收部从天线或线缆接收所选择的服务被发布的传输流的载波的频率中的信号，并进行解调。并且，将解调后的TS发送给解复用部。接收部包括针对接收到的广播波进行IQ检波的调谐器单元，针对被实施了 IQ检波的广播波进行QPSK解调、VSB解调、QAM解调的解调部，以及传输解码器。解复用部从接收到的传输流中抽取PSI等系统包，从所抽取的系统包中的一个系统包即 PMT 包中取得 3D_system_info_descripto;r、3D_se;rvice_info_desc;ripto;r、3D_combi_info_descriptor的各个描述符,并通知显示判定部。显示判定部参照由解复用部通知的各个3D_system_info_descriptor、3D_ service_info_descriptor>3D_combi_info_descriptor 来掌握传输流的流结构。并且，将在当前的显示模式下应该成为解复用的对象的TS包的PID通知解复用部。并且，在立体视觉再现方式是帧互换方式的情况下，显示判定部参照3D_SyStem_info_descriptor 的 2D_view_flag>3D_service_info_descriptor 的 frame_packing_arrangement_type,通知显示处理部在2D再现中使用左眼用图像、右眼用图像中的哪种图像、以及视频流是否是Side — by — Side方式等。显示判定部参照由解复用部抽取的3D_system_info_descriptor的3D_playback_type,判定接收到的传输流的再现方式。在再现方式是服务互换方式的情况下，参照3D_system_info_descriptor的2D_independent_flag，判定在2D再现中使用的视频流和在3D再现中使用的视频流是否共用。在2D_independent_f lag 的值为 O 的情况下，参照 3D_combi_info_descriptor 来确定流结构。在传输流的流结构是2D/L + Rl + R2的情况下，对2D/L + Rl + R2的流进行解码，得到左眼图像数据、右眼图像数据的组。在传输流的流结构是2D/L + R的情况下，对2D/L + R的流进行解码，得到左眼图像数据、右眼图像数据的组。在2D_independent_flag的值为I的情况下，显示判定部参照3D_combi_info_descriptor来确定流结构。在传输流的流结构是MPEG2 + MVC (Base)+ MVC (Dependent)的情况下，对MPEG2 + MVC (Base) + MVC (D印endent)的流进行解码，得到左眼图像数据、右眼图像数据的组。在传输流的流结构是MPEG2 + AVC + AVC的情况下，对MPEG2 + AVC + AVC的流进行解码，得到左眼图像数据、右眼图像数据的组。在再现方式是巾贞互换方式的情况下，参照3D_system_info_descriptor的2D_independent_f lag,判定在2D再现中使用的视频流和在3D再现中使用的视频流是否共用。在2D_ind印endent_flag的值为O的情况下，对2D/SBS的流进行解码，得到左眼图像数据、右眼图像数据的组。在2D_independent_flag的值为I的情况下，对2D + SBS的流进行解码,得到左眼图像数据、右眼图像数据的组。在frame_ppacking_arrangement_type是Side — by —Side方式的情况下，通过对位于左右的左眼用图像、右眼用图像进行剪切(cropping)进行3D 再现。在 frame_packing_arrangement_tpe 不是 Side — by — Side 方式的情况下，确定为Top Bottom方式，通过对位于上下的左眼用图像、右眼用图像进行剪切来进行3D再现。按照通过以上的判定而确定出的流结构，对视频流进行解码，由此得到左眼图像数据、右眼图像数据。(立体视觉影像内容的范围)
在各个实施方式中，作为进深调整的对象的立体视觉影像内容是在光盘、半导体存储卡等所有封装介质(package media)中记录的内容。关于本实施方式的记录介质，以预先记录有必要的数据的光盘(例如BD - ROM,DVD 一 ROM等已有的能够读取的光盘)为例进行了说明，但不限于此，例如也可以是包括经由广播或者网络而发布的实施本发明所需要的数据的立体视觉影像内容。也可以利用具有向光盘进行写入的功能的终端装置(例如可以将上述功能安装在再现装置中，也可以是与再现装置不同的装置)记录在能写入的光盘(例如BD - RE,DVD -RAM等已有的能够写入的光盘)中，把该记录后的光盘的内容作为进深调整的对象，则也能够实施本发明。成为进深调整的对象的数据可以是例如利用电子发布而记录在记录介质中的数据，例如与记录在记录介质101中的原始内容对应的数据(例如，视频流、音频流、字幕数据、字幕数据、背景图像、GUI、应用、应用管理表等)的全部或者一部分(例如进行再现所需要的数据的升级数据)，或者将追加内容作为发布数据。说明将成为进深调整的对象的数据记录在作为半导体存储器的SD存储卡中的方式。在向被插入到再现装置具有的插槽中的SD存储卡记录发布数据的情况下，首先向存储发布数据的发布服务器(未图示)请求发送发布数据。此时，再现装置从所插入的SD存储卡读出用于唯一识别SD存储卡的识别信息(例如各个SD存储卡固有的识别号码，更具体地讲，例如SD存储卡的序列号等)，将所读出的识别信息与发布请求一起发送给发布服务器。这个用于唯一识别SD存储卡的识别信息，例如相当于上述的卷ID。另一方面，在发布服务器中，将待发布的数据中的必要数据(例如视频流、音频流等)进行加密后存储在服务器中，以便能够使用加密解读所需要的密钥(例如标题密钥)进行加密解除。例如，发布服务器构成为保存私钥，并能够动态地生成针对半导体存储卡的固有的各个识别号码而不同的公钥信息。并且，发布服务器构成为能够对解读被加密的数据所需要的密钥(标题密钥)本身进行加密(即，构成为能够生成加密标题密钥)。所生成的公钥信息例如包括相当于上述的MKB、卷ID和加密标题密钥的信息。关于被加密的数据，例如，如果半导体存储器固有的识别号码、包含于后面叙述的公钥信息中的公钥本身、和在再现装置中预先记录的设备密钥的组合正确，则能够得到加密解读所需要的密钥(例如，根据设备密钥、MKB和半导体存储器固有的识别号码对加密标题密钥进行解密而得到的标题密钥)，使用该得到的加密解读所需要的密钥(标题密钥)，能够解读被加密的数据。然后，再现装置将接收到的公钥信息和发布数据记录在插入到插槽中的半导体存储卡的记录区域中。下面，说明对记录在半导体存储卡的记录区域中的公钥信息、和包含于发布数据中的数据中被加密的数据进行解密并再现的方法的一例。所接收到的公钥信息记录有例如公钥本身(例如上述的MKB和加密标题密钥)、签名信息、半导体存储卡的固有的识别号码、和表示应该设为无效的设备的相关信息的设备列表。签名信息例如包括公钥信息的散列(hash)值。在设备列表中记述有例如与有可能进行不正当再现的装置相关的信息。该信息例如是预先记录在再现装置中的设备密钥、再现装置的识别号码、或再现装置具有的解码器的识别号码这样的、唯一地确定有可能进行不正当再现的装置、装置中包含的部件或功能(程序)的信息。说明有关记录在半导体存储卡的记录区域中的发布数据中被加密的数据的再现。首先，在利用公钥本身对被加密的数据进行解码之前，进行有关是否使解码密钥本身发挥作用的检查。具体地讲，进行以下检查(I)检查包含于公钥信息中的半导体存储器固有的识别信息和预先存储在半导体存储卡中的固有的识别号码是否一致 (2)检查在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值是
否一致(3)根据包含于公钥信息中的设备列表表示的信息，检查进行再现的再现装置能否进行不正当的再现(例如，检查包含于公钥信息中的设备列表表示的设备密钥、和预先存储在再现装置中的设备密钥是否一致)。进行这些检查的顺序可以按照任何顺序进行。在上述的(I) (3)的检查中，如果满足下述的任一情况判定为包含于公钥信息中的半导体存储器固有的识别信息和预先存储在半导体存储器中的固有的识别号码不一致、在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值不一致、或者进行再现的再现装置有可能进行不正当的再现，则再现装置进行控制以便不能进行被加密的数据的解读。并且，如果判定为包含于公钥信息中的半导体存储卡固有的识别信息和预先存储在半导体存储卡中的固有的识别号码一致、而且在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值一致、而且进行再现的再现装置不可能进行不正当的再现，则判定为半导体存储器固有的识别号码、包含于公钥信息中的公钥本身、以及预先记录在再现装置中的设备密钥的组合正确，并使用加密解读所需要的密钥(根据设备密钥、MKB和半导体存储器固有的识别号码对加密标题密钥进行解密而得到的标题密钥)，进行被加密的数据的解读。例如，在被加密的数据是视频流、音频流的情况下，视频解码器使用上述的加密解读所需要的密钥(对加密标题密钥进行解密而得到的标题密钥)，对视频流进行解密(解码)，音频解码器使用上述的加密解读所需要的密钥对音频流进行解密(解码)。通过形成这种结构，在进行电子发布时得知是有可能被不正当利用的再现装置、部件、功能(程序)等的情况下，如果将用于识别它们的信息示于设备列表中进行发布，则在再现装置侧包括播放列表中所示的信息的情况下，将能够抑制使用公钥信息(公钥本身)进行的解密，所以即使半导体存储器固有的识别号码、包含于公钥信息中的公钥本身、以及预先记录在再现装置中的设备密钥的组合正确，也能够进行控制以便不能进行被加密的数据的解读，能够抑制在不正当的装置上利用发布数据。
并且，优选采用将预先记录在半导体存储卡中的半导体存储卡的固有的识别符存储在保密性较高的记录区域中的结构。因为在预先记录在半导体存储卡中的固有的识别号码(例如，以SD存储卡为例，指SD存储卡的序列号等)被进行了篡改时，将容易导致被非法复制。这是因为虽然多个半导体存储卡分别被分配了不同的固有的识别号码，但如果进行了篡改使该固有的识别号码相同，则上述(I)的判定将没有意义，有可能导致进行相当于篡改数量的非法复制。因此，优选采用将半导体存储卡的固有的识别号码这样的信息记录在保密性较高的记录区域中的结构。为了实现这种结构，例如，半导体存储卡可以构成为将用于记录半导体存储卡的固有的识别符这样的保密性较高的数据的记录区域，设定为与存储普通数据的记录区域(称为第I记录区域)不同的记录区域(称为第2记录区域)，并设计用于进行向该第2记录区域的访问的控制电路，并且使向第2记录区域的访问只能通过控制电路进行访问。例如，将记录于第2记录区域中的数据进行加密、记录，控制电路例如安装有对被加密的数据进行解密的电路。在进行向第2记录区域的数据访问的情况下，控制电路可以构成为对加密进行解密、并返回解密后的数据。或者，控制电路可以构成为保存记录于第2·记录区域中的数据的存储位置的信息，如果有数据的访问请求，则确定对应的数据的存储位置，并返回从所确定的存储位置读取到的数据。作为在再现装置上进行动作的应用，请求利用电子发布来向半导体存储卡记录的应用，在通过存储卡I/F向控制电路发出对记录在第2记录区域中的数据(例如半导体存储器固有的识别号码)的访问请求后，接收到请求的控制电路读出记录在第2记录区域中的数据，并返回给在再现装置上进行动作的应用。也可以构成为向发布服务器请求和该半导体存储卡的固有的识别号码一起进行的、必要的数据的发布请求，将由发布服务器发送的公钥信息和对应的发布数据记录在第I记录区域中。并且，作为在再现装置上进行动作的应用，请求利用电子发布来向半导体存储卡记录的应用，在通过存储卡I/F向控制电路发出对记录在第2记录区域中的数据(例如半导体存储器固有的识别号码)的访问请求之前，优选事前检查应用有无被篡改。关于篡改的检查，例如可以采取利用了依据于已有的X. 509标准的数字证书的检查等。并且，向记录在半导体存储卡的第I记录区域中的发布数据的访问，不一定需要通过半导体存储卡具有的控制电路进行访问。(集成电路的实施方式)各实施方式所示的再现装置的硬件构成中，排除记录介质的驱动器部或与外部的连接器等机构部分，相当于逻辑电路或存储元件的部分，即逻辑电路的核心部分也可以形成为系统LSI。所说系统LSI指在高密度基板上安装裸芯片并封装得到的产品。通过在高密度基板上安装多个裸芯片并封装，使多个裸芯片具有像一个LSI那样的外形构造的产品，被称为多芯片模块，这种产品也包含于系统LSI中。在此如果考察封装的类型，则系统LSI的种类包括QFP (方形扁平封装)、PGA (插针网格阵列)。QFP是将插针安装在封装体的四个侧面上的系统LSI。PGA是在整个底面上安装多个插针的系统LSI。这些插针作为电源供给或接地、与其他电路的接口来发挥作用。系统LSI中的插针具有这种接口的作用，所以通过向系统LSI中的这些插针连接其他电路，系统LSI发挥作为再现装置的核心的作用。
(程序的实施方式)各个实施方式所示的程序可以按照下面所述生成。首先，软件开发人员使用编程语言记述用于实现各个流程图及功能性构成要素的源程序。在进行该记述时，软件开发人员按照编程语言的语法，使用类构造体及变量、排列变量、外部函数的调用，记述具体实现各个流程图及功能性构成要素的源程序。所记述的源程序作为文件提供给编译器(compiler)。编译器翻译这些源程序并生成目标程序。由编译器进行的翻译包括语法分析、优化、资源分配、代码生成这些过程。在语法分析中，进行源程序的词法分析、语法分析和意思分析，把源程序转换为中间程序。在优化时，对中间程序进行基本块化、控制流程分析、数据流程分析这些作业。在资源分配时，为了实现与作为目标的处理器的命令设定的适应性，把中间程序中的变量分配给作为目标的处理器具有的寄存器或存储器。在代码生成时，把中间程序中的各个中间命令转换为程序码， 得到目标程序。此处生成的目标程序由一个以上的程序码构成，这些程序码用于使计算机执行各个实施方式所示的流程图的各个步骤或功能性构成要素的各个步骤。其中，程序码有处理器的本机码、JAVA字节码等各种类型。在利用程序码实现各个步骤时有各种方式。在能够使用外部函数来实现各个步骤时，调用该外部函数的调用语句成为程序码。并且，像实现一个步骤那样的程序码有时也归属于各个不同的目标程序。在命令种受限制的RISC处理器中，也可以通过组合算术运算命令及逻辑运算命令、分支命令等，实现流程图的各个步骤。在生成目标程序后，编程器(piOgrammer)针对这些目标程序起动连接器(linker)。连接器把这些目标程序和相关联的库程序分配到存储器空间中，并将它们结合成为一个，生成装载模块。这样生成的装载模块是以计算机的读取为前提的，用于使计算机执行各个流程图所示的处理步骤或功能性构成要素的处理步骤。也可以把这种程序记录在非临时性的计算机可读的记录介质中提供给用户。(基于行扫描电路的实现性)另外，能够利用行扫描(line scan)电路实现DIBR。行扫描电路是指以每个横向1920像素单位读出被存储在帧存储器中的一个画面量的像素(1920X 1080)的集合，并变换为数字影像信号的硬件元件。这种行扫描电路能够利用可以存储I行的量的像素数据的行像素存储器、滤波器电路、进行并行/串行变换的变换电路实现。如上所述的DIBR是将深度图像的各个像素的亮度变换为视差来进行像素的位移的处理。如果使从行存储器中读出的所有周围图像的I行的量的像素的坐标横向移动与针对所有周围图像的深度图像中的对应行的进深相对应的像素数，则能够生成具有深度图像中的各行所表示的进深的、来自另一个视点的视点影像。产业上的可利用性本发明能够适用于再现立体视觉影像或者再现从流得到的立体视觉影像的再现装置、或者显示立体视觉影像或者显示从流得到的立体视觉影像的显示装置。标号说明I网络接口 ； 19设备间接口 ；18U0检测模块；16显示对象设备属性保存模块；15内容属性保存模块；17进深调整判定模块；23通信信息生成模块；20解析器；24性能比较模块；25应答信息生成模块；100影 像再现装置；200大型电视机；300中型电视机；400便携
式终端。
权利要求
1.一种影像处理装置，进行两个以上的视点影像数据的发送接收，并且调整由两个以上的视点影像数据构成的立体视觉影像的进深，其特征在于， 该影像处理装置具有 设备间接口，在进行两个以上的视点影像数据的发送接收时，进行与作为数据发送接收的对方侧的装置之间的连接； 确定单元，通过在作为数据发送接收的对方侧的装置与本装置之间执行规定的通信序列，确定由哪个装置调整立体视觉影像中的进深；以及 处理单元，在通过通信序列确定了在本装置侧进行进深调整的情况下，对从数据发送接收的对方侧发送的两个以上的视点影像数据、或者应该发送给数据发送接收的对方侧的两个以上的视点影像数据实施进深调整， 所述进深调整包括这样的处理，即从其它视点影像数据中搜索与构成一个视点影像数据的像素组匹配的匹配像素组，并检测构成一个视点影像数据的像素组与构成其它视点影像数据的像素组之间的视差， 所述通信序列包括 发送接收阶段，在本装置与数据发送接收的对方侧之间进行表示匹配像素组的搜索性能的性能信息的发送接收；以及 比较阶段，进行本装置的匹配像素组的搜索性能与数据发送接收的对方侧的匹配像素组的搜索性能的比较。
2.根据权利要求I所述的影像处理装置，其特征在于， 所述进深调整包括这样的处理，即根据检测到的视差来生成深度图像，根据应该显示两个以上的视点影像数据的画面进行深度图像的校正，对一个视点影像实施以被实施校正后的深度图像为基础的基于深度图像的绘制，由此得到具有被修正后的视差的两个以上的视点影像。
3.根据权利要求I所述的影像处理装置，其特征在于， 在由各个设备进行的进深调整中对匹配像素组的搜索具有多个级别， 第I级别是对一个视点影像进行图像识别，将通过针对视点影像数据的图像识别而得到的对象作为匹配像素组的级别， 第2级别是通过扫描一个视点影像数据来搜索匹配像素组的级别， 所述性能信息表示由作为数据发送接收的对方侧的装置或者本装置进行的匹配像素组搜索为第I级别、第2级别中的哪种级别， 在所述通信序列中的确定阶段中，判定在作为数据发送接收的对方侧的装置和本装置中对匹配像素组的搜索级别是否相同，如果不同，则将作为数据发送接收的对方侧的装置和本装置中搜索级别高的一方确定为进深调整主体。
4.根据权利要求3所述的影像处理装置，其特征在于， 由作为数据发送接收的对方侧的装置以及本装置进行的进深调整中的匹配像素组搜索的搜索范围不同， 性能信息使用像素数来表示由作为数据发送接收的对方侧的装置或者本装置进行的匹配像素组搜索的搜索范围， 在所述通信序列中的确定阶段中，如果在作为数据发送接收的对方侧的装置和本装置中对匹配像素组的搜索级别相同，则将作为数据发送接收的对方侧的装置和本装置中搜索范围大的一方确定为进深调整主体。
5.根据权利要求4所述的影像处理装置，其特征在于， 第2级别包括通过块匹配来进行匹配像素组的搜索的级别、和通过半全局匹配来进行匹配像素组的搜索的级别， 基于所述半全局匹配的匹配像素组的搜索的级别高于基于块匹配的匹配像素组的搜索的级别。
6.根据权利要求I所述的影像处理装置，其特征在于， 所述影像处理装置是显示装置， 所述作为数据发送接收的对方侧的装置是具备立体视觉摄影部的便携式设备， 所述两个以上的视点影像数据是通过立体视觉摄影部得到的左眼照片数据、右眼照片数据。
7.根据权利要求I所述的影像处理装置，其特征在于， 所述影像处理装置是显示装置， 所述作为数据发送接收的对方侧的装置是再现被记录在记录介质中的立体视觉影像内容的再现装置， 所述两个以上的视点影像数据是通过由再现装置再现被记录在记录介质中的立体视觉影像内容而得到的。
8.根据权利要求I所述的影像处理装置，其特征在于， 所述影像处理装置是再现被记录在记录介质中的立体视觉影像内容的再现装置， 作为数据发送接收的对方侧的装置是显示装置， 所述两个以上的视点影像数据是通过由再现装置再现被记录在记录介质中的立体视觉影像内容而得到的。
9.一种由两个以上的影像处理装置构成的系统，其特征在于， 各个影像处理装置发送接收两个以上的视点影像数据，并且调整由两个以上的视点影像数据构成的立体视觉影像的进深， 各个影像处理装置具有 设备间接口，在进行两个以上的视点影像数据的发送接收时，进行与作为数据发送接收的对方侧的装置之间的连接； 确定单元，通过在作为数据发送接收的对方侧的装置与本装置之间执行规定的通信序列，确定由哪个装置调整立体视觉影像中的进深；以及 处理单元，在通过通信序列确定了在本装置侧进行进深调整的情况下，对从数据发送接收的对方侧发送的两个以上的视点影像数据、或者应该发送给数据发送接收的对方侧的两个以上的视点影像数据实施进深调整， 所述进深调整包括这样的处理，即从其它视点影像数据中搜索与构成一个视点影像数据的像素组匹配的匹配像素组，并检测构成一个视点影像数据的像素组与构成其它视点影像数据的像素组之间的视差， 所述通信序列包括 发送接收阶段，在本装置与数据发送接收的对方侧之间进行表示匹配像素组的搜索性能的性能信息的发送接收；以及比较阶段，进行本装置的匹配像素组的搜索性能与数据发送接收的对方侧的匹配像素组的搜索性能的比较。
10.一种影像处理方法，进行两个以上的视点影像数据的发送接收，并且调整由两个以上的视点影像数据构成的立体视觉影像的进深，其特征在于， 该影像处理方法包括 设备间连接步骤，在进行两个以上的视点影像数据的发送接收时，进行与作为数据发送接收的对方侧的设备之间的连接； 确定步骤，通过在作为数据发送接收的对方侧的设备与本设备之间执行规定的通信序列，确定由哪个设备调整立体视觉影像中的进深；以及 处理步骤，在通过通信序列确定了在本设备侧进行进深调整的情况下，对从数据发送接收的对方侧发送的两个以上的视点影像数据、或者应该发送给数据发送接收的对方侧的两个以上的视点影像数据实施进深调整， 所述进深调整包括这样的处理，即从其它视点影像数据中搜索与构成一个视点影像数据的像素组匹配的匹配像素组，并检测构成一个视点影像数据的像素组与构成其它视点影像数据的像素组之间的视差， 所述通信序列包括 发送接收阶段，在本设备与数据发送接收的对方侧之间进行表示匹配像素组的搜索性能的性能信息的发送接收；以及 比较阶段，进行本设备的匹配像素组的搜索性能与数据发送接收的对方侧的匹配像素组的搜索性能的比较。
11.一种影像处理程序，使设备内置的计算机执行这样的处理，即进行两个以上的视点影像数据的发送接收，并且调整由两个以上的视点影像数据构成的立体视觉影像的进深，其特征在于， 该影像处理程序使计算机执行以下步骤 设备间连接步骤，在进行两个以上的视点影像数据的发送接收时，进行与作为数据发送接收的对方侧的设备之间的连接； 确定步骤，通过在作为数据发送接收的对方侧的设备与本设备之间执行规定的通信序列，确定由哪个设备调整立体视觉影像中的进深；以及 处理步骤，在通过通信序列确定了在本设备侧进行进深调整的情况下，对从数据发送接收的对方侧发送的两个以上的视点影像数据、或者应该发送给数据发送接收的对方侧的两个以上的视点影像数据实施进深调整， 所述进深调整包括这样的处理，即从其它视点影像数据中搜索与构成一个视点影像数据的像素组匹配的匹配像素组，并检测构成一个视点影像数据的像素组与构成其它视点影像数据的像素组之间的视差， 所述通信序列包括 发送接收阶段，在本设备与数据发送接收的对方侧之间进行表示匹配像素组的搜索性能的性能信息的发送接收；以及 比较阶段，进行本设备的匹配像素组的搜索性能与数据发送接收的对方侧的匹配像素组的搜索性能的比较。
全文摘要
影像处理装置是构成家庭影院系统的多台设备中的一台设备，在与其它设备连接时，进深调整判定模块(17)判定在再现立体视觉影像时是否需要两个以上的视点影像数据的进深调整。在需要进深调整的情况下，性能比较模块(24)执行用于确定由哪台设备进行进深调整的通信序列。在根据通信序列判定为在本装置侧进行进深调整的情况下，由本装置进行进深调整，并将作为调整结果的两个以上的视点影像数据发送给对方侧，在判定为在对方侧进行调整的情况下，不对两个以上的视点影像数据进行进深调整即原样发送给对方侧。
文档编号G09G5/00GK102823264SQ201280000990
公开日2012年12月12日 申请日期2012年3月28日 优先权日2011年3月31日
发明者山下健, 山地治, 大户英隆 申请人:松下电器产业株式会社