使用图像孔信息执行补偿左图像或右图像中会存在的孔的过程。
[0061]边界噪声去除模块(1130、1230)执行消除(或去除)左图像或右图像的边界区中会出现的噪声的过程。
[0062]3D格式化器(1300)组合从视图合成模块(1000)输出的左图像和右图像并且将3D图像格式化。
[0063]在视图合成模块(1000)形成(或产生)新的左图像和右图像并且输出任意(或随机)视图(或视点)的情况下，各图像和深度图可经历附图中示出的4个步骤。此时，可提供诸如相机参数信息或深度类型信息等相关信息进行各图像和深度图的处理程序。
[0064]图2示出根据本发明的示例性实施方式的最佳配合(或适应)观看条件的立体图像的装置。
[0065]在接收端选择其自身任意视图的图像并且对其应用视图合成的情况下，可通过使用进行视图合成所需的信息(例如，相机参数信息、深度类型信息、depth_near信息和/或depth_far信息)，分别对各图像执行渲染。然而，不可以只通过以上提到的信息来提供最佳配合观看条件的3D图像，并且在意图提供对应3D图像的情况下，需要另外的信息。更具体地，需要用信号发送关于当前接收的立体图像正针对的特定观看条件的信息和与当将要支持另一个参考观看条件的情况对应的指导信息。
[0066]在本发明的示例性实施方式中，可从发送端发送的指导信息和可从接收端获取的观看条件信息都可被输入到视图合成模块，可基于这两种类型的信息来产生新立体图像(包括左图像和右图像的图像)。目标观看条件信息和参考观看条件信息和/或与之相关的参数信息可被包括在指导信息中。
[0067]可由视图合成模块执行观看条件适应视图合成。视图合成模块可分别针对第一视图和第二视图接收第一视图的视频元素、第二视图的视频元素、第一视图的深度元素、第二视图的深度元素、相机参数信息、深度类型信息、cbpth_near信息、和/或d印th_far信息。视图合成模块可在基于此信息的考虑下对没有满足观看条件的3D图像执行渲染。
[0068]视图合成模块可另外地接收目标观看条件信息、参考观看条件信息、观看条件信息和相关参数。
[0069]目标观看条件信息对应于指示3D内容制作方或广播发送端的作为目标的观看条件的信息。目标观看条件信息可包括目标用户双眼之间的距离、目标显示屏和目标观众之间的距离、和/或目标显示装置的尺寸信息。通过参考目标观看条件信息，接收端可对3D图像执行渲染，达目标观看条件信息和接收端的观看条件之间的差异。更具体地，可对3D图像执行渲染，使得可覆盖基于目标观看条件信息改变(或变化)的观看条件的细节(或内容)。
[0070]参考观看条件信息对应于指示由3D内容制作方或广告发送端作为参考标准呈现的观看条件的信息。更具体地，参考观看条件信息可提供关于一个或多个参考观看条件的信息，并且在各参考观看条件下，可从发送端向接收端发送用于呈现3D图像的参数。参考观看条件信息可包括观众双眼之间的最佳距离、显示屏和用户双眼之间的最佳距离、用于显示3D内容制作方或广播发送端想要的3D效果的显示装置的最佳尺寸信息。接收端可参考具有与观看条件信息最近似的信息的参考观看条件信息，接着可对3D图像执行渲染，达参考观看条件信息和接收端的观看条件之间的差异。更具体地，可渲染3D图像，使得可覆盖基于参考观看条件信息改变的观看条件的细节。
[0071]观看条件信息对应于指示观众消费的3D内容的观看环境的信息。观看条件信息可包括诸如上面正在显示3D图像的屏幕的尺寸(屏幕尺寸)、观众双眼之间的距离(1D ;眼间距离)、屏幕和观众之间的距离(观看距离)等信息。视图合成模块从接收器接收观看条件信息，并且在存在与该观看条件信息匹配的目标观看条件信息的情况下，视图合成模块可通过使用与对应的目标观看条件信息相关的执行3D图像渲染的参数来对3D图像执行渲染。视图合成模块从接收器接收观看条件信息，并且在不存在与该观看条件信息匹配的目标观看条件信息或参考观看条件信息的情况下，视图合成模块可比较参考观看条件信息与该观看条件信息，接着可执行补偿这两个信息之间的差异的3D图像渲染。
[0072]图3示出根据本发明的示例性实施方式的提供最佳配合观看条件的立体图像的接收器的操作。
[0073]在观看条件信息匹配目标观看条件信息的情况下，例如，在存储在或输入到接收端的观看条件信息匹配接收到的立体像对I的目标观看条件信息的情况下，作为执行任何另外的深度条件的替代，接收到的输入(立体像对I)被直接输出(立体像对2)。
[0074]在观看条件信息不匹配目标观看条件信息的情况下，例如，在立体像对I的目标观看条件信息不匹配接收到的参考观看条件信息之中的由接收器获取(或得到)的观看条件信息的情况下，接收器搜索与获取的观看条件信息匹配的信息。
[0075]在存在匹配的参考观看条件信息的情况下，通过参考各个参数值，可执行深度调节(或3D图像渲染)，以形成(或产生)新立体像对，从而输出新形成的立体像对。
[0076]在不存在匹配的参考观看条件信息的情况下，在提供的参考观看条件信息之中，可参考与获取的观看条件信息最近似的参考观看条件信息，或者参考目标观看条件信息，以计算对于获取的观看条件信息而言足够的参数值，可通过使用这个参数值来形成(或产生)立体像对2。
[0077]图4示出根据本发明的示例性实施方式的相对于屏幕尺寸的3D效果差异。
[0078]在针对不同的屏幕尺寸输出相同的立体内容(3D内容)的情况下，各自的视差、观看距离、相应识别的对象的深度可有所不同。
[0079]当屏幕尺寸变小时，用于显示相同3D效果的深度预算变大，相反地，当屏幕尺寸变大时，用于显示相同3D效果的深度预算被更少地消耗。深度预算是指包括在3D图像中的固定量的3D效果(或深度)。
[0080]参照图4，在屏幕尺寸分别对应于Wl和W2的情况下，应当清楚，为了感测相同深度，需要变化视差角和观看距离。
[0081]图5示出根据本发明的示例性实施方式的显示相对于屏幕尺寸而不受限制的3D效果所需的多个像素。
[0082]为了确定各屏幕尺寸分别的深度(或3D效果)的变化，可在1D (眼间距离)分别的多个像素之间进行比较。在显示屏内，与1D( = 65mm)的视差对应的深度(3D效果)对应于陷入屏幕背面的不受限制深度，对应于Omm视差的深度是指对应于屏幕表面的深度。尽管当视差等于O时的情况的深度感总是对应于屏幕正上方的位置而不顾及观看条件，但剩余视差按照屏幕尺寸显示不同的深度感。如图5中所示，当针对各样屏幕尺寸中的每个在对应于65mm视差的像素数量之间进行比较时，用于显示相同3D效果的视差的像素的数量大大变化。
[0083]图6示出根据本发明的示例性实施方式的相对于1D长度的3D效果差异。
[0084]立体3D效果按照1D尺寸变化。更具体地，在观众是儿童的情况下，1D 一般可以是小的，识别(或察觉)相同3D效果所需的深度预算也可以是小的，相反地，在观众是1D比儿童大的成人的情况下，识别(或察觉)相同3D效果所需的深度预算可大于儿童的深度预算。
[0085]如图6中所示，相对于相同视差pi察觉的深度(或深度感)(D1)按照1D值而变化。更具体地，在成人的情况下，由于1D长度比儿童的1D长度长，因此观众可感觉到允许对象被看到仿佛对象存在于与用户相距Dl距离的3D效果，然而，在针对相同对象具有的1D长度比成人的1D长度短的儿童的情况下，观众可感觉到允许对象被看到仿佛对象存在于与用户相距D1’距离的3D效果。
[0086]图7示出根据本发明的示例性实施方式的在观看距离变化的情况下保持收敛角(alpha ； α )以保持3D效果的方法。
[0087]对于各个2D图像的观看距离，由于存在由ITU-R针对各分辨率决定的推荐观看距离，因此发送端和接收端可将此设置为参考标准。相反，在立体内容(3D内容)的情况下，按照观看距离察觉的深度会存在差异，没有推荐各个观看距离的参考标准。因此，由发送端设置为参考标准的关于观看距离的信息被发送到接收端，接收端可以指此信息。
[0088]如上所述，由于立体内容的3D效果按照观看条件(诸如，屏幕尺寸、10D、观看距离等)而变化，因此为了合适地传递3D内容制作方或广播站想要的3D效果，正需要的是提供3D内容从而允许按照各观看条件调节3D效果的方法。
[0089]当将要保持立体图像的3D效果时，正保持的元素可变化，可存在用于相应保持3D效果的多样方法。例如，可保持收敛角。在另一个示例中，可保持视差角。视差角可被定义为从适应角(accommodat1n angle)减去收敛角得到的值。当观众盯着屏幕上的特定点时，适应角代表均由将各眼连接到各个视点的直线组成的两个分段之间的角度。在又一个示例中，可参照观众(或基于观众)保持观看距离范围(例如，Dmin > Dmax)。在又一个实例中，可参照屏幕(或基于屏幕)保持观看距离范围(例如，Dmin Dmaxl)。在又一个实例中，可存在保持相对观看距离范围的方法。
[0090]在用于补偿3D内容的3D效果(深度)的方法的情况下，由于根据将要保持的元素，调节值可存在差异，因此当关于元素的信息(即，关于补偿类型的信息)被从发送端提供到接收端时，接收端可使用此信息，已经基于所述关于元素的信息计算出提供的参考观看条件信息及其相应的参考补偿参数。
[0091]图7对应于示出当正保持收敛角时的情况的附图。在其它观看条件相同的情况下，当观看距离变大时，需要视差(或像差)的绝对值相应增大。例如，在图7的(a)中，在将要保持的元素对应于a (alpha)的情况下，并且在观看距离增大的情况下，如图7的(b)中所示，为了保持α，还需要增大屏幕上的箭头(指示视差)。
[0092]在其它观看条件相同的情况下，当屏幕尺寸变大时，需要视差的绝对值相应减小。此时，应该保持视差。
[0093]在其它观看条件相同的情况下，当1D变大时，需要视差(或像差)的绝对值相应减小。
[0094]图8示出根据本发明的示例性实施方式的保持视差角的方法。
[0095]当观看距离变大时，需要视差(或像差)的绝对值相应增大。但是，在观看距离增大至4m或更大的情况下，相对于此增大，最大视差值不会发生变化。
[0096]在其它观看条件相同的情况下，当屏幕尺寸变大时，也需要视差的绝对值与此增大成比例地减小。此时，可保持视差。
[0097]可保持视差(或像差)，而不顾及1D尺寸的变化。
[0098]视差角可被定义为从适应角(Λ)减去收敛角得到的值。当观众正专注于屏幕的特定点时，适应角可被定义为均由将各眼连接到各个视点的直线组成的两个分段之间形成的角度。收敛角包括与观众正专注于远处图像时对应的收敛角(β)和与观众正专注于近处图像时对应的收敛角(a) 0
[0099]根据本发明的示例性实施方式，视差角应该被保持在从适应角减去β角值得到的角度和从适应角减去α角值得到的角度之间。在观看偏离上述视差角范围的图像的情况下，这可造成用户体验到疲劳感。
[0100]图9示出根据本发明的示例性实施方式的保持观看距离的方法。
[0101]保持观看距离的方法包括基于观众保持观看距离的方法和基于屏幕保持观看距离的方法。
[0102]参照图9的(a)，当观众正关注最远处图像时，用户双眼和最远处图像之间的距离可被定义为最大距离(Dmax)，并且当观众正关注最近处图像时，用户双眼和最近处图像之间的距离可被定义为最小距离(Dmin)。基于观众保持观看距离的方法可对应于保持距离使得可在上述最小距离和最大距离之间显示3D效果的方法。更具体地，可通过即使观看条件改变也保持目标最小距离和目标最大距离来保持3D效果。
[0103]在其它观看条件相同的情况下，当观看距离变大时，需要视差(或像差)的绝对值相应增大。
[0104]在其它观看条件相同的情况下，当屏幕尺寸变大时，也需要视差的绝对值与此增大成比例地减小。此时，可保持视差。
[0105]当1D变大时，需要视差(或像差)的绝对值相应增大。
[0106]参照图9的(b)，可基于屏幕(或参照屏幕)保持距离范围。这是指保持距离范围的绝对值(即，最大距离减去最小距离得到的值)的方法。
[0107]在其它观看条件相同的情况下，当观看距离变大时，需要视差(或像差)的绝对值相应增大。
[0108]在其它观看条件相同的情况下，当屏幕尺寸变大时，也需要视差的绝对值与此增大成比例地减小。此时，可保持视差。
[0109]当1