元素流I(ESl)在3D视图1D对应于O的3D图像中用作右图像(右视图)，并且在3D视图1D对应于I的3D图像中可以用作左图像(左视图)。元素流2(ES2)在3D视图1D对应于I的3D图像中用作右图像(右视图)，并且在3D视图1D对应于2的3D图像中可以用作左图像(左视图)。
[0052]图2是按照本发明的一个实施例，用于边缘违反的示意图。
[0053]图2对应于示出由观看3D图像的观众识别的图像的每个部分的相对深度的俯视图。位于中心的圆圈形式的对象被认为是离用户最近的，并且左侧和右侧的矩形被排列在圆圈形式的对象后面。由于位于左侧和右侧的矩形具有负视差，所以该矩形被认为是基于屏幕放置地接近用户的对象。
[0054]但是，同时，由于矩形位置在屏幕的两端边缘处，所以用户可能将其识别为由对应于屏幕的边缘部分的框阻挡矩形的一部分。因此，用户识别为基于该屏幕左侧和右侧的矩形位于用户的接近位置，并且由于矩形由屏幕的框阻挡，用户也可能识别为该矩形位于屏幕的后面。因此，用户可能在深度方面感觉混乱。
[0055]与2D图像不同，当观看3D立体图像的时候，视角是用于显示效果的重要部分。例如，当几个人并排就座观看TV的时候，在2DTV的情况下，所有人可以观看类似水平的图像。但是，在3DTV的情况下，由于3DTV的悦目点是有限的，所以3D图像的质量可能按照观看3D图像的人的角度/位置变化。因此，在使用按照观看位置显示每个3D图像的多视图图像显示设备的情况下，每个观众可以能够观看3D图像，同时感觉较好的3D效果。
[0056]由于多视图图像3D服务示出按照每个位置彼此不同的视点的屏幕，所以3D效果、边缘违反现象等等在每个3D图像中具有不同的方面。因此，为了消除或者减轻边缘违反现象，应按照每个3D图像发送单独的参数。尤其是，两种方法可用于处理边缘违反。首先，立体3DTV经由广播信号将接收端需要的相关参数发送给接收端以处理边缘违反。其次，发送端可以将其边缘违反被预先处理的立体流发送给接收端。但是，在多视图3DTV广播中，由于处理或者减轻边缘违反的方法按照单个流包括于其中的视点的立体3D图像变化，所以很难适用发送其边缘违反由发送端预先消除或者减轻的立体流的方法。因此，必须具有允许接收端按照每个视点适当地接收和处理参数的广播信令。
[0057]在这种情况下，考虑3D图像可以对应于直接发送的流，或者由接收端合成的3D图像。当图像被合成的时候，如果作为输入的原始图像导致边缘违反，则基于原始图像产生的新3D图像也可能导致边缘违反。因此，如果用于补充边缘违反的信息按照合成的3D图像被发送，则当观众观看多视图3DTV的时候，可能减少失真或者不便。
[0058]因此，本发明提出在提供多视图3D图像的3DTV中实现多视图3D视频广播服务的接收机或者发射机的方法。并且，本发明提出使用信令信息操作和实现3DTV控制多视图3D视频输出的方法。
[0059]图3是按照本发明的一个实施例，用于处理边缘违反方法的示意图。
[0060]作为处理边缘违反的方法之一，可以能够使用发送端处理图像的HIT(水平图像转换)技术。按照HIT技术，为了防止失真现象出现在一对L、R立体图像的边缘侧，发送端执行图像的移位和绘条(bar)(剪切)处理，并且发送3D图像。
[0061]在不考虑多视图的情况下，以从发送端适用的方式发送移位和绘条处理的情形是可能的。但是，在多视图3DTV的情况下，由于要适用的移位和绘条可以按照每个视点变化，所以发送端可能难以预期移位和绘条并且发送3D图像。
[0062]图3(a)示出在水平方向移动和处理包括在3D图像中的左图像和右图像的方法。
[0063]参考图3(a)，边缘违反处理器在向左水平方向移动包括在3D图像中的左图像，并在向右水平方向移动右图像。在这种情况下，在水平方向的移动距离可以按照导致边缘违反的对象的显示大小确定。尤其是，左和右图像在水平方向被移动以便在屏幕中不显示该对象。
[0064]在左和右图像中，边缘违反处理器利用条填充由在水平方向移动产生的空的区域，并且剪切偏离由在水平方向移动产生的帧大小的区域。
[0065]如果3D图像使用由前面提到的处理产生的左和右图像产生，则可以能够消除或者减轻边缘违反。尤其是，预期导致边缘违反的区域被剪切，并且对应于左图像或者右图像的图像可以在边缘区域中显示。
[0066]图3(b)示出在水平方向移动和处理包括在3D图像中的左图像和右图像的方法。
[0067]参考图3(b)，边缘违反处理器将右图像的原始图像按照原样保持，并且仅仅在向左水平方向移动左图像。在向左水平方向移动的左图像之中，偏离帧区域的区域被剪切，并且剩余的左图像与右图像组合。通过这样做，可以配置3D图像。
[0068]图4是按照本发明的不同的实施例，用于处理边缘违反方法的示意图。
[0069]在多视图TV中，新的随机视点的3D图像可以基于接收的视频数据流产生(或者合成)。在这种情况下，如果边缘违反存在于用于合成3D图像的一对左/右图像中，则边缘违反也可能存在于合成的结果图像中。在这种情况下，可以存在能够消除、减轻或者防止边缘违反存在于重新合成的3D图像中的各种方法。
[0070]按照本发明的一个实施例，第一个方法是示意对于多个3D图像的边缘违反区域。(对于各种视图的边缘违反区域的示意)
[0071]按照第一个方法，可以能够对于所有合成的3D图像以诸如3D_edge_handling_inforO这样的形式示意信息。尤其是，对于许多视点的3D图像，如果产生有关在其中出现边缘违反的区域的信令信息，并且该信息被发送，则当接收机合成3D图像的时候，参考有关相应的视点的边缘违反区域的信息，接收机可以能够减少或者减轻边缘违反。在这种情况下，产生的信令信息可以经由广播信号和/或因特网信号传送给接收机。用于补充、消除或者减轻边缘违反的信息将称作边缘处理信息、边缘处理数据或者边缘信息。
[0072]按照本发明不同的实施例的第二个方法将提供用于边缘违反区域检测器(EVAD)函数的信令信息。(用于边缘违反区域检测器(EVAD)函数的信令信息)。
[0073]按照第二个方法，与有关左/右图像的照相机位置的信息对应的输入和输出可以示意与边缘处理要适用于的像素间隔值对应的边缘违反区域检测器(EVAD)函数。尤其是，第二个方法对应于示意函数类型和能够扣除LL_edge_v1lat1n_width和RR_edge_v1lat1n_width (或者 LL_edge_pixel_width 和 RR_edge_pixel_width)的相关的系数的方法。例如，如果该方法示意相关的信息的值对应于线性地增长/减小形式，则能够经由函数类型对应于线性函数的点、起点值、终点值等等限定函数。在不同类型的函数的情况下，可以能够不意附加的相关的系数。
[0074]按照本发明的不同的实施例的第三个方法检测边缘违反而无需信令信息。(无需信令信息实现边缘违反检测)
[0075]按照第三个方法，当用于消除、减轻或者处理边缘违反的信息没有分别地示意的时候，接收端本身可以检测和处理边缘违反区域。在这种情况下，对于通过合成图像(视图合成)产生的虚拟的图像(虚拟的视图)，能够在产生虚拟的图像的过程中，经由在像素之间的映射信息扣除在其中出现边缘违反的区域。当接收端无需合成图像(视图合成)按照原样输出接收的视频数据流的时候，能够经由诸如在接收端中处理的左图像和右图像之间特征匹配这样的单独的过程，扣除在其中出现边缘违反的区域。作为特征匹配的一个例子，接收机分别地检测包括在左图像和右图像中的对象或者像素。并且，接收机可以检测存在于左图像中而不存在于右图像中的对象或者像素，或者存在于右图像中而不存在于左图像中的对象或者像素。接收机可以检测存在于或者左图像或者右图像中的对象或者像素的区域为其中边缘违反出现的区域。
[0076]参考图4，接收端可以包括边缘违反区域检测器和/或边缘违反处理器。
[0077]边缘违反区域检测器检测在对于特定的视点合成的3D图像的左图像和右图像中边缘违反出现的区域。在这种情况下，在前面提到的方法之中的一个或多个方法可用于检测边缘违反出现其中的区域。
[0078]如果有关在3D图像中出现的边缘违反的信息按照第一个方法为每个视点提供，则边缘违反处理器使用该信息消除、减轻或者处理边缘违反。或者，边缘违反处理器接收有关由边缘违反区域检测器检测的边缘违反区域的信息，并且然后可以能够使用该信息消除、减轻或者处理边缘违反。
[0079]图5是按照本发明的一个实施例，用于经由SEI (辅助的增强信息)消息示意3D_view_processing_info 结构的表。
[0080]如果与边缘违反相关的信息以视频级别被发送，则可以能够按照每个帧或者场景应对边缘违反区域变化。
[0081]在H.264 (或者AVC)视频的情况下，有关边缘违反的信息可以发送给包括配置为帮助诸如解码、输出等等这样的过程的信息的SEI (辅助的增强信息)区域。按照本发明，可以能够指定进入视频级别的SEI消息以发送边缘违反信息。图5对应于用于指定SEI消息信令3D_view_processing_info情形的实施例。作为一个实施例，如果有效载荷类型字段的值对应于“50”，则该字段可以表示发送3D_view_processing_info的SEI消息。
[0082]边缘违反信息或者3D边缘处理信息对应于用于消除、减轻或者处理在多视图3D图像的每个视点的图像中出现的边缘违反的信息。边缘违反信息或者3D边缘处理信息包括 3D_view_processing_info。
[0083]图6是按照本发明的一个实施例，用于3D_view_processing_info语法的表。
[0084]为了处理其中出现边缘违反的部分，可以能够使用前面提到的移位和绘条方法。或者，可以使用绘制条而无需移位(浮动窗口)的方法、经由剪切和部分缩放而无需绘制条的处理边缘违反的方法等等。由于适用于每个处理方法的参数彼此不同，所以必须拥有发送边缘违反处理数据或者边缘违反信息以示意适用于每个处理方法参数的方法。边缘处理相关的数据可以作为用于视频内容的元数据给出。
[0085]按照本发明的一个实施例，3D图像处理信息(3D_view_processing_infor)包括 3D_view_processing_info_id 字段、3D_view_processing_update_flag 字段、num_3D_views 字段、3D_view_ID 字 ?；>3D_view_pr1rity 字段、synthesized_L-flag 字段、synthesized_R-flag 字段、Left_view_ID 字段、L_camera_parameter_exist_flag 字段、L_cam_baseIine_distance 字段、right_view_ID 字段、R_camera_parameter_exist_flag字段、R_cam_baseIine_distance 字段、30_6(^6_11311(11;[1^_;[11；1^0()元素，和 / 或 3D_EVAD_funct1n_info ()元素。
[0086]3D_view_processing_info_id字段对应于唯一地识别3D图像处理信息的信息。
[0087]3D_view_processing_update_flag字段对应于表示是否当前发送的3D图像处理信息与先前接收的信息相同，或者是否当前发送的3D图像处理信息需要被新更新的字段。如果当前发送的3D图