专利名称：数据结构、图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及数据结构、图像处理设备、图像处理方法和程序，并且更加具体地涉及用于允许用户观看3D内容而无论用户将3D内容视为3D图像还是2D图像都不会感觉不适的数据结构、图像处理设备、图像处理方法和程序。
背景技术：
2D图像主要用作视频内容。然而近来3D图像引人注目。例如，如日本专利申请公开第10-327430号和第2008-182669号所示，针对3D图像显示设备和3D图像编码和解码方法已提议了各种技术。3D图像由用左眼观看的左眼图像和用右眼观看的右眼图像构成。左眼图像和右眼图像中的每一个都具有预定视差，所以用户可以将图像识别为立体图像。近来的3D电影使用了一种技术，该技术用于将黑色边缘插入到图像帧的外围，以便允许用户容易地观看图像帧的外围中的图像(图像的外部边缘部分)。根据场景中的视差的量(视差量)动态地改变黑色边缘的尺寸。因此，黑色边缘也被称为浮动视窗。图IA至IC是图示插入黑色边缘的例子的示图。图IA是突出的量为零的3D图像的例子。在左眼图像和右眼图像中的每一个中， 苹果的显示位置相同。因此，突出的量为零。图IB是其中苹果看起来突出的3D图像的例子。当图IB的3D图像与图IA的3D 图像相比较时，可以理解的是，图IB的3D图像中的左眼图像中的苹果向右侧(图像的内侧)转移了 X。换言之，在左眼图像中的苹果和右眼图像中的苹果之间存在视差，并且视差量为X。因此，苹果看起来突出。然而，没有将黑色边缘插入到图IB的3D图像中。黑色边缘的缺乏造成在图像帧处突出。因此，用户在观看3D图像时会有困难(感觉不适)。图IC是其中将黑色边缘插入到图IB的3D图像中的例子。将宽度与视差量X相同的黑色边缘插入到图IC的左眼图像中。结果，图像易于由用户观看。
发明内容
然而，不是所有的3D内容(将来会广泛可用)都是如上所述使黑色边缘插入其中的图像。相反地，如果所有的3D内容都假定始终使黑色边缘插入其中，则这在可能难以将 3D内容视为3D图像的环境中会造成问题，例如可能没有准备附有快门的眼镜，或者眼镜破了。这是因为例如当左眼图像和右眼图像中只有一个用于示出为2D图像时，黑色边缘随着场景移动，这造成图像看起来不自然。本发明是考虑到这样的状况来进行的，并且允许用户观看3D内容而无论用户将 3D内容视为3D图像还是2D图像都不会感觉不适。根据本发明的实施例，提供了一种图像处理设备，该图像处理设备包括获得单元，用于获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及生成单元，用于通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。根据本发明的另一个实施例，提供了一种图像处理方法，该图像处理方法由包括用于获得图像数据的获得单元和生成单元的图像处理设备执行，所述方法包括以下步骤 使所述获得单元获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及使所述生成单元通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中来生成附有边缘的左眼图像和附有边缘的右眼图像。根据本发明的另一个实施例，提供了一种用于使计算机执行处理的程序，所述处理包括以下步骤获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。根据本发明的另一个实施例，获得了没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度，并且通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，生成了附有边缘的左眼图像和附有边缘的右眼图像。根据本发明的另一个实施例，提供了一种数据结构，该数据结构包括没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据；根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度；以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度。根据本发明的另一个实施例，包括了没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度。应当注意的是，通过经由传送介质来传送程序或者将程序记录到记录介质，可以提供程序。图像处理设备可以是独立的设备，也可以是构成一个设备的内部块。根据本发明的第一和第二方面，用户可以观看3D内容而无论用户将3D内容视为 3D图像还是2D图像都不会感觉不适。
图IA至IC是图示插入黑色边缘的例子的示图；图2是图示根据本发明实施例的记录设备的示例性配置的框图；图3是图示由图2的记录设备执行的记录处理的流程图；图4是图示被记录到记录介质的数据的层次结构的示图；图5是图示MPEG4的方框的扩展区域的例子的示图；图6是图示MPEG4的方框的扩展区域的另一个例子的示图；图7是图示MPEG4的方框的扩展区域的还有另一个例子的示图；图8是图示根据本发明实施例的再现设备的示例性配置的框图；图9是图示后处理单元的详细示例性配置的框图；图10是图示后处理单元的另一个详细示例性配置的框图；图IlA至IlC是图示用于计算黑色边缘宽度的计算处理的示图；图12是图示黑色边缘宽度计算单元的详细示例性配置的框图；图13是图示由图8的再现设备执行的再现处理的流程图；以及图14是图示根据本发明实施例的计算机的示例性配置的框图。
具体实施例方式在下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构性元件用相同的标号来指示，并且省略这些结构性元件的重复说明。<记录设备的实施例>[记录设备的示例性配置]图2是图示根据本发明实施例的记录设备的示例性配置的框图。图2的记录设备包括黑色边缘宽度计算单元10、视频编码器11、音频编码器12、多路复用单元13和记录控制单元14。记录设备1编码3D内容的内容数据，并且将内容数据记录到记录介质20如 Blu-Ray (注册商标)盘只读存储器(BDROM)。内容数据包括3D图像的图像数据(其在下文中可以被称为3D视频数据)和对应于图像数据的音频数据。3D视频数据包括用于左眼图像的图像数据和用于右眼图像的图像数据。内容数据还包括关于黑色边缘的宽度(在下文中被称为黑色边缘宽度)的额外信息，所述黑色边缘要被插入到图像帧的外围中，以便允许用户容易地观看图像帧的外围中的图像。因此，记录介质20中记录的3D视频数据中的左眼图像和右眼图像是不包括任何黑色边缘的图像，以便允许用户容易地观看图像帧的外围中的图像。根据从外部输入的3D视频数据，记录设备1的黑色边缘宽度计算单元10计算黑色边缘的黑色边缘宽度，所述黑色边缘被插入以允许用户容易地观看3D图像的图像帧的外围中的图像。更加具体地，黑色边缘宽度计算单元10检测3D视频数据的左眼图像和右眼图像之间的视差量，根据检测的视差量计算黑色边缘宽度，并且将黑色边缘宽度提供给视频编码器11。如稍后说明的那样，可以针对每个帧或域计算并设置黑色边缘宽度，也可以针对由多个帧或域构成的每个单元，例如针对每个场景计算并设置黑色边缘宽度。尽管稍后在关于再现设备50的详细配置的说明中会详细地说明黑色边缘宽度计算单元10的细节，但是这里将会简短地说明黑色边缘宽度计算单元10。针对左眼图像和右眼图像中的每一个，黑色边缘宽度计算单元10分开计算用于右侧图像帧(在下文中被称为右图像帧)的黑色边缘宽度和用于左侧图像帧(在下文中被称为左图像帧)的黑色边缘宽度。换言之，黑色边缘宽度计算单元10计算四个黑色边缘宽度，并且将黑色边缘宽度提供给视频编码器11。根据编码方法如运动图像专家组阶段2 (MPEG2)、MPEG4和高级视频编码(AVC)，视频编码器11对从外部输入的元数据和3D视频数据进行编码。元数据包括充当3D图像额外信息的黑色边缘宽度。视频编码器11向多路复用单元13提供作为编码的结果而获得的视频流，亦即基本流(ES)。根据编码方法如MPEG，音频编码器12对从外部输入的对应于3D视频数据的音频数据进行编码，并且向多路复用单元13提供作为编码的结果而获得的音频流，亦即ES。多路复用单元13对由视频编码器11提供的视频流和由音频编码器12提供的音频流进行多路复用，并且向记录控制单元14提供作为多路复用的结果而获得的多路复用流。记录控制单元14将由多路复用单元13提供的多路复用流记录到记录介质20。记录设备1具有上述配置。[关于记录设备的处理的说明]随后参考图3的流程图来说明图2的记录设备1所执行的记录处理。例如当输入 3D视频数据和音频数据时，这个记录处理开始。在步骤SlO中，根据从外部输入的3D视频数据，黑色边缘宽度计算单元10分别计算左眼图像的黑色边缘宽度和右眼图像的黑色边缘宽度。在步骤Sll中，根据编码方法如MPEG2、MPGE4和AVC，视频编码器11对从外部输入的元数据和3D视频数据进行编码。元数据包括在步骤SlO中计算的用于左眼图像的黑色边缘宽度和用于右眼图像的黑色边缘宽度中的每一个。视频编码器11向多路复用单元 13提供作为编码的结果而获得的视频流。在步骤S12中，根据编码方法如MPEG，音频编码器12对从外部输入的对应于3D视频数据的音频数据进行编码，并且向多路复用单元13提供作为编码的结果而获得的音频流。在步骤S13中，多路复用单元13对由视频编码器11提供的视频流和由音频编码器12提供的音频流进行多路复用，并且向记录控制单元14提供作为多路复用的结果而获得的多路复用流。在步骤S14中，记录控制单元14将由多路复用单元13提供的多路复用流记录到记录介质20，并且终止处理。如上所述，记录设备1向记录介质20记录不包括任何黑色边缘的左眼图像和右眼图像的3D视频数据，并且还向记录介质20记录关于黑色边缘宽度的额外信息(元数据)， 所述黑色边缘宽度用于将黑色边缘插入到左眼图像和右眼图像。因此，当再现记录介质20 中记录的3D内容并且用户将3D内容视为3D图像时，记录设备1可以在基于作为额外信息提供的黑色边缘宽度将黑色边缘插入到左眼图像和右眼图像中之后显示3D内容，以便图像帧的外围中的图像易于观看。代替地，当再现记录介质20中记录的3D内容并且用户将 3D内容视为2D图像时，可以再现3D图像，因为没有黑色边缘插入其中。因此，观看者不会感觉到由图像帧的外围中的突出图像造成的不自然。所以，记录设备1可以提供3D内容， 用户可以观看该3D内容，而无论用户将3D内容视为3D图像还是2D图像都不会感觉不适。[关于额外信息的存储位置的说明]图4是图示被记录到记录介质20的数据的层次结构的示图。如图4所示，被记录到记录介质20的数据的层次包括ES如音频流和视频流的层 C ；充当用于多路复用流的系统层的层B ；以及对于记录介质20唯一的信息的层A。“黑色边缘宽度”亦即额外信息可以记录在层A、层B和层C中的一个或多个中。例如，当额外信息被记录到层C并且编码方法是AVC时，额外信息被记录为补充增强信息(SEI)，或者被记录为序列参数集(SPS)和图片参数集(PPS)的一部分。当编码方法是MPEG2时，额外信息被记录为视频序列或扩展与用户数据。在这种情况下，可以在一个视频流之内改变额外信息，因此可以针对左眼图像和右眼图像中的每一个或者针对每个场景设置“黑色边缘宽度”。代替地，当额外信息被记录到层B时，额外信息被记录到运输流(TS)的专用包、程序流(PS)的专用包和MPEG4的配置信息中包括的方框的扩展区域。例如，如图5所示，可以在紧接着位于文件头部的ftyp框之后的专用扩展框(图 5中的uuid)中放置在其中记录额外信息的MPEG4的方框的扩展区域。在这种情况下，当再现设备再现被记录到记录介质20的3D视频数据时，再现设备可以在解码处理之前获得 “黑色边缘宽度”亦即额外信息，但是额外信息贯穿文件不变。应当注意的是，专用扩展框不仅包括“黑色边缘宽度”，而且还包括编解码器的类型、比特率、帧尺寸、高宽比以及表示图像是2D图像还是3D图像的信息。代替地，如图6所示，可以在moov框中的轨道信息(trak)的区域(图6中的stsd) 中放置在其中记录额外信息的MPEG4的方框的扩展区域。在这种情况下，视频流包括表示被引用的额外信息的区域的信息，并且再现设备基于该信息获得“黑色边缘宽度”。因此，在这种情况下，可以在视频流之内改变“黑色边缘宽度”。因此，可以针对左眼图像和右眼图像中的每一个或者针对每个场景设置“黑色边缘宽度”。代替地，如图7所示，可以在mdat框中放置在其中记录额外信息的MPEG4的方框的扩展区域。换言之，额外信息可以被记录为一个介质流(副信息流)。在这种情况下，视频流和额外信息可以与时间信息同步，因此可以针对左眼图像和右眼图像中的每一个或者针对每个场景设置“黑色边缘宽度”。在图5至7的例子中，moov框和mdat框按顺序布置在ftyp框之后。然而，moov 框和mdat框的布置不限于此。<再现设备的实施例>[再现设备的示例性配置]图8是图示根据本发明实施例的再现设备的示例性配置的框图。图8的再现设备50包括读取单元51、分离单元52、视频解码器53、后处理单元54 和音频解码器55。再现设备50再现记录介质20中记录的3D视频数据和与其相对应的音频数据，并且显示3D图像。更加具体地，再现设备50的读取单元51读取记录介质20中记录的多路复用流， 并且将多路复用流提供给分离单元52。分离单元52将读取单元51所提供的多路复用流分成视频流和音频流。然后，分离单元52将视频流提供给视频解码器53，并且将音频流提供给音频解码器55。根据与图2的视频编码器11所执行的编码方法相对应的方法，视频解码器53对分离单元52所提供的视频流进行解码，并且向后处理单元54提供作为解码的结果而获得的3D视频数据和元数据(额外信息)。换言之，根据本发明的图像处理设备可以包括获得单元(在本实施例中指的是读取单元51、分离单元52和视频解码器53，但不限于此)，用于获得没有黑色边缘插入其中的 3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度。基于从视频解码器53作为额外信息提供的黑色边缘宽度，后处理单元54执行处理(后处理)，以便将黑色边缘插入到3D视频数据的左眼图像和右眼图像中。后处理单元 54向显示单元61输出使黑色边缘插入其中的左眼图像和右眼图像的图像数据。根据与图2的音频编码器12所执行的编码方法相对应的方法，音频解码器55对分离单元52所提供的音频流进行解码，并且向扬声器62提供作为解码的结果而获得的音频数据。例如，显示单元61以时分方式基于后处理单元54所提供的图像数据显示左眼图像和右眼图像。例如在这种场合下，观看者佩戴附有快门的眼镜，该眼镜与左眼图像和右眼图像之间的切换同步，以便观看者只用他/她的左眼观看左眼图像，并且只用他/她的右眼观看右眼图像。因此，观看者可以立体地识别3D图像。扬声器62输出与音频解码器55所提供的音频数据相对应的声音。[后处理单元54的示例性配置]图9是图示图8的后处理单元54的详细示例性配置的框图。后处理单元54包括黑色边缘插入单元71。黑色边缘插入单元71从视频解码器53接收四种黑色边缘宽度。这四种黑色边缘宽度包括左眼图像的右图像帧和左图像帧的黑色边缘宽度以及右眼图像的右图像帧和左图像帧的黑色边缘宽度。黑色边缘插入单元71基于接收的黑色边缘宽度将黑色边缘(的图像)插入到左眼图像和右眼图像中，并且生成附有边缘的左眼图像和附有边缘的右眼图像。然后，黑色边缘插入单元71将生成的附有边缘的左眼图像和生成的附有边缘的右眼图像的图像数据输出到显示单元61 (图8)。换言之，根据本发明的图像处理设备可以进一步包括生成单元(在本实施例中指的是黑色边缘插入单元71，但不限于此)，用于通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到左眼图像和右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。[后处理单元54的另一个示例性配置]
图10是图示图8的后处理单元54的另一个详细示例性配置的框图。根据本发明的另一个实施例的图像处理设备可以包括获得单元，用于获得3D内容的内容数据，所述内容数据至少包括没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据。即使当没有黑色边缘宽度作为元数据记录在再现的记录介质20中时，图10的后处理单元54也可以工作。换言之，当黑色边缘宽度作为元数据记录在再现的记录介质20 中时，后处理单元54使用从记录介质20读取的黑色边缘宽度，并且生成附有边缘的左眼图像和附有边缘的右眼图像。另一方面，当没有黑色边缘宽度作为元数据记录在再现的记录介质20中时，图10的后处理单元54根据3D视频数据的左眼图像和右眼图像计算适当的黑色边缘宽度，并且使用从计算的结果获得的黑色边缘宽度来生成附有边缘的左眼图像和附有边缘的右眼图像。此时，根据本发明的另一个实施例的图像处理设备可以进一步包括 黑色边缘宽度计算单元，用于检测根据左眼图像和右眼图像之间的右图像帧的外围中的视差量，根据检测到的视差量计算黑色边缘宽度，检测根据左眼图像和右眼图像之间的左图像帧的外围中的视差量，并且根据检测到的视差量计算黑色边缘宽度；以及生成单元，用于通过将具有计算的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有计算的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到左眼图像和右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。图10的后处理单元54包括类似于图9的黑色边缘插入单元71、黑色边缘宽度确定单元72和黑色边缘宽度计算单元73。黑色边缘宽度确定单元72确定黑色边缘宽度是否作为元数据记录在记录介质20 中，亦即视频解码器53是否提供黑色边缘宽度。当视频解码器53提供黑色边缘宽度时，黑色边缘确定单元72将接收的黑色边缘宽度提供给黑色边缘插入单元71。另一方面，当视频解码器53不提供黑色边缘宽度时，黑色边缘宽度确定单元72向黑色边缘宽度计算单元73 提供用于计算黑色边缘宽度的命令。当黑色边缘宽度计算单元73从黑色边缘宽度确定单元72接收到用于计算黑色边缘宽度的命令时，黑色边缘宽度计算单元73根据由视频解码器53提供的3D视频数据的左眼图像和右眼图像来计算适当的黑色边缘宽度，并且将适当的黑色边缘宽度提供给黑色边缘插入单元71。[黑色边缘宽度计算单元73的处理]随后，使用左眼图像的左图像帧的黑色边缘宽度的计算的例子，参考图IlA至IlC 来说明由黑色边缘宽度计算单元73执行的黑色边缘宽度计算处理。应当注意的是，由记录设备1的黑色边缘宽度计算单元10(图2)执行的处理与这个处理相同。首先，通过比较接收到的左眼图像和接收到的右眼图像来计算右眼图像的左图像帧的外围中的视差量。可以通过迄今已知的各种方法来检测视差量。在关于本实施例的这个说明中，通过块匹配进行检测。黑色边缘宽度计算单元73接收宽度Xa作为参数。宽度Xa确定了用于块匹配的块的尺寸。块的高度Ya与图像的尺寸相同。如图1IA所示，在右眼图像中，采用在左边缘具有宽度Xa和高度Ya的块作为参考块。然后，在左眼图像中，黑色边缘宽度计算单元73将具有与参考块相同尺寸的比较块向右侧移动预定量(例如一个像素)，直到比较块到达其中移动量D是搜索范围SR的位置，从而获得参考块和比较块之间的相关值。具有最高相关值的移动量D是右眼图像的左图像帧的视差量。黑色边缘宽度计算单元73采用右眼图像的左图像帧的视差量作为用于左眼图像的左图像帧的黑色边缘宽度。图IlB图示了通过插入具有与右眼图像的左图像帧的视差量Dl相等的黑色边缘宽度的黑色边缘而生成的附有边缘的左眼图像。已知的是，当左眼图像和右眼图像两者都包括黑色边缘时，可以获得右图像和左图像之间的对应性，这使得易于观看图像。因此，可以布置参数“偏移量”，以同样将黑色边缘插入与黑色边缘已插入其中的图像相对的一侧的图像(在图11的例子中为右眼图像)， 以便用于右眼和左眼的图像两者都始终使黑色边缘插入其中。在图IlC的例子中，设置预定偏移量，并且将黑色边缘插入到左眼图像和右眼图像两者中。以这种方式，可以针对左眼图像和右眼图像中的每一个计算右图像帧和左图像帧的黑色边缘宽度。[黑色边缘宽度计算单元73的详细示例性配置]图12是图示黑色边缘宽度计算单元73的详细示例性配置的框图。黑色边缘宽度计算单元73包括参数保持单元81、输出选择单元82、左图像帧视差量检测单元83、右图像帧视差量检测单元84和黑色边缘宽度确定单元85。参数保持单元81存储如参考图IlA至IlC说明的参数，亦即用于确定块尺寸的宽度Xa、搜索范围SR和偏移量。然后，在必要时，参数保持单元81将块尺寸的宽度Xa和搜索范围SR提供给左图像帧视差量检测单元83和右图像帧视差量检测单元84，并且将偏移量提供给黑色边缘宽度确定单元85。这些参数可以预先存储为固定值。代替地，在必要时或者以预定时刻，可以用操作输入单元等(未示出)输入这些值。基于从黑色边缘宽度确定单元72提供的用于计算黑色边缘宽度的命令，输出选择单元82选择接收的左眼图像和接收的右眼图像的输出的接通/断开。换言之，当黑色边缘宽度确定单元72提供用于计算黑色边缘宽度的命令时，输出选择单元82选择输出接通， 以便将从视频解码器53接收的左眼图像和右眼图像输出到左图像帧视差量检测单元83和右图像帧视差量检测单元84。另一方面，当黑色边缘宽度确定单元72不提供用于计算黑色边缘宽度的命令时，输出选择单元82选择输出断开，以便不输出从视频解码器53接收的左眼图像和右眼图像。因此，当黑色边缘宽度确定单元72不提供用于计算黑色边缘宽度的命令时，黑色边缘宽度计算单元73不计算黑色边缘宽度。基于从参数保持单元81提供的块尺寸的宽度Xa和搜索范围SR，左图像帧视差量检测单元83检测接收的左眼图像和接收的右眼图像之间的左图像帧的外围中的视差量， 并且将检测结果提供给黑色边缘宽度确定单元85。换言之，黑色边缘宽度确定单元85接收通过在将参考块固定在右眼图像的左边缘的同时移动左眼图像的比较块而检测的视差量， 以及通过在将参考块固定在左眼图像的左边缘的同时移动右眼图像的比较块而检测的视 Hfio基于从参数保持单元81提供的块尺寸的宽度Xa和搜索范围SR，右图像帧视差量检测单元84检测接收的左眼图像和接收的右眼图像之间的右图像帧的外围中的视差量，并且将检测结果提供给黑色边缘宽度确定单元85。换言之，黑色边缘宽度确定单元85接收通过在将参考块固定在右眼图像的右边缘的同时移动左眼图像的比较块而检测的视差量， 以及通过在将参考块固定在左眼图像的右边缘的同时移动右眼图像的比较块而检测的视差量。黑色边缘宽度确定单元85将由参数保持单元81提供的偏移量添加到由左图像帧视差量检测单元83和右图像帧视差量检测单元84提供的四个视差量，从而确定四种黑色边缘宽度。换言之，用于左眼图像的左图像帧和右图像帧的黑色边缘宽度以及用于右眼图像的左图像帧和右图像帧的黑色边缘宽度被确定并被提供给黑色边缘插入单元71 (图 10)。在上述说明中，针对左眼图像和右眼图像确定了四种黑色边缘宽度。代替地，可以针对左图像帧和右图像帧共同确定左图像帧和右图像帧的黑色边缘宽度。左图像帧和右图像帧的黑色边缘宽度中的每一个也可以使用它们的最大值或平均值来共同确定。换言之，左图像帧和右图像帧的黑色边缘宽度可以是相同值，例如最大值、平均值等等。在这个配置中，较少可能的是观看者在观看图像时有困难，即使当左图像帧和右图像帧的黑色边缘宽度差异很大时。进一步，可以在包括在时间轴方向上不同的多个左眼图像或右眼图像的组中(例如以场景为单位)平滑并确定黑色边缘宽度。可以在时间轴方向上进一步平滑并确定左图像帧和右图像帧中的每一个的最大值或平均值的表示值。图2的黑色边缘宽度计算单元10具有与图12相同的配置。然而，记录设备1有望计算并记录黑色边缘宽度。因此，将输出选择单元82维持在输出接通状态下，或者不提供输出选择单元82。在图2的黑色边缘宽度计算单元10和图10的黑色边缘宽度计算单元73中的任何一个中，偏移量都可以省略。[关于再现设备的处理的说明]随后，参考图13的流程图来说明再现处理。在再现处理中，包括具有如图10所示的配置的后处理单元54的再现设备50再现3D内容的图像。例如，当用操作输入单元等给出用于再现记录介质20中记录的3D内容的命令时，再现处理开始。在其中处理开始的图 13的状态下，假定保持在参数保持单元81中的各种参数已经被提供给需要参数的各个单元。在步骤S31中，读取单元51读取并解码记录介质20中记录的3D内容的多路复用流。换言之，读取单元51从记录介质20中读取3D内容的多路复用流，并且分离单元52将多路复用流分成视频流和音频流。然后，根据与记录设备1的编码方法相对应的方法，视频解码器53对由分离单元52提供的视频流进行解码。将作为视频解码器53所执行的解码的结果而获得的3D视频数据提供给后处理单元54。当视频流包括作为元数据的黑色边缘宽度亦即额外信息时，同样将关于黑色边缘宽度的信息提供给后处理单元54。在步骤S32中，黑色边缘宽度确定单元72确定视频解码器53是否提供黑色边缘宽度。当确定视频解码器53提供黑色边缘宽度时，随后执行步骤S33的处理。将接收到的黑色边缘宽度提供给黑色边缘插入单元71。另一方面，当在步骤S32中确定视频解码器53不提供黑色边缘宽度时，随后执行步骤S34的处理。黑色边缘宽度确定单元72向黑色边缘宽度计算单元73提供用于计算黑色边缘宽度的命令。因此，黑色边缘宽度计算单元73的输出选择单元82选择输出接通，以便将从视频解码器53接收到的左眼图像和右眼图像输出到左图像帧视差量检测单元83和右图像帧视差量检测单元84。然后，在步骤S35中，基于从参数保持单元81提供的块尺寸的宽度Xa和搜索范围 SR，左图像帧视差量检测单元83检测接收的左眼图像和接收的右眼图像之间的左图像帧的外围中的视差量，并且将检测结果提供给黑色边缘宽度确定单元85。在步骤S36中，基于从参数保持单元81提供的块尺寸的宽度Xa和搜索范围SR，右图像帧视差量检测单元84检测接收的左眼图像和接收的右眼图像之间的右图像帧的外围中的视差量，并且将检测结果提供给黑色边缘宽度确定单元85。步骤S35和S36的处理可以按照相反的顺序执行，也可以同时执行。在步骤S37中，黑色边缘宽度确定单元85将偏移量添加到由左图像帧视差量检测单元83和右图像帧视差量检测单元84提供的四个视差量，从而确定四种黑色边缘宽度，并且将确定的黑色边缘宽度提供给黑色边缘插入单元71。在步骤S33或S37的处理之后，黑色边缘插入单元71在步骤S38中基于接收的黑色边缘宽度将黑色边缘插入到左眼图像和右眼图像的左图像帧和右图像帧中的每一个中， 并且生成附有边缘的左眼图像和附有边缘的右眼图像。然后，在步骤S39中，黑色边缘插入单元71将生成的附有边缘的左眼图像和生成的附有边缘的右眼图像的图像数据输出到显示单元61，并且终止处理。在上述再现处理中，当除了 3D内容的图像数据之外黑色边缘宽度亦即额外信息也记录在记录介质20中时，黑色边缘宽度被读取，并且可以将黑色边缘插入到左眼图像和右眼图像中的每一个的左图像帧和右图像帧中，以便可以生成附有边缘的左眼图像和附有边缘的右眼图像。因此，当用户将记录介质20中记录的3D内容视为3D图像时，可以在显示单元61上显示使黑色边缘插入其中的3D图像，以便可以显示3D图像而不会在图像帧的外围中造成不适。当除了 3D内容的图像数据之外黑色边缘宽度没有记录在记录介质20中时，再现处理执行如下。检测已被读出的左眼图像和右眼图像之间的视差量，并且确定适合于视差量的黑色边缘宽度，以便可以生成使黑色边缘插入其中的附有边缘的左眼图像和附有边缘的右眼图像。因此，即使当记录介质20中记录的3D内容的内容数据不包括关于黑色边缘宽度的信息时，也可以在显示单元61上显示使黑色边缘插入其中的3D图像，以便可以显示 3D图像而不会在图像帧的外围中造成不适。再现设备50可以提供有操作输入单元和设置屏幕，它们用于设置黑色边缘的插入的接通/断开。在这种情况下，当黑色边缘的插入被断开并且只有3D图像的一侧用于将图像示出为2D图像时，不显示图像帧。因此，用户不会感觉到因为不必要的黑色边缘造成的不适。因此，再现设备50允许用户观看3D内容而无论用户将3D内容视为3D图像还是 2D图像都不会感觉不适。在上述例子中，用于块匹配的块的高度Ya与图像的尺寸相同，并且在每行图像中的相同宽度处设置黑色边缘宽度。代替地，用于块匹配的块的高度Ya可以小于图像的尺寸，并且可以在纵向方向(垂直方向)上应用多个块。在这种情况下，通过检测各个视差量可以在纵向方向上设置多个黑色边缘宽度。作为最小单位，可以根据视差量针对每行设置黑色边缘宽度。在上述例子中，本发明被应用于再现设备，并且被解释为如下再现设备的实施例 在读取与记录介质20中的3D内容的图像数据分开地记录的黑色边缘宽度的信息之后，插入黑色边缘。然而，本发明还可以应用于除了再现设备之外的设备。例如，可以经由网络如卫星广播、电缆电视和因特网通过传输来提供3D内容的图像数据和关于黑色边缘宽度的信息。 因此，本发明可以应用于显示设备和记录/再现设备，所述设备接收经由网络通过传输而传输的3D内容的图像数据和关于黑色边缘宽度的信息，读取关于黑色边缘宽度的信息，将黑色边缘插入到3D图像中，并且显示使黑色边缘插入其中的3D图像。换言之，本发明可以应用于独立的图像处理设备，所述设备分开地获得3D内容的图像数据和关于黑色边缘宽度的信息，根据关于黑色边缘宽度的信息存在与否确定黑色边缘宽度，生成使黑色边缘插入其中的附有边缘的左眼图像和附有边缘的右眼图像，并且输出使黑色边缘插入其中的附有边缘的左眼图像和附有边缘的右眼图像。[关于应用本发明的计算机的说明]上述系列的处理可以通过硬件或软件来执行。当系列的处理通过软件来执行时， 构成软件的程序安装在通用计算机等中。图14是用于执行上述系列处理的程序安装在其中的计算机的实施例的示例性配置。程序可以预先存储在充当结合到计算机中的记录介质的存储单元208和只读存储器(ROM) 202中。代替地，程序可以存储(记录)到可移动介质211。这个可移动介质211可以被提供作为所谓的软件包。在这种情况下，可移动介质211的例子例如包括紧致盘只读存储器 (CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘和半导体存储器。可以使用驱动器210从如上所述的可移动介质211中将程序安装到计算机。代替地，可以经由通信网络或广播网络将程序下载到计算机，并且可以将程序安装到其中提供的存储单元208。换言之，程序可以经由有线或无线传输介质由通信单元209接收，并且可以安装到存储单元208。计算机具有中央处理单元(CPU) 201。CPU 201经由总线204连接到输入/输出接 Π 205。当用户操作输入单元206以经由输入/输出接口 205将命令输入到CPU 201时， CPU 201响应于该命令执行ROM 202中存储的程序。代替地，CPU 201将存储单元208中存储的程序加载到随机存取存储器(RAM) 203，并且执行程序。这样一来，CPU 201就执行了根据上述流程图的处理或以如上所述框图中的配置执行的处理。然后，例如在必要时，CPU 201经由输入/输出接口 205从输出单元207输出其执行结果，从通信单元209传输其处理结果，或者将其处理结果记录到存储单元208。输入单元206包括键盘、鼠标和麦克风。输出单元207包括液晶显示器(IXD)和
扬声器。
在本说明书中，由计算机根据程序执行的处理可以不必根据在流程图中描述的顺序以时间序列执行。换言之，由计算机根据程序执行的处理包括独立地或者并行地执行的处理(例如以对象的方式执行的处理或并行处理)。程序可以由一个计算机(处理器)处理，也可以由多个计算机作为分布式处理来处理。进一步，程序可以被传送到位于远处的计算机并可以被执行。本领域技术人员应当理解的是，取决于设计需要和其它因素，可以发生各种修改、 组合、再组合和变更，它们都处在所附权利要求或其等价物的范围之内。本申请包含与2010年4月16日向日本专利局申请的日本优先权专利申请JP 2010-095403中公开的主题相关的主题，该专利申请的整体内容通过引用结合于此。
权利要求
1.一种图像处理设备，包括获得单元，用于获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及生成单元，用于通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。
2.根据权利要求1所述的图像处理设备，进一步包括黑色边缘宽度计算单元，用于检测根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量，根据检测到的视差量计算黑色边缘宽度，检测根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量，并且根据检测到的视差量计算黑色边缘宽度，其中，所述获得单元获得由所述黑色边缘宽度计算单元计算的黑色边缘宽度。
3.根据权利要求2所述的图像处理设备，进一步包括黑色边缘宽度确定单元，用于确定从外部获得的3D内容的内容数据是否包括除了所述左眼图像和所述右眼图像的图像数据之外的关于黑色边缘宽度的信息，其中，当所述黑色边缘宽度确定单元确定3D内容的内容数据不包括黑色边缘宽度时， 所述黑色边缘宽度计算单元计算黑色边缘宽度，并且当确定3D内容的内容数据包括黑色边缘宽度时，所述获得单元获得3D内容的内容数据中包括的关于黑色边缘宽度的信息。
4.根据权利要求1所述的图像处理设备，其中，黑色边缘宽度包括与视差量相对应的宽度和插入到所述左眼图像和所述右眼图像两者中的偏移量。
5.根据权利要求1所述的图像处理设备，其中，所述获得单元进一步包括读取单元，用于读取记录介质中记录的多路复用流；分离单元，用于将由所述读取单元提供的所述多路复用流分成视频流和音频流；以及视频解码器，用于对由所述分离单元提供的所述视频流进行解码，以便获得所述图像数据和黑色边缘宽度。
6.一种图像处理方法，该图像处理方法由包括用于获得图像数据的获得单元和生成单元的图像处理设备执行，所述方法包括以下步骤使所述获得单元获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及使所述生成单元通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中来生成附有边缘的左眼图像和附有边缘的右眼图像。
7.一种用于使计算机执行处理的程序，所述处理包括以下步骤获得没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据、根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度、以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度；以及通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。
8.一种数据结构，包括没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据； 根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量的黑色边缘宽度；以及根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量的黑色边缘宽度。
9.一种图像处理设备，包括获得单元，用于获得3D内容的内容数据，所述内容数据至少包括没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据；黑色边缘宽度计算单元，用于检测根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量，根据检测到的视差量计算黑色边缘宽度，检测根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量，并且根据检测到的视差量计算黑色边缘宽度；以及生成单元，用于通过将具有计算的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有计算的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。
10.根据权利要求9所述的图像处理设备，进一步包括黑色边缘宽度确定单元，用于确定3D内容的内容数据是否包括黑色边缘宽度， 其中，当所述黑色边缘宽度确定单元确定3D内容的内容数据不包括黑色边缘宽度时， 所述黑色边缘宽度计算单元计算黑色边缘宽度，并且当确定3D内容的内容数据包括黑色边缘宽度时，所述获得单元获得3D内容的内容数据中包括的关于黑色边缘宽度的信息作为由所述黑色边缘宽度计算单元计算的黑色边缘宽度。
11.根据权利要求9所述的图像处理设备，其中，所述获得单元进一步包括 读取单元，用于读取记录介质中记录的多路复用流；分离单元，用于将由所述读取单元提供的所述多路复用流分成视频流和音频流；以及视频解码器，用于对由所述分离单元提供的所述视频流进行解码，以便至少获得所述图像数据。
12.—种图像处理方法，包括获得3D内容的内容数据，所述内容数据至少包括没有黑色边缘插入其中的3D内容的左眼图像和右眼图像的图像数据；检测根据所述左眼图像和所述右眼图像之间的右图像帧的外围中的视差量，根据检测到的视差量计算黑色边缘宽度，检测根据所述左眼图像和所述右眼图像之间的左图像帧的外围中的视差量，并且根据检测到的视差量计算黑色边缘宽度；以及通过将具有计算的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有计算的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到所述左眼图像和所述右眼图像中，来生成附有边缘的左眼图像和附有边缘的右眼图像。
全文摘要
本发明公开了一种数据结构、图像处理设备、图像处理方法和程序。再现设备再现记录介质中记录的3D内容的左眼图像和右眼图像的图像数据。记录介质存储关于根据左眼图像和右眼图像之间的右图像帧和左图像帧的外围中的每个视差量的黑色边缘宽度的信息。通过将具有获得的根据右图像帧的外围中的视差量的黑色边缘宽度的图像和具有获得的根据左图像帧的外围中的视差量的黑色边缘宽度的图像插入到左眼图像和右眼图像中，后处理单元生成并输出附有边缘的左眼图像和附有边缘的右眼图像。本发明可以应用于处理3D图像的图像数据的图像处理设备。
文档编号H04N5/14GK102223551SQ201110092550
公开日2011年10月19日 申请日期2011年4月8日 优先权日2010年4月16日
发明者森藤孝文, 牛木卓, 高桥邦明 申请人:索尼公司, 索尼电影娱乐公司