记录设备和方法、再现设备和方法、程序和记录再现设备的制作方法
【专利摘要】本技术涉及记录设备、记录方法、再现设备、再现方法、程序和记录/再现设备，其中来自在成像时使用的多个相机的信息提供到再现侧设备。本技术的一个方面的记录设备提供有编码单元和记录控制单元。所述编码单元使用H.264/MPEG-4MVC以编码由第一相机拍摄的图像和第二相机拍摄的图像，并且对于非基视视频流的每一帧记录SEI，所述SEI包括对于第一相机和第二相机的以下的至少一个：光轴间隔信息、会聚角信息以及焦距信息。该记录控制单元具有记录单元，将基视视频流和对于其记录了SEI的非基视视频流记录到记录介质上。
【专利说明】记录设备和方法、再现设备和方法、程序和记录再现设备
【技术领域】
[0001]本技术更具体地涉及能够向在再现侧的设备的记录设备提供关于用于图像捕获的多个相机的信息、记录方法、再现设备、再现方法、程序和记录再现设备。
【背景技术】
[0002]最近几年，可以立体观看的记录有图像的3D内容受到关注。3D内容视频数据包括左眼图像(L图像)和右眼图像(R图像)的数据。在L图像中出现的被摄体和在R图像中出现的被摄体之间存在对应于视差的偏差。
[0003]例如，具有视差的L图像和R图像被交替显示，并且被传递到佩戴主动式快门眼镜的用户的左眼和右眼，从而能够立体地识别被摄体。
[0004]引用列表
[0005]专利文献
[0006]专利文献I JP2OO7-28O5I6A
【发明内容】
[0007]技术问题
[0008]用户感受到的视差根据观看环境而不同，并且因此，难以允许用户以最佳视差观看图像。例如，最佳视差根据显示装置上的显示图像的尺寸而不同，并且最佳视差根据观看距离而不同。
[0009]从L图像和R图像估计相机在图像捕获期间的位置等，并且试图根据其调节视差，但是再现侧难以完全恢复图像捕获期间的状况。
[0010]鉴于这些情况做出了本技术，并且本技术向在再现侧的设备提供关于用于图像捕获的多个相机的信息。
[0011]技术方案
[0012]根据本技术的第一方面的记录设备包括:编码单兀，根据H.264/MPEG-4MVC对由第一相机捕获的图像和由第二相机捕获的图像进行编码，并且记录包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视(non-base view)视频流的每个画面的SEI ;以及记录控制单元,将基视(base view)视频流和记录有SEI的非基视视频流记录到记录介质。
[0013]第一相机和第二相机中的每一个至少具有镜头。可以提供第一相机的图像捕获器件和第二相机的图像捕获器件中的每一个作为执行由镜头接收到的光的光电转换的图像捕获器件，或者可以由第一相机和第二相机共享和使用一个图像捕获器件。
[0014]可以将第一相机和第二相机提供在记录设备内，或者在记录设备外。当其提供于记录设备外时，可以通过有线或者无线通信将第一相机和第二相机捕获的图像提供到记录设备。
[0015]可以进一步提供捕获左眼图像的第一相机和捕获右眼图像的第二相机。在这种情况下，可以使编码单元将由第一相机捕获的左眼图像编码为基视视频流，而将由第二相机捕获的右眼图像编码为非基视视频流。
[0016]编码单元能够将包括两个值的信息记录为关于光轴间隔的信息。在这种情况下，通过从两个值中的一个减去两个值中的另一个来表示第一相机和第二相机之间的光轴间隔。
[0017]编码单元能够记录包括两个值的信息作为关于会聚角的信息。在这种情况下，通过从两个值中的一个减去两个值中的另一个来表示第一相机和第二相机的会聚角。
[0018]根据本技术的第二方面的再现设备包括:解码单元，解码基视视频流和非基视视频流，该基视视频流通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得的基视视频流，且非基视视频流记录有包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI作为每个画面的SEI。
[0019]可以进一步提供显示控制单元，其调节并且显示通过解码基视视频流获得的图像与基于SEI解码非基视视频流获得的图像之间的视差。
[0020]显示控制单元可以使通过解码基视视频流获得的图像显示为左眼图像，并且显示控制单元可以使通过解码非基视视频流获得的图像显示为右眼图像。
[0021]根据本技术的第三方面的记录再现设备包括:编码单兀，根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像，并且将包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息和关于焦距的信息中的至少一个的SEI记录为构成非基视视频流的每个画面的SEI ;记录控制单元，将基视视频流和记录有SIE的非基视视频流记录到记录介质；解码单元，解码记录到记录介质的基视视频流和非基视视频流。
[0022]技术效果
[0023]根据本技术，可以向在再现侧的设备提供关于用于图像捕获的多个相机的信息。
【专利附图】
【附图说明】
[0024]图1是示出根据本技术实施例的记录再现系统的配置示例的示意图。
[0025]图2是用于解释H.264/MPEG-4MVC的示意图。
[0026]图3是用于解释基线长度和会聚角的示意图。
[0027]图4是示出记录设备的配置示例的框图。
[0028]图5是示出非基视视频流的数据结构的示意图。
[0029]图6是不出user_data_unregistered SEI的语法的不意图。
[0030]图7是示出mdp_id的示意图。
[0031]图8 是示出 BASELINE LENGTH pack O 的示意图。
[0032]图9 是示出 CONVERGENCE ANGLE pack O 的示意图。
[0033]图10是用于解释记录设备的记录处理的流程图。
[0034]图11是示出再现设备的配置示例的框图。
[0035]图12是用于解释再现设备的再现处理的流程图。
[0036]图13是用于解释在图12的步骤S23执行的视差调节处理的流程图。
[0037]图14是用于解释会聚角、基线长度和视差之间的关系的示意图。[0038]图15是用于解释视差的调节的示意图。
[0039]图16是示出记录再现系统的配置示例的框图。
[0040]图17是示出记录再现系统的另一个配置示例的框图。
[0041]图18是示出计算机的配置示例的框图。
【具体实施方式】
[0042]下面将解释本技术的【具体实施方式】。请注意，以下面的顺序进行解释。
[0043]1.记录再现系统
[0044]2.记录设备
[0045]3.再现设备
[0046]4.修改
[0047]<记录再现系统>
[0048]图1是示出根据本技术实施例的记录再现系统的配置示例的示意图。
[0049]图1的记录再现系统由记录设备1、再现设备2和显不设备3组成。再现设备2和显示设备3通过诸如高清晰度多媒体接口(HDMI)线缆的线缆4连接。
[0050]记录设备I是能够捕获并记录3D图像的摄像机。在记录设备I的前表面，在相对于从记录设备I到被摄体的方向的右侧位置提供镜头11R，而镜头IlL提供在左侧位置。在记录设备I中，提供了右眼相机和左眼相机。右眼相机具有用于根据镜头IlR收到的光产生R图像的光学系统。左眼相机具有用于根据镜头IlL收到的光产生L图像的光学系统。
[0051]记录设备I根据H.264/MPEG-4多视图视频编码(MVC)对R图像和L图像编码，并且根据诸如高级视频编解码高清晰度(AVCHD)的记录格式将该R图像和L图像记录到在其中提供的记录介质。
[0052]在这种情况下，将参考图2解释H.264/MPEG-4MVC。在H.264/MPEG-4MVC中，定义被称为基视视频流的视频流和被称为非基视视频流的视频流。
[0053]基视视频流是通过例如根据H.264/AVC对L图像和R图像中的L图像编码而获得的流。如图2的垂直方向上的箭头所示，不允许基视的画面经历使用另一视图的画面作为基准图像的预测编码。
[0054]另一方面，允许非基视的画面经历使用基视的画面作为基准图像的预测编码。例如，当在将L图像用作基视，而将R图像用作非基视时进行编码时，作为由此获得的R图像的视频流的非基视视频流的数据量小于作为L图像的视频流的基视视频流的数据量。
[0055]因为这是根据H.264/AVC的编码，所以在如图2的水平方向上的箭头所示的时间方向上，基视的画面经历预测编码。非基视的画面不仅经历视图间预测，而且经历时间方向上的预测编码。为了对非基视的画面进行解码，应当预先结束在编码期间参考到的相应基视的画面的解码。
[0056]根据这种H.264/MPEG-4MVC对由记录设备I捕获的L图像和R图像编码。在记录设备I中，在编码L图像和R图像期间，将作为关于相机的，即，用于捕获L图像的左眼相机和用于捕获R图像的右眼相机的状况的信息的相机信息记录到非基视视频流。
[0057]相机信息例如包括表示如下内容的信息。
[0058]1.相机光轴间隔(基线长度)[mm][0059]2.会聚角(度)
[0060]3.35mm 等效焦距[mm]
[0061]如图3所示，基线长度是作为镜头IlR的光轴位置的位置PR与作为镜头IlL的光轴位置的位置PL之间的长度(_)。在被摄体的位置是位置P时，会聚角是连接位置P和位置PR的直线与连接位置P和位置PL的直线之间的夹角。
[0062]35mm等效焦距是图像捕获期间左眼相机与右眼相机之间等效于35mm的焦距
(mm) η
[0063]如下所述,记录设备I在非基视视频流的user_data_unregistered SEI中定义被称为改进型DV包元(MDP)的数据结构，并且利用该数据结构，记录相机信息。uSer_data_unregistered SEI是任何给定的用户数据，并且将其附于每个画面。MDP是图像捕获期间实时记录的附加信息。
[0064]图1的再现设备2是能够再现根据AVCHD记录的视频数据的播放器。通过通用串行总线(USB)线缆、HDMI线缆等，记录设备2导入由记录设备I捕获的3D视频数据，并且将其记录到记录设备I中的记录介质，并且再现3D视频数据。
[0065]再现设备2通过利用在图像捕获期间记录在非基视视频流中的相机信息，调节通过再现基视视频流获得的L图像与通过再现非基视视频流获得的R图像之间的视差。为了在显示在显示设备3的显示装置上时获得最佳视差，根据需要，视差的调节采用诸如显示设备3的显示装置的尺寸之类的信息。
[0066]再现设备2通过线缆4将调节了其视差的L图像和R图像输出到显示设备3，并且交替地显示L图像和R图像。显示设备3是支持立体图像的显示的电视接收机。显示设备3提供有由液晶显示器(IXD)等构成的显示装置。
[0067]这样，将关于用于捕获L图像和R图像的相机的信息记录到非基视视频流，由此记录设备I能够将关于图像捕获期间相机的安装位置等的状况提供给再现设备2。
[0068]再现设备2能够通过参考记录到非基视视频流的相机信息，而获得图像捕获处理期间相机的状况。此外，再现设备2根据图像捕获处理期间相机的状况调节L图像与R图像之间的视差，使得能够再现记录设备I和被摄体的位置关系，从而可以向用户提供容易看的图像。
[0069]<记录设备>
[0070][记录设备的配置]
[0071]图4是示出记录设备I的配置示例的框图。记录设备I由相机单元21、记录单元22以及记录介质23组成。
[0072]相机单元21由右眼相机31R和左眼相机31L组成。
[0073]右眼相机31R由镜头IlR和图像捕获器件12R组成，并且图像捕获器件12R对镜头IlR收到的光执行光电转换。右眼相机31R对通过执行光电转换获得的视频信号执行诸如A/D转换的处理，并且输出R图像的数据。
[0074]左眼相机31L由镜头IlL和图像捕获器件12L组成，并且图像捕获器件12L对镜头IlL收到的光执行光电转换。左眼相机31L对通过执行光电转换获得的视频信号执行诸如A/D转换的处理，并且输出L图像的数据。
[0075]记录单元22由MVC编码器41、相机信息获得单元42以及记录控制单元43组成。[0076]MVC编码器41根据H.264/MPEG-4MVC对由右眼相机31R捕获的R图像和由左眼相机31L捕获的L图像进行编码。MVC编码器41包括:基视视频编码器51、非基视视频编码器52以及组合单元53。将从右眼相机31R输出的R图像数据输入到非基视视频编码器52中，而将从左眼相机31L输出的L图像数据输入到基视视频编码器51和非基视视频编码器52中。
[0077]基视视频编码器51根据H.264/AVC对由左眼相机31R捕获的L图像进行编码，并且将基视视频流输出到组合单元53。
[0078]非基视视频编码器52根据需要利用由左眼相机31L捕获的L图像作为基准图像对右眼相机31R捕获的R图像进行编码，并且产生非基视视频流。
[0079]非基视视频编码器52附加由相机信息获得单元42提供的指示基线长度、会聚角和35mm等效焦距的user_data_unregistered SEI,作为非基视视频流的每个画面的SEI。相机信息获得单元42提供关于右眼相机31R和左眼相机31L的基线长度、会聚角和35mm等效焦距的?目息，该?目息是从相机单兀21获得的相机彳目息。
[0080]图5是示出非基视视频流的数据结构的示意图。
[0081]图5中的A是示出存储包括在一个画面组(GOP)中的画面当中的第一画面的数据的存取单元的数据结构的示意图。在H.264/AVC中，一个画面的数据存储在一个存取单元中。
[0082]如图5中的A所示，存储非基视的第一画面的数据的存取单元由视图与从属表示定界符、子集序列参数集(SPS)、画面参数集(PPS)、补充增强信息(SEI)和片段(Slice)组成。
[0083]视图与从属表示定界符指示第一存取单元。子集SPS包括关于整个序列的编码的信息，并且PPS包括关于其数据存储在存取单元中的画面的编码的信息。SEI是附加信息并且包括诸如 MVC_scalable_nesting SE1、user_data_unregistered SEI 之类的各种 SEI消息。
[0084]在图5的A的示例中，例如，在再现期间显示关于字幕视差的信息(偏移元数据)的user_data_unregistered SEI 。记录由相机信息获得单元42获得的关于基线长度、会聚角和35mm等效焦距的信息,作为与关于字幕的视差的信息的user_data_unregistered SEI不同的 user_data_unregistered SE10
[0085]SEI之后的片段是I个GOP的第一画面(R图像)的数据。在片段之后，可以包括填充数据、序列的结尾、流的结尾。
[0086]图5中的B是示出存储包括在一个GOP中的画面中的第二和后续画面的数据的存取单元的数据结构。如图5的B所示，存储一个GOP的第二和后续画面的数据的存取单元包括视图与从属表示定界符和片段。还可以包括诸如PPS、SEI的信息。
[0087]除了未记录表示基线长度、会聚角和35mm等效焦距的user_data_unregisteredSEI,由基视视频编码器51产生的基视视频流的存取单元的数据结构与图5中所示的数据结构具有基本上相同的数据结构。
[0088]图6是示出存储关于基线长度、会聚角和35mm等效焦距的MDP的user_data_unregistered SEI的语法的示意图。
[0089]第二行中的uuid_iso_iec_11578是具有128位的字段。在该字段中设定“ 17ee8c60-f84d-lld9-8cd6-0800200c9a66”。
[0090]第三行中的TypelndicatOT是具有32位的字段，并且指示由SEI消息发送的用户数据的类型。“0x4D44504D”表示MDP。当TypeIndicator是“0x4D44504D”时，设定第五行和后续行的 ModifiedDVPackMetaO。ModifiedDVPackMetaO 包括 number—of—modified—dv—pack—entries 和 one—modified—dv—pack ()。
[0091]第六行中的number—of—modified—dv—pack—entries是具有8位的字段，并且表不包括在 user—data—unregistered SEI 中的 one—modified—dv—pack O 的数量。one_modified—dv—pack ()包括 mdp_id 和 mdp_data。
[0092]第九行中的mdp—id是具有8位的字段，并且表示包括该字段的one—modified—dv—pack O的类型。
[0093]图7是示出mdp—id的示意图。如图7所示，当mdp—id是0x20时，这指示one—modified—dv—pack O 是 BASELINE LENGTH pack()。BASELINE LENGTH pack()是包括关于基线长度的信息作为mdp—data的one—modified—dv—pack O ?
[0094]当 mdp—id 是 0x21 时，这指不 one—modified—dv—pack()是 CONVERGENCE ANGLEpack() o CONVERGENCE ANGLE pack()是包括关于会聚角的信息作为mdp—data的one—modified—dv—pack O。
[0095]35mm等效焦距表示现有Consumer Camera2pack ()(消费者相机2包)中的FOCAL—LENGTH。在 mdp_id 是 0x71 时，Consumer Camera2pack()是 one—modified—dv—pack O。
[0096]图6中第十行中的mdp—data是具有32位的字段，并且表示基线长度、会聚角和35mm等效焦距中的任何一个。可以始终将mdp—data设定为固定值。
[0097]向ModifiedDVPackMetaO 应用下面的规则。
[0098]包括竞争阻止字节的一个ModifiedDVPackMetaO的大小等于或者小于255字节。
[0099]在一个幽面中，不能附加包括ModifiedDVPackMetaO的多个user—data—unregistered SEI 消息。
[0100]当在补充字段对的第一字段中不存在包括ModifiedDVPackMetaO的user—data—unregistered SEI消息时，第二字段可以不包括含有ModifiedDVPackMetaO的user—data—unregistered SEI 消息。
[0101]在基视和非基视的每个中，mdp—data的和等于或者小于255字节，并且user—data—unregistered—SEI的和等于或者小于511字节。
[0102]图8 是示出 BASELINE LENGTH pack O 的示意图。
[0103]BASELINE LENGTH pack O 包括 mdp—id、mdp—datal 和 mdp—data2。如上所述，BASELINE LENGTH pack()的 mdp—id 是 0x20。
[0104]mdp—data和mdp—data2中的每个都是具有16位的字段，并且以两个值，即，mdp—datal和mdp—data2以mm为单位指示基线长度。由下面的表达式(1)表示基线长度[mm]。
[0105]基线长度[mm]=mdp—datal/mdp—data2…(1)
[0106]当利用两个值表示基线长度时，可以表示等于或者小于Imm的长度。当mdp—datal=mdp_data2=0xFFFF成立时，这指示基线长度未知，或者没有信息。
[0107]图9 是示出 CONVERGENCE ANGLE pack O 的示意图。
[0108]CONVERGENCE ANGLE pack()包括 mdp—id、mdp—datal 和 mdp—data2。如上所述，CONVERGENCE ANGLE pack()的 mdp_id 是 0x21。
[0109]mdp_datal和mdp_data2中的每个都是具有16位的字段,并且以两个值，即，mdp_datal和mdp_data2以度为单位指示会聚角。由下面的表达式(2)表示会聚角[度]。会聚角等于或者大于O度，但是小于180度。
[0110]会聚角[度]=mdp_datal/mdp_data2…(2)
[0111]当利用两个值表示会聚角时，可以表示等于或者小于I度的角度。当mdp_datal=mdp_data2=0xFFFF成立时,这指示会聚角未知，或者没有信息。
[0112]如上所述，图4的非基视视频编码器52将记录有关于基线长度、会聚角和35mm等效焦距的信息的非基视视频流输出到组合单元53。
[0113]组合单元53将从基视视频编码器51提供的基视视频流和从非基视视频编码器52提供的非基视视频流组合，并且将其作为基于H.264/MPEG-4MVC编码的数据输出到记录控制单元43。
[0114]相机信息获得单元42例如从相机单元21获得关于基线长度、会聚角和35mm等效焦距的信息，并且将该信息输出到非基视视频编码器52。
[0115]记录控制单元43例如根据AVCHD将从MVC编码器41提供的编码数据记录到记录介质23。
[0116]记录介质23由闪速存储器、硬盘等构成，并且根据记录控制单元43的控制来记录编码数据。插入在记录设备I的外壳中提供的槽中的存储卡可以用作记录介质23。当记录设备I通过USB线缆等连接到再现设备2时，记录到记录介质23的编码数据传输到再现设备2。
[0117][记录设备I的操作]
[0118]下面将参考图10的流程图解释记录设备I的记录处理。当将由右眼相机31R捕获的R图像和由左眼相机31L捕获的L图像输入到记录单元22中时，开始图10的处理。
[0119]在步骤SI，MVC编码器41利用H.264/MPEG-4MVC对从相机单元21收到的图像进行编码。更具体地说，基视视频编码器51根据H.264/AVC对由左眼相机31L捕获的L图像进行编码，并且产生基视视频流。非基视视频编码器52根据需要利用L图像作为基准图像对由右眼相机31R捕获的R图像进行编码，并且产生非基视视频流。
[0120]在步骤S2，相机信息获得单元42从相机单元21获得此时的关于基线长度、会聚角和35mm等效焦距的彳目息。
[0121]在步骤S3，非基视视频编码器52将表示基线长度的BASELINE LENGTH pack O、表不会聚角的 CONVERGENCE ANGLE pack O 和表不 35mm 等效焦距的 Consumer Camera2pack O记录到非基视的每个画面的user_data_unregistered SEI。由基视视频编码器51产生的基视视频流和由非基视视频编码器52产生的记录有BASELINE LENGTH pack O、CONVERGENCE ANGLE pack ()、Consumer Camera2pack ()的非基视视频流由组合单兀 53 组合，并且提供到记录控制单元43。
[0122]在步骤S4，记录控制单元43将从组合单元53提供的H.264/MPEG-4MVC的编码数据记录到记录介质23。
[0123]在步骤S5，MVC编码器41确定是否存在来自相机单元21的任何输入图像，并且当MVC编码器41确定存在来自相机单元21的输入图像时，重复步骤SI和后续步骤的处理。对每个画面的图像数据执行步骤SI至S4的处理。另一方面，当相机单元21完成图像捕获，并且在步骤S5确定不存在输入图像时，终止该处理。
[0124]根据上述处理，记录设备I能够将关于与用于捕获立体图像的相机有关的基线长度、会聚角和35mm等效焦距的信息记录到非基视的每个画面的编码数据，并且能够将相机信息提供到再现设备2。
[0125]此外，记录设备I不将相机信息记录到基视视频流，而将其记录到非基视视频流，使得再现设备2可以通过再现基视视频流，而仅显示L图像(2D图像)。基视视频流是根据
H.264/AVC编码的流，并且因此，即使是现有的再现设备2，支持H.264/AVC的任何装置可以再现从记录设备I导入的视频数据。
[0126]在上面的解释中，将关于基线长度、会聚角和35mm等效焦距的信息记录到非基视视频流，但是会聚角可以是固定值，并且可以仅记录关于基线长度的信息，或者基线长度可以是固定值，而仅记录关于会聚角的信息。作为选择地，可以记录关于35mm等效焦距的信
肩、O
[0127]此外，除了基线长度和会聚角，可以记录关于右眼相机31R和左眼相机31L的安装状况的信息。
[0128]〈再现设备2>
[0129][再现设备2的配置]
[0130]将解释用于再现由记录设备I捕获并且记录到记录介质23的H.264/MPEG-4MVC的编码数据的再现设备2。
[0131]图11是示出再现设备2的配置示例的框图。再现设备2由获得单元101、再现单元102以及显示控制单元103组成。
[0132]获得单元101通过USB线缆等从记录设备I获得并且输出作为H.264/MPEG-4MVC的编码数据的3D视频数据。从获得单元101输出的3D视频数据输入到MVC解码器111的基视视频解码器121和非基视视频解码器122中。可以一次性将从记录设备I导入的3D视频数据记录到再现设备2中的记录介质，并且可以由获得单元101从记录介质导入3D视频数据。
[0133]再现单元102由MVC解码器111和相机信息提取单元112组成。MVC解码器111根据H.264/MPEG-4MVC对3D视频数据进行解码。MVC解码器111包括基视视频解码器121和非基视视频解码器122。
[0134]基视视频解码器121根据H.264/AVC对包括在从获得单元101提供的3D视频中的基视视频流进行解码，并且输出L图像。将从基视视频解码器121输出的L图像提供到非基视视频解码器122和显示控制单元103。
[0135]非基视视频解码器122在需要时使用由基视视频解码器121解码的L图像作为基准图像对包括在从获得单元101提供的3D视频中的非基视视频流进行解码，并且输出R图像。将从非基视视频解码器122输出的R图像提供到显示控制单元103。
[0136]相机信息提取单元112从要由非基视视频解码器122解码的非基视的每个画面的user_data_unregistered SEI 获得表不基线长度的BASELINE LENGTH pack()、表不会聚角的 CONVERGENCE ANGLE pack O 和表不 35mm 等效焦距的 Consumer Camera2pack O。
[0137]相机信息提取单元112通过根据包括在BASELINE LENGTH pack O中的两个值计算上述表达式(I)而获取基线长度，并且通过根据包括在CONVERGENCE ANGLE pack O中两个值计算上述表达式(2)而获取会聚角。相机信息提取单元112还从ConsumerCamera2pack()标识35mm等效焦距。相机信息提取单元112将关于基线长度、会聚角和35mm等效焦距的信息输出到显示控制单元103。
[0138]显示控制单元103通过利用从相机信息提取单元112获得的关于基线长度、会聚角和35mm等效焦距的信息，调节从基视视频编码器提供的L图像与从非基视视频解码器122提供的R图像之间的视差。显示控制单元103与显示设备3通信，以从显示设备3获得关于例如显示设备3的显示装置的尺寸等的信息，并且利用其调节视差。
[0139]显示控制单元103将L图像和R图像输出到显示设备3，并且因此，显示L图像和R图像，其中，当在显示设备3的显示装置上显示时，调节该L图像和R图像的视差以得到最佳视差。
[0140][再现设备2的操作]
[0141]下面将参考图12的流程图解释再现设备2的再现处理。当例如将3D视频数据从获得单元101输入到再现单元102中时，开始图12的处理。
[0142]在步骤S21，MVC解码器111利用H.264/MPEG-4MVC对从获得单元101输入的3D视频数据进行解码。更具体地说，基视视频解码器121根据H.264/AVC对基视视频流进行解码。非基视视频解码器在需要时利用由基视视频解码器121解码的L图像作为基准图像对非基视视频流进行解码。
[0143]将基视视频解码器121解码基视视频流时获得的L图像和非基视视频解码器122解码非基视视频流时获得的R图像提供到显示控制单元103。
[0144]在步骤S22，相机信息提取单元112从非基视的每个画面的user_data_unregistered SEI 提取 BASELINE LENGTH pack O、CONVERGENCE ANGLE pack ()和 ConsumerCamera2pack()。相机信息提取单元112将关于根据BASELINE LENGTH pack O获取的基线长度、根据CONVERGENCE ANGLE pack O获取的会聚角和从Consumer Camera2pack O获得的35mm等效焦距的信息输出到显示控制单元103。
[0145]在步骤S23，显示控制单元103执行视差调节处理。稍后将参考图13的流程图解释视差调节处理。
[0146]在步骤S24，显示控制单元103将已经调节了其视差的L图像和R图像输出到显示设备3，并显示L图像和R图像。
[0147]在步骤S25，MVC解码器111确定是否存在要解码的任何编码数据，并且当MVC解码器111确定存在要解码的编码数据时，重复步骤S21和后续步骤的处理。对每个画面的编码数据执行步骤S21至S24的处理。另一方面，当对所有编码数据解码，并且因此，在步骤S25确定再没有编码数据时，终止该处理。
[0148]随后，将参考图13的流程图解释在图12的步骤S23执行的视差调节处理。
[0149]在步骤S31，显示控制单元103与显示设备3通信，并且获得显示设备3的显示装置的尺寸。可以由用户直接以再现设备2设定显示设备3的显示装置的尺寸。
[0150]在步骤S32，显示控制单元103从显示设备3获得作为从显示设备3的显示装置的表面到用户的距离的视距。可以由用户直接以再现设备2设定视距。
[0151]用户感受到的视差量还根据视距变化。因此，当能够获得视距时，利用该信息可以更精确地调节视差。在下面的解释中，将解释不考虑视距而调节视差的情况。
[0152]在步骤S33，显示控制单元103获取未调节视差时在显示设备3的显示装置上的L图像和R图像的视差。
[0153]在步骤S34，显示控制单元103确定显示装置上的L图像和R图像的视差是否大于阈值。
[0154]当在步骤S34确定显示装置上的L图像和R图像的视差不大于阈值时，则显示控制单元103将L图像和R图像原样地输出到显示设备3，而不调节视差，并且在步骤S35，显7]n L图像和R图像。
[0155]另一方面，当在步骤S34确定显示装置上的L图像和R图像的视差大于阈值时，显示控制单元103将显示装置上的L图像和R图像在水平方向上移位，以减小L图像和R图像的视差，并且因此，在步骤S36，显示L图像和R图像。此后，再一次执行图12的步骤S23，并且执行其后的处理。
[0156]图14是 用于解释会聚角、基线长度和视差之间的关系的示意图。
[0157]在图14所示的物面上，虚线箭头#1所指示的范围是由左眼相机31L捕获的范围，而虚线箭头#2所指示的范围是由右眼相机31R捕获的范围。α表示会聚角，且B表示基线长度。F表示物距。
[0158]当要计算显示装置上的视差时，首先，显示控制单元103获取由左眼相机31L和右眼相机31R在水平方向上捕获了多少聚焦位置的图像(被摄体的图像)。水平方向上的偏移量使得实线箭头#3所指示的差就是视差X。
[0159]当假定左眼相机31L和右眼相机31R的图像捕获器件的水平宽度是35mm，可以获取视差量(_)时，可以由关于显示装置的水平宽度的信息计算显示装置上的视差量(步骤S33)。当显示装置上的视差量大于阈值时，显示控制单元103将L图像和R图像在水平方向上移位，以减小视差(步骤S36)。
[0160]在这种情况下，如图15所示，将考虑到下面的情况:水平布置左眼相机31L和右眼相机31R这两个相机(会聚角α =0)。在这种情况下，基线长度与视差相同。
[0161]在帧大小是X，并且35mm等效焦距是f时，则从下面的表达式(3)获得水平视角q。
[0162]tan(q/2) =x/2f…(3)
[0163]从水平视角q和物距F[m]获取水平方向上的图像捕获范围D [m]。当以1920像素的分辨率捕获图像捕获范围D[m]时，转换为像素的视差的大小是1920X (B/D)[像素]。视差B是左眼相机31L的图像捕获范围D[m]与右眼相机31R的图像捕获范围D[m]之间的差。
[0164]在这种情况下，已经在AVCHD的修改的DV包元中定义了 35mm等效焦距和物距，并且因此，能够使用其。如上所述，35mm等效焦距由F0CAL_LENGTH表示，并且物距(聚焦位置)由FO⑶S表示。
[0165]当显示设备3的显示装置在水平方向上的尺寸是S[m]时，对应于显示装置上的视差的长度是SX (B/D) [m]。当该值大于阈值时，通过将图像在水平方向上移位来减小视差，从而能够以适当视差来显示L图像和R图像。
[0166]根据上述处理，再现设备2可以以最佳视差显示L图像和R图像。
[0167]〈修改例〉[0168]第一修改例
[0169]图16是不出记录再现系统的配置不例的框图。图16的记录设备I不仅提供有相机单元21、记录单元22和记录介质23，而且提供有再现单元102和显示控制单元103。更具体地说，图16的记录设备I不仅具有记录设备I的功能，而且具有再现设备2的功能。
[0170]具有图16的配置的记录设备I捕获3D视频，并且根据参考图12解释的处理，再现作为图像捕获处理的结果而获得的3D视频。由记录设备I再现的L图像和R图像输出到显示设备3，并且显示。记录设备I和显示设备3通过例如HDMI线缆连接。
[0171]第二修改例
[0172]图17是示出记录再现系统的另一配置示例的框图。图17所示的记录设备I提供有:相机单元21、记录单元22和记录介质23，并且再现设备2提供有获得单元101和再现单元102。显示设备3提供有显示控制单元103。
[0173]更具体地说，图17所示的再现设备2具有根据H.264/MPEG-4MVC对从记录设备I导入的3D视频进行解码的功能，但是与图11的再现设备2不同，图17的再现设备2不具有调节作为解码的结果获得的L图像和R图像的视差的功能。L图像和R图像的视差由显示设备3调节。
[0174]具有图17的配置的记录设备I捕获3D视频，并且将作为图像捕获的结果获得的该3D视频传送到再现设备2。
[0175]再现设备2的获得单元101从记录设备I获得3D视频数据，并且再现单元102根据H.264/MPEG-4MVC对由获得单元101获得的3D视频数据进行解码。再现单元102将作为解码的结果获得的L图像和R图像以及从非基视视频流的user_data_unregistered SEI获得的关于基线长度、会聚角和35_等效焦距的信息输出到显示设备3。
[0176]根据参考图13解释的处理，显示设备3的显示控制单元103基于从再现设备2提供的关于基线长度、会聚角和35mm等效焦距的信息调节从再现设备2提供的L图像和R图像的视差，并且显示调节了其视差的L图像和R图像。在这种情况下，用于调节视差的例如关于显示装置等的尺寸的信息是对执行视差调节的显示设备3已知的信息。
[0177]第三修改例
[0178]在上面的解释中，将关于用于捕获L图像的相机和用于捕获R图像的相机的相机信息记录到H.264/MPEG-4MVC的非基视视频流，但是也可以将相机信息记录到根据并列方法记录有L图像和R图像的一个流。
[0179]例如，H.264AVC根据并列方法用于L图像和R图像的编码方法。将相机信息记录到例如 AVC 流的 user_data_unregistered_SEI O。
[0180][计算机的配置示例]
[0181]上面解释的一系列处理可以由硬件执行，或者由软件执行。当利用软件执行该一系列处理时，构成软件的程序从程序记录介质安装到并入了专用硬件的计算机，或者例如通用计算机。
[0182]图18是示出利用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
[0183]中央处理单元(CPU) 151、只读存储器(ROM) 152以及随机存取存储器(RAM) 153通过总线154互相连接。
[0184]该总线154还连接到输入/输出接口 155。输入/输出接口 155连接到由键盘、鼠标等构成的输入单元156和由显示器、扬声器等构成的输出单元157。输入/输出接口155连接到由硬盘、非易失性存储器等构成的存储单元158、由网络接口等构成的通信单元159、以及用于驱动可拆卸介质161的驱动器160。
[0185]在如上所述配置的计算机中，例如，CPU151通过输入/输出接口 155和总线154将存储在存储单元158中的程序加载到RAM153，并且执行该程序，从而执行上述一系列处理。
[0186]例如，将由CPU151执行的程序记录到可拆卸介质161，或者通过诸如局域网、因特网和数字广播之类的有线或者无线传输介质提供该程序，并且将该程序安装到存储单元158。
[0187]由计算机执行的程序可以是利用其以根据该说明书中解释的顺序的时序执行处理的程序，也可以是利用其并行或者在需要的定时例如在调用时执行处理的程序。
[0188]本技术的实施例并不限于上述实施例，并且只要在本技术的原理范围内，就可以以各种方式改变上述实施例。
[0189][配置的组合示例]
[0190]可以如下配置本技术。
[0191](I) 一种记录设备，包括:
[0192]编码单元，根据H.264/MPEG-4MVC对由第一相机捕获的图像和由第二相机捕获的图像进行编码，并且记录包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ；以及
[0193]记录控制单元,将基视视频流和记录有SEI的非基视视频流记录到记录介质。
[0194](2)根据(I)所述的记录设备，还包括:
[0195]第一相机，捕获左眼图像；以及
[0196]第二相机，捕获右眼图像，
[0197]其中，编码单元将由第一相机捕获的左眼图像编码为基视视频流并且将由第二相机捕获的右眼图像编码为非基视视频流。
[0198](3)根据(I)或者(2)所述的记录设备，其中，编码单元记录包括两个值的信息作为关于光轴间隔的信息，并且
[0199]通过从两个值中的一个减去两个值中的另一个表不第一相机和第二相机之间的光轴间隔。
[0200](4)根据(I)至(3)中的任何一项所述的记录设备,其中，编码单元记录包括两个值的信息作为关于会聚角的信息，并且
[0201]通过从两个值中的一个减去两个值中的另一个表示第一相机和第二相机的会聚角。
[0202](5) 一种记录方法,包括步骤:
[0203]根据H.264/MPEG-4MVC对由第一相机捕获的图像和由第二相机捕获的图像进行编码；
[0204]记录包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ;以及
[0205]将基视视频流和记录有SEI的非基视视频流记录到记录介质。[0206](6) 一种用于使计算机执行处理的程序，该处理包括步骤:
[0207]根据H.264/MPEG-4MVC对由第一相机捕获的图像和由第二相机捕获的图像进行编码；
[0208]记录包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ;以及
[0209]将基视视频流和记录有SEI的非基视视频流记录到记录介质。
[0210](7) 一种再现设备，包括:解码单元，对通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得的基视视频流和记录有包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息、以及关于焦距的信息中的至少一个的SEI作为每个画面的SEI的非基视视频流进行解码。
[0211](8)根据(7)所述的再现设备，进一步包括:显示控制单元，调节并且显示根据SEI解码基视视频流获得的图像与解码非基视视频流获得的图像之间的视差。
[0212](9)根据(7)或者(8)所述的再现设备，其中，显示控制单元使通过解码基视视频流获得的图像显示为左眼图像，并且
[0213]显示控制单元使通过解码非基视视频流获得的图像显示为右眼图像。
[0214](10) 一种再现方法，包括步骤:
[0215]解码通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得的基视视频流和记录有包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中至少一个的SEI作为每个画面的SEI的非基视视频流。
[0216](11) 一种用于使计算机执行处理的程序，该处理包括步骤:
[0217]解码通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像获得的基视视频流和记录有包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中至少一个的SEI作为每个画面的SEI的非基视视频流。
[0218](12) 一种记录再现设备，包括:
[0219]编码单元，根据H.264/MPEG-4MVC对由第一相机捕获的图像和由第二相机捕获的图像进行编码，并且将包括关于第一相机和第二相机的光轴间隔的信息、关于会聚角的信息和关于焦距的信息中的至少一个的SEI记录为构成非基视视频流的每个画面的SEI ；
[0220]记录控制单元,将基视视频流和记录有SEI的非基视视频流记录到记录介质；
[0221]解码单元，对记录到记录介质的基视视频流和非基视视频流进行解码。
[0222]附图标记列表
[0223]1:记录设备，2:再现设备，3:显示设备，21:相机单元，22:记录单元，23:记录介质，101:获得单元，102:再现单元，103:显示控制单元。
【权利要求】
1.一种记录设备，包括: 编码单元，根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像，并且记录包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ;以及 记录控制单元，将基视视频流和记录有SEI的所述非基视视频流记录到记录介质。
2.根据权利要求1所述的记录设备，进一步包括: 所述第一相机，捕获左眼图像；以及 所述第二相机，捕获右眼图像， 其中，所述编码单元将由所述第一相机捕获的所述左眼图像编码为所述基视视频流并且将由所述第二相机捕获的所述右眼图像编码为所述非基视视频流。
3.根据权利要求1所述的记录设备，其中，所述编码单元记录包括两个值的信息，作为所述关于光轴间隔的信息，并且 通过从所述两个值中的一个减去所述两个值中的另一个表示所述第一相机和所述第二相机的光轴间隔。
4.根据权利要求1所述的记录设备，其中，所述编码单元记录包括两个值的信息，作为所述关于会聚角的信息，并且 通过从所述两个值中的一个减去所述两个值中的另一个表示所述第一相机和所述第二相机的会聚角。
5.—种记录方法,包括步骤: 根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像； 记录包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ;以及 将基视视频流和记录有SEI的所述非基视视频流记录到记录介质。
6.一种用于使计算机执行处理的程序，所述处理包括步骤: 根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像； 记录包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中的至少一个的SEI，作为构成非基视视频流的每个画面的SEI ;以及 将基视视频流和记录有SEI的所述非基视视频流记录到记录介质。
7.一种再现设备，包括:解码单元，解码基视视频流和非基视视频流，所述基视视频流通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得，所述基视视频流记录有包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息、以及关于焦距的信息中的至少一个的SEI，作为每个画面的SEI。
8.根据权利要求7所述的再现设备，进一步包括:显示控制单元，调节并且显示根据SEI解码所述基视视频流获得的图像与解码所述非基视视频流获得的图像之间的视差。
9.根据权利要求8所述的再现设备，其中，所述显示控制单元使通过解码所述基视视频流获得的图像显示为左眼图像，并且 所述显示控制单元使通过解码所述非基视视频流获得的图像显示为右眼图像。
10.一种再现方法，包括步骤:解码基视视频流和非基视视频流，所述基视视频流通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得，所述非基视视频流记录有包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中至少一个的SEI作为每个画面的SEI。
11.一种用于使计算机执行处理的程序，所述处理包括步骤: 解码基视视频流和非基视视频流，所述基视视频流通过根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像而获得，所述非基视视频流记录有包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息以及关于焦距的信息中至少一个的SEI作为每个画面的SEI。
12.—种记录再现设备，包括: 编码单元，根据H.264/MPEG-4MVC编码由第一相机捕获的图像和由第二相机捕获的图像，并且将包括关于所述第一相机和所述第二相机的光轴间隔的信息、关于会聚角的信息和关于焦距的信息中的至少一个的SEI记录为构成非基视视频流的每个画面的SEI ； 记录控制单元，将基视视频流和记录有SEI的所述非基视视频流记录到记录介质； 解码单元，解码记录到所述记录介质的基视视频流和非基视视频流。
【文档编号】H04N13/02GK103548345SQ201280024910
【公开日】2014年1月29日 申请日期:2012年5月22日 优先权日:2011年5月30日
【发明者】浜田俊也, 有留宪一郎, 前笃 申请人:索尼公司