专利名称：用于视频图像的变速再现的方法和设备的制作方法
技术领域：
以下描述涉及一种用于视频图像的变速再现的方法和设备。
背景技术：
已开发出一种用于按照三维(3D)方式再现视频图像的技术。当人看屏幕时，在人的每只眼中形成投射到屏幕上的图像。由于人的双眼在水平方向上彼此相隔预定距离，因此左眼和右眼看到的二维(2D)图像彼此不同。在双眼中形成的图像的两点之间的距离被称为视差。人脑将两幅2D图像(即，左眼图像和右眼图像)进行组合，以产生看起来真实的 3D图像。双眼视差的大小对由用户感测到的3D图像中的对象的立体效果的程度有影响。图1的(a)和图1的(b)示出用户感测到的具有不同双眼视差的对象之间的立体效果的差别。在图1的(a)和图1的(b)中由用户感测到的立体效果D印th可被表示为等式1。Depth = deye2TVX dob j2ob j/(dob j2ob j+deye2eye) (1)其中，deye2TV与用户和显示装置的屏幕之间的距离有关，dobj2obj与左眼图像和右眼图像中的对象之间的水平距离有关，deye2eye与用户的左眼和右眼之间的距离有关。响应于对象的大小相同(如图1的(a)和图1的(b)中所示)，且图1的(a)与图1 的(b)中的双眼视差之间的比率相应于1 2，图1的(a)与图1的(b)中的距离dobj2obj 之间的比率相应于1 2。如等式1中所示，由用户感测到的立体效果D印th可以与通过将TV与眼睛之间的距离deye2TV乘以在显示装置上显示的左眼图像和右眼图像中的对象之间沿X轴方向的距离dobj2obj而获得的值成正比，并且所述立体效果Di^pth与通过对距离deye2eye和距离 dobj2obj求和而获得的值成反比。响应于左眼和右眼之间的距离deye2eye以及用户和显示装置之间的距离 deye2TV固定，每个对象的双眼视差确定由用户感测到的立体效果的程度。响应于图1的(a)中的距离dobj2obj为1，图1的(b)中的距离dobj2obj为2， 并且距离deydeye为1的假设，在图1的(a)中由用户感测到的双眼视差与0. 5 X deye2TV 相应，并且在图1的(b)中由用户感测到的双眼视差与0.67Xdeye2TV相应。响应于用户请求以重放速度再现视频图像，具有不同深度感知的帧以与正常速度不同的重放速度被再现。换句话说，所述帧具有不同的双眼视差。在这种情况下，由于所述帧之间的立体效果(cubic effect)的改变高于响应于视频图像以正常速度被再现的立体效果的改变，因此用户会在聚焦到对象上时感到眩晕
发明内容
技术方案本发明提供了一种用于通过调整视频图像的立体效果来以重放速度再现按照三维(3D)方式被再现的视频图像的方法和设备。有益效果按照三维(3D)方式被再现的视频图像可以按照二维(2D)方式以重放速度被再现。
图1的(a)和图1的(b)是示出在具有不同双眼视差的对象之间由用户感测到的立体效果的差别的视图。图2是示出用于再现视频图像的设备的示例的示图。图3是示出用于再现视频图像的设备的示例的示图。图4示出包括有参考重放速度值的流号(STN)表的语法的一部分的示例。图5的(a)至图5的(c)是示出再现的视频图像的立体效果的改变的示例的图示。图6是示出再现视频图像的方法的示例的流程图。最佳实施方式根据一方面，提供了一种再现视频图像的方法。所述方法包括按照三维(3D)方式再现视频图像；被请求以N倍的重放速度(N是等于或大于2的自然数)再现视频图像； 响应于所述请求，以N倍的重放速度再现视频图像。以N倍的重放速度再现视频图像的步骤包括按照二维(2D)方式以N倍的重放速度再现视频图像。以N倍的重放速度再现视频图像的步骤可包括响应于数N超过参考重放速度值， 按照2D方式以N倍的重放速度再现视频图像。响应于数N未超过参考重放速度值，所述方法可包括按照3D方式以N倍的重放速度再现视频图像。视频流和关于所述视频流的附加信息可被存储在盘中，并且所述附加信息可包括参考重放速度值。所述附加信息可被包括在盘中存储的流号(STN)表中。所述方法可包括从被配置为执行所述方法的再现设备中提取参考重放速度值。所述方法可包括接收由用户设置的参考重放速度值；将参考重放速度值存储在所述再现设备中。按照2D方式再现视频图像的步骤可包括对视频流解码以产生左眼图像和右眼图像，并输出左眼图像或右眼图像。按照2D方式再现视频图像的步骤可包括对视频流解码以产生左眼图像或右眼图像，并输出产生的图像。在另一方面，提供了一种用于再现视频图像的设备。所述设备包括用户接口，被配置为接收以N倍的重放速度(N是等于或大于2的自然数)再现视频图像的请求；信号处理单元，被配置为按照三维(3D)方式再现视频图像，并响应于用户请求以N倍的重放速度再现视频图像，按照二维(2D)方式以N倍的重放速度再现视频图像。在另一方面，提供了一种其上包含有用于执行再现视频图像的方法的程序的计算
5机可读记录介质。所述方法包括按照三维(3D)方式再现视频图像；被请求以N倍的重放速度(N是等于或大于2的自然数)再现视频图像；响应于所述请求，以N倍的重放速度再现视频图像。以N倍的重放速度再现视频图像的步骤包括按照二维(2D)方式以N倍的重放速度再现视频图像。在另一方面，提供了一种用于再现视频图像的装置。所述装置包括这样的设备，所述设备包括信号处理单元，被配置为按照三维(3D)方式以N倍的重放速度(N是等于或大于2的自然数)再现视频图像，并响应于以N倍的重放速度再现视频图像，按照二维(2D) 方式以N倍的重放速度再现视频图像。
具体实施例方式提供以下描述以帮助读者全面理解在此描述的方法、设备和/或系统。因此，在此描述的系统、设备和/或方法的各种改变、修改和等同物将被建议给本领域的普通技术人员。此外，为了更加清楚和简明，可省略已知功能和构造的描述。图2示出用于再现视频图像的设备200的示例。参照图2，设备200包括第一视频解码器210、第二视频解码器220、左眼视频平面缓冲器230、右眼视频平面缓冲器240和输出单元250。设备200还可包括用户接口单元(未示出)，所述用户接口单元被配置为用于用户与设备200之间的交互并从用户接收控制命令。设备200还从加载到设备200的盘读取视频流，或者经由通信网络从外部服务器下载视频流。设备200可对视频流解码并按照二维(2D)方式或三维(3D)方式再现视频图像。响应于视频流是用于3D视频图像的立体视频流并且从所述立体视频流产生的视频图像是按照帧序制格式或场序制格式，所述立体视频流可包括用于参考视像 (reference view image)的视频流和用于附加视像(additional view image)的视频流。图2的设备200中包括的第一视频解码器210和第二视频解码器220可分别对用于参考视像的视频流和用于附加视像的视频流解码。为了简明，设备200被假设为使用参考视像作为左眼图像并使用附加视像作为右眼图像。第一视频解码器210可对用于参考视像的视频流解码以产生参考视像， 并将参考视像作为左眼图像存储在左眼视频平面缓冲器230中。第二视频解码器220 可对用于附加视像的视频流解码以产生附加视像，并将附加视像作为右眼图像存储在右眼视频平面缓冲器240中。左眼视频平面缓冲器230和右眼视频平面缓冲器240可分别临时存储左眼图像和右眼图像。输出单元250可顺序输出存储在左眼视频平面缓冲器230和右眼视频平面缓冲器 240中的左眼图像和右眼图像。响应于帧以至少60Hz每眼的帧速率被输出，观看视频图像的用户会认为帧被不间断地连续再现。因此，可能需要以至少120Hz的帧速率来输出帧，并且可能需要对左眼图像和右眼图像进行组合以产生3D图像。输出单元250可每1/120秒顺序输出左眼图像和右眼图像，以使得视频图像能够按照3D方式被再现。用户可经由用户接口请求设备200以重放速度再现视频图像。响应于用户请求特技播放(trick play)模式操作，第一视频解码器210和第二视频解码器220可对与用户请求的重放速度相应的某些帧解码。特技播放模式操作可以是快进操作或快速倒带操作。输出单元250可交替输出被第一视频解码器210和第二视频解码器220选择性地解码的帧， 以使得视频图像能够以重放速度被再现。响应于视频图像以重放速度被再现，由于仅对视频流中的选择的帧而不是视频流中的所有帧解码，因此选择的帧之间的深度感知的改变会急剧增加。视频图像可按照3D方式被再现。为了解决深度感知急剧增加的问题，图2的设备200可使视频图像能够总是以用户请求的重放速度按照2D方式被再现。响应于用户请求设备200以重放速度再现视频图像，设备200可总是以重放速度按照2D方式再现视频图像。在另一示例中，设备200可以以用户请求的重放速度按照2D方式或3D方式来再现将被再现的视频图像。作为一方面，响应于用户经由用户接口请求设备200执行快进操作或快速倒带操作，或者换句话说，响应于用户请求设备200以N倍的重放速度(N是等于或大于2的自然数)前进或后退再现视频图像，设备200可确定数N是否超过参考重放速度值。响应于数N 超过参考重放速度值，设备200可按照2D方式再现视频图像，响应于所述数没有超过参考重放速度值，设备200可按照3D方式再现视频图像。在本示例中，参考重放速度值可指响应于视频图像以重放速度被再现来调整视频图像的立体效果所基于的速度值。所述参考重放速度值可作为附加信息被存储在存储有视频流的盘中。在这种情况下，设备200可从盘读取视频流和关于所述视频流的附加信息。基于对附加信息的读取，所述设备可确定数N是否超过参考重放速度值。参考重放速度值可被包括在附加信息中。在另一示例中，参考重放速度值可被存储在设备200中。参考重放速度值可被存储在例如播放器设置寄存器或重放状态寄存器中。播放器设置寄存器或重放状态寄存器可被存储在设备200中。存储在设备200中的参考重放速度值可在包括设备200的产品或所述设备本身被制造时被设置为默认值，或者所述参考重放速度值可被用户改变并被存储在所述设备中。响应于用户请求的重放速度超过参考重放速度值，设备200可允许第一视频解码器210或第二视频解码器220对视频流解码，或者可允许输出单元250仅输出存储在左眼视频平面缓冲器230或右眼视频平面缓冲器240中的图像，以使得视频图像能够以重放速度按照2D方式被再现。这样，图2的设备200可以以重放速度按照2D方式来再现按照3D方式被再现的视频图像。图3示出用于再现视频图像的设备300的示例。参照图3，设备300可包括视频解码器310、左眼视频平面缓冲器320、右眼视频平面缓冲器330和输出单元340。设备300还可包括用于从用户接收控制命令的用户接口(未示出)。图3的设备300与图2的设备200不同之处在于设备300仅包括一个视频解码器 310。响应于从立体视频流产生的视频图像是按照用于产生参考视像的信息和用于产生附加视像的信息被组合并被包括在一个帧中的垂直行交错格式或水平行交错格式、自上而下格式或并排格式，视频解码器310可使用所述帧中包括的用于产生参考视像的信息和用于产生附加视像的信息来产生参考视像和附加视像。视频解码器310可对立体视频流解码以产生参考视像和附加视像，并将所述参考视像和附加视像作为左眼图像和右眼图像分别存储在左眼视频平面缓冲器320和右眼视频平面缓冲器330中。左眼视频平面缓冲器320和右眼视频平面缓冲器330可分别临时存储左眼图像和右眼图像。输出单元340可交替输出存储在左眼视频平面缓冲器320和右眼视频平面缓冲器 330中的左眼图像和右眼图像，以使得视频图像能够按照3D方式被再现。响应于用户经由用户接口请求设备300以N倍的重放速度(N是等于或大于2的自然数)前进或后退再现视频图像，视频解码器310可以以与用户请求的N倍的重放速度相应的间隔，对选择的帧而不是所有帧解码。响应于用户请求设备300以N倍的重放速度再现视频图像，设备300可总是以N 倍的重放速度按照2D方式再现视频图像，或者可确定数N是否超过参考重放速度值，并响应于数N超过参考重放速度值来按照2D方式再现视频图像。在本示例中，为了以N倍的重放速度按照2D方式再现视频图像，当对选择的帧解码时，视频解码器310可仅使用用于产生参考视像的信息或用于产生附加视像的信息并将图像存储在左眼视频平面缓冲器320或右眼视频平面缓冲器330中，以仅产生参考视像或附加视像。在这种情况下，输出单元340可输出存储在左眼视频平面缓冲器320或右眼视频平面缓冲器330中的视频图像，以使得视频图像能够按照2D方式被再现。在另一示例中，视频解码器310可将左眼图像和右眼图像分别存储在左眼视频平面缓冲器320和右眼视频平面缓冲器330中，以使得视频图像能够按照2D方式被再现，并允许输出单元340仅输出存储在左眼视频平面缓冲器320中的图像或仅输出存储在右眼视频平面缓冲器330中的图像。图4示出包括有参考重放速度值的流号(STN)表的语法的一部分的示例。当盘(未示出)被加载到设备200或300中时，设备200或300可从盘读取视频流，并对视频流解码以按照3D方式再现视频图像。存储有关于视频流的附加信息的STN表也可被存储在盘中。STN表与显示由播放项指定的剪辑以及被允许与所述剪辑一起再现的信息的表相应。由于产生视频流和关于所述视频流的附加信息并将所述视频流和附加信息存储在盘中的作者知道从视频流产生的视频图像的深度感知，因此可考虑一种方法。所述方法可包括响应于用于以重放速度再现视频图像的请求，允许作者确定3D重放模式被强制改
8变为2D再现模式的阈值。否则，视频图像以3D方式被再现。响应于视频图像以重放速度被再现，关于以何种深度感知再现视频图像的信息， 艮口，用户设置的参考重放速度值可被包括在图4的STN表中。参照图4，STN表的语法包括字段Fixed_offset_if_Faster_Than。当与STN表相关的立体视频流按照3D方式被再现时，响应于用户的用于以重放速度再现视频图像的请求并且用户请求的重放速度等于或大于在字段Fixed_0ffset_if_Faster_Than中限定的7 比特的整数，视频图像需要按照2D方式而非3D方式被再现。例如，响应于在字段Fixed_offset_if_Faster_Than中限定的7比特的数为5并且数N为2，设备200或300可以以2倍的重放速度按照3D方式再现视频图像。在这种情况下，响应于数N为6，设备200或300可以以6倍的重放速度按照2D方式再现视频图像。这样，根据上述示例，设备200或300可响应于用户请求设备200或300以重放速度再现视频图像，使用存储在盘中的STN表中所存储的参考重放速度值来确定是将按照2D 方式还是按照3D方式来再现视频图像。图5的(a)至图5的(c)示出再现的视频图像的立体效果的改变的示例。图5的(a)至图5的(c)示出响应于3D视频图像分别以正常速度、以2倍的重放速度和以6倍的重放速度被再现的立体效果的改变。图5的(a)的左图沿时间轴示出按照3D方式再现的每帧的深度感知，图5的(a) 的右图示出仅选择的帧被用于重放速度再现的重放序列。由于以正常速度(例如，以1倍的速度)再现视频图像，因此，在图5的左图中示出的所有帧被选择并按照图5的(a)的右图中一样被显示给用户。在这种情况下，用户感测到的每单位时间的立体效果的改变是当前帧和先前帧之间的深度感知上的差别，并且可
被表示为AdeP,1X。 At图5的(b)示出以2倍的重放速度再现3D视频图像的情况。图5的(b)的左图沿时间轴示出按照3D方式再现的每个帧的深度感知。响应于用户请求设备200或300以 2倍的重放速度再现视频图像，设备200或300选择每两帧中的仅一帧并对选择的帧解码。 选择的用于2倍的重放速度再现的帧被指示为图5的(b)的左图中的实线，没有被选择的帧被指示为图5的(b)的左图中的虚线。图5的(b)的右图示出仅包括图5的(b)的左图的选择的帧的重放序列。响应于图5的(b)的右图中示出的帧被顺序再现，由用户感测到的每单位时间的立体效果的改变
可表示为At/gP，@2X。发现响应于视频图像以2倍的重放速度被再现而由用户感测到的 At
每单位时间的立体效果的改变是响应于视频图像以正常速度被再现而由用户感测到的每单位时间的立体效果的改变的大约2倍。图5的(c)示出以6倍的重放速度再现的3D视频图像。图5的(c)的左图沿时间轴示出按照3D方式再现的每个帧的深度感知。响应于用户请求设备200或300以6倍的重放速度再现视频图像，设备200或300选择每六帧中的仅一帧并对选择的帧解码。选择的用于6倍的重放速度再现的帧由图5的(c)的左图中的实线指示，未选择的帧由图5 的(c)的左图中的虚线指示。
9
图5的(C)的中图示出仅包括图5的(C)的左图中的选择的帧的重放序列。响应于图5的(c)的中图中示出的帧被顺序再现，由用户感测到的每单位时间的立体效果的改
变可被表示为
权利要求
1.一种再现视频图像的方法，包括 按照三维(3D)方式再现视频图像；被请求以N倍的重放速度再现视频图像，其中，N是等于或大于2的自然数； 响应于所述请求，以N倍的重放速度再现视频图像，其中，以N倍的重放速度再现视频图像的步骤包括按照二维(2D)方式以N倍的重放速度再现视频图像。
2.如权利要求1所述的方法，其中，以N倍的重放速度再现视频图像的步骤包括响应于数N超过参考重放速度值，按照2D方式以N倍的重放速度再现视频图像。
3.如权利要求2所述的方法，响应于数N未超过参考重放速度值，所述方法还包括按照3D方式以N倍的重放速度再现视频图像。
4.如权利要求2所述的方法，其中，视频流和关于所述视频流的附加信息被存储在盘中，并且所述附加信息包括参考重放速度值。
5.如权利要求4所述的方法，其中，所述附加信息被包括在盘中存储的流号(STN)表中。
6.如权利要求2所述的方法，还包括从被配置为执行所述方法的再现设备中提取参考重放速度值。
7.如权利要求6所述的方法，还包括 接收由用户设置的参考重放速度值；将参考重放速度值存储在所述再现设备中。
8.如权利要求2所述的方法，其中，按照2D方式再现视频图像的步骤包括 对视频流解码以产生左眼图像和右眼图像；输出左眼图像或右眼图像。
9.如权利要求2所述的方法，其中，按照2D方式再现视频图像的步骤包括 对视频流解码以产生左眼图像或右眼图像；输出产生的图像。
10.一种用于再现视频图像的设备，所述设备包括用户接口，被配置为接收以N倍的重放速度再现视频图像的请求，其中，N是等于或大于2的自然数；信号处理单元，被配置为按照三维(3D)方式再现视频图像，并响应于用户请求以N倍的重放速度再现视频图像，按照二维(2D)方式以N倍的重放速度再现视频图像。
11.如权利要求10所述的设备，其中，响应于数N超过参考重放速度值，信号处理单元按照2D方式以N倍的重放速度再现视频图像。
12.如权利要求11所述的设备，其中，响应于数N未超过参考重放速度值，信号处理单元按照3D方式以N倍的重放速度再现视频图像。
13.如权利要求11所述的设备，其中，视频流和关于所述视频流的附加信息被存储在盘中，并且所述附加信息包括参考重放速度值。
14.如权利要求13所述的设备，其中，所述附加信息被包括在盘中存储的流号(STN)表中。
15.如权利要求11所述的设备，其中，参考重放速度值被存储在信号处理单元中。
16.如权利要求15所述的设备，其中，用户接口从用户接收由用户设置的参考重放速度值，其中，信号处理单元存储参考重放速度值。
17.如权利要求11所述的设备，其中，信号处理单元包括解码单元，被配置为对视频流解码，以产生左眼图像和右眼图像； 输出单元，被配置为输出左眼图像或右眼图像。
18.如权利要求11所述的设备，其中，信号处理单元包括解码单元，被配置为对视频流解码，以产生左眼图像或右眼图像； 输出单元，被配置为输出产生的图像。
19.一种其上包含有用于执行再现视频图像的方法的程序的计算机可读记录介质，所述方法包括按照三维(3D)方式再现视频图像；被请求以N倍的重放速度再现视频图像，其中，N是等于或大于2的自然数； 响应于所述请求，以N倍的重放速度再现视频图像，其中，以N倍的重放速度再现视频图像的步骤包括按照二维(2D)方式以N倍的重放速度再现视频图像。
全文摘要
提供了一种用于视频图像的变速再现的方法和设备。提供了一种再现视频图像的方法。所述方法包括按照三维(3D)方式再现视频图像；被请求以N倍的重放速度(N是等于或大于2的自然数)再现视频图像；响应于所述请求，以N倍的重放速度再现视频图像。以N倍的重放速度再现视频图像的步骤包括按照二维(2D)方式以N倍的重放速度再现视频图像。
文档编号H04N5/93GK102484735SQ201080039196
公开日2012年5月30日 申请日期2010年9月1日 优先权日2009年9月2日
发明者朴凤吉, 郑铉权 申请人:三星电子株式会社