专利名称：显示画面序列的方法及设备的制作方法
技术领域：
本发明涉及显示画面序列的方法及设备。更具体地说，本发明涉及显示以多层流的形式出现的画面序列的方法以及显示这样画面序列的显示设备。
背景技术：
为了使用户可以改变显示在其终端上的节目，S卩，将第一画面序列的显示改变成第二画面序列的显示，已知将随机访问点(RAP)加入代表第二画面序列的流中。为了提高从代表第一画面序列的第一种流到第二种流的访问速度，必需以密集方式将随机访问点分配到该第二种流中。这样的解决方案存在使插入这些随机访问点的第二种流的位速率增大的缺点。此外，已知以多层流的形式表示画面序列，该多层流包含代表叫做基本层的画面、 具有第一分辨率和/或质量的序列画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或质量的所述序列的画面的至少一个增强层。在用户想要显示在其终端上的第二画面序列以多层流的形式到来的特定情况下，已知将随机访问点加入基本层和增强层两者中。一般说来，以更频繁的方式，或以与增强层相似的方式将随机访问点分配在基本层中， 以便限制多层流位速率的增大以及加速第二种流的显示。例如，人们建议每2秒一次地，或在需要快速访问的情况下甚至每500毫秒一次地将随机访问点插入基本层中，而可以平均至少每5秒一次地将随机访问点插入增强层中。当用户向终端指示想要显示第二画面序列时，终端等待第二画面序列的随机访问点的到达。终端一般包含与显示设备链接的解码设备(例如，与SDTV或HDTV(高清电视) 屏幕链接的机顶盒(STB))。在基本层包含比增强层更频繁的随机访问点的情况下，终端因此解码基本层的数据，直到增强层的随机访问点的到达和解码。解码设备从如此解码的数据中重构基本层的相应画面。然后将这些画面显示在显示设备上。在解码增强层的随机访问点之后，终端解码增强层来重构增强层的画面。然后将这些画面显示在显示设备上。但是，由于在解码增强层的随机访问点的时刻，终端将基本层的画面的显示改变成增强层的画面的显示，这在质量和/或内容方面可以对应于突然跳跃，所以从视觉的角度来看，这样的显示是不能令人满意的。
发明内容
本发明的目的是弥补现有技术的至少一个缺点。为此目的，本发明涉及显示以多层流的形式到来的画面序列的方法，所述多层流包含代表叫做基本层的画面、具有第一分辨率和/或第一质量的序列的画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或第二质量的序列的画面的至少一个增强层。所述基本层和增强层包含随机访问点。所述方法包含如下步骤-从基本层的随机访问点并且至少直到增强层的随机访问点的解码地解码基本层以便重构基本层的画面；
-显示基本层的重构画面；-从增强层的随机访问点解码增强层以便重构增强层的画面；-显示增强层的重构画面。有利的是，所述方法进一步包含在显示增强层的画面之前以这样的方式处理它们的处理步骤，即在与增强层的随机访问点的时间相对应的基本层的画面与增强层的画面之间使画面内容和/或其质量的变化是渐进的。按照一个特定实施例，所述处理步骤是以在预定时间间隔上从第一分辨率和/或第一质量到第二分辨率和/或第二质量逐渐提高的中间分辨率和/或质量过滤增强层的每个画面的过滤步骤。按照一个特定特征，所述过滤步骤是子采样步骤。按照另一个特定实施例，所述处理步骤是通过裁剪窗口重新取框增强层的每个画面的重新取框步骤，所述裁剪窗口的尺寸在预定时间间隔上在与基本层的画面相关联的裁剪窗口的尺寸与增强层的画面的尺寸之间逐渐增大。按照一个特定特征，所述处理步骤进一步包含子采样步骤。本发明还涉及显示以多层流的形式到来的画面序列的设备，所述多层流包含代表叫做基本层的画面、具有第一分辨率和/或第一质量的序列的画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或第二质量的序列的画面的至少一个增强层，所述基本层和增强层包含随机访问点。所述设备包含-解码模块，用于从基本层的随机访问点并且至少直到增强层的随机访问点的解码地解码基本层以便重构基本层的画面，以及从增强层的随机访问点解码增强层以便重构增强层的画面；以及-显示模块，用于显示基本层和增强层的重构画面。有利的是，所述设备进一步包含在由所述显示模块显示增强层的画面之前以这样的方式处理它们的处理模块，即在与增强层的随机访问点的时间相对应的基本层的画面与增强层的画面之间使画面内容和/或其质量的变化是渐进的。
参考附图、借助非限制性实施例和有利实现方式将更好地理解和例示本发明，在附图中-图1示出了多层流的增强层的画面和基本层的画面以及裁剪窗口；-图2示出了按照本发明第一实施例的显示方法的方块图；-图3例示了按照本发明第一实施例的显示方法；-图4示出了按照本发明第二实施例的显示方法的方块图；-图5例示了按照本发明第二实施例的显示方法；-图6示出了按照本发明第三实施例的显示方法的方块图；-图7示出了按照本发明第四实施例的显示方法的方块图；-图8例示了使用按照本发明的显示方法改变画面序列的方法；-图9示出了使用按照本发明的显示方法改变画面序列的方法的方块图；以及-图10示出了按照本发明的显示设备。
具体实施例方式本发明涉及显示包含至少两个层的代表画面序列的多层流的方法。按照本发明， 可以完全相互独立地编码多层流的各个层。该多层流可以是包含代表叫做基本层的画面、 具有第一分辨率和/或质量的序列的画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或质量的序列的画面的至少一个增强层的可分级(scalable)流。但是，本发明决不会局限于这种配置，应该从最广泛的意义上理解术语“多层流”。它还包括联播流 (simulcast streams)禾口多视图流。可分级流是，例如，遵从SVC视频编码标准的流，该SVC视频编码标准描述在 2008 年 10 月公布的和标题为 “Joint Draft ITU-T Rec. H. 264 | IS0/IEC14496-10/ Amd. 3Scalable video coding”的JVT-AC205文件中。但是，本发明决不会局限于这种标准，可以与任何多层流一起使用，在显示画面序列期间，尤其当将基本层的画面的显示改变成增强层的画面的显示时，改善用户的视觉舒适度。基本层的画面具有(w，h)的尺寸，其中 w是宽度和h是高度，以及增强层的画面具有(W，H)的尺寸，其中W是宽度和H是高度。即使它们具有较低分辨率，基本层的画面的画面内容可以与增强层的画面的画面内容相同。 当通过子采样增强层的画面生成基本层的画面时，情况就是这样。但是，如图1所示，画面内容可以不同。尤其当通过重新取框(reframe)然后可能子采样增强层的画面生成基本层的画面时，情况就是这样。在这种情况下，基本层的画面的画面内容只对应于增强层的相应画面的一部分的画面内容。这个部分通过尺寸，h')的裁剪窗口界定，其中W'是裁剪窗口的宽度和h'是它的高度。按照参考图2和3描述的第一实施例在步骤100中，从其随机访问点之一(对应于图2中的时间Tl)并且至少直到增强层的随机访问点的解码(对应于图2中的时间T2)地解码基本层以便重构基本层的画面。 如果多层流遵从SVC标准，则按照H. ^4/MPEG-4AVC解码方法重构基本层的画面，该H. 264/ MPEG-4AVC 解码方法描述在标题为 “ ITU-T Rec. H. 264 | IS0/IEC 14496-10/Amd. 3Scalable video coding” 的 JVT-AC205 文件中。在步骤110中，显示基本层的重构画面。这个步骤可以要求空间过滤基本层的画面，以便使它们具有显示设备的分辨率。如果基本层的画面具有720p格式，而必须以IOSOp 高清(HD)格式显示在屏幕上，情况尤其这样。在这种特殊情况下，在显示之前上采样基本层的画面。在步骤120中，如果解码了增强层的随机访问点，则在步骤130中继续该方法，否则，在步骤100中重新开始。在步骤130中，从随机访问点(对应于图2中的时间T2)解码增强层以便重构增强层的画面。如果多层流是遵从SVC标准的可分级流，则按照SVC解码方法重构增强层的画面，该 SVC 解码方法描述在标题为 “Joint DraftITU-T Rec. H. 264 | IS0/IEC 14496-10/ Amd. 3Scalable video coding” 的 JVT-AC205 文件的附录 G 中。在步骤140中，处理增强层的重构画面。在预定时间间隔，例如，500ms(毫秒)上逐渐子采样它们。在图2中，在时间T2与时间T3之间进行渐进处理。时间T2对应于增强层的第一随机访问点的解码。时间T3可以对应于增强层的另一个随机访问点的解码，但也可以不对应于这样的随机访问点。时间T3相对于时间T2定义增强层的画面的处理时间， 因此定义在时间T2之前或可能在时间T2上基本层的画面的显示与在时间T3之后或可能在时间T3上增强层的画面的显示之间的渐进过渡时间的持续时段。这个步骤140使在增强层随机访问点的时间T2上或之前基本层的画面与在时间T3上或之后增强层的画面之间逐渐地发生显示。因此，按基本层的画面的尺寸(w，h)子采样在时间T2上重构的第一增强层画面。按(w+dw，h+dh)尺寸，即按比基本层的画面的尺寸稍大的尺寸子采样增强层的跟随画面(following picture)。为此目的，可以分，例如，16个阶段使用兰克泽斯(Lanczos) 多相过滤器。通过在子采样之后每次都增大画面尺寸地对增强层的每个重构画面重复该方法，直到达到增强层的画面的尺寸(H，W)。在增强层的每个新画面上，可以按高度dh个像素和宽度dw个像素，例如，dh = 4和dw = 4增加子采样画面尺寸。因此，在基本层的画面与增强层的画面之间显示的画面的质量在T2与T3之间的时间间隔上逐渐提高，而不是像如果在时间T2上将基本层的画面的显示直接改变成增强层的画面的显示那样突然改变。在步骤150中，显示增强层的处理后画面。这个步骤可以要求空间过滤增强层的处理后画面，以便使它们具有显示设备的分辨率。如果增强层的处理后画面具有比它们必须显示在上面的屏幕的分辨率低的分辨率，情况尤其这样。在这种特殊情况下，增强层的处理后画面(即，子采样之后)在显示它们之前被上采样。当基本层和增强层的画面的画面内容相同时，即当不使用重新取框工具来如图1 所示从增强层的画面生成基层画面时，优选使用这个实施例。按照参考图4和5描述的第二实施例。在步骤100中，从其随机访问点之一(对应于图2中的时间Tl)并且至少直到增强层的随机访问点的解码(对应于图2中的时间T2)地解码基本层以便重构基本层的画面。在步骤110中，显示基本层的重构画面。这个步骤可以要求空间过滤基本层的画面，以便使它们具有显示设备的分辨率。如果基本层的画面具有720p格式，而必须以IOSOp 高清(HD)格式显示在屏幕上，情况尤其这样。在这种特殊情况下，在显示之前上采样基本层的画面。在步骤120中，如果解码了增强层的随机访问点，则在步骤130中继续执行该方法，否则，在步骤100中重新开始。在步骤130中，从随机访问点(对应于图2中的时间T2)解码增强层以便重构增强层的画面。在步骤140中，处理增强层的重构画面。在预定时间间隔，例如，500ms(毫秒)上逐渐对它们重新取框。在图5中，在时间T2与时间T3之间进行渐进处理。时间T2对应于增强层的第一随机访问点的解码。时间T3可以对应于增强层的另一个随机访问点的解码， 但也可以不对应于这样的随机访问点。时间T3相对于时间T2定义增强层的画面的处理时间，因此定义在时间T2之前或可能在时间T2上基本层的画面的显示与在时间T3之后或可能在时间T3上增强层的画面的显示之间的渐进过渡时间的持续时段。这个步骤140使在增强层随机访问点的时间T2上或之前基本层的画面与在时间T3上或之后增强层的画面之间逐渐地发生显示。因此，按基本层的画面的尺寸(w，h)对在时间T2上重构的第一增强画面重新取框。在这种情况下，以这样的方式在增强层的画面中定位尺寸(w，h)的裁剪窗口，即使它的内容与相应基本层的画面的画面内容相同或至少非常接近。按照一个特定实施例，从传输增强层的画面的多层流中解码与时间T2上的增强层的画面相关联的裁剪窗口的位置和尺寸。如果多层流是遵从SVC视频编码标准的可分级流，情况尤其这样。按(w+dw，h+dh)尺寸，即按比基本层的画面的尺寸稍大的尺寸对增强层的跟随画面重新取框。通过每次都增大裁剪窗口的尺寸地对增强层的每个重构画面重复该方法，直到达到增强层的画面的尺寸(H，W)。在增强层的每个新画面上，可以按高度dh个像素和宽度dw个像素，例如，dh = 4和dw = 4增加裁剪窗口尺寸。因此，在T2与T3之间的时间间隔上逐渐添加基本层的画面与增强层的画面之间的附加画面内容，而不是像如果在时间T2 上将基本层的画面的显示直接改变成增强层的画面的显示那样突然添加。在步骤150中，显示增强层的重新取框画面。这个步骤可以要求空间过滤增强层的重新取框画面，以便使它们具有显示设备的分辨率。如果增强层的重新取框画面具有比它们必须显示在上面的屏幕的分辨率低的分辨率，情况尤其这样。在这种特殊情况下，在显示之前上采样增强层的重新取框画面。参考图6描述的第三实施例结合了前两个实施例在步骤100中，从其随机访问点之一(对应于图2中的时间Tl)并且至少直到增强层的随机访问点的解码(对应于图2中的时间T2)地解码基本层以便重构基本层的画面。在步骤110中，显示基本层的重构画面。这个步骤可以要求空间过滤基本层的画面，以便使它们具有显示设备的分辨率。如果基本层的画面具有720p格式，而必须以IOSOp 高清(HD)格式显示在屏幕上，情况尤其这样。在这种特殊情况下，在显示之前上采样基本层的画面。在步骤120中，如果解码了增强层的随机访问点，则在步骤130中继续该方法，否则，在步骤100中重新开始。在步骤130中，从随机访问点(对应于图2中的时间T2)解码增强层以便重构增强层的画面。在步骤140中，处理增强层的画面。在预定时间间隔，例如，500ms (毫秒)上逐渐对它们重新取框和子采样。在图2中，在时间T2与时间T3之间进行渐进处理。时间T2对应于增强层的第一随机访问点的解码。时间T3可以对应于增强层的另一个随机访问点的解码，但也可以不对应于这样的随机访问点。时间T3相对于T2定义增强层的画面的处理时间，因此定义在时间T2之前或可能在时间T2上基本层的画面的显示与在时间T3之后或可能在时间T3上增强层的画面的显示之间的渐进过渡时间的持续时段。这个步骤140使在增强层随机访问点的时间T2上或之前基本层的画面与在时间T3上或之后增强层的画面之间逐渐发生显示。因此，按用于按照图1例示的方法生成基本层的画面的裁剪窗口的尺寸，h')对在时间T2上重构的第一增强层画面重新取框。在这种情况下，以这样的方式在增强层的画面中定位尺寸(一，h')的裁剪窗口，即使它的内容与相应基本层的画面内容相同或至少非常接近。按照一个特定实施例，从传输增强层的画面的多层流中解码与时间T2上的增强层的画面相关联的裁剪窗口的位置和尺寸。如果多层流是遵从SVC视频编码标准的可分级流，情况尤其这样。然后，按基本层的画面的尺寸(w，h)子采样以这种方式重新取框的增强层的画 按(w' +dw,h' +dh)尺寸重新取框，然后按(w+dw，h+dh)尺寸子采样增强层的跟随画面。通过每次都增大裁剪窗口和子采样画面的尺寸地对增强层的每个重构画面重复该方法，直到达到增强层的画面的尺寸(H，W)。因此，在T2与T3之间的时间间隔上逐渐添加基本层的画面与增强层的画面之间的附加画面内容，而不是像如果在时间T2上将基本层的画面的显示直接改变成增强层的画面的显示那样突然添加。同样，在基本层的画面与增强层的画面之间显示的画面的质量在T2与T3之间的时间间隔上逐渐提高，而不是像在时间T2上将基本层的画面的显示直接改变成增强层的画面的显示那样突然改变。在步骤150中，显示增强层的处理后画面。这个步骤可以要求空间过滤增强层的处理后画面，以便使它们具有显示设备的分辨率。如果增强层的处理后画面具有比它们必须显示在上面的屏幕的分辨率低的分辨率，情况尤其这样。在这种特殊情况下，在显示之前上采样增强层的重新取框画面。当基本层和增强层的画面的画面内容不同时，尤其当基本层的画面只从增强层的画面的一部分中生成时，优选使用最后这两个实施例，如图2所示，所述部分在增强层的画面中通过裁剪窗口界定。参考图7描述第四实施例。在步骤100中，从其随机访问点之一(对应于图2中的时间Tl)并且至少直到增强层的随机访问点的解码(对应于图2中的时间T2)地解码基本层以便重构基本层的画面。在步骤110中，显示基本层的重构画面。这个步骤可以要求空间过滤基本层的画面，以便使它们具有显示设备的分辨率。如果基本层的画面具有720p格式，而必须以IOSOp 高清(HD)格式显示在屏幕上，情况尤其这样。在这种特殊情况下，在显示之前上采样基本层的画面。在步骤120中，如果解码了增强层的随机访问点，则在步骤130中继续该方法，否则，在步骤100中重新开始。在步骤130中，从随机访问点(对应于图2中的时间T2)解码增强层以便重构增强层的画面。在步骤140中，处理增强层的画面。在预定时间间隔，例如，500ms (毫秒)上逐渐过滤它们。在图2中，在时间T2与时间T3之间进行渐进处理。时间T2对应于增强层的第一随机访问点的解码。时间T3可以对应于增强层的另一个随机访问点的解码，但也可以不对应于这样的随机访问点。时间T3相对于T2定义增强层的画面的处理时间，因此定义在时间T2之前或可能在时间T2上基本层的画面的显示与在时间T3之后或可能在时间T3 上增强层的画面的显示之间的渐进过渡时间的持续时段。这个步骤140使在增强层随机访问点的时间T2上或之前基本层的画面与在时间T3上或之后增强层的画面之间逐渐发生显示。因此，过滤在时间T2上重构的第一增强画面，以便获得与基本层的画面的质量接近的质量。这种过滤可以通过以任意较低分辨率(w"，h")子采样，接着以分辨率(W，H)上采样来进行。过滤增强层的跟随画面，以便获得在基本层的画面的质量与增强层的画面的质量之间的中间质量。这种过滤可以通过以较低分辨率(w" +dw"，h" +dh")子采样，接着以分辨率(W，H)上采样来进行。通过每次都提高过滤画面的质量地对重构的增强层的每个画面重复该方法，直到达到增强层的画面的质量。因此，在基本层的画面与增强层的画面之间的画面质量在T2与T3之间的时间间隔上逐渐改善，而不是像如果在时间T2上将基本层的画面的显示直接改变成增强层的画面的显示那样突然改善。当基本层和增强层的画面具有相同分辨率时，即当(w，h) = (W，H)时，但当基本层的画面与原序列(也称为源序列)的画面相比的质量/保真度低于增强层的画面的质量 /保真度时，优选使用这个实施例。T2与T3之间的过渡间隔期间增强层的画面的渐进处理以这样的方式进行，即使处理后画面的质量在时间T2之前或时间T2上基本层的画面的质量与时间T3上或之后增强层的画面的质量之间逐渐提高。这四个实施例有利地使显示器上的视觉舒适度得到改善。的确，基本层的画面的显示与增强层的画面的显示之间的过渡在内容和/或质量，即，源序列的画面的保真度方面是渐进的。注意，对于这四个实施例，可以在时间T2上显示相应基本层的画面或处理后增强层的画面。同样，可以在时间T3上显示处理后增强层的画面或增强层的相应画面。按照本发明的方法有利地用于在用户想要将第一序列的显示改变成第二序列的显示的情况下，从视觉的角度改善显示。因此，参考图8和9，用户在步骤70中指示他想要将画面A的序列的显示改变成以多层形式表示的画面B的序列的显示。在步骤80中，如果为基本层解码了随机访问点，则在步骤100中继续该方法，否则，在步骤90中继续。在步骤90中，只要未解码基本层的随机访问点，就在屏幕上显示预定画面。步骤 100到150与前面参考这些实施例之一描述的步骤100到150相同，这里不再作进一步描述。预定画面是，例如，黑色图像或仍然是接收到指示用户想改变序列的信号之前显示的序列A的最后画面。本发明还涉及表示在图10中的显示设备20。显示设备20包含能够接收画面序列seq A、seq B和seq C的输入端200。在这个输入端上，显示设备20还能够接收指示用户想要看到显示哪个画面序列的信号sig。显示设备20进一步包含与输入端200连接的解码模块210，以便解码多层流来重构基本层的画面和增强层的画面。尤其，解码模块210适用于实现按照本发明实施例之一的方法的步骤100，120和130。此外，显示设备20还包含与解码模块210连接的处理模块220，处理模块220能够按照按照本发明实施例之一的方法的步骤，在显示增强层的画面之前处理它们。将处理模块220与显示模块230连接，显示模块230适用于将基本层的画面和增强层的画面显示在显示模块230的屏幕上。显示模块 230还适用于如果有必要，空间过滤从处理模块220接收的画面，以便使它们的尺寸与屏幕的尺寸相适应。一般说来，显示模块230对从处理模块220接收的画面进行上采样。
权利要求
1.一种显示以多层流的形式出现的画面序列的方法，所述多层流包含代表叫做基本层的画面、具有第一分辨率和/或第一质量的所述序列的画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或第二质量的所述序列的画面的至少一个增强层，所述基本层和增强层包含随机访问点，所述方法包含如下步骤从基本层的随机访问点并且至少直到增强层的随机访问点的解码地解码(100)基本层以便重构基本层的画面；-显示(110)基本层的所述重构画面；-从增强层的所述随机访问点解码(130)增强层以便重构增强层的画面；-显示(150)增强层的所述重构画面，所述方法的特征在于，它进一步包含在显示增强层的所述图像之前通过裁剪窗口重新取框它们的重新取框步骤(140)，所述裁剪窗口的尺寸在起点是增强层的随机访问点的时间间隔上在与基本层的画面相关联的裁剪窗口的尺寸与增强层的画面的尺寸之间逐渐增大。
2.如权利要求1所述的方法，其中，所述处理步骤(140)进一步包含子采样步骤。
3.一种以多层流的形式到来的画面序列的显示设备，所述多层流包含代表叫做基本层的画面、具有第一分辨率和/或第一质量的所述序列的画面的基本层、和代表叫做增强层的画面、具有第二分辨率和/或第二质量的所述序列的画面的至少一个增强层，所述基本层和增强层包含随机访问点，所述设备包含-解码模块010)，用于从基本层的随机访问点并且至少直到增强层的随机访问点的解码地解码基本层以便重构基本层的画面，以及从增强层的所述随机访问点解码增强层以便重构增强层的画面；-显示模块O30)，用于显示基本层和增强层的所述重构画面，所述设备的特征在于，它进一步包含在由所述显示模块显示增强层的所述图像之前通过裁剪窗口重新取框它们的处理模块020)，所述裁剪窗口的尺寸在起点是增强层的随机访问点的时间间隔上在与基本层的画面相关联的裁剪窗口的尺寸与增强层的画面的尺寸之间逐渐增大。
全文摘要
本发明涉及一种显示以多层流的形式到来的画面序列的方法，该多层流包含代表具有第一分辨率和/或第一质量的序列的画面的基本层、和代表具有第二分辨率和/或第二质量的序列画面的至少一个增强层。该方法包含如下步骤从基本层的随机访问点并且至少直到增强层的随机访问点的解码地解码(100)基本层以便重构基本层的画面；显示(110)基本层的重构画面；从增强层的随机访问点解码(130)增强层以便重构增强层的画面；以及显示(150)增强层的重构画面。该方法进一步包含在显示增强层的画面之前以这样的方式处理它们的处理步骤(140)，即在与增强层的随机访问点的时间相对应的基本层的画面与增强层的画面之间使图像内容和/或其质量的变化是渐进的。
文档编号H04N7/26GK102342103SQ201080009855
公开日2012年2月1日 申请日期2010年2月26日 优先权日2009年3月2日
发明者C.查玛雷特, J-C.切维特, V.波特里厄 申请人:汤姆森特许公司