视频接收器及用于生成显示数据的方法与流程

视频接收器及用于生成显示数据的方法
1.本技术是申请日为2016年12月8日、申请号为201611122743.1、名称为“视频接收器及用于生成显示数据的方法”的发明专利申请的分案申请。
2.相关申请的交叉引用
3.本技术要求2015年12月8日提交的标题为“system and method of using compressed reference frames in video codecs(在视频编解码器中使用压缩参考帧的系统和方法)”的美国临时申请第62/264,757号的优先权和权益，其全部内容通过引用被合并于此。
4.本技术涉及2016年11月4日提交的标题为“system and method of using compressed reference frames in video codecs(在视频编解码器中使用压缩参考帧的系统和方法)”的美国专利申请第15/344,444号(“'444申请”)，其全部内容通过引用被合并于此。
技术领域
5.根据本发明的实施例的一个或多个方面涉及压缩视频数据的传输，更具体地说，涉及使用压缩参考帧数据来编码未压缩视频数据和解码压缩视频数据的系统和方法。


背景技术：

6.视频显示器可以从诸如计算机中的视频卡的视频数据源以相对高的数据速率接收数据。视频数据可以在视频数据源处被压缩并在显示器处被解压缩，以使得能够通过具有一定容量的信道以更高的有效数据速率发送。视频数据的解码可以包含使用参考帧，例如先前显示的视频帧(或未压缩而显示的视频帧)。存储参考帧可能需要大量的存储器，这可能是昂贵的。
7.因此，需要一种节省成本的用于解码压缩视频数据的系统和方法。


技术实现要素：

8.本公开的实施例的方面涉及用于传输压缩视频的系统和方法。发射器从视频源接收未压缩视频数据，并使用一个或多个参考帧对其进行压缩。接收器接收压缩视频数据并使用相同参考帧对其解码以形成显示数据。参考帧以压缩形式被存储在发射器和接收器中。显示数据的每一帧成为用于后续帧的解码的参考帧。
9.根据本发明的一个实施例，提供了一种视频接收器，包括：第一解码器，被配置为：接收压缩视频数据和未压缩参考帧数据；并且生成未压缩显示数据；第一编码器，被配置为：从第一解码器接收显示数据；并且压缩显示数据以形成压缩参考帧数据；参考帧数据缓冲器，被配置为存储压缩参考帧数据；以及第二解码器，被配置为：从参考帧数据缓冲器获取压缩参考帧数据；并且解码压缩参考帧数据以形成未压缩参考帧数据，其中第一编码器和第二解码器被配置为以比第一解码器低的压缩比操作。
10.在一个实施例中，第一解码器是高级显示流压缩解码器。
11.在一个实施例中，第一编码器是显示流压缩编码器，并且第二解码器是显示流压缩解码器。
12.在一个实施例中，第一解码器被配置为以4:1的压缩比操作。
13.在一个实施例中，第一编码器被配置为以至少2:1的压缩比操作。
14.在一个实施例中，第一编码器被配置为以至少2.4:1的压缩比操作。
15.在一个实施例中，每个参考帧由n个片组成，每个片对应于参考帧的矩形部分，并且第一编码器被配置为每次一片地压缩显示数据。
16.在一个实施例中，参考帧数据缓冲器包括n+1个片缓冲器，n是正整数，每个片缓冲器具有足以存储参考帧的一个压缩片的大小。
17.在一个实施例中，第二解码器被配置为一次解码来自一个片缓冲器的数据。
18.在一个实施例中，第二解码器被配置为一次生成2行未压缩参考帧数据。
19.在一个实施例中，第二解码器被配置为一次生成4行未压缩参考帧数据。
20.在一个实施例中，第二解码器被配置为一次生成6行未压缩参考帧数据。
21.在一个实施例中，视频接收器被配置为：将来自第一编码器的压缩参考帧数据保存到n+1个片缓冲器中的临时片缓冲器中，同时第二解码器解码来自n+1个片缓冲器中的第一片缓冲器的数据，并且当第二解码器完成对来自第一片缓冲器的数据的解码时，完成将压缩参考帧数据保存到临时片缓冲器中，并且当第二解码器完成对来自第一片缓冲器的数据的解码时，将来自临时片缓冲器的压缩参考帧数据复制到第一片缓冲器。
22.在一个实施例中，片缓冲器是环形缓冲器；视频接收器被配置为：将压缩参考帧数据保存到n+1个片缓冲器中的由第一指针标识的第一片缓冲器中，同时第二解码器解码来自n+1个片缓冲器中的由第二指针标识的第二片缓冲器的数据，第一片缓冲器和第二片缓冲器在环形缓冲器中以环形相邻；当第二解码器完成对来自第二片缓冲器的压缩参考帧数据的解码时，完成将压缩参考帧数据保存到第一片缓冲器中；并且使第一指针和第二指针前进以标识n+1个片缓冲器中的各自的后续片缓冲器，第一指针前进以指向第二片缓冲器，第一指针和第二指针在同一方向上前进。
23.根据本发明的一个实施例，提供了一种视频接收器，包括第一显示数据生成器和第二显示数据生成器，第一显示数据生成器和第二显示数据生成器中的每一个包括：第一解码器，被配置为：接收压缩视频数据和未压缩参考帧数据；并且生成未压缩显示数据；第一编码器，被配置为：从第一解码器接收显示数据；并且压缩显示数据以形成压缩参考帧数据；参考帧数据缓冲器，被配置为存储压缩参考帧数据；以及第二解码器，被配置为：从参考帧数据缓冲器获取压缩参考帧数据；并且解码压缩参考帧数据以形成未压缩参考帧数据，其中第一编码器和第二解码器被配置为以比第一解码器低的压缩比操作。
24.在一个实施例中，第一显示数据生成器被配置为生成每行未压缩视频数据的第一个一半，并且第二显示数据生成器被配置为生成每行未压缩视频数据的第二个一半。
25.在一个实施例中，第一解码器是高级显示流压缩解码器；第一编码器是显示流压缩编码器；并且第二解码器是显示流压缩解码器。
26.根据本发明的一个实施例，提供了一种用于生成显示数据的方法，该方法包括：由第一解码器接收压缩视频数据和未压缩参考帧数据；由第一解码器生成未压缩显示数据；由第一编码器从第一解码器接收显示数据；由第一编码器压缩显示数据以形成压缩参考帧
数据；由参考帧数据缓冲器存储压缩参考帧数据；由第二解码器从参考帧数据缓冲器获取压缩参考帧数据；以及由第二解码器解码压缩参考帧数据以形成未压缩参考帧数据，其中第一编码器和第二解码器被配置为以比第一解码器低的压缩比操作。
27.在一个实施例中，第一解码器是高级显示流压缩解码器。
28.在一个实施例中，第一编码器是显示流压缩编码器，并且第二解码器是显示流压缩解码器。
附图说明
29.参考说明书、权利要求书和附图将领会和理解本发明的这些和其它特征和优点，其中：
30.图1a是根据本发明的一个实施例的视频系统；
31.图1b是根据本发明的一个实施例的视频系统；
32.图1c是根据本发明的一个实施例的视频接收器；
33.图1d是根据本发明的一个实施例的视频接收器；和
34.图2是根据本发明的一个实施例的视频接收器。
具体实施方式
35.以下结合附图阐述的详细描述旨在作为根据本发明提供的时间差分系统和方法的示例性实施例的描述，并且不旨在表示其中本发明可以被构造或利用的仅有形式。该描述结合所示的实施例阐述了本发明的特征。然而，应当理解，相同或等同的功能和结构可以由也旨在被包括在本发明的精神和范围内的不同实施例来实现。如本文别处所指示的，相同的元件编号旨在表示相同的元件或特征。
36.参考图1a，在一些实施例中，视频数据源100(诸如计算机或视频卡)可以生成视频数据的连续帧。在视频数据源处的或在视频数据源中的发射器105可以包括主编码器110和多个参考帧115。主编码器110可以从视频数据源100接收未压缩视频数据，并且使用参考帧115压缩视频数据帧，以形成压缩视频数据。压缩视频数据可以被传输到连接到视频数据的接收方(例如显示器125)或者位于接收方中的接收器120。接收器120可以包括主解码器130和多个参考帧115，并且主解码器130可以使用参考帧115来解码所接收的压缩视频数据以重构视频数据的原始帧，或者如果压缩和解压缩不是无损的，则生成类似于视频数据的原始帧的新的视频数据帧。用于编码和解码视频数据的系统可以被称为编码器-解码器或“视频编解码器”。
37.参考帧可以是先前显示的帧。例如，压缩视频数据可以包括关于原始视频帧之间的差异的信息，并且接收器可以存储一个或多个先前显示的帧，并且根据一个或多个先前显示的帧以及接收器在压缩视频数据中接收的关于原始视频帧之间的差异的信息推断当前帧(即，要被显示的帧)。在本文中使用的术语中，为了清楚起见，将接收器标识为与显示器分离的元件，即使在商业产品中接收器和显示器可以共用诸如外壳、电源或集成电路基板的元件。接收器和显示器的组合可以被称为“显示装置”。显示器的形成可视图像的部分可以被称为“显示面板”。显示器可以包括被配置为显示图像的显示面板，每个图像由以行(或“排”)和列排列的多个像素组成；每个像素可以包括三个子像素(例如，红色子像素、绿
色子像素和蓝色子像素)(例如，由三个子像素组成)。如本文所用的“接收器”是接收压缩视频数据并生成未压缩视频数据的电路，并且“显示器”是接收未压缩视频数据并生成供用户观看的图像的装置。如本文所用的术语“编码”是指从未压缩数据生成压缩数据(例如，视频数据或参考帧数据)，并且如本文所用的术语“解码”是指从压缩数据生成未压缩数据(例如，视频数据或参考帧数据)。如本文所用，“参考帧数据”是指表示一个或多个参考帧或者一个或多个参考帧的一个或多个部分的数据。
38.存储一个或多个参考帧可能消耗大量的存储器，这可能是昂贵的。因此，在一些实施例中，一个或多个参考帧以压缩形式存储。用来存储一个或多个参考帧的压缩方法可以与发射器用于生成压缩视频数据的压缩方法相同或不同。例如，参考图1b，并且如在'444申请中所讨论的那样，在一个实施例中，参考帧由参考帧编码器135编码，被存储为压缩参考帧数据(例如，压缩参考帧117)，并且当需要时由参考帧解码器140解码。编码和解码可以在接收器中执行(以减少在接收器中用于存储参考帧数据的存储器的量)，并且可以在发射器中执行相同的编码和解码，使得如果参考帧编码器135和参考帧解码器140的组合效果不是无损的，则编码器110将使用与解码器130相同的重构(即，编码和解码)参考帧。
39.参考图1c，在一些实施例中，主解码器130可以是符合由视频电子标准协会发布的高级显示流压缩(adsc)标准的adsc解码器，例如其可以是以4:1的压缩比操作的解码器。参考帧编码器135可以是显示流压缩(dsc)编码器，例如，其可以是符合由视频电子标准协会发布的dsc标准的编码器，并且参考帧解码器140可以是dsc解码器。参考帧编码器135和参考帧解码器140可以以比主解码器130低的压缩比操作。例如，参考帧编码器135可以以3:1(或在一些实施例中，2:1或1:1，或者非整数压缩比，例如2.4:1)的压缩比操作，因此，参考帧解码器140可以以3:1(或在一些实施例中，2:1或1:1，或者非整数压缩比，例如2.4:1)的压缩比(或“解压缩比”)操作。参考帧编码器135可以以至少2:1或至少2.4:1的压缩比操作。压缩比可能影响重构质量。adsc和dsc编码器和解码器可以在1/16bpp(每像素比特)分辨率内操作，其中“每像素比特”是指以压缩形式存储像素所需的比特数。在一些实施例中，主解码器130和参考帧解码器140都是dsc解码器，并且参考帧编码器135是dsc编码器。
40.主解码器130可以从发射器接收压缩数据，并且从参考帧解码器140接收未压缩参考帧数据(其可以被临时存储在未压缩参考帧数据缓冲器145中)，并且可以生成显示数据(其可以被临时存储在显示数据缓冲器150中)。显示数据可以例如每次生成2行(或者每次4行，或者每次6行)，被临时存储在显示数据缓冲器150中，并且被发送到显示器，并且还被发送到参考帧编码器135。
41.参考帧编码器135可以例如每次2行(或每次4行，或每次6行)地编码显示数据，并将其存储在参考帧数据缓冲器155中。压缩显示数据然后可以被用作用于解码视频数据的下一帧的参考帧数据。
42.参考帧解码器140可以从参考帧数据缓冲器155获取压缩参考帧数据(其可以是来自最后显示的图像的压缩数据)，对其进行解码以形成未压缩参考帧数据，并且将未压缩参考帧数据供给到主解码器130(例如，经由未压缩参考帧数据缓冲器145)。参考帧解码器140可对被称为片的数据块操作，片中的每一个可对应于帧的矩形部分。例如，对于1920像素宽和1080像素高的显示器，片可以对应于宽度为1920像素且高度为108像素的矩形(即，包含来自该矩形的数据)，使得每帧由10个片组成。
43.因此，参考帧数据缓冲器155可以由多个片缓冲器(sb)160、165组成。如图1c所示，片缓冲器160可以被布置为环形缓冲器，并且参考帧数据缓冲器155可以包括被称为临时片缓冲器165的附加片缓冲器。环形缓冲器中的片缓冲器160的数量可以等于帧中的片的数量。在操作中，当参考帧解码器140解码来自一个片缓冲器的压缩参考帧数据时，参考帧编码器135可以对来自当前显示帧的片的显示数据进行编码，并将压缩数据作为压缩参考帧数据(例如，当视频的下一帧要被解码时用作参考帧)存储在临时片缓冲器中。在当前片的末尾，(i)参考帧解码器140已经从当前片缓冲器160读取了所有数据，(ii)片的显示数据的最后两行已经被发送到显示器，以及(iii)参考帧编码器135已经编码了显示数据的最后行，并且将相应的压缩数据保存到临时片缓冲器165中。然后，(i)临时片缓冲器165的内容可以被复制到参考帧解码器140在前一帧期间所读取的片缓冲器160中，(ii)参考帧解码器140可以开始解码来自环形缓冲器中的下一个片缓冲器160的压缩参考帧数据，以及(iii)参考帧编码器135可以再次开始编码显示数据并将压缩数据保存在临时片缓冲器165中。因此，当完成一个片缓冲器的处理时，处理进行到下一片缓冲器。连续的片缓冲器不需要在物理存储器中相邻；当实现环形缓冲器使得处理从一个进行到另一个(例如，作为缓冲器指针在接收器中前进的结果)时，两个片缓冲器可以被称为在环形缓冲器中“以环形相邻”。
44.参考图1d，在一些实施例中，参考帧数据缓冲器155可以包含包括n+1个片缓冲器的环形缓冲器(而不是具有临时片缓冲器165和n个片缓冲器的环形缓冲器)。在这种情况下，如图所示，参考帧解码器140可以从一个片缓冲器160读取，并且参考帧编码器135可以将压缩数据写入相邻片缓冲器160，相邻片缓冲器160可以是参考帧解码器140在前一帧期间所读取的片缓冲器160。当前读缓冲器(即，当前从其读取的片缓冲器160)和当前写缓冲器(即，当前被写入的片缓冲器160)可以分别由读指针和写指针来标识。在帧的末尾，读指针和写指针中的每一个可以前进以指向各自的下一个片缓冲器160，使得参考帧编码器135将开始对参考帧解码器140刚刚完成读取的片缓冲器160的写入。
45.在一些实施例中，接收器可以包括多个图1c和图1d中所示的电路，当接收器120包括多个这样的电路时，其中的每一个可以被称为显示数据生成器170。参考图2，在一些实施例中，多个(例如，2个、4个或8个)显示数据生成器170可并行操作，每个供应显示数据的每行的一部分。例如，在图2的实施例中，第一显示数据生成器170可以为显示器的左半部分提供数据，并且第二显示数据生成器170可以为显示器的右半部分提供数据。因此，第一显示数据生成器170可以提供每行显示数据的左半部分，并且第二显示数据生成器170可以提供每行显示数据的右半部分；组合器205可以组合每行的两半，以形成显示器的显示数据的完整行。如果显示数据被一次两行地提供给屏幕，则系统可以以类似的方式操作。在这样的实施例中，每个片可以具有小于帧的宽度的宽度；例如，如果如图2所示两个显示数据生成器170并行操作，则每个片可以对应于帧的具有帧的一半宽度的矩形区域。
46.鉴于上述，在用于传输压缩视频的系统和方法中，可以减少用于存储参考帧数据的存储器的量。发射器从视频源接收未压缩的视频数据，并使用一个或多个参考帧对其进行压缩。接收器接收压缩视频数据并使用相同的参考帧对其解码以形成显示数据。参考帧以压缩形式存储在发射器和接收器中。显示数据的每一帧成为用于后续帧的解码的参考帧。
47.根据在本文中描述的本发明的实施例的显示设备和/或任何其它相关设备或组件
可以利用任何合适的硬件、固件(例如专用集成电路)、软件、或软件、固件和硬件的适当组合来实现。例如，显示设备的各种组件可以被形成在一个集成电路(ic)芯片上或单独的ic芯片上。此外，显示设备的各种组件可以在柔性印刷电路膜、带载封装(tcp)、印刷电路板(pcb)上实现，或者与显示设备形成在同一基板上。此外，显示设备的各种组件可以是在一个或多个计算设备中的一个或多个处理器上运行的、执行计算机程序指令并与其它系统组件交互以便完成本文中描述的各种功能的进程或线程。计算机程序指令被存储在可用标准存储设备在计算设备中实现的存储器中，诸如例如随机存取存储器(ram)。计算机程序指令还可以被存储在其它的非临时性计算机可读介质中，诸如例如cd-rom或闪存驱动器等。此外，本领域技术人员应认识到各种计算设备的功能可以被组合或集成到单个计算设备，或特定计算设备的功能可以跨过一个或多个其它计算设备分布，而不脱离本发明的示例性实施例的范围。
48.应当理解，虽然术语“第一”、“第二”、“第三”等可在本文中用来描述各个元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应该受这些术语的限制。这些术语仅用来区分一个元件、组件、区域、层或部分与另一个元件、组件、区域、层或部分。因此，下面讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分，而不脱离本发明构思的精神和范围。
49.出于易于描述的目的，在本文中可能使用诸如“之下”、“下方”、“下”、“下面”、“上方”、“上”等的空间相对术语来描述如图中所示的一个元件或特征相对于另一个元件或特征的关系。应当理解，除了图中描绘的方位之外，这样的空间相对术语意在包含设备在使用或操作中的不同方位。例如，如果图中设备被翻转，则被描述为在其它元件或特征“下方”或“之下”或“下面”的元件将被定向为在其它元件或特征的“上方”。因此，示例术语“下方”和“下面”可以包含上方和下方两种方位。设备可被另外定向(例如旋转90度或者在其它方位)，并且本文使用的空间相对描述符应当进行相应的解释。另外，还应当理解，当层被称为在两个层“之间”时，其可以是两个层之间的唯一层，或者也可以存在一个或多个中间层。
50.本文所使用的术语仅用于描述特定实施例的目的，而不意图限制本发明构思。如本文所用，术语“基本上”、“大约”和类似术语被用作近似的术语，而不是作为程度的术语，并且旨在包括本领域普通技术人员公认的在测量或计算的值中的固有公差。如本文所用，术语“主要成分”是指构成组合物的至少一半重量的成分，并且当应用于多个物品时，术语“主要部分”是指物品的至少一半。
51.如本文所用，单数形式的“一”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解的是，当在本说明书中使用时，术语“包括”和/或“包含”表明存在所陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。如本文所用，术语“和/或”包括相关联的所列项目的一个或多个的任意和所有组合。当放在一列要素之前时，诸如“至少一个”的表述修饰的是整列元件，而不是修饰该列中的个别要素。此外，当描述本发明构思的实施例时，使用“可以”指的是“本发明的一个或多个实施例”。此外，术语“示例性”意指示例或例示。如本文所用，术语“使用”和“被用来”可以被认为分别与术语“利用”和“被利用来”同义。
52.应当理解，当元件或层被称为在另一元件或层“上”、“连接到”、“联接到”或“邻近于”另一元件或层时，其可以直接在另一元件或层上，直接连接到、联接到或邻近于另一元
件或层，或者可以存在一个或多个中间元件或中间层。与之相比，当元件或层被称为“直接在”另一元件或层“上”、“直接连接到”、“直接联接到”或“紧邻”另一元件或层时，不存在中间元件或中间层。
53.尽管在本文已经具体描述和示出了时间差分系统和方法的示例性实施例，但是对于本领域技术人员来说许多修改和变化将是显而易见的。因此，应当理解，根据本发明的原理构造的时间差分系统和方法可以以不同于本文具体描述来实现。本发明还被限定在下面的权利要求及其等同方案中。