链路带宽改善技术的制作方法

本公开涉及链路带宽改善技术，并且更具体地，涉及视频处理系统中的链路带宽改善技术。

背景技术：

在displayport(显示端口)中，称为“传输单元(tu)”或“微分组”的分组被形成为一组数据和控制符号。通过使用由displayport的当前版本定义的面板重播，源(source)设备发送帧中相对于先前帧被修改的部分以及被宿(sink)设备丢弃的未修改区域的“虚设(dummy)”数据。因为displayport的视频流中的所有数据均已加密，所以传输(例如usb)在不解密视频流的情况下无法在面板重放模式中确定“虚设”数据。

技术实现要素：

本公开的实施例提供了一种视频传输系统，包括：图形处理电路，图形处理电路用于生成视频传输单元(tu)，视频tu对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中，视频tu包括控制序列和未改变的数据有效载荷，该未改变的数据有效载荷与第一视频帧的扫描线的定义数量个像素相对应；以及源隧穿桥接电路，源隧穿桥接电路用于基于视频tu生成总线tu；源隧穿桥接电路用于解析视频tu的控制序列或未改变的数据有效载荷，并且生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的字段，并且源隧穿桥接电路用于全部或部分地消除总线tu中的未改变的数据有效载荷。

本公开的另一实施例提供了至少一个计算机可读设备，存储有指令，指令在由至少一个处理器执行时执行包括以下各项的操作：生成视频传输单元(tu)，视频tu对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中，视频tu包括控制序列和未改变的数据有效载荷，该未改变的数据有效载荷与第一视频帧的扫描线的定义数量个像素相对应；以及解析视频tu的控制序列或未改变的数据有效载荷；以及生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的字段，并且全部或部分地消除总线tu中的未改变的数据有效载荷。

本公开的又一实施例提供了一种视频传输系统，包括：图形处理电路，图形处理电路用于生成未改变的视频传输单元(tu)，未改变的视频tu对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中，视频tu包括第一控制序列和未改变的数据有效载荷，该未改变的数据有效载荷与第一视频帧的扫描线的定义数量个像素相对应；图形处理电路还用于生成改变的视频传输单元(tu)，改变的视频tu对应于第一视频帧的与第二视频帧相比改变的扫描线，其中，改变的视频tu包括第二控制序列和改变的数据有效载荷，该改变的数据有效载荷与第一视频帧的扫描线的定义数量个像素相对应；以及源隧穿桥接电路，源隧穿桥接电路用于基于未改变的视频tu生成总线tu；源隧穿桥接电路用于解析未改变的视频tu的第一控制序列或未改变的数据有效载荷，并且生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的字段，并且源隧穿桥接电路用于全部或部分地消除总线tu中的未改变的数据有效载荷。

附图说明

从实施例的以下详细描述将明白所要求保护的主题的特征和优点，该描述应参考附图进行考虑，其中：

图1示出了根据本公开的各种实施例的示例视频处理系统的框图；

图2a示出了根据本公开的一个实施例的sst模式视频tu；

图2b示出了根据本公开的一个实施例的sst模式总线tu；

图2c示出了根据本公开的一个实施例的sst模式总线tu报头；

图3a示出了根据本公开的一个实施例的mst模式视频tu；

图3b示出了根据本公开的一个实施例的mst模式总线tu；

图3c示出了根据本公开的一个实施例的mst模式总线tu报头；

图4是根据本公开的一个实施例的减少视频流分组大小的操作的流程图；

图5是重建具有未改变的数据有效载荷的视频传输单元(tu)的流程图；并且

图6示出了在视频传输系统中重新分配总线带宽的流程图。

尽管下面的具体实施方式将参考说明性实施例进行，但是本领域技术人员将明白这些实施例的许多替代、修改和变化。

具体实施方式

通常，本公开涉及用于改善视频处理系统中的效率和带宽使用的技术。在本文描述的一些实施例中，视频帧数据可以被解析并且与先前视频帧进行比较以确定该帧的未修改/未改变的区域。可以用控制符号对未修改/未改变的区域进行编码，该控制符号将区域指定为与先前帧相比未修改。视频帧数据可以使用总线通信协议进行编码和传输。在传输到一个或多个宿设备之前，可以全部或部分地消除帧的未修改/未改变的区域，并且编码的视频帧可以包括用于在宿设备中重建未修改/未改变的区域的信息。因此，在这些实施例中，可以显著减小给定帧的总体分组传输大小，并且因此可以显著减小发送编码帧的带宽要求。在本文所描述的一些实施例中，可以将用于传输这些尺寸减小的分组的未使用的带宽重新分配给其他由总线连接的设备。

图1示出了根据本公开的各种实施例的示例视频处理系统100的框图。视频处理系统100通常包括：源域102，通常配置为处理和传输视频数据；以及宿域104，通常配置为接收和消费经由链路134来自源域102的视频数据。源域102包括图形处理电路106，该图形处理电路通常配置为从源系统110接收受保护的视频数据111，并且使用视频传输编码协议对受保护的视频数据111进行编码。视频传输编码协议可以包括分组化视频传输协议，例如displayport、hdmi等。源域102还包括源隧穿桥接电路108，该源隧穿桥接电路通常配置为从图形处理电路106接收使用视频传输编码协议进行编码的视频帧数据，并且使用总线编码协议对视频帧数据进行编码。总线编码协议可以包括串行总线通信协议，例如，通用串行总线(usb)通信协议、thunderbolt串行总线通信协议、firewire串行总线通信协议等。经总线编码的视频帧数据可以通过链路138传输到宿域104。链路138可以符合或兼容总线编码协议，例如usb链路。因此，在本文所描述的至少一个实施例中，源域102可以从源视频数据111在经usb编码的数据流上生成displayport。宿域104通常包括宿隧穿桥接电路140，通常配置为解码并消费视频数据。在下面更详细地描述源域102和宿域104。

源系统110通常配置为传输受保护的视频数据111。源系统可以包括，例如，计算机系统、视频源系统(例如，汽车视频显示系统、便携式视频显示系统等)、手持式设备(例如，智能手机、便携式计算机(例如，膝上型计算机系统、ipad、等等)和/或通常配置为发起和/或传输受保护的视频内容的其他系统。例如，计算机系统可以包括dvd/bluray播放器(未显示)以发起dvd/bluray磁盘上的受保护的视频内容。在另一个示例中，源系统110可以包括便携式计算机系统，该便携式计算机系统配置为从第三方源接收受保护的视频内容，例如，netflix视频内容、amazonprime视频内容等。可以使用常规的存储器加密协议和/或专有的存储器加密协议对受保护的视频数据111进行加密。

图形处理电路106包括解密逻辑112，该解密逻辑配置为解密从源系统110接收的受保护的视频数据111，并且将受保护且经解密的视频帧数据存储在存储器中，例如帧缓冲器电路120。解密逻辑112可以利用符合或兼容受保护的视频数据111的保护协议的解密协议。帧缓冲器电路120可以以加密格式存储多个视频帧，包括当前视频帧和先前视频帧。视频帧数据可以被组织为像素数据的二维阵列，例如1024x768像素、2048x2048像素、4096x4096像素(例如高清晰度、超高清晰度视频内容)等。图形处理电路106通常可以在与显示器的扫描线相对应的扫描线的基础上处理视频帧数据，并且每个扫描线可以包括视频数据的一条或多条水平线，每个扫描线包括多个像素。图形处理器电路106还包括视频传输编码逻辑114，该视频传输编码逻辑114被配置为将当前视频帧的扫描线与先前视频帧的扫描线进行比较以确定当前视频帧的扫描线与先前视频帧的扫描线相比是改变或还是未改变。

视频传输编码逻辑114通常还配置为使用视频传输编码协议对未加密的视频帧数据进行编码。视频传输编码协议可以包括分组化视频传输协议，例如，displayport编码协议。displayport编码协议可以符合或兼容由“vesadisplayport(dp)标准版本2.0(建议)，d2，2019年2月22日”和/或该标准的先前版本和/或该标准的未来版本定义的标准规范。使用displayport编码协议为例，视频帧的每条扫描线可以分解为多个视频传输单元(tu)，其中每个视频tu除其他外包括如displayport协议所定义的一个或多个控制序列和数据有效载荷。tu的数据有效载荷部分表示扫描线的定义数量个像素(例如32个像素、64个像素等)的像素数据，如displayport协议可以指定的。另外，displayport编码协议可以根据例如宿域104消费视频内容的方式以多种模式进行操作。例如，视频传输编码逻辑114可以配置为以displayport单流传输(sst)模式对视频数据进行编码，其中sst模式通常对宿域104中的单个设备要消费(例如，在显示监视器上显示)的单个视频数据流进行编码(并且在一些实施例中，视频数据可以被桥接和/或跳到宿域104中的其他设备)。作为另一个示例，视频传输编码逻辑114可以配置为以displayport多流传输(mst)模式对视频数据进行编码，其中，mst模式通常对宿域104中的一个或多个设备同时使用的一个或多个不同的视频数据流进行编码(例如，多个显示监视器，每个显示监视器显示不同的视频内容)。

如本文所使用的，“未改变的tu”是指具有有效载荷部分(像素数据)的tu，该有效载荷部分是先前视频帧的相同像素数据。与先前数据帧相比，未改变的数据在本文中也可以被称为“非活动的”，因此在整个本公开中可以互换地使用“非活动的”和“未改变的”。类似地，“改变的”和“活动的”在本文中可以互换地使用，指代当前视频帧的与先前视频帧相比改变的扫描线。另外，如本文中所使用的“先前视频帧”通常是指在一系列视频帧中的当前视频帧之前的视频帧，并且在一些实施例中，先前视频帧可以是紧接在当前视频帧之前的视频帧，尽管在其他实施例中，先前视频帧可以是按顺序在当前视频帧之前不止一个视频帧的视频帧。

如上所述，视频传输编码逻辑114被配置为确定与先前帧相比未改变和改变的扫描线数据。视频传输编码逻辑114通常被配置为生成视频tu115的流，每个tu115具有基于操作模式(例如，sst、mst)以及扫描线与先前扫描线相比是否改变的特性。因此，如本文所使用的，tu可以被单独使用，并且tu可以指代包括多个单独的tu的编码数据流。对于与先前帧相比未改变的扫描线，并且使用sst模式中的displayport编码协议为例，视频传输编码逻辑114被配置为生成至少一个未改变的视频tu115，其中未改变的视频tu115包括未改变的控制序列和未改变的数据有效载荷。在sst模式中，未改变的控制序列可以包括例如displayport协议规范保留的控制序列，例如k28.7空白结束(blankend)控制序列。如本文所使用的，“保留的”控制序列是指由分组化视频传输协议具体定义但当前未使用和/或未分配的字段。在sst模式中，未改变的数据有效载荷可以包括例如“虚设”数据(即，通常不对应于像素数据的数据，而是可以是由视频传输编码逻辑114生成的一系列定义的和/或随机的数据)。对于与先前帧相比改变的扫描线，并且再次使用sst模式中的displayport编码协议为例，视频传输编码逻辑114被配置为生成至少一个改变的视频tu115，其中每个改变的视频tu115包括改变的控制序列和改变的数据有效载荷。在一个示例实施例中，改变的控制序列可以包括由displayport协议规范定义的控制序列，例如，k27.7空白结束控制序列。改变的数据有效载荷通常对应于与先前帧相比改变的像素数据。

在mst模式中，视频传输编码逻辑114通常被配置为生成多个tu115，其中每个tu115包括一个或多个控制序列和两个或多个数据有效载荷部分，并且每个数据有效载荷部分对应于不同的视频流。在mst模式中，对于至少一个视频流的与先前帧相比未改变的扫描线，视频传输编码逻辑114被配置为生成至少一个未改变的视频tu115，其中每个未改变的视频tu115包括至少一个未改变的数据有效载荷。在mst模式中，未改变的数据有效载荷可以包括例如多个保留的控制序列(例如，c7-c7-c7-c7)，其中可以在displayport协议中保留和定义保留的控制序列。在mst模式中，在所有视频流的扫描线与先前帧的相应扫描线相比改变的情况下，视频传输编码逻辑114被配置为生成至少一个改变的视频tu115，其中每个改变的视频tu115包括多个改变的数据有效载荷部分。因此，在mst模式中，tu115可以根据数据有效载荷部分的状态是改变的、部分未改变的或完全未改变的。在针对未改变的数据的sst和mst模式中，未改变的数据有效载荷表示未改变的像素数据(例如，使用“虚设”数据(sst模式)或定义的序列(mst模式))。

应当注意，取决于给定帧的当前扫描线的状态(改变或未改变)，在任一种操作模式中，单个帧可以包括改变的和未改变的tu的混合。另外，在本文所描述的一些实施例中，关于识别改变的扫描线与未改变的扫描线，视频编码逻辑114可以遵循“全有或全无”规则，这意味着，如果扫描线内的任何像素与先前帧相比已经发生改变，则视频编码逻辑114可以认为其是改变的扫描线，以用于生成该扫描线的tu。与使用扫描线作为比较的度量单位相反，在其他实施例中，可以将一组像素和/或像素块(例如，与tu的数据有效载荷大小相对应的像素块)用作比较的度量，这可以提供对帧的整体传输大小的进一步减小。

一般而言，tu115的某些控制序列(例如k27.7和k28.7控制序列)和未改变的数据有效载荷在整个传输过程中可以保持未加密状态，因为这些命令和数据并不代表需要加密以符合端到端保护要求等的信息。图形处理器电路106还可以包括加密逻辑116，该加密逻辑116被配置为对tu115的改变的数据有效载荷进行加密并生成至少部分加密的视频tu117的流。加密逻辑116可以包括符合视频行业标准(例如高清内容保护(hdcp)等)的加密协议、和/或其他常规和/或专有的加密协议。因此，可以减少或消除对未改变的tu113的数据有效载荷进行加密的处理要求。在一些实施例中，例如为了符合端到端加密要求，可以将解密逻辑112、帧缓冲器电路、视频传输编码逻辑和/或加密逻辑116隔离在可信执行环境(tee)107内，例如安全区域(se)执行环境和/或其他常规和/或专有安全环境，以防止暴露未加密的数据。图形处理器电路106还可以包括传输(tx)电路118，被配置为传输部分加密的视频tu117。发送电路118可以包括物理接口电路(phy电路，未示出)以使用时控串行数据流(例如8b/10b编码、130b/132b编码等)来传输数据。

源隧穿桥接电路108包括接收(rx)电路122以接收部分加密的视频tu117的流。总线隧穿编码电路124通常被配置为使用总线通信协议对部分加密的视频tu117进行编码，从而生成总线tu125的流。在一个示例实施例中，总线通信协议例如是符合或兼容usb4.x标准和/或该标准的较早和/或更高版本的通用串行总线(usb)通信协议。总线隧穿编码电路124被配置为解析部分加密的视频tu117以确定tu117是否包括改变或未改变的数据有效载荷。如上所述，在sst模式中，未改变的tu115可包括保持未加密状态的保留的控制序列(例如，k28.7)和“虚设”数据有效载荷，从而表示未改变的数据。在mst模式中，tu115可以包括保持未加密状态的具有保留的控制序列的至少一个数据有效载荷部分，从而表示未改变的数据。总线隧穿编码电路124被配置为在sst和mst模式中全部或部分地消除表示未改变数据的数据有效载荷部分。在sst模式中，对于包含保留的控制序列和“虚设”数据有效载荷的视频tu117，总线隧穿编码电路124生成包括报头的总线tu125，并且全部或部分地消除“虚设”数据有效载荷。同样在sst模式中，对于包括控制序列和加密的数据有效载荷的视频tu117，总线隧穿编码电路124生成包括报头和加密的数据有效载荷的总线tu125。在sst模式中并且对于未改变的视频tu117，总线tu125的报头包括至少一个定义的和/或保留的数据字段部分，该至少一个定义的和/或保留的数据字段部分填充有信息/数据以使宿域104能够重建与视频tu115相关联的“虚设”数据，如下所述。在mst模式中，对于包括控制序列和具有保留的控制序列的至少一个数据有效载荷部分的视频tu117，总线隧穿编码电路124生成包括报头的总线tu125，并且全部或部分地消除具有保留的控制序列的至少一个数据有效载荷部分。在mst模式中，对于仅包括控制序列和一个或多个加密的数据有效载荷部分的视频tu117，总线隧穿编码电路124生成包括报头和加密的数据有效载荷部分的总线tu125。在mst模式中并且对于具有至少一个未改变的数据有效载荷部分的视频tu117，总线tu125的报头包括至少一个定义的和/或保留的数据字段部分，该至少一个定义的和/或保留的数据字段部分填充有信息/数据以使宿域104能够重建视频tu115包括的未改变的数据有效载荷部分，如下所述。

通过全部或部分地消除未改变的数据有效载荷，本公开的总线tu125可以提供与传统方法相比显著的链路带宽节省。例如，典型的总线tu可以在256字节或更大的量级，但是在sst模式中，本公开的总线tu125的大小可以被显著地减小到32位(3字节)的量级。另外，由于未改变的数据和未改变的控制序列可以在整个传输过程中保持未加密，因此可以减少处理开销，因为源隧穿桥接电路108可以减少或消除对加密的tu流117的解密和重新加密操作。应当注意，如本文所使用的，“全部或部分地消除”是指可以显著或完全减少传输分组的数据有效载荷部分。因此，本公开内容的教导可以包括这样的实施例：与常规数据有效载荷大小相比，未改变的数据有效载荷没有被完全消除并且被少量的数据代替。

源隧穿桥接电路108还包括发送(tx)电路130，以经由总线链路138向宿域104发送总线tu125。链路138可以符合或兼容总线通信协议，例如上述usb总线通信协议。因此，在一些实施例中，链路138是usb兼容电缆(例如，esb-c型电缆等)以将源域102耦合到宿域104。应当注意，tu125可以是总线链路138上的连续分组流的一部分。

源域102还包括总线控制器电路132，通常被配置为与多个由总线连接的设备136交换命令和数据。总线控制器电路132可以符合或兼容总线通信协议，例如上述usb总线通信协议，并且由总线连接的设备136可以包括例如常规和/或专有usb设备(例如，硬盘驱动器、视频处理电路等)，并且还包括源隧穿桥接电路108和宿隧穿桥接电路140作为usb连接的设备。由总线连接的设备136可以各自通过类似于链路138的链路连接到总线控制器电路132。总线控制器电路132可以包括带宽分配逻辑134，被配置为在多个由总线连接的设备136之间分配带宽。带宽分配可以包括例如针对每个由总线连接的设备136建立带宽参数，例如针对给定链路建立最大数据速率和/或时钟速度、针对给定链路建立最小数据速率和/或时钟速度等等。带宽分配逻辑134可以被配置为动态地调整针对由总线连接的设备136的带宽参数，以使得例如一个设备上的多余带宽能够被分配给另一个设备。在本公开的上下文中，总线隧穿编码电路124可以被配置为生成带宽使用控制信号127，并且将带宽使用控制信号127转发到总线控制器电路132。响应于带宽使用控制信号127，总线控制器电路132可以将总线隧穿桥接电路124的未使用带宽重新分配给一个或多个其他由总线连接的设备136。例如，总线控制器电路132可以为源隧穿桥接电路108分配最大数据速率和/或时钟速度以将命令和数据传输到宿域104。例如，已全部或部分地消除未改变的数据有效载荷部分的tu125可以比包括(一个或多个)加密数据有效载荷部分的tu125小得多，并且分配给总线隧穿编码电路124的最大数据速率可以基于tu125的最大预期大小。在已全部或部分地消除未改变的数据有效载荷部分的tu125的传输期间，所需带宽可以相应地小于最大分配带宽，即，这种tu125的传输可以产生未使用的带宽。因此，总线控制器电路132可以将未使用的带宽分配给其他由总线连接的设备136。因此，可以实现总线控制器电路132的显著效率。

宿域104包括宿域隧穿桥接电路140，通常被配置为解码经由链路138接收的总线tu125，如下所述。宿域隧穿桥接电路140包括接收(rx)电路142以通过链路138从源域102接收命令和数据。宿域隧穿桥接电路140包括总线隧穿解码电路144以对总线tu125进行解码以生成部分加密的视频tu117。具体地，总线隧穿解码电路144被配置为解析总线tu125的报头以在sst模式中生成改变的或未改变的视频tu117，或者在mst模式中生成改变的、部分未改变的或完全未改变的视频tu117。在sst模式中，报头的定义的和/或保留的数据字段中的信息可以用于针对未改变的tu117的未改变的数据有效载荷重建“虚设”数据。同样，在sst模式中，保留的控制序列(例如，k28.7)可以替换为常规的控制序列，例如，k27.7控制序列。类似地，在mst模式中，报头的定义的和/或保留的数据字段中的信息可以用于针对未改变和/或部分未改变的视频tu117的未改变的数据有效载荷重建保留的控制序列。对于在sst模式中改变的或在mst模式中部分或全部改变的总线tu，总线隧穿解码电路144也可以被配置为解析总线tu127的报头以生成视频tu117，该视频tu具有控制序列和保持加密的至少一个数据有效载荷部分。因此，tu117可以代表具有加密的和未加密的数据有效载荷部分的tu的流。宿域隧穿桥接电路140还包括发送(tx)电路150以将视频tu流117发送到一个或多个宿设备152。

宿设备152可以概括为消费视频tu流117中包含的视频数据的端点。宿设备可以包括例如显示设备(例如，lcd显示器等)、存储设备等。通常，宿设备152可以包括接收(rx)电路154以从宿隧穿桥接电路140接收视频tu流150。宿设备152还可以包括解密逻辑156以解密视频tu流117中tu的(一个或多个)加密的数据有效载荷部分并且生成未加密的视频tu流115。解密逻辑156可以包括符合视频行业标准的解密协议，例如高清内容保护(hdcp)等，和/或其他常规的和/或专有的加密协议，并且这种解密协议可以是加密逻辑116的解密对方协议。宿设备152还可以包括视频传输解码逻辑158以将视频tu流115解码为至少一个宿设备152容易消耗的格式。视频传输解码逻辑158可以配置为解码由总线隧穿解码逻辑144重建的“虚设”数据和/或控制序列，以使至少一个宿设备152能够使用先前帧的像素数据刷新当前帧的像素数据。

虽然前面的描述主要针对displayport分组化视频传输协议和usb分组化总线通信协议的示例，但是应该理解，根据本文的教导可以使用其他视频传输协议和/或总线通信协议。例如，视频传输协议可以包括hdmi视频传输协议、mpeg视频传输协议、atscdtv视频传输协议等和/或其他常规的和/或专有的视频传输协议。又如，总线通信协议可以是thunderbolttm总线通信协议、网络通信协议(可以包括例如有线和/或无线网络接口协议)、firewiretmbus通信协议等和/或其他常规和/或专有总线通信协议。另外，源域102和/或宿域104可以包括其他电路/逻辑以执行其他视频处理和传输操作。例如，源隧穿桥接电路108和宿隧穿桥接电路140可以包括相应的压缩/解压缩逻辑以使得能够经由链路138压缩和解压缩传输分组。

继续参考图1，图2a示出了根据本公开的一个实施例的sst模式视频tu115’。该实施例的视频tu115’可以包括由视频传输协议(例如，displayport协议)定义的多个字段。空白结束(be)字段202可以用于指示帧的扫描线的开始，并且可以填充有定义的符号序列。在本公开的上下文中，be字段202可以包括“保留的”序列，例如k28.7序列(对于与先前帧相比未改变的扫描线)或k27.7序列(对于与先前扫描线相比改变的扫描线)。数据字段204可以填充有与扫描线的一部分相关联的像素数据。在本公开的上下文中，数据字段204可以包括用于与先前帧相比未改变的扫描线的“虚设”数据，或用于与先前扫描线相比改变的扫描线的像素数据。填充开始字段206、填充字段208和填充结束字段210可以由displayport协议定义，以例如使tu与定义的字节大小对齐。在该示例中，tu115’可以是64个字节长(不包括be字段202)，并且如图所示可以重复tu115’以完成数据的扫描线，其中在212处指示扫描线的结束。

继续参考图1，图2b示出了根据本公开的一个实施例的sst模式总线tu127’。该实施例的总线tu127’可以包括由总线通信协议(例如，usb通信协议)定义的多个字段。总线tu127’通常包括报头字段222和数据字段224。报头字段222可以包括字段和/或定义的序列以实现数据字段224的总线传输，例如，报头字段222可以包括源和目的地信息、字节计数信息等。数据字段224通常可以对应于图2a的视频tu数据字段204。如上所述，如果视频tu115’的数据字段204表示未改变的“虚设”数据，则该未改变的“虚设”数据可以在总线tu127’的数据字段224中被全部或部分地消除。

继续参考图1，图2c示出了根据本公开的一个实施例的sst模式总线tu报头222’。在该实施例中，当数据字段224表示未改变的数据并且如上面详细描述的那样被全部或部分消除时，可以使用报头222’。该实施例的报头222’包括视频计数字段226，该视频计数字段可用于指示在宿域104中要重建多少个字节的“虚设”数据。保留的序列字段228可以用于指示数据字段224已经被全部或部分地消除。在一个示例中，如可以在usb通信协议中定义的，可以在保留的数据字段228中使用保留序列[01]。该实施例的报头222’还可以包括填充计数字段230，该填充计数字段通常对应于视频tu115’的字段206、208和/或210。该实施例的报头222’还可以包括例如纠错码(ecc)字段232和/或可以由usb协议定义的其他字段。在该示例实施例中，报头222’可以是32位长，并且可以用于指示“虚设”数据的扫描线的全部或一部分。因此，不是将“虚设”数据从源域传输到宿域，而是报头222’可以用于表示“虚设”数据的扫描线的至少一部分，并且提供信息以在宿域中重建“虚设”数据有效载荷。报头222’因此可以提供与常规方法相比显著的链路带宽节省。

继续参考图1，图3a示出了根据本公开的一个实施例的mst模式视频tu115”。该实施例的视频tu115’可以包括由视频传输协议(例如，displayport协议)定义的多个字段。空白结束(be)字段302可以用于指示帧的扫描线的开始，并且可以填充有定义的符号序列。在本公开的上下文中，be字段302可以包括例如k27.7序列。报头字段304可以包括源和目的地信息、字节计数信息、封装在视频tu115”中的不同视频流的数量等。在mst模式下，视频tu115”可以包括多个流数据字段，例如，流1数据字段306、流2数据字段308等。尽管仅针对视频tu115”示出了两个流字段，但是应当理解，视频tu115’可以根据源域生成和/或宿域请求的视频流数量包括n个视频流数据。流1数据字段306和/或流2数据字段308可以填充有与扫描线的一部分相关联的像素数据。在本公开的上下文中，流1数据字段306和/或流2数据字段308可以是数据字段204，该数据字段204可以包括用于视频流的与先前帧相比未改变的扫描线的保留的控制序列数据，或用于与先前扫描线相比改变的扫描线的像素数据。填充结束字段210可以由displayport协议定义，以例如使tu与定义的字节大小对齐。在该示例中，tu115”可以是64个字节长(不包括be字段302)，并且如图所示可以重复tu115’以完成数据的扫描线，其中在312处指示扫描线的结束。

继续参考图1，图3b示出了根据本公开的一个实施例的mst模式总线tu127”。该实施例的总线tu127”可以包括由总线通信协议(例如，usb通信协议)定义的多个字段。总线tu127”通常包括报头字段322和参数/数据字段324。报头字段322可以包括字段和/或定义的序列，例如，报头字段322可以包括源和目的地信息、字节计数信息、封装在视频tu115’中的不同视频流的数量等。参数/数据字段324通常可以包括流1数据字段306和/或流2数据字段308的改变的视频数据。如果流1和流2表示未改变的数据，则如上所述，可以全部或部分地消除参数/数据字段324。如果流1或流2之一表示未改变的数据，则参数数据字段324的大小可以减小与未改变的流相对应的位数。

继续参考图1，图3c示出了根据本公开的一个实施例的mst模式总线tu报头322’。在该实施例中，当数据字段306和/或308中的至少一个表示未改变的数据并且如上面详细描述的那样被全部或部分地消除时，可以使用报头322’。该实施例的报头322’包括时隙号字段330，该时隙号字段330可以用于指示在宿域104中在视频tu中应当重建(一个或多个)未改变的数据有效载荷的位置。该实施例的报头322’还包括类型字段332，该类型字段332可以填充有保留数据以指示一个或多个数据有效载荷包括未改变的数据。例如，可以在类型字段334中使用保留序列[14]。该实施例的报头322’还包括数据计数字段334，该数据计数字段334可以用于指示在宿域104中将重建多少个字节的“虚设”数据(或者，如上所述，将在宿域104中重建表示未改变数据的多少字节的保留序列)。该实施例的报头322’还可以包括例如纠错码(ecc)字段336和/或可以由usb协议定义的其他字段。在该示例实施例中，报头322’可以是24位长，并且可以用于指示“虚设”数据的扫描线的全部或一部分。因此，不是将“虚设”数据从源域传输到宿域，而是报头322’可以用于表示“虚设”数据的扫描线的至少一部分，并且提供信息以在宿域中重建“虚设”数据有效载荷。报头322’因此可以提供与常规方法相比显著的链路带宽节省。

图4是根据本公开的一个实施例的减少视频流分组大小的操作的流程图400。该实施例的操作生成包括控制序列和未改变的数据有效载荷的视频传输单元(tu)，该未改变的数据有效载荷对应于视频帧的未改变的扫描线的定义数量个像素(402)。根据该实施例的操作还可以包括通过解析控制序列或未改变的数据有效载荷来生成总线tu，并且生成报头，该报头包括用于标识未改变的数据有效载荷的定义数量个像素的字段(404)。该实施例的操作还可以包括全部或部分地消除总线tu中未改变的数据有效载荷(406)。

图5是重建具有未改变的数据有效载荷的视频传输单元(tu)的流程图500。该实施例的操作包括：接收总线tu(502)；并且解析总线tu的报头，以识别与未改变的数据有效载荷相对应的定义数量个像素(504)。该实施例的操作还包括基于总线tu的报头中定义数量个像素来生成未改变的数据有效载荷(506)。该实施例的操作还包括生成视频tu，该视频tu包括所生成的未改变的数据有效载荷(508)。

图6示出了在视频传输系统中重新分配总线带宽的流程图600。该实施例的操作包括从总线隧穿桥接电路接收带宽使用控制信号(602)。该实施例的操作还包括将使用控制信号与分配给总线隧穿桥接电路的带宽参数进行比较(604)。该实施例的操作还包括基于带宽使用控制信号和分配的带宽参数将总线隧穿桥接电路的未使用带宽重新分配给另一个由总线连接的设备(606)。

尽管图4、图5和图6的流程图示出了根据各种实施例的操作，但是应当理解，对于其他实施例，图4、图5和/或图6中描绘的所有操作并非都是必需的。另外，本文中完全设想到在本公开的其他实施例中，图4、图5和/或图6中描绘的操作和/或本文所描述的操作和/或其他操作可以以在任何附图中未具体示出的方式进行组合，并且这些实施例可以包括比图4、图5和/或图6所示的更少或更多的操作。因此，针对未在一个附图中确切示出的特征和/或操作的权利要求被认为落入本公开的范围和内容内。

本文描述的操作的实施例可以在包括一个或多个存储设备的系统中实现，这些存储设备上个体地或以组合方式存储有当由一个或多个处理器执行时执行本文所述的一个或多个操作的指令。处理器可以包括例如处理单元和/或可编程电路和/或逻辑单元等。存储设备可以包括任何类型的有形非瞬变存储设备，例如任何类型的盘，包括软盘、光盘、致密盘只读存储器(cd-rom)、致密盘可重写(cd-rw)和磁光盘、半导体器件(诸如只读存储器(rom))、随机存取存储器(ram)(诸如动态和静态ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、闪速存储器、磁或光卡、或适合于存储电子指令的任何类型的存储设备。

如本文中的任何实施例中所使用的“电路”可以包括：例如，单个地或以任何组合，硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。如本文中所使用的“逻辑”可以包括：单个地或以任何组合，电路和/或代码和/或指令集(例如，软件、固件等)。

以下示例涉及进一步的实施例：

根据示例1，提供了一种视频传输系统，视频传输系统包括图形处理电路，图形处理电路用于生成视频传输单元(tu)，视频传输单元对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中视频tu包括控制序列和与第一视频帧的扫描线的定义数量个像素相对应的未改变的数据有效载荷。示例1还包括：源隧穿桥接电路，源隧穿桥接电路用于基于视频tu生成总线tu；源隧穿桥接电路用于解析视频tu的控制序列或未改变的数据有效载荷，并且生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的数据字段，并且源隧穿桥接电路用于全部或部分地消除总线tu中的未改变的数据有效载荷。

示例2可以包括根据示例1所述的元素，并且其中，未改变的数据有效载荷包括从“虚设”数据或保留的控制序列之一中选择的数据，保留的控制序列由分组化视频传输协议来定义。

示例3可以包括根据前述示例中任一项所述的元素，并且其中，控制序列是保留的控制序列，保留的控制序列由分组化视频传输协议定义。

示例4可以包括根据前述示例中任一项所述的元素，并且其中，控制序列、未改变的数据有效载荷和报头是未加密的。

示例5可以包括根据前述示例中任一项所述的元素，并且其中，总线tu符合分组化串行总线通信协议。

示例6可以包括根据前述示例中任一项所述的元素，并且还包括发送电路，发送电路用于向视频宿域发送总线tu。

示例7可以包括根据前述示例中任一项所述的元素，并且其中，视频tu符合分组化视频传输协议。

示例8可以包括根据前述示例中任一项所述的元素，并且还包括：总线控制器电路，总线控制器电路用于控制至少一个由总线连接的设备的操作；总线控制器电路包括带宽分配逻辑，该带宽分配逻辑用于设置源隧穿桥接电路发送总线tu的至少一个带宽参数；并且其中，隧穿桥接电路用于生成指示发送总线tu的带宽要求信息的带宽控制信号；并且其中，带宽分配逻辑用于基于至少一个带宽参数和带宽需求信息将带宽重新分配给至少一个由总线连接的设备。

示例9可以包括根据前述示例中任一项所述的元素，并且还包括：宿隧穿桥接电路，宿隧穿桥接电路用于接收总线tu并基于总线tu生成视频tu的未改变的数据有效载荷；宿隧穿桥接电路用于解析总线tu的报头并且至少部分地基于报头中的数据字段来生成未改变的数据有效载荷。

根据示例10，提供了至少一个计算机可读设备，存储有指令，指令在由至少一个处理器执行时执行包括以下各项的操作：生成视频传输单元(tu)，视频传输单元对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中视频tu包括控制序列和与第一视频帧的扫描线的定义数量个像素相对应的未改变的数据有效载荷；解析视频tu的控制序列或未改变的数据有效载荷；并且生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的数据字段，并且全部或部分地消除总线tu中的未改变的数据有效载荷。

示例11可以包括根据示例10所述的元素，并且其中，未改变的数据有效载荷包括从“虚设”数据或保留的控制序列之一中选择的数据，保留的控制序列由分组化视频传输协议来定义。

示例12可以包括根据示例10所述的元素，并且其中，控制序列是保留的控制序列，保留的控制序列由分组化视频传输协议定义。

示例13可以包括根据示例10所述的元素，并且其中，控制序列、未改变的数据有效载荷和报头是未加密的。

示例14可以包括根据示例10所述的元素，并且其中，总线tu符合分组化串行总线通信协议。

示例15可以包括根据示例10所述的元素，并且进一步包括指令，指令在由至少一个处理器执行时实现包括以下各项的进一步操作：向视频宿域发送总线tu。

示例16可以包括根据示例10所述的元素，并且其中，视频tu符合分组化视频传输协议。

示例17可以包括根据示例10所述的元素，并且进一步包括指令，指令在由至少一个处理器执行时实现包括以下各项的进一步操作：生成指示发送总线tu的带宽要求信息的带宽控制信号。

示例18可以包括根据示例10和17所述的元素，并且进一步包括指令，指令当由至少一个处理器执行时导致包括以下各项的进一步操作：分配至少一个带宽参数用于发送总线tu；并且基于至少一个带宽参数和带宽需求信息将带宽重新分配给至少一个由总线连接的设备。

示例19可以包括根据示例10所述的元素，并且进一步包括指令，指令当由至少一个处理器执行时导致包括以下各项的进一步操作：接收总线tu；并且解析总线tu的报头并且至少部分地基于报头的数据字段来生成未改变的数据有效载荷。

根据示例20，提供了一种视频传输系统，视频传输系统包括：图形处理电路，图形处理电路用于生成未改变的视频传输单元(tu)，未改变的视频传输单元对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中视频tu包括第一控制序列和与第一视频帧的扫描线的定义数量个像素相对应的未改变的数据有效载荷；图形处理电路还用于生成改变的视频传输单元(tu)，改变的视频传输单元对应于第一视频帧的与第二视频帧相比改变的扫描线，其中改变的视频tu包括第二控制序列和与第一视频帧的扫描线的定义数量个像素相对应的改变的数据有效载荷。示例的视频传输系统还包括源隧穿桥接电路，源隧穿桥接电路用于基于未改变的视频tu生成总线tu；源隧穿桥接电路用于解析未改变的视频tu的第一控制序列或未改变的数据有效载荷，并且生成具有报头的总线tu，报头包括用于识别未改变的数据有效载荷的定义数量个像素的数据字段，并且源隧穿桥接电路用于全部或部分地消除总线tu中的未改变的数据有效载荷。

示例21可以包括根据示例20所述的元素，并且其中，未改变的数据有效载荷包括从“虚设”数据或保留的控制序列之一中选择的数据，保留的控制序列由分组化视频传输协议来定义。

示例22可以包括根据示例20所述的元素，并且其中，控制序列是保留的第一控制序列，保留的控制序列由分组化视频传输协议定义。

示例23可以包括根据示例20所述的元素，并且还包括加密逻辑，加密逻辑用于对改变的数据有效载荷进行加密，并且其中第一控制序列、未改变的数据有效载荷和报头是未加密的。

示例24可以包括根据示例20所述的元素，并且还包括：总线控制器电路，总线控制器电路用于控制至少一个由总线连接的设备的操作；总线控制器电路包括带宽分配逻辑，该带宽分配逻辑用于设置源隧穿桥接电路发送未改变的总线tu的至少一个带宽参数；并且其中，隧穿桥接电路用于生成指示发送未改变的总线tu的带宽要求信息的带宽控制信号；并且其中，带宽分配逻辑用于基于至少一个带宽参数和带宽需求信息将带宽重新分配给至少一个由总线连接的设备。

示例25可以包括根据示例20所述的元素，并且还包括：宿隧穿桥接电路，宿隧穿桥接电路用于接收总线tu并基于总线tu生成未改变的视频tu的未改变的数据有效载荷；宿隧穿桥接电路用于解析总线tu的报头并且至少部分地基于报头中的数据字段来生成未改变的数据有效载荷。

根据示例26，提供了一种视频处理系统，视频处理系统包括用于生成视频传输单元(tu)的装置，视频传输单元对应于第一视频帧的与第二视频帧相比未改变的扫描线，其中视频tu包括控制序列和与第一视频帧的扫描线的定义数量个像素相对应的未改变的数据有效载荷。示例的视频处理系统还包括：用于基于视频tu生成总线tu的装置；用于解析视频tu的控制序列或未改变的数据有效载荷的装置，以及用于生成具有报头的总线tu的装置，报头包括用于识别未改变的数据有效载荷的定义数量个像素的数据字段，并且用于全部或部分地消除总线tu中的未改变的数据有效载荷的装置。

示例27可以包括根据示例26所述的元素，并且其中，未改变的数据有效载荷包括从“虚设”数据或保留的控制序列之一中选择的数据，保留的控制序列由分组化视频传输协议来定义。

示例28可以包括根据示例26所述的元素，并且其中，控制序列是保留的控制序列，保留的控制序列由分组化视频传输协议定义。

示例29可以包括根据示例26所述的元素，并且其中，控制序列、未改变的数据有效载荷和报头是未加密的。

示例30可以包括根据示例26所述的元素，并且其中，总线tu符合分组化串行总线通信协议。

示例31可以包括根据示例26所述的元素，并且还包括用于向视频宿域发送总线tu的装置。

示例32可以包括根据示例26所述的元素，并且其中，视频tu符合分组化视频传输协议。

示例33可以包括根据示例26所述的元素，并且还包括用于控制至少一个由总线连接的设备的操作的装置，控制装置包括；带宽分配装置，带宽分配装置用于设置源隧穿桥接电路发送总线tu的至少一个带宽参数；并且其中，用于生成总线tu的装置用于生成指示发送总线tu的带宽要求信息的带宽控制信号；并且其中，带宽分配装置用于基于至少一个带宽参数和带宽需求信息将带宽重新分配给至少一个由总线连接的设备。

示例34可以包括根据示例26所述的元素，并且还包括用于接收总线tu并基于总线tu生成视频tu的未改变的数据有效载荷的装置，包括用于解析总线tu的报头并且至少部分地基于报头的字段来生成未改变的数据有效载荷的装置。

根据示例35，提供了一种减小视频流分组大小的方法，方法包括生成包括控制序列和未改变的数据有效载荷的视频传输单元(tu)，未改变的数据有效载荷对应于视频帧的未改变的扫描线的定义数量个像素。该示例的方法还包括：通过解析控制序列或未改变的数据有效载荷来生成总线tu，并且生成报头，报头包括用于标识未改变的数据有效载荷的定义数量个像素的字段。该示例的方法还包括全部或部分地消除总线tu中未改变的数据有效载荷。

根据示例36，提供了一种重建具有未改变的数据有效载荷的视频传输单元(tu)的方法，该示例的方法包括：接收总线tu；并且解析总线tu的报头以识别与未改变的数据有效载荷相对应的定义数量的像素。该示例的方法还包括：基于与未改变的数据有效载荷相对应的定义数量个像素来生成未改变的数据有效载荷；并且生成视频tu，视频tu包括所生成的未改变的数据有效载荷。

根据示例37，提供了一种在视频传输系统中重新分配总线带宽的方法，该示例的方法包括：从总线隧穿桥接电路接收带宽使用控制信号。该示例的方法还包括将使用控制信号与分配给总线隧穿桥接电路的带宽参数进行比较。该示例的方法还包括基于带宽使用控制信号和分配的带宽参数将总线隧穿桥接电路的未使用带宽重新分配给另一个由总线连接的设备。

本文已经描述了各种特征、方面和实施例。如本领域技术人员将理解的，特征、方面和实施例易于彼此组合并且进行变化和修改。因此，应当认为本公开包括这些组合、变化和修改。