视频处理装置与其视频处理电路的制作方法

本专利申请是申请号为201410676407.6的名称为“视频处理装置与其视频处理电路”的发明专利申请的分案申请，原申请的申请日是2014年11月21日。

本发明涉及一种视频处理装置，尤其涉及一种有效率地分配多个存储器带宽的视频处理装置电路与其视频处理电路。

背景技术：

随着科技日新月异，由于目前视频处理系统通常需要处理、解码高画质的视频数据，例如解码高分辨率画质(例如是hd、uhd、4k2k等)的视频流就需要5千兆字节/秒(gbytes/s)的传输带宽，故对于具有视频解码器(或是编码器、解码器)和/或视频处理器的视频处理系统来说，普遍都需要较高的存储器带宽以负荷高画质的视频数据。

一般而言，当视频处理器将重建的视频帧(frame)写入存储器中，并且从所述存储器中读取其他视频帧进行一些修改(例如是边缘增强，降低噪声，缩放图像等影像处理)时，则对同一个存储器芯片频繁地存取将造成存储器带宽拥塞的问题发生，从而影响视频解码器的性能。

技术实现要素：

本发明提供一种视频处理装置与其视频处理电路，通过视频处理电路中的多个存储器并分配操作所需的带宽，从而有效解决存储器带宽拥塞的问题。

本发明实施例所述的一种视频处理电路包括视频处理器、第一存储器控制器、第二存储器控制器以及分配器。视频处理装置包括至少一子处理任务处理器，分别经配置以执行一个或多个子处理任务中的对应者。第一存储器控制器控制第一存储器。第二存储器控制器控制第二存储器。分配器耦接至视频处理器、第一存储器控制器与第二存储器控制器，分配器将视频处理器所输出的数据经由第一存储器控制器与第二存储器控制器分配存储至第一存储器与第二存储器，以及将存储在第一存储器中的数据和存储在第二存储器中的数据中的至少一个提供给视频处理器。当视频处理器存取存储在第一存储器中的数据和存储在第二存储器中的数据的所述至少一个时，分配器依据第一存储器与第二存储器的带宽使用状态而动态地调整到第一存储器的传输带宽和到第二存储器的传输带宽。

本发明实施例所述的一种视频处理电路，包括视频处理器、第一存储器控制器、第二存储器控制器以及分配器。所述视频处理器包括至少一子处理任务处理器分别经配置以执行一个或多个子处理任务中的对应者。所述第一存储器控制器控制所述第一存储器。所述第二存储器控制器控制所述第二存储器。所述分配器耦接至所述视频处理器、第一存储器控制器与第二存储器控制器，并将所述视频处理器所输出的数据经由所述第一存储器控制器与所述第二存储器控制器分配存储至所述第一存储器与所述第二存储器，以及将存储在第一存储器中的数据和存储在第二存储器中的数据中的至少一个提供给视频处理器。分配器将视频处理器所输出的视频帧当中第一部分存储至第一存储器，并将视频处理器所输出的相同视频帧当中第二部分存储至第二存储器。

本发明实施例所述的一种视频处理装置，包括第一存储器、第二存储器以及视频处理电路。所述视频处理电路耦接至所述第一存储器与所述第二存储器，所述视频处理电路包括视频处理器、第一存储器控制器、第二存储器控制器以及分配器。所述视频处理器包括至少一子处理任务处理器分别经配置以执行一个或多个子处理任务中的对应者。所述第一存储器控制器控制所述第一存储器。所述第二存储器控制器控制所述第二存储器。所述分配器耦接至所述视频处理器、第一存储器控制器与第二存储器控制器，并将所述视频处理器所输出的数据经由所述第一存储器控制器与所述第二存储器控制器分配存储至所述第一存储器与所述第二存储器，以及将存储在第一存储器中的数据和存储在第二存储器中的数据中的至少一个提供给视频处理器。分配器将视频处理器所输出的视频帧的第一部分存储至第一存储器，以及将视频处理器所输出的相同视频帧的第二部分存储至第二存储器。

在本发明的一实施例中，上述的至少一子处理任务处理器当中每一者，还通过所述分配器，经由所述第一存储器控制器与所述第二存储器控制器当中至少一者，存取对应的所述第一存储器或所述第二存储器。

在本发明的一实施例中，上述的视频处理电路还包括：压缩器以及解压缩器。所述压缩器耦接于所述至少一子处理任务处理器当中一者与所述分配器之间。所述解压缩器耦接于所述至少一子处理任务处理器当中另一者与所述分配器之间。

在本发明的一实施例中，上述的视频处理电路还包括压缩与解压缩器，其耦接于所述至少一子处理任务处理器当中一者与所述分配器之间。

在本发明的一实施例中，上述的分配器将所述视频处理器所输出的所述数据当中至少一部分存储至所述第一存储器并复制至所述第二存储器。

在本发明的一实施例中，上述的分配器将所述视频处理器所输出的所述数据的第一部分分配存储至所述第一存储器，以及将所述视频处理器所输出的所述数据的第二部分分配存储至所述第二存储器。

在本发明的一实施例中，上述的一个或多个子处理任务当中的一者是一解码任务，而所述至少一子处理任务处理器当中的一者是一视频解码处理器，经配置以执行所述解码任务而从一视频编码数据中重建至少一视频帧，以及所述一个或多个子处理任务当中的另一者是一后解码任务，而所述至少一子处理任务处理器当中另一者是一后解码处理器，经配置以对经所述视频解码处理器重建的所述视频帧执行所述后解码任务。

在本发明的一实施例中，上述的分配器将所述视频解码处理器所输出的所述视频帧存储至所述第一存储器与所述第二存储器，所述视频解码处理器经由所述分配器与所述第一存储器控制器存取所述第一存储器中的所述视频帧，而所述后解码处理器经由所述分配器与所述第二存储器控制器存取所述第二存储器中的所述视频帧。

在本发明的一实施例中，上述的视频处理电路还包括压缩器以及解压缩器。压缩器耦接于所述视频解码处理器与所述分配器之间，所述压缩器压缩所述视频解码处理器所输出的所述视频帧而获得至少一经压缩帧，其中所述分配器将所述压缩器所输出的所述经压缩帧存储至所述第二存储器。解压缩器耦接于所述后解码处理器与所述分配器之间，所述解压缩器经由所述分配器与所述第二存储器控制器从所述第二存储器提取并解压缩所述经压缩帧，而获得至少一经解压缩帧给所述后解码处理器。

在本发明的一实施例中，上述的视频处理电路还包括压缩与解压缩器，其耦接于所述视频解码处理器与所述分配器之间，其中所述压缩与解压缩器压缩所述视频解码处理器所输出的所述视频帧而获得至少一经压缩帧，所述分配器将所述压缩与解压缩器所输出的所述经压缩帧存储至所述第一存储器，以及所述压缩与解压缩器经由所述分配器与所述第一存储器控制器从所述第一存储器提取并解压缩所述经压缩帧，而获得至少一经解压缩帧给所述视频解码处理器。

在本发明的一实施例中，上述的分配器将所述视频解码处理器所输出的所述视频帧存储至所述第一存储器并复制至所述第二存储器。

在本发明的一实施例中，上述的分配器将所述视频解码处理器所输出的所述视频帧的一第一部分分配存储至所述第一存储器，以及将所述视频解码处理器所输出的所述视频帧的一第二部分分配存储至所述第二存储器。

在本发明的一实施例中，上述的第一部分包括所述视频帧的亮度数据，而所述第二部分包括所述视频帧的色度数据。

在本发明的一实施例中，上述的第一部分包括所述视频帧的一部分条线数据，而所述第二部分包括所述视频帧的另一部分条线数据。

基于上述，本发明所提出一种视频处理电路与应用该视频处理电路的视频处理装置，可通过在视频处理电路中配置的多个存储器控制器，并通过分配器分配视频数据操作所需的存储带宽，从而有效解决存储器带宽拥塞的问题。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明的一实施例的一种视频处理装置10的电路方块示意图；

图2是依照本发明一实施例说明图1所示视频处理装置10与其视频处理电路100的数据流示意图；

图3是依照本发明另一实施例说明图1所示视频处理装置10与其视频处理电路100的数据流示意图；

图4是依照本发明的另一实施例说明一种视频处理装置40的电路方块示意图；

图5是依照本发明一实施例说明图4所示视频处理装置40与其视频处理电路400的数据流示意图；

图6是依照本发明的又一实施例说明一种视频处理装置60的电路方块示意图。

附图标记说明：

10、40、60：视频处理装置；

100、400、600：视频处理电路；

110：视频处理器；

112、114：子处理任务处理器；

120：第一存储器控制器；

122：第一存储器；

130：第二存储器控制器；

132：第二存储器；

140：分配器；

150：压缩器；

160：解压缩器；

170：压缩与解压缩器；

f1：参考视频帧；

f2：重建帧；

f3：视频帧；

f2’：经压缩帧。

具体实施方式

现将详细参考本发明的示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/符号代表相同或类似部分。

图1是依照本发明的一实施例的一种视频处理装置10的电路方块示意图。参照图1，视频处理装置10包括视频处理电路100、至少一个第一存储器122与至少一个第二存储器132。视频处理电路100包括视频处理器110、第一存储器控制器120、第二存储器控制器130以及分配器(distributor)140，其中分配器140耦接于第一存储器控制器120、第二存储器控制器130与视频处理器110之间。在本实施例中，视频处理器110包括至少一个子处理任务处理器(例如图1所示子处理任务处理器112与子处理任务处理器114)。所述至少一个子处理任务处理器分别经配置以执行对应的一个或多个子处理任务(sub-processingtasks，例如是解码任务、后解码任务或是其他视频处理任务)。基于简单与清晰的原则，在图1的视频处理器110中仅所示两个子处理任务处理器112与子处理任务处理器114，但视频处理器110中的子处理任务处理器的数量并不以此为限制。

在图1中，第一存储器控制器120与第二存储器控制器130分别控制对应的第一存储器122与第二存储器132。而分配器140将视频处理器110所输出的数据经由第一存储器控制器120与第二存储器控制器130分配存储至第一存储器122与第二存储器132。视频处理器110中的所述至少一子处理任务处理器当中每一者，其可通过分配器140、第一存储器控制器120与第二存储器控制器130当中至少一对应者，存取第一存储器122与第二存储器132的至少其中的一者。举例来说，视频处理器110中的子处理任务处理器112可通过分配器140与第一存储器控制器120，对第一存储器122进行数据存取，以及/或是通过分配器140与第二存储器控制器130对第二存储器132进行数据存取。以此类推，视频处理器110中的子处理任务处理器114也可通过分配器140对第一存储器122与第二存储器132的至少其中的一者进行数据存取。

值得注意的是，分配器140可根据不同的分配规则分配将视频数据存储至对应的存储器中。举例来说，在一些实施例中，分配器140可经由第一存储器控制器120将视频处理器110所输出的视频数据中至少一部分存储至第一存储器122，并将此相同数据经由第二存储器控制器130复制至第二存储器132。因此，由于第一存储器122与第二存储器132均载有相同的视频数据。当视频处理器110欲读取(取回)所述视频数据时，分配器140即可视存储器的带宽使用状态分别动态地调整对于第一存储器122的传输带宽与对于第二存储器132的传输带宽。举例而言，第一存储器122的带宽为70％，第二存储器132的带宽为30％，因此分配器140可以从第一存储器122取得所述视频数据中的70％数据，以及从第二存储器132取得所述视频数据中的另外30％数据，以及将此视频数据传给视频处理器110。然而，上述带宽的分配方式并不以此为限。

在另一实施例中，分配器140可将视频处理器110所输出的视频数据(例如视频帧)分为两个部分，其中视频处理器110所输出的数据的第一部分被分配存储至第一存储器122，而视频处理器110所输出的数据的第二部分被分配存储至第二存储器132，从而达到减缓存储器频带拥塞的情形。更详细而言，上述视频处理器110所输出的视频数据的分配方式可根据的视频数据的种类进行分配。

举例而言，假设视频处理器110处理的子处理任务为视频解码任务时，则视频处理器110中的子处理任务处理器112可为视频解码处理器，用以执行解码任务而从视频编码数据中重建至少一视频帧(视频数据)。此视频数据的所述第一部分可包括视频帧的亮度数据(y)，而此视频数据的所述第二部分可包括视频帧的色度数据(c)。以色彩格式yuv2:2:0为例，第一存储器122可以具有总带宽的三分之二，而第二存储器132则可以具有总带宽的三分之一。经由分配器140、第一存储器控制器120与第二存储器控制器130，所述视频解码处理器(即子处理任务处理器112)可将视频数据的亮度数据(y)存入第一存储器122中，以及将色度数据(c)存入第二存储器132中。经由分配器140、第一存储器控制器120与第二存储器控制器130，所述视频解码处理器(即子处理任务处理器112)可以从第一存储器122取回亮度数据(y)，以及从第二存储器132取回色度数据(c)。

再举例而言，上述视频处理器110所输出的视频数据的所述第一部分可包括视频帧的一部分条线数据(例如是奇数线)，而视频数据的所述第二部分包括视频帧的另一部分条线数据(例如是偶数线)，但不以此为限。经由分配器140、第一存储器控制器120与第二存储器控制器130，所述视频解码处理器(例如子处理任务处理器112)可将视频数据(例如视频帧)的偶数线数据存入第一存储器122中，以及将奇数线数据存入第二存储器132中。经由分配器140、第一存储器控制器120与第二存储器控制器130，所述视频解码处理器(例如子处理任务处理器112)可以从第一存储器122取回偶数线数据，以及从第二存储器132取回奇数线数据。

在另一些实施例中，当视频处理器110处理的子处理任务为解码任务时，则视频处理器110中的子处理任务处理器112可为视频解码处理器，用以执行解码任务而从视频编码数据中重建至少一视频帧。在其他实施例中，视频处理器110中的子处理任务处理器112可以是视频编码器(videoencoder)或是视频编解码器(videocodec)。而当视频处理器110处理的子处理任务为后解码任务时，则视频处理器110中的子处理任务处理器114可为后解码处理器，用以对经视频解码处理器重建的视频帧执行后解码任务。

举例来说，图2是依照本发明一实施例说明图1所示视频处理装置10与其视频处理电路100的数据流示意图。分配器140可以从第一存储器122(经由第一存储器控制器120)读取参考视频帧(referenceframe)f1，以便提供参考视频帧f1给子处理任务处理器112(例如为视频解码处理器)。子处理任务处理器112(例如为视频解码处理器)可以依照参考视频帧f1执行解码任务，而获得重建帧(reconstructionframe)f2。分配器140可以将子处理任务处理器112(例如为视频解码处理器)所输出的重建帧f2(视频数据)存储至第一存储器122(经由第一存储器控制器120)。子处理任务处理器114(例如为后解码处理器)可以经由分配器140与第一存储器控制器120而从第一存储器122提取重建帧f2(视频数据)。子处理任务处理器114可以及对重建帧f2进行一些调制操作(modifications)，例如边缘增强(edgeenhancement)、时间噪声降低(temporalnoisereduction)、图片缩放(picturescaling)等等。分配器140可以将子处理任务处理器114所输出的所述调制操作的结果(视频帧f3)存储至取第二存储器132(经由第二存储器控制器130)。

然而在极少数应用情境中，子处理任务处理器114从第一存储器122提取重建帧f2(视频数据)，将会增加对第一存储器122的带宽负载(bandwidthloading)，甚至造成带宽拥塞(bandwidthcongestion)。带宽拥塞可能影响子处理任务处理器112(例如为视频解码处理器)的性能。

图3是依照本发明另一实施例说明图1所示视频处理装置10与其视频处理电路100的数据流示意图。图3所示实施例可以参照图2的说明而类推之。在图3所示实施例中，为了降低对第一存储器122的带宽负载，分配器140除了可经由第一存储器控制器120将子处理任务处理器112(例如为视频解码处理器)所产生的重建帧f2(视频帧)存储至第一存储器122，还可以将此相同重建帧f2(视频帧)经由第二存储器控制器130复制至第二存储器132。子处理任务处理器112可以经由分配器140与第一存储器控制器120存取第一存储器122中的视频帧(例如取回重建帧f2)。子处理任务处理器114可以经由分配器140与第二存储器控制器130存取第二存储器132中的视频帧。由于第一存储器122与第二存储器132均载有相同的重建帧f2，当子处理任务处理器114(例如为后解码处理器)欲读取所述重建帧f2时，分配器140即可经由第二存储器控制器130从第二存储器132提取重建帧f2给子处理任务处理器114，而不需要从第一存储器122提取重建帧f2。因此，相较于图2所示实施例，图3所示实施例可以降低对第一存储器122的带宽负载，而子处理任务处理器112(例如为视频解码处理器)的性能会更好。

在其他实施例中，分配器140可以将视频解码处理器(子处理任务处理器112)所输出的视频帧的第一部分分配存储至第一存储器122，以及将视频解码处理器(子处理任务处理器112)所输出的视频帧的第二部分分配存储至第二存储器132。其中，所述该第一部分包括该视频帧的亮度数据，而所述第二部分包括该视频帧的色度数据。或者，所述第一部分包括该视频帧的一部分条线数据(例如偶数条线数据)，而所述第二部分包括该视频帧的另一部分条线数据(例如奇数条线数据)。

图4是依照本发明的另一实施例说明一种视频处理装置40的电路方块示意图。图4所示视频处理装置40包括视频处理电路400、第一存储器122与第二存储器132。图4所示视频处理装置40、视频处理电路400、第一存储器122与第二存储器132可以参照图1至图3所示视频处理装置10、视频处理电路100、第一存储器122与第二存储器132的相关说明而类推。请参照图4，图4中的视频处理电路400包括视频处理器110、第一存储器控制器120、第二存储器控制器130、分配器140以及压缩与解压缩器170。图4所示视频处理器110、第一存储器控制器120、第二存储器控制器130与分配器140可以参照图1至图3的相关说明而类推。

压缩与解压缩器170耦接于视频处理器110的子处理任务处理器当中一者(例如子处理任务处理器112或子处理任务处理器114)与分配器140之间。压缩与解压缩器170可以对于子处理任务处理器(例如子处理任务处理器112或子处理任务处理器114)所输出的视频帧进行压缩而获得至少一经压缩帧。分配器140可以将压缩与解压缩器170所输出的经压缩帧，经由第一存储器控制器120存储至第一存储器122。此外，压缩与解压缩器170可以经由分配器140与第一存储器控制器120从第一存储器122提取并解压缩所述经压缩帧，而获得至少一经解压缩帧给视频处理器110的子处理任务处理器(例如子处理任务处理器112或子处理任务处理器114)。

举例来说，若子处理任务处理器112为视频解码处理器时，则压缩与解压缩器170压缩视频解码处理器(即子处理任务处理器112)所输出的视频帧而获得至少一经压缩帧，分配器140将压缩与解压缩器170所输出的经压缩帧经由第一存储器控制器120存储至第一存储器122。此外，压缩与解压缩器170经由分配器140与第一存储器控制器120从第一存储器122提取并解压缩经压缩帧，而获得至少一经解压缩帧给视频解码处理器(即子处理任务处理器112)。

在另一实施例中，分配器140可以将压缩与解压缩器170所输出的经压缩帧，经由第二存储器控制器130存储至第二存储器132。此外，压缩与解压缩器170可以经由分配器140与第二存储器控制器130从第二存储器132提取并解压缩所述经压缩帧，而获得至少一经解压缩帧给视频处理器110的子处理任务处理器(例如子处理任务处理器112或子处理任务处理器114)。

图5是依照本发明一实施例说明图4所示视频处理装置40与其视频处理电路400的数据流示意图。图5所示实施例可以参照图3所示子处理任务处理器112、子处理任务处理器114、第一存储器控制器120、第二存储器控制器130与分配器140的相关说明而类推之，故不再赘述。在图5所示实施例中，为了节省第一存储器122的存储空间，压缩与解压缩器170压缩了子处理任务处理器112(例如视频解码处理器)所输出的视频帧(重建帧f2)而获得经压缩帧f2’。分配器140将压缩与解压缩器170所输出的经压缩帧f2’经由第一存储器控制器120存储至第一存储器122。压缩与解压缩器170可以经由分配器140与第一存储器控制器120从第一存储器122提取并解压缩所述经压缩帧f2’，而获得至少一经解压缩帧给子处理任务处理器112(例如视频解码处理器)。

图6是依照本发明的又一实施例说明一种视频处理装置60的电路方块示意图。图6所示视频处理装置60包括视频处理电路600、第一存储器122与第二存储器132。图6所示视频处理装置60、视频处理电路600、第一存储器122与第二存储器132可以参照图1至图3所示视频处理装置10、视频处理电路100、第一存储器122与第二存储器132的相关说明而类推。图6中的视频处理电路600包括视频处理器110、第一存储器控制器120、第二存储器控制器130、分配器140、压缩器150以及解压缩器160。图6所示视频处理器110、第一存储器控制器120、第二存储器控制器130与分配器140可以参照图4的相关说明而类推。

压缩器150耦接于视频处理器110的所述至少一子处理任务处理器当中一者与分配器140之间。解压缩器160耦接于视频处理器110的所述至少一子处理任务处理器当中另一者与分配器140之间。举例来说，压缩器150耦接于子处理任务处理器112(例如视频解码处理器)与分配器140之间，而解压缩器160耦接于子处理任务处理器114(例如后解码处理器)与分配器140之间。压缩器150用以压缩即子处理任务处理器112所输出的视频帧而获得至少一经压缩帧，其中分配器140将压缩器150所输出的经压缩帧经由第二存储器控制器130存储至第二存储器132。解压缩器160经由分配器140与第二存储器控制器130从第二存储器132提取并解压缩所述经压缩帧，而获得至少一经解压缩帧给子处理任务处理器114。

举例来说，若子处理任务处理器112为视频解码处理器时，则压缩器150用以压缩视频解码处理器(即子处理任务处理器112)所输出的视频帧而获得至少一经压缩帧。分配器140将压缩器150所输出的经压缩帧存储至第二存储器132。解压缩器160经由分配器140与第二存储器控制器130从第二存储器132提取并解压缩经压缩帧，而获得至少一经解压缩帧给后解码处理器(即子处理任务处理器114)。

综上所述，本发明实施例所提出一种视频处理电路与应用该视频处理电路的视频处理装置。视频处理装置中的视频处理器电路可将视频处理器所产生的视频数据存储于多个存储器中。藉此分配器分配存储器带宽，以致于各个存储器的带宽足以应付更高分辨率的视频流，从而有效解决存储器带宽拥塞的问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。