一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法与流程

本发明属于视频图像处理技术领域，具体涉及一种多缩放模块及其并行工作方法。

背景技术：

为了追求更清晰、更细腻、更逼真的观看体验，在显示设备上，出现了1080p、4k、8k以及更高分辨和支持更多视场的显示终端：如裸眼3d电视等。这对视频图像处理技术提出了更高的要求。

在高分辨率显示设备逐渐普及的情况下，与分辨率相匹配的视频源是良好画质的必要条件。但就目前的情况来看，720p、1080p分辨率视频源日渐丰富，4k以及更高分辨率视频源相对匮乏。为使4k及更高分辨率的显示设备可以有良好的显示效果，须将720p、1080p等分辨率视频源进行插值放大。由于分辨率的提升，数据吞吐量急剧上升。在相同的帧频下，以4k分辨率为例，其一帧图片的像素量是1080p分辨率的4倍，是720p分辨率的9倍。如果采用单一缩放模块对视频图像进行放大，其工作频率也要随着显示终端的分辨率提高相应的倍数。以输入视频源为1080p@60hz为例，其像素时钟频率为148.5mhz，将其放大至4k分辨率时，数据吞吐量要提高至4倍，单一缩放模块的工作频率将会达到594mhz。所以，当显示终端的分辨率提升到8k、16k甚至更高的时候，采用单一模块的工作频率需达到上千兆。

技术实现要素：

本发明的目的在于提供一种兼容不同分辨率和宽长比的多视频缩放模块及其并行工作方法，以解决上述技术问题；本发明在满足数据吞吐量的前提下，有效降低了缩放模块的工作频率，使之可以在相对较低的时钟频率情况下稳定工作，并保证了视频处理的实时性。

为了实现上述目的，本发明采用如下技术方案：

一种兼容不同分辨率和宽长比的多视频缩放模块并行工作方法，包括：

(1)、根据输入视频分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，从缩放模块组合中确定启动缩放模块的个数

(2)、根据步骤(1)确定的缩放模块个数和缩放算法，构建插值窗；

(3)、由缩放模块产生控制信号，从行存中读取数据并更新到插值窗中；

(4)、根据缩放模块产生的控制信号，从步骤(2)构建的插值窗中选取对应数据分别送到工作的缩放模块；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据融合输出。

进一步的，插值窗的规模为n×m；n取决于构造插值窗所需要的行存数目，m取决于全部缩放模块在同一时钟周期需要的不同插值窗的个数，且m≥n；两个相邻插值像素点计算所需要的不同插值窗存在多列的公共部分。

进一步的，行存中数据的读取和插值窗中数据的更新由缩放模块产生的控制信号来控制，该控制信号还负责从插值窗中选取对应的组合和数据调度，作为各缩放模块的输入。

进一步的，每个缩放模块由一个控制器和计算单元构成；计算单元用于实现插值缩放功能；控制器用于根据所要缩放的目标点，来确定插值窗在原图像中的位置，并产生读地址和使能信号，从行存中读取像素点的值，并对插值窗中的数据进行更新。

一种兼容不同分辨率和宽长比的多视频缩放模块，包括行存、插值窗数据模块、时钟/电源控制模块、插值窗更新控制模块、若干缩放模块和数据融合模块；时钟/电源控制模块通过控制总线连接所有缩放模块，所有缩放模块通过控制总线连接插值窗更新控制模块，插值窗更新控制模块通过行存连接插值窗数据模块，插值窗数据模块连接所有缩放模块，所有缩放模块连接数据融合模块。

进一步的，根据输入视频分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，确定若干缩放模块中进行工作的缩放模块的个数；利用时钟/电源控制模块，通过控制总线发出相应的使能信号，使能相应个数的缩放模块进入工作模式；由某个缩放模块发出数据更新请求，通过控制总线向插值窗更新控制模块发出相应的数据更新信号，由插值窗更新控制模块控制行存中需要更新的数据更新到插值窗数据模块中；各缩放模块根据自身需求从插值窗数据模块内选择相应的数据；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据送入到数据融合模块；数据融合模块根据每个缩放模块在显示终端上的目标位置的不同从各自缩放模块所送出的缩放后数据中选择不同位置信息的数据进行融合输出。

进一步的，还包括2d/3d判别模块和视频源图像分割模块；2d/3d判别模块用于判断视频源输入的为2d还是3d视频；如果是2d视频，直接采用2d视频数据构建插值窗；如果是3d视频，对视频源通过视频源图像分割模块分割后构建插值窗。

1、确定缩放模块数目

目前市面上常见的电视分辨率为1080p(1920x1080)和4k(3840x2160)，屏幕驱动通过多通道接收的像素信号，因此缩放模块的个数n可以确定为：输出时钟频率与单通道像素频率的倍数。

2、插值窗的构建

插值窗的构建与缩放模块的个数、缩放比和缩放算法有关。单个缩放模块，插值窗的规模一般为n*n。本发明采用多个缩放模块的情况下，插值窗的规模为n*m。n取决于构建插值窗所需要的行存数目，m取决于全部缩放模块在同一时钟周期需要的不同插值窗的个数，一般的m≥n。由于两个相邻插值像素点所需要的插值窗存在公共部分，所以插值窗只需增加l列，就可构成l+1个不同的插值窗。

3、缩放模块的构成

每个缩放模块都由一个控制器和计算单元构成。计算单元实现插值缩放功能，如双三次插值，双线性插值等。控制器的作用是根据所要缩放的目标点，来确定插值窗在原图像中的位置，并产生读地址和使能信号，从行存中读取像素点的值，并对插值窗中的数据进行更新。

4、多个缩放模块并行工作的实现方式

在存在多个缩放模块的情况下(假设缩放模块数为n，并将其命名为s1、s2、…、sn)，则每个模块缩放的目标点在行方向上的坐标分别为an,an+1,...,an+n-1(n＝0、1、2、…)。模块sn产生的读地址和使能信号，用于从行存中请求数据；该使能信号也可作为插值窗更新数据的使能信号，用于将行存中读出的像素点更新到插值窗中。其它缩放模块控制器产生的使能信号，作为选择插值窗的选择信号，确定将哪个插值窗作为缩放模块的输入。

5、低功耗处理

多个缩放模块并行工作是为了降低系统的工作频率，面向不同分辨率显示要求时，可以根据处理需要来配置相应的缩放模块数目，以应对不同分辨率显示设备的时钟频率需求。针对低分辨率显示时，对没有使用到的缩放模块可使用门控时钟或电源门控使其处于休眠状态，达到降低系统功耗的目的。

6、兼容2d和多视点裸眼3d视频缩放处理

根据是否需要将视频源图像进行分割，选择是否将视频源图像送入分图模块，以达到兼容2d和多视点裸眼3d视频处理，如附图3所示。

相对于现有技术，本发明具有以下有益效果：本发明通过设置多个视频缩放模块，根据输入输出视频分辨率以及时钟频率的要求，能够选择一个或多个视频缩放模块并行工作，以有效降低单一缩放模块的工作频率；在数据吞吐率大幅度增加的需求下使系统能在较低时钟频率下稳定工作；同时本发明兼容普通的2d视频源缩放和裸眼3d视频的缩放处理，而且兼容不同宽长比的显示终端。

附图说明

图1为4k@30hz的9宫格裸眼3d视频的并行缩放模块示意图；

图2为兼容高分辨率的多缩放模块的结构示意图；

图3为兼容2d和多视点裸眼3d视频缩放处理模块示意图。

具体实施方式

裸眼3d视频的处理，需要将多宫格视频源的每帧图像按照几何位置关系分割，获得不同视点的图像。将每个视点的图像分辨率放大到目标显示分辨率(如：4k)，然后按照裸眼3d视频处理的算法要求，从各个视点放大后的图像中选取相应的子像素点进行融合，最终构成4k图像。模块设计见附图1。

请参阅图2所示，本发明一种兼容不同分辨率和宽长比的多视频缩放模块，包括行存、插值窗数据模块、时钟/电源控制模块、插值窗更新控制模块、若干缩放模块和数据融合模块。时钟/电源控制模块通过控制总线连接若干缩放模块，若干缩放模块通过控制总线连接插值窗更新控制模块，插值窗更新控制模块通过行存连接插值窗数据模块，插值窗数据模块连接所有缩放模块，所有缩放模块连接数据融合模块。

如图2所示，本发明在设计中预先设置多个缩放模块，根据输入视频源的分辨率、显示的分辨率和工作频率要求，确定所需要的缩放模块个数，利用时钟/电源控制模块，通过控制总线发出相应的使能信号，使能相应个数的缩放模块(假设为n，n小于等于总缩放模块个数)进入工作模式。通常由缩放模块sn发出数据更新请求，通过控制总线向插值窗更新控制模块发出相应的数据更新信号，由插值窗更新控制模块控制行存中需要更新的数据更新到插值窗数据模块中。各缩放模块根据自身需求从插值窗数据模块内选择相应的数据。每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据送入到数据融合模块。数据融合模块根据每个缩放模块在显示终端上的位置的不同从各自缩放模块所送出的缩放后数据中选择不同位置信息的数据进行融合。如此，利用n个缩放模块同时工作，经过数据融合后每个时钟周期便可得到n个最终的显示像素点数据，通过输出模块输出相应的数据。

请参阅图1至图3所示，本发明以4k@30hz裸眼3d视频插值缩放处理为例说明本发明的具体实现。

1、根据电视屏幕驱动板的要求，4k@30h视频的像素频率为297mhz，利用门控时钟或者电源门控使能多缩放模块中的两个使其同时工作(多缩放模块为了满足更高分辨率显示需求)，工作频率为148.5mhz，如附图2所示。

2、假设缩放模块均采用双三次插值缩放算法，在同一时钟周期需要用到2个不同的插值窗。因此，插值窗的规模为4*5。由于两个相邻目标点所需要的插值窗存在公共部分，所以插值窗只需增加一列，就可构成满足两个插值像素点计算的要求。

3、系统工作时，当缩放模块s2控制器产生输出有效信号时，从行存中读取控制器读地址所指向位置的像素点的值。由于从行存中读取数据有若干时钟周期的延迟(由具体构成行存的器件决定)，有效信号也需要延迟相应的时钟周期后，才能作为插值窗更新像素点的使能信号，与读出的像素的保持同步。插值窗像素点的更新是由缩放模块s2驱动的，因此缩放模块s2始终选择最新的插值窗作为输入，缩放模块s1根据其控制器产生的有效信号来选择新构成的插值窗或原有插值窗作为输入。

这样便构成了两个并行工作的缩放模块，单个模块的工作频率为148.5mhz。

本发明的优点在于，采用了多缩放模块并行工作，降低了系统的工作频率，更易于实现高分辨率图像的缩放处理，采用门控时钟或电源门控来控制缩放模块，达到根据计算负载需求动态调整系统功耗的目的；兼容2d与多视点裸眼3d视频。该设计不需要对源视频进行特殊处理，简化了缩放模块前的电路设计，节省了资源。通过缩放模块中控制器产生的控制信号，对插值窗进行选取，使设计更加灵活。