专利名称：一种软硬件联合解码的avs视频解码器的制作方法
技术领域：
本发明涉及多媒体视频领域，特别是一种软硬件联合解码的AVS视频 解码器结构。
背景技术：
AVS (Audio Video Coding Standard)标准是《信息技术先进音视频编 码》系列标准的简称，具有自主知识产权，适用于数字电视广播、交互式 存储媒体业务等应用，具有压縮率高，复杂度适中，成本低廉等特点。AVS 视频当中具有特征性的核心技术包括8x8整数变换、量化、帧内预测、 1/4精度像素插值、特殊的帧间预测运动补偿、二维熵编码、区块效应环 路滤波等。在较低的复杂度下实现了与国际标准相当的技术性能。
AVS视频解码器是研究的一个热点，针对数字视频高清应用，AVS视 频解码器应具备以下优点解码速度快，可以对标清视频或者更高分辨率 的高清视频进行实时解码；解码器面积开销小，成本比较低；解码器具有 比较好的兼容性和移植性，方便兼容多标准和功能上的升级；解码器具有 比较规范的输入输出接口，便于IP化和集成。
解码器的种类大致可以分为三种，第一种是软件解码器，它使用高性 能DSP或者CPU来完成解码运算。这种解码器的优点是兼容性、移植性、 可升级性都比较好，但由于DSP和CPU的性能往往满足不了标清或更大 图像尺寸视频的实时解码。而且采用高性能的处理器功耗比较大，成本比 较高。第二种是硬件解码器，解码器采用全硬件化设计，这种解码器的优 点是性能比较高，可以满足图像高清解码的需求，而且针对专门的视频应 用，解码器的面积开销往往比DSP， CPU等处理器小得多，制造成本比较 低；但硬件解码器的缺点是兼容性、移植性、可升级性都比较差，特别是 在多标准并存的情况下，解码器必须具有很好的多标准的兼容性。第三种是软硬件联合解码器，它由处理器和协处理器组成，共同完成解码过程， 软件解码部分具备比较好的兼容性和移植性，硬件解码部分解码速度比较 快，用于处理解码过程中比较密集的计算。这一种软硬件联合解码器比软 件解码器具有更高的性能，可以满足高清视频实时解码的需求，并且具有 一定的兼容性和移植性。这种解码器的面积和功耗比软件解码器小，但比 硬件解码器大。
发明内容
本发明提出一种软硬件联合解码的AVS视频解码器，其采用DSP数 字信号处理器和协处理器联合解码，软件解码部分由DSP完成，完成对 AVS协议的解析，产生解码需要的各种参数以及对协处理器解码过程进行 控制。协处理器分成解码通路，运动补偿部分和图像输出部分。解码通路 由熵解码，反量化，反扫描，反变换组成。运动补偿部分有预测控制器， 帧内预测，帧间预测，像素重建与环路滤波模块组成。输出部分由输出控 制器，像素转换模块，输出模块组成。具体包括
一种AVS视频解码器，包括数字信号处理器和协处理器，其中
数字信号处理器完成软件解码部分，完成对AVS协议的解析，产生 解码需要的各种参数以及对协处理器解码过程进行控制；
协处理器包括解码通路，运动补偿部分和图像输出部分，由数字信号 处理器和协处理器联合解码。
进一步，所述数字信号处理器对AVS协议解析包括图像序列头解 析，图像头解析，扩展与用户数据解析，条带头解析和宏块头解析；所述 数字信号处理器产生的解码需要的各种参数包括运动矢量，宏块类型， 量化参数，加权预测和环路滤波。
进一步，所述数字信号处理器控制协处理器解码的启动，并接受协处 理器解码完毕返回的中断；所述数字信号处理器和所述协处理器共享一部
分存储器，共同访问共享存储器中的输入压缩数据和解码信息参数。
进一步，所述AVS视频解码器协处理器的解码通路由熵解码模块， 反量化模块，反扫描模块，反变换模块组成。
进一步，所述视频解码器协处理器的熵解码模块接收DSP的启动命令，从共享存储器中读出压縮AVS数据，进行自适应指数哥伦布码解码， 并把熵解码结果传给下一级反量化模块。
进一步，所述视频解码器协处理器的反量化模块获得熵解码的结果和 量化参数，对于每个不为O的数值进行反量化的计算，并把反量化结果传 给下级反扫描模块。
进一步，所述视频解码器协处理器的反扫描模块根据解码参数选择合
适的扫描表，对输入的反量化结果进行反扫描；反扫描结果输出给反变换 模块。
进一步，所述视频解码器协处理器的反变换模块进行AVS标准所描 述的反变换计算，反变换输出预测残差结果。..
进一步，所述视频解码器协处理器的运动补偿部分由预测控制器，帧 内预测，帧间预测，像素重建与环路滤波模块组成。
进一步，所述视频解码器协处理器的预测控制器产生读取外部同步动 态存储器的图像参考样本地址，并将图像参考样本从同步动态存储器读出 送给帧内预测模块和帧间预测模块；所述帧内预测模块接受帧内预测参考 样本数据，进行帧内预测插值，产生帧内预测数据；所述帧间预测模块接 受帧间预测参考样本数据，进行帧间预测1/4亮度或1/8色度插值，产生 帧间预测数据；所述帧内预测和所述帧间预测将插值得到的预测数据送给 像素重建与环路滤波模块；所述像素重建与环路滤波模块根据帧内预测和 帧间预测输出的预测数据和反变换模块输出的预测残差，计算重建结果并 进行环路滤波后输出；所述像素重建与环路滤波模块在预测控制器的信号 控制下将最终重建像素数据写入外部同步动态存储器。
讲一步，所述视频解码器协处理器的图像输出部分由输出控制器，像 素转换模块，输出模块组成。
进一步，所述输出控制器从外部同步动态存储器读出需要显示的一幅 图像数据；输出控制器输出图像数据至像素转换模块，所述像素转换模块 完成图像数据到色差信号的转换；像素转换后的数据输出到输出模块，所 述输出模块产生27MHz频率的图像数据输出和相应的同步信号。
进一步，所述视频解码器协处理器的图像输出部分和运动补偿部分共 享同步动态存储器带宽，共享方式为时分复用，在不同的时间点访问同步动态存储器，由仲裁器根据图像输出部分和运动补偿部分提出的同步动态 存储器访问请求分配其访问时间。
进一步，所述DSP数字信号处理器从共享存储器读出压縮数据进行解 码，在DSP控制下，熵解码从共享存储器读出压縮数据和解码参数进行熵 解码，熵解码将结果输出给反量化，反量化将结果输出给反扫描，反扫描
将结果输出给反变换；预测控制器通过读写仲裁器将预测参考样本从同步 动态存储器中读出，预测控制器将参考样本输出给帧内预测和帧间预测； 帧内预测和帧间预测将结果输出给重建与环路滤波；重建与环路滤波在预 测控制器的控制下将结果通过读写仲裁器写入同步动态存储器；输出控制 器通过读写仲裁器将图像数据从同步动态存储器读出，输出控制器结果输 出给像素转换，像素转换将结果输出给PPI并行外部接口端口， PPI端口 的结果作为解码器的输出。
本发明提出的软硬件联合解码的AVS视频解码器由DSP数字信号处 理器和协处理器构成，DSP完成AVS协议部分的解析和产生各种解码参 数，具有比较好的兼容性和移植性；协处理器部分包含解码通路，运动补 偿部分和图像输出部分，主要完成宏块数据运算量比较大的解码过程，具 有比较高的性能，并且提供了ITU-R656的输出格式，便于IP化和集成。 该软硬件联合解码的AVS视频解码器结构的VLSI实现，能对AVS进行 标清或者更大尺寸图像的实时解码；由于DSP编程具有很大的灵活性，该 解码器结构便于兼容其它标准视频格式的解码，同时解码器芯片面积和功 耗小，成本低。
图1是软硬件联合解码的AVS视频解码器结构示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明进一步详细说明。
软硬件联合解码的AVS视频解码器可参见附图1。本发明提出一种软
8硬件联合解码的AVS视频解码器，采用DSP数字信号处理器和协处理器
联合解码，分为软件部分和硬件部分，软件解码部分由DSP完成，完成对 AVS协议的解析，产生解码需要的各种参数以及对协处理器解码过程进行 控制。由于DSP编程灵活性很大，所以软件解码部分能够比较灵活地兼容 多标准，进行多标准的协议解析。硬件部分解码由专用电路完成，速度比 较快，适合宏块计算密集型的解码过程，从而可以大幅度提高解码速度。
协处理器分成解码通路，运动补偿部分和图像输出部分。解码通路由 熵解码，反量化，反扫描，反变换组成。熵解码模块接收DSP的启动命令， 从共享存储器中读出压縮AVS数据，进行自适应指数哥伦布码解码，并 把熵解码结果传给下一级反量化模块;反量化模块获得熵解码的结果和量 化参数，对于每个不为0的数值进行反量化的计算，并把反量化结果传给 下级反扫描模块；反扫描模块根据解码参数选择合适的扫描表，对输入的 反量化结果进行IZZ反扫描；反扫描结果输出给反变换模块，反变换模块 进行AVS标准所描述的反变换计算，反变换输出预测残差结果。
运动补偿部分由预测控制器，帧内预测，帧间预测，像素重建与环路 滤波模块组成。预测控制器产生读取外部SDRAM (同步动态存储器)的 图像参考样本的地址，并将图像参考样本从SDRAM读出送给帧内预测模 块和帧间预测模块；帧内预测模块接受帧内预测参考样本数据，进行帧内 预测插值，产生帧内预测数据；帧间预测模块接受帧间预测参考样本数据， 进行帧间预测1/4亮度或1/8色度插值，产生帧间预测数据。帧内预测和 帧间预测将插值得到的预测数据送给像素重建与环路滤波模块。像素重建 与环路滤波模块根据帧内预测和帧间预测输出的预测数据和反变换模块 输出的预测残差，计算重建结果并进行环路滤波后输出；像素重建与环路 滤波模块在预测控制器的信号控制下将最终重建像素数据写入外部存储 器SDRAM。
协处理器的图像输出部分由输出控制器，像素转换模块，输出模块组 成。输出控制器从外部存储器SDRAM读出需要显示的一幅图像数据；输 出控制器输出图像数据至像素转换模块，像素转换模块完成图像数据分量 Y， U， V到色差信号Y， Cb,Cr的转换；像素转换后的数据输出到PPI输 出模块，PPI输出模块产生27MHZ频率的图像数据输出和相应的同步信号
参见附图l，其解码具体步骤可描述如下
第一步DSP数字信号处理器1从共享存储器2读出压縮数据进行解
码，开始AVS协议的解析，产生解码需要的各种参数以及对协处理器解
码过程进行控制。
第二步在DSP控制下，熵解码3接受DSP解码信息参数和比特流 解码位置参数，从共享存储器2读出熵编码的压縮数据进行熵解码。
第三步熵解码3将结果输出给反量化4，反量化接受DSP的量化参 数，进行AVS标准定义的反量化的计算。
第四步反量化4将结果输出给反扫描5。反扫描根据帧编码方式选 择需要的扫描表，对输入数据进行反扫描，这是一个对输入数据按照扫描 表重新排序的过程。
第五步反扫描5将结果输出给反变换6，反变化对输入数据和整数
矩阵相乘，移位，饱和后输出，完成图像数据从频域到时域的变换，输出
第六步预测控制器7根据DSP提供的参数计算读取SDRAM中参 考样本的地址，并通过SDRAM读写仲裁器14将预测参考样本从SDRAM 中读出，参考样本分为帧间预测参考样本和帧内预测参考样本，并对参考 样本的数据进行一定的调整后输出。
第七步预测控制器7将预测参考样本输出，如果当前块是帧内预测，
将预测样本输出给帧内预测9;如果当前块是帧间预测，将预测样本输出
给帧间预测8。
第八步如果是帧内预测，帧内预测9对输入数据进行AVS所定义 的帧内插值计算；如果是帧间预测，帧间预测8将对输入数据进行AVS 所定义的亮度1/4精度，色度1/8精度的插值计算。帧内预测9和帧间预 测S将插值后的结果输出给重建与环路滤波10。
第九步重建与环路滤波10接受预测残差和插值后的预测数据，计 算重建结果，并接受DSP的环路滤波参数，对重建结果进行环路滤波，最 后在预测控制器7的控制下将环路滤波后的结果通过SDRAM读写仲裁器 写入SDRAM存储器。第十步输出控制器11接受DSP的显示图像地址参数，通过SDRAM 读写仲裁器(14)将图像数据按行的方式从SDRAM读出，。
第十一步输出控制器11结果输出给像素转换12，像素转换根据转 换公式完成图像数据分量Y， U， V到色差信号Y， Cb,Cr的转换。
第十二步像素转换12将结果输出给PPI端口 13。 PPI端口对输入 数据进行从系统时钟到输出27MHZ时钟的时钟转换，并产生符合ITU-R 656规范的图像同步信号。
第十三步PPI端口 13的结果作为解码器的输出，提供了符合ITU-R 656规范的图像输出。
虽然参照上述实施例详细地描述了本发明，但是应该理解本发明并不 限于所公开的实施例，对于本专业领域的技术人员来说，可对其形式和细 节进行各种改变。本发明意欲涵盖所附权力要求书的精神和范围内的各种 变型。 .
权利要求
1. 一种AVS视频解码器，其特征在于，包括数字信号处理器和协处理器，其中数字信号处理器完成软件解码部分，完成对AVS协议的解析，产生解码需要的各种参数以及对协处理器解码过程进行控制；协处理器包括解码通路，运动补偿部分和图像输出部分，由数字信号处理器和协处理器联合解码。
2. 根据权利要求1所述的AVS视频解码器，其特征在于，所述数字 信号处理器对AVS协议解析包括图像序列头解析，图像头解析，扩展 与用户数据解析，条带头解析和宏块头解析；所述数字信号处理器产生的 解码需要的各种参数包括运动矢量，宏块类型，量化参数，加权预测和 环路滤波。
3. 根据权利要求l所述的AVS视频解码器，其特征在于，所述数字 信号处理器控制协处理器解码的启动，并接受协处理器解码完毕返回的中 断；所述数字信号处理器和所述协处理器共享一部分存储器，共同访问共 享存储器中的输入压縮数据和解码信息参数。
4. 根据权利要求1所述的AVS视频解码器，其特征在于，所述AVS 视频解码器协处理器的解码通路由熵解码模块，反量化模块，反扫描模块， 反变换模块组成。
5. 根据权利要求4所述的AVS视频解码器，其特征在于，所述视频 解码器协处理器的熵解码模块接收DSP的启动命令，从共享存储器中读出 压縮AVS数据，进行自适应指数哥伦布码解码，并把熵解码结果传给下 一级反量化模块。
6. 根据权利要求4所述的AVS视频解码器，其特征在于所述视频 解码器协处理器的反量化模块获得熵解码的结果和量化参数，对于每个不 为0的数值进行反量化的计算，并把反量化结果传给下级反扫描模块。
7. 根据权利要求4所述的AVS视频解码器，其特征在于所述视频 解码器协处理器的反扫描模块根据解码参数选择合适的扫描表，对输入的反量化结果进行反扫描；反扫描结果输出给反变换模块。
8. 根据权利要求4所述的AVS视频解码器，其特征在于所述视频 解码器协处理器的反变换模块进行AVS标准所描述的反变换计算，反变换输出预测残差结果。
9. 根据权利要求1所述的AVS视频解码器，其特征在于，所述视频 解码器协处理器的运动补偿部分由预测控制器，帧内预测，帧间预测，像 素重建与环路滤波模块组成。
10. 根据权利要求9所述的AVS视频解码器，其特征在于，所述视 频解码器协处理器的预测控制器产生读取外部同步动态存储器的图像参 考样本地址，并将图像参考样本从同步动态存储器读出送给帧内预测模块 和帧间预测模块；所述帧内预测模块接受帧内预测参考样本数据，迸行帧 内预测插值，产生帧内预测数据；所述帧间预测模块接受帧间预测参考样 本数据，进行帧间预测1/4亮度或1/8色度插值，产生帧间预测数据；所 述帧内预测和所述帧间预测将插值得到的预测数据送给像素重建与环路 滤波模块；所述像素重建与环路滤波模块根据帧内预测和帧间预测输出的 预测数据和反变换模块输出的预测残差，计算重建结果并进行环路滤波后 输出；所述像素重建与环路滤波模块在预测控制器的信号控制下将最终重 建像素数据写入外部同步动态存储器。
11. 根据权利要求8所述的AVS视频解码器，其特征在于，所述视 频解码器协处理器的图像输出部分由输出控制器，像素转换模块，输出模 块组成。
12. 根据权利要求11所述的AVS视频解码器，其特征在于所述输 出控制器从外部同步动态存储器读出需要显示的一幅图像数据；输出控制 器输出图像数据至像素转换模块，所述像素转换模块完成图像数据到色差 信号的转换；像素转换后的数据输出到输出模块，所述输出模块产生 27MHz频率的图像数据输出和相应的同步信号。
13. 根据权利要求9或11所述的AVS视频解码器，其特征在于，所 述视频解码器协处理器的图像输出部分和运动补偿部分共享同步动态存 储器带宽，共享方式为时分复用，在不同的时间点访问同步动态存储器， 由仲裁器根据图像输出部分和运动补偿部分提出的同步动态存储器访问请求分配其访问时间。
14.根据权利要求1所述的AVS视频解码器，其特征在于，所述DSP数字信号处理器从共享存储器读出压縮数据进行解码，在DSP控制下，熵解码从共享存储器读出压縮数据和解码参数进行熵解码，熵解码将结果输出给反量化，反量化将结果输出给反扫描，反扫描将结果输出给反变换；预测控制器通过读写仲裁器将预测参考样本从同步动态存储器中读出，预测控制器将参考样本输出给帧内预测和帧间预测；帧内预测和帧间预测将 结果输出给重建与环路滤波；重建与环路滤波在预测控制器的控制下将结 果通过读写仲裁器写入同步动态存储器；输出控制器通过读写仲裁器将图 像数据从同歩动态存储器读出，输出控制器结果输出给像素转换，像素转 换将结果输出给PPI并行外部接口端口， PPI端口的结果作为解码器的输 出。
全文摘要
本发明涉及多媒体视频领域，特别是一种视频解码中的软硬件联合解码的AVS(信息技术先进音视频编码)视频解码器，包括采用DSP(数字信号处理器)和协处理器软硬件联合解码；软件解码部分由DSP完成，完成对AVS协议的解析，产生解码需要的各种参数以及对协处理器解码过程进行控制。该软硬件联合解码的AVS视频解码器结构的VLSI(超大规模集成电路)实现，在0.18微米工艺下，能对AVS进行标清或者更大尺寸图像的实时解码；由于DSP编程具有很大的灵活性，该解码器结构便于兼容其它标准视频格式的解码，同时解码器芯片面积和功耗小，成本低。
文档编号H04N7/26GK101453640SQ200710178279
公开日2009年6月10日 申请日期2007年11月28日 优先权日2007年11月28日
发明者莉 周, 霞 李, 杰 陈, 玄 黄 申请人:中国科学院微电子研究所