一种实现视频帧率变换的装置制造方法
【专利摘要】本发明公开了一种实现视频帧率变换的装置，包含互相连接的可编程芯片(1)和小容量存储器(2)，所述小容量存储器(2)被划分为二个以上地址不重复的帧存，所述帧存大小为一帧图像占用的字节数，可编程芯片将输入的视频图像在空闲的帧存之间交替写入或读出实现帧率变换以及从帧存中指定位置读取像素实现图像裁剪。本发明硬件资源开销小，延迟低，图像帧间过渡平滑，且经济易用，适用范围广，可推广到使用低分辨率视频监视器的显示系统中，具有显著的市场前景和经济效益。
【专利说明】一种实现视频帧率变换的装置
【技术领域】
[0001]本发明属于视频图像处理领域，涉及视频帧率变换、单通道小容量存储器的高速存取、图像裁剪等技术。
【背景技术】
[0002]帧率变换是视频图像处理领域中的常用技术，其含义是通过运动估计、插值、复制或丢弃等图像处理方式来获取其它帧率的视频图像，包含上变换和下变换两种。例如在某些场合，需要将高帧率视频显示在低帧率的电视制式监视器或者低带宽显示器上；再如有的视频记录仪为了减少图像存储容量，被设定接收低帧率的视频。这些情形就会用到帧率下变换技术。帧率下变换的原理如图4所示，它的好处是使得高帧率图像数据处理单元能够和低速单元进行速率匹配，或者直接驱动后级监视器显示。而上变换则是为了适配高帧率处理环节，将低帧率图像通过运动估计、插值或重复读取得到额外的图像帧以满足后级处理需求。
[0003]常见的帧率变换装置是使用专用IP核和大容量的DDR存储器来完成，优点是整个设计过程集成在开发工具内，只须进行参数配置即可完成调试，设计简单快捷。但缺点是需要购买专用IP并增加DDR功能电路，提高了成本、功耗、设计难度。
[0004]某些显示终端，如CRT监视器、小尺寸液晶屏等，仅支持较低的显示分辨率。一种经常使用的处理方法是在原始图像内截取感兴趣的矩形区域输出送显，这就是图像裁剪，图像裁剪原理见图5。
[0005]目前机载座舱显控设备中已大量使用高帧率图形生成模块，其输出帧率通常为60帧甚至更高，而座舱显示器仍然采用低帧率的PAL制、NTSC制监视器，两者无法直接交联。
【发明内容】
[0006]针对现有技术的不足，本发明的发明目的在于提供一种实现视频帧率变换的装置，本发明实现了一种高效、通用的帧率下变换方法以及图像裁剪方法并在硬件电路上通过验证，而此装置也适用于只需图像复制类型的帧率上变换。
[0007]本发明的发明目的通过以下技术方案实现:
[0008]在一实施例中，一种实现视频帧率变换的装置，包含互相连接的可编程芯片I和小容量存储器2，所述小容量存储器2被划分为二个以上地址不重复的帧存，所述帧存大小为一帧图像占用的字节数，可编程芯片将输入的视频图像在空闲的帧存之间交替写入或读出实现帧率变换以及从帧存中指定位置读取像素实现图像裁剪。
[0009]优选地，所述小容量存储器2被划分为三个地址不重复的帧存，可编程芯片将输入的高帧率的视频图像在二个帧存之间交替写入，从另一个帧存上读出视频图像；或者可编程芯片将输入的低帧率的视频图像写入一个帧存，从另二个帧存上交替读出视频图像。
[0010]在另一实施例中，与可编程芯片I相连的小容量存储器2有三个，每个小容量存储器2分别代表一个帧存。
[0011]依据上述特征，所述小容量存储器2为随机存储器。
[0012]与现有技术相比，本发明创新性地设计了一种采用小容量存储器实现视频帧率变换的装置。本发明硬件资源开销小，延迟低，图像帧间过渡平滑，且经济易用，适用范围广，可推广到使用低分辨率视频监视器的显示系统中，具有显著的市场前景和经济效益。
【专利附图】
【附图说明】
[0013]图1为本发明实施例一的结构示意图；
[0014]图2为本发明实施例二的结构示意图；
[0015]图3为本发明中视频下变换的读写状态转移图；
[0016]图4为帧率下变换示意图。
[0017]图5为图像裁剪原理示意图。
[0018]图6为可编程芯片内部原理框图。
【具体实施方式】
[0019]下面结合附图对本发明作进一步的详细说明。
[0020]目前小容量存储器主要有静态随机存储器(SRAM)、动态随机存储器(DRAM)，通常可以工作在133MHz频率以上，例如常见的Cypress公司CY7C系列SRAM的速度等级在166?250MHz，容量大的有18Mbit、36Mbit、72MBit等几种，满足分辨率在1024x1024以下多帧图像的缓存和高数据吞吐率读写操作。
[0021]本发明提出了一种简单易行的帧率变换装置，使得采用操作时序简单、吞吐率高的小容量存储芯片(优选SRAM)就能完成单路或者多路视频的帧率变换，从而降低逻辑和PCB设计的复杂度。
[0022]实施例一
[0023]如图1所示，本实施例一种实现视频帧率变换的装置，包含互相连接的可编程芯片I和小容量存储器2，将小容量存储器2作为外部缓存，从外部缓存中划分出二片以上的地址空间，每片地址空间的大小为一帧图像占用的字节数，这样的地址空间也称为帧存。可编程芯片I将输入的视频图像在帧存之间交替写入或读出实现帧率变换，但如果用2帧切换，画面不流畅；4帧以上切换，延时较大，因此本实施例优选帧存数量为3个，可使视频延时和流畅感得以平衡。前级图像数据交替写入帧存，由于前级帧率大，即写入帧存快，而后级帧率小亦即读完一帧较慢。为了防止画面撕裂，当某一帧存正被写入时，写入操作不可中断，必须写满一帧后才能跳转到另一片帧存进行新的写入操作；同理，当某一帧存内的数据正被读取时，不可中断，必须读出一帧完整的数据后才能跳转到另一片帧存进行下一帧画面的读取送显。前后级帧率差别越大，那么在读取某片帧存的过程中，另外两片帧存间就会发生多次交替写入，这就自动完成了图像帧的丢弃。
[0024]在单片SRAM上采用三帧缓存的优点是画面切换平滑，不会出现撕裂现象，而且后级帧率的选择不受限制，适用性更强，相较于市场上广泛采用DDR加专用IP的方案更简单和经济。
[0025]如图6所示，可编程芯片包含有输入缓冲队列、输出缓冲队列和控制逻辑。如图3所示，是用可编程芯片的控制逻辑设计的状态机的轮转读写转移图。整个控制逻辑分成7个状态:IDLE、READ_C_and_WRITE_A、READ_C_and_WRITE_B、READ_A_and_WRITE_B、READ_A_and_WRITE_C、READ_B_and_WRITE_C、READ_B_and_WRITE_A，后面六个状态用 SI ?S6 表示，同时用帧存的满、空标志来进行状态转移，例如AF表示缓存A已经写满，而CE表示缓存C已经读空。
[0026]初始态为IDLE，此时状态机空闲，当检测到后级视频场同步有效后即转入到SI态，此时状态机处于读C帧存同时写A帧存的状态，控制逻辑产生分时读写外部SRAM的帧存C和帧存A的信号以及输出视频时序；当A写满后，状态机跳转到S2的读C写B状态，这时控制逻辑产生读写外部SRAM的帧存C和帧存B的信号以及输出视频时序；如果紧接着产生C读空标志，则跳转到S3状态，开始读取A帧存并继续写B，若仍然是B先被写满，那么再次转入SI态。其它情形下的状态转移关系见图3。
[0027]当允许图像裁剪输出时，可编程芯片I从帧存2中指定位置开始像素读取操作，直到读取所需图像的最后一个像素，这就完成了对感兴趣部分图像的输出。调整裁剪图像的位置信息，就能动态改变图像的输出区域。
[0028]实施例二
[0029]主流的SRAM芯片容量有2M x 32、IM x 32、512K χ 32等，对于高分辨率视频图像，如1080ρ，只能容纳一帧，单片SRAM不足以划分出不重叠的三片地址空间，并运行在高速操作时钟下。这时可在外部使用三片SRAM来实现高帧率视频流的下变换，于是每片外部SRAM对应一个帧存，其内部状态机仍然不变，具体参见实施例一，此处不作重复描述。
[0030]根据实施例一、二的原理，本发明也可适用于图像复制类型的帧率上变换，将输入的低帧率的视频图像写入一个帧存，从另二个帧存上交替读出视频图像。
[0031]综上所述，本发明创新性地设计了一种采用小容量存储器实现视频帧率变换的装置，同时提出了高分辨率帧率变换的装置。本发明硬件资源开销小，延迟低，图像帧间过渡平滑，且经济易用，适用范围广，可推广到使用低分辨率视频监视器的显示系统中，具有显著的市场前景和经济效益。
【权利要求】
1.一种实现视频帧率变换的装置，包含互相连接的可编程芯片(I)和小容量存储器(2)，其特征在于所述小容量存储器(2)被划分为二个以上地址不重复的帧存，所述帧存大小为一帧图像占用的字节数，可编程芯片将输入的视频图像在空闲的帧存之间交替写入或读出实现帧率变换。
2.根据权利要求1所述的装置，其特征在于所述可编程芯片(I)通过从帧存中指定位置读取像素实现图像裁剪。
3.根据权利要求1所述的装置，其特征在于所述小容量存储器(2)被划分为三个地址不重复的帧存，可编程芯片将输入的高帧率的视频图像在二个帧存之间交替写入，从另一个帧存上读出视频图像；或者可编程芯片将输入的低帧率的视频图像写入一个帧存，从另二个帧存上交替读出视频图像。
4.根据权利要求1所述的装置，其特征在于与可编程芯片(I)相连的小容量存储器(2)有三个，每个小容量存储器(2)分别代表一个帧存。
5.根据权利要求1至4任一所述的装置，其特征在于所述小容量存储器(2)为随机存储器。
【文档编号】H04N7/01GK104469241SQ201410712594
【公开日】2015年3月25日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】隆志远, 詹于杭, 童歆, 周坚锋 申请人:中国航空无线电电子研究所