专利名称：一种面向异步视频的嵌入式图像处理方法
技术领域：
本发明属于电子设计技术，具体涉及一种面向异步视频的嵌入式图像处理方法。
背景技术：
嵌入式图像处理一般基于DSP+FPGA技术，接受视频信息输入，运行图像处理算法，实现诸如目标跟踪、检测、识别等功能，同时输出处理后的图像信号。系统规定的输入和输出常常是不同的视频格式，二者由于帧频的不同，处于异步的状态。目前处理异步视频的方式有如下如果图像处理系统的输入为复合模拟视频，帧频25Hz ;输出为XGA格式，帧频60Hz 幅输入画面平均产生2. 4次输出画面，此时系统处理的就是异步视频，有3种处理方法。
最直接的方式——帧内不同步，输出以输入的帧频进行切换，当一帧输入数据准备好后，输出就切换到新一帧的视频数据，不管此时输出帧进行到了哪个时刻。这种模式中输入和输出处于帧内的不同步状态，即输出的画面可能由非同一幅输入画面组成。当相邻的两帧图像存在较大差异，输出的画面会出现明显的分界。第二种是帧间不同步方式，即把不同步局限在帧间的状态。当一帧输入数据准备好后，输出不会立即切换到新一帧的视频数据，而是根据输出自身的时序做出选择。只有当前帧输出完毕后，才会切换到新一帧的视频数据，这样就保证了输出的每幅画面都有一个对应的输入画面，不可能出现两个输入画面拼接的状况。如果一幅输入画面平均产生2. 4次输出画面，实际显示状况是某些输入画面显示了 2次，而某些输入画面显示了 3次。这样，原来在时间上均匀显示的输入画面，在输出时不再一致。当画面中出现匀速运动的目标时，理论上在输出画面中，目标会出现跳跃式的运动。这种显示效果在大多数应用环境中肉眼难以觉察，是目前嵌入式图像处理产品广泛采用的处理不同步的方式。最后一种可以称为准同步方式，即输出帧和输入帧在一段时间上基本对应，接近同步的效果。虽然输入和输出的帧频不同，但系统根据相邻的输入帧图像的变化特点，采用智能算法，人为地生成一些中间帧,加入到输出帧序列中，更好地突出了输出帧频提高的显示效果，还能够保持画面的连续性。这种方式多用于视听娱乐的大屏幕影音设备。现在视频格式转换的图像处理产品的功能流程如图3所示，在实现异步视频帧间不同步输出效果时，大多在数据缓存或输出显存环节采用乒乓切换的方法。这种方式下，DSP需要把视频数据从缓存搬移到显存，硬件上需要占据2个数据端口，增加了数据传输的时间，O
发明内容
本发明的目的是提供一种面向异步视频的嵌入式图像处理方法，在不增加传输时间的前提下满足不同帧频的输入和输出的需要。为实现上述目的，本发明采用如下技术方案一种面向异步视频的嵌入式图像处理方法，该方法包括以下步骤1).定义四片帧存用于存放输入视频数据和输出视频数据之间不同状态帧图像，利用可编程逻辑器件FPGA将数字信号处理器DSP、四片帧存以及输入和输出视频数据流连接起来；
2).定义的四片帧存分别为写入帧、处理帧、读出帧和缓存帧/废弃帧，使每一帧数据与一片帧存关联，依次经历写入、处理、缓存、读出和废弃的状态，其中缓存帧和废弃帧不同时存在，写入帧与视频数据输入流连接，用于存储正在输入的视频数据，处理帧与DSP连接，用于作为DSP的数据缓存，读出帧与视频数据输出流连接，用于将视频数据读出显示，缓存帧用于等待被读出显示，处于孤立状态，废弃帧指的是视频数据已经完成输出，用于等待被新的数据写入，处于孤立状态；
3).根据输入帧同步信号和输出帧同步信号和相应的切换规则对四片帧存的状态进行切换，实现异步视频帧间不同步效果。所述步骤2)中的4片帧存有5种状态，任一时刻4片帧存分别对应写入、处理、读 出、缓存/废弃，帧存的写入、处理、缓存状态由输入帧的同步信号触发确定，帧存的读出、废弃状态由输出帧的同步信号触发确定，所述切换规则是指在异步视频的帧间不同步状态下保证输出帧的完整性，嵌入式图像处理系统利用第4片帧存提供时间上的缓冲。所述步骤3)中的切换规则在输入帧频小于输出帧频的情况下，每一个输入帧都会被读出显示，在每个输入帧周期中，至少会发生I次输出帧同步触发事件，第一次输出帧同步信号触发之后，原缓存状态的帧存切换到读出状态，原读出状态帧存转换为废弃状态，然后保持不变，直到新的输入帧同步信号到来。所述步骤3)中的切换规则在输入帧频大于输出帧频的情况下，一个输入帧周期内，如果接收到输出帧同步信号，缓存帧会转换为读出帧，否则会被重新写入，没有机会输出显示。所述单个帧存的状态转换过程如下某片帧存从写入状态开始，受输入帧同步信号触发后转换为处理状态，再次触发后转换为半缓存状态，期间的输出帧同步信号不会改变帧存状态，只能确定输出部分为无效状态；半缓存状态时受输出帧同步信号触发进入读出状态即半缓存/读出，否则受输入帧同步信号触发返回写入状态，读出状态即半缓存/读出，不会受输出帧同步信号的触发改变，但接受一次输入帧同步信号后会成为新的读出状态即无效/读出，此时系统有了新的缓存帧，当输出帧同步信号来到后转换为废弃状态，此时新的缓存帧进入读出状态，再次受输入帧同步触发后返回写入状态。本发明由FPGA、DSP和4片帧存构成，把数据缓存和输出显存融合在一起，节省了数据传输的时间。FPGA依据规则切换4片帧存，能够实现异步视频时帧间不同步状态。采用更先进的存储器、DSP、FPGA芯片能够提高数据传输速度，扩充数据存储空间，加强软件处理能力，实现平台整体性能指标的升级。本发明能够实现图像处理和视频转换两部分功能图像处理功能主要由DSP实现，软件在一个输入帧周期内读入数据、执行处理算法、用新的数据覆盖帧存；视频转换功能指FPGA对4片帧存的切换来实现异步视频的帧间不同步效果O
图I是本发明的功能架构图；图2是单个帧存的状态转换流程 图3是传统图像处理产品常用方案的功能流程。
具体实施例方式如图I所示为本发明的功能架构图，FPGA将DSP、4片帧存以及输入和输出视频数据流连接起来，依据功能状态，帧存定义为写入帧、处理帧、读出帧、缓存帧、废弃帧，其中缓存帧和废弃帧不同时存在。写入帧指该帧存与视频数据输入流连接，正在存储输入的视频数据；处理帧指该帧存与DSP连接，作为DSP的数据缓存，供软件读写；读出帧指该帧存与视频数据输出流连接，视频数据正在被读出显示；缓存帧指处理帧的下一个状态，等待被读出显示，处于孤立状态；废弃帧指视频数据已经完成输出，等待被新的数据写入，处于孤立状态。每一帧视频数据与一片帧存关联，依次经历写入、处理、缓存、读出、废弃的状态(不一定是全部的状态)。FPGA依据规则切换4片帧存，循环往复。本发明实现图像处理和视频转换两部分功能。图像处理功能主要由DSP实现，当 输入的视频数据成为处理帧时，DSP软件要在一个输入帧周期内读入数据、执行处理算法、用新的数据覆盖帧存(该帧存随后会读出显示)。图像处理结果可以从DSP的通讯接口上报，必要时，FPGA也可以完成部分图像处理算法，减轻软件负担。视频转换功能指FPGA对4片帧存的切换来实现异步视频的帧间不同步方法。本发明的切换规则如下在异步视频的帧间不同步状态下，输出帧的完整性需要保证，帧存的切换不能只依据输入帧的同步信号，还必须考虑输出帧的同步信号，嵌入式图像处理系统利用第4片帧存提供时间上的缓冲。帧存共有5种状态，任一时刻4片帧存分别对应写入、处理、读出、缓存(废弃)，帧存的写入、处理、缓存状态由输入帧的同步信号触发确定，帧存的读出、废弃状态由输出帧的同步信号触发确定。本发明状态转换程序设计如下设定4片帧存的初始状态见表I :
表I帧存的初始状态
帧存I 帧存2 倾存3 帧存4初始状态写入读出缓存处理
帧存的状态由2种同步信号触发转换，因此设定为输入和输出两部分状态的组合。( I)输入巾贞频小于输出巾贞频在输入巾贞频小于输出巾贞频的情况下，每一个输入巾贞都会被读出显示。在每个输入帧周期中，至少会发生I次输出帧同步触发事件，第一次输出帧同步信号触发之后，原缓存状态的帧存切换到读出状态，原读出状态帧存转换为废弃状态，然后保持不变，直到新的输入帧同步信号到来。从系统整体分析4片帧存的状态转换过程，得出表2的结果表2显不系统状态转换的一个循环包含8种情况，由4种输入和4种输出组合而成，每种输出状态对应一个处于读出状态的帧存。表2系统状态的转换过程
权利要求
1.一种面向异步视频的嵌入式图像处理方法，其特征在于该处理方法包括以下步骤 1).定义四片帧存用于存放输入视频数据和输出视频数据之间不同状态帧图像，利用可编程逻辑器件FPGA将数字信号处理器DSP、四片帧存以及输入和输出视频数据流连接起来； 2).定义的四片帧存分别为写入帧、处理帧、读出帧和缓存帧/废弃帧，使每一帧数据与一片帧存关联，依次经历写入、处理、缓存、读出和废弃的状态，其中缓存帧和废弃帧不同时存在，写入帧与视频数据输入流连接，用于存储正在输入的视频数据，处理帧与DSP连接，用于作为DSP的数据缓存，读出帧与视频数据输出流连接，用于将视频数据读出显示，缓存帧用于等待被读出显示，处于孤立状态，废弃帧指的是视频数据已经完成输出，用于等待被新的数据写入，处于孤立状态； 3).根据输入帧同步信号和输出帧同步信号和相应的切换规则对四片帧存的状态进行切换，实现异步视频帧间不同步效果。
2.根据权利要求I所述的面向异步视频的嵌入式图像处理方法，其特征在于所述步骤2)中的4片帧存有5种状态，任一时刻4片帧存分别对应写入、处理、读出、缓存/废弃，帧存的写入、处理、缓存状态由输入帧的同步信号触发确定，帧存的读出、废弃状态由输出帧的同步信号触发确定，所述切换规则是指在异步视频的帧间不同步状态下保证输出帧的完整性，嵌入式图像处理系统利用第4片帧存提供时间上的缓冲。
3.根据权利要求I所述的面向异步视频的嵌入式图像处理方法，其特征在于所述步骤3)中的切换规则在输入帧频小于输出帧频的情况下，每一个输入帧都会被读出显示，在每个输入帧周期中，至少会发生I次输出帧同步触发事件，第一次输出帧同步信号触发之后，原缓存状态的帧存切换到读出状态，原读出状态帧存转换为废弃状态，然后保持不变，直到新的输入帧同步信号到来。
4.根据权利要求I所述的面向异步视频的嵌入式图像处理方法，其特征在于所述步骤3)中的切换规则在输入帧频大于输出帧频的情况下，一个输入帧周期内，如果接收到输出帧同步信号，缓存帧会转换为读出帧，否则会被重新写入，没有机会输出显示。
5.根据权利要求I所述的面向异步视频的嵌入式图像处理方法，其特征在于所述单个帧存的状态转换过程如下某片帧存从写入状态开始，受输入帧同步信号触发后转换为处理状态，再次触发后转换为半缓存状态，期间的输出帧同步信号不会改变帧存状态，只能确定输出部分为无效状态；半缓存状态时受输出帧同步信号触发进入读出状态即半缓存/读出，否则受输入帧同步信号触发返回写入状态，读出状态即半缓存/读出，不会受输出帧同步信号的触发改变，但接受一次输入帧同步信号后会成为新的读出状态即无效/读出，此时系统有了新的缓存帧，当输出帧同步信号来到后转换为废弃状态，此时新的缓存帧进入读出状态，再次受输入帧同步触发后返回写入状态。
全文摘要
本发明涉及一种面向异步视频的嵌入式图像处理方法，包括由FPGA、DSP和４片帧存构成的嵌入式图像处理系统，把数据缓存和输出显存融合在一起，节省了数据传输的时间。FPGA依据规则切换４片帧存，能够实现异步视频时帧间不同步状态。采用更先进的存储器、DSP、FPGA芯片能够提高数据传输速度，扩充数据存储空间，加强软件处理能力，实现平台整体性能指标的升级。本发明能够实现图像处理和视频转换两部分功能图像处理功能主要由DSP实现，软件在一个输入帧周期内读入数据、执行处理算法、用新的数据覆盖帧存；视频转换功能指FPGA对4片帧存的切换来实现异步视频的帧间不同步效果。
文档编号G09G5/00GK102881273SQ20121033177
公开日2013年1月16日 申请日期2012年9月10日 优先权日2012年9月10日
发明者郑鑫 申请人:中国航空工业集团公司洛阳电光设备研究所