一种基于SOC的图像增强处理系统设计方法与流程

本发明属的图像增强处理，具体涉及一种基于soc的图像增强处理系统设计方法。

背景技术：

1、目前主流的方法是以fpga和dsp作为智能图像处理和外设控制的器件，即由fpga实现图像预处理功能，dsp实现图像处理算法和外设控制，由于图像数据量比较大，fpga与dsp之间数据交互往往需要srio这种高速接口，这种高速接口对电路板设计要求高，而且dsp串行工作方式，导致对dsp性能要求比较高，从而成本高功耗大发热严重。

2、一种实时图像处理中hamilton自适应插值的fpga实现方法(申请号：201810581495.x)，该发明利用6个行ram对原始bayer数据循环缓冲，利用2路g分量恢复并行运算，3路r、b分量并行运算、流水线处理，数据同步等方法，在fpga上实现了hamilton自适应插值算法，能够实现高分辨率(最大支持4k*4k分辨率)视频流实时处理，得到较高质量的图像，图像恢复处理效果优于传统的线性插值算法，并且在消耗逻辑资源和最大工作频率上都有很大余量。

3、以上专利针对当前采用的dsp+fpga实时图像处理和控制系统的不足，而使用soc架构进行算法电路实现和外设控制，能够对所获取的图像进行跟踪、识别和匹配等图像处理，同时根据软件配置对外部器件进行控制和交互，通过对大尺寸卷积运算的验证试验结果表明所设计的soc架构具有通用性好、可靠性高、处理速度快和控制精准的特点，能够完全适应高复杂的卷积运算，因此我们需要提供一种基于soc的图像增强处理系统设计方法。

技术实现思路

1、本发明的目的在于提供一种基于soc的图像增强处理系统设计方法，所有图像运算和外设控制都在fpga内部实现，进而成本降低而且不需要高速的通信接口，而fpga并行特性可以使整个系统的工作频率降低，从而发热少，使用soc架构进行算法电路实现和外设控制，能够对所获取的图像进行跟踪、识别和匹配等图像处理，同时根据软件配置对外部器件进行控制和交互，通过对大尺寸卷积运算的验证试验结果表明所设计的soc架构具有通用性好、可靠性高、处理速度快和控制精准的特点，能够完全适应高复杂的卷积运算，以解决上述背景技术中提出现有技术中fpga与dsp之间数据交互往往需要srio这种高速接口，这种高速接口对电路板设计要求高，而且dsp串行工作方式，导致对dsp性能要求比较高，从而成本高功耗大发热严重，当前采用的dsp+fpga实时图像处理和控制系统的不足的问题。

2、为实现上述目的，本发明采用了如下技术方案：一种基于soc的图像增强处理系统设计方法，包括以下步骤：

3、步骤1：基于soc架构将实时图像处理和外设控制系统都在fpga内部实现，其中实时图像处理包括图像输入模块、图像输出模块、图像储存模块和图像运算模块；

4、步骤2：图像输入模块对多路视频数据进行选择解析，产生帧头、行有效和图像数据；

5、步骤3：图像输出模块会根据软件配置值产生字符标识，该标识与图像处理后的图像数据合成形成pal格式的视频信号输出到显示器；

6、步骤4：图像存储模块对图像储存前需突出某些有用信息，消弱有害无用信息，并将图像的整体或者局部进行位置、形状、大小等几何形态变化的处理；

7、步骤5：图像预处理以及目标监测、识别和追踪使用verilo实现，在fpga形成电路，工作频率低，不适用高性能dsp，软件根据场景改变图像运算模块的参数配置；

8、步骤6：基于soc架构在fpga上实现，根据需求的变化进行调整，实现图像增强处理算法对dsp依赖成都下降。

9、优选的，所述在步骤1中，图像输入模块：将前级器件输人的图像数据按照协议进行解析产生内部可以处理的图像时序和格式；图像输出模块：对处理后的数字图像进行字符叠加；图像存储模块：对图像数据进行存储，方便图像的运算；图像运算模块：对解析后的图像进行预处理，并对目标检测、识别和跟踪等图像处理运算，产生参数；外设控制模块：对外部器件进行初始化和控制，同时根据图像运算模块产生的参数对外设进行视野控制；其中soc，是system on chip的缩写，也称为片上系统，我们之所以称之为“系统”，是因为它不是单个的模块，而是多个模块的集合体。从狭义角度讲，它是信息系统核心的芯片集成，是将系统关键部件集成在一块芯片上；从广义角度来讲，soc是一个微小型系统。

10、优选的，所述soc芯片的硬件组成大概包括：核心(core)，总线、存储模块，中断模块、时钟模块、外设接口等，通过不同模块的组合，共同构成了一个完整的系统，在单个芯片上，就能完成一个电子系统的功能，而这个系统在以前往往需要一个或多个电路板，以及板上的各种电子器件、芯片和互连线共同配合来实现，但soc更多的是对处理器(包括cpu、dsp)、存储器、各种接口控制模块、各种互联总线的集成。

11、优选的，所述在步骤2中，图像数据主要分为标识和图像两种，软件首先根据上报的标识信息，来配置不同的寄存器对图像进行解析，比如有多路视频输入，可以根据软件回读的标识来配置寄存器选择混合包解析方式还是纯种数据解析方式。

12、优选的，所述步骤3中，根据场景分为四大功能部分：图形不变位置变化、图形变化位置变化、图形变化位置不变和图形不变位置不变，图像不变位置变化功能块根据软件配置相应的坐标即可完成功能，图像变化位置不变功能块需要根据软件配置的读取字符库的地址即可，图像变化位置变化功能块只需要给出坐标，逻辑即可计算出固定图形，pal_snd作为视频信号输出端，由于pal制式视频采用了隔行扫描方式，每帧图像由奇场和偶场合成。对于偶场，有效数据行就是一帧图像的所有偶数行，而对于奇场，有效数据行就是一帧图像的所有奇数行，在fpga.上实现时，内部需要两个双口ram，一个用来存储奇场有效数据，一个用来存储偶场有效数据，等写入一帧完毕以后，再通过计数器选择发送消影数据、奇场有效数据和偶场有效数据，合成为一帧完整的图像。

13、优选的，所述在步骤4中，通过低通空间滤波器有效地去除大量噪声，使图像得到较好的平滑，对边界有一定的损伤。对较规则条纹来说，选用这种方法是适合的，低通空间滤波器中常见的均化模板是将模板中所有灰度值加总后求其平均，然后将其平均值写入模板中间所对应点的像素，旁边的像素在下-.次的模板移动后再作处理，因此又称为移动平均滤波器。此滤波器可去除噪声，但也会产生图像模糊的反效果。

14、优选的，所述在步骤5中，利用中值滤波将振荡平滑掉，使图像边缘得到较好的保护，模板的排序运算是一种非线性的滤波方式对在模板里所有像素的灰度大小做排序，接着选取排序在中间的灰度值，再将此值代入所对应的像素中，如此便完成一个像素的滤波操作，此方法不但可以滤掉图像中突起的高频噪声部分，对于图像的边缘，通常也能够给予适当的保持。低通滤波是一种平均的方法，其边缘效果被破坏，使图像变模糊，反之中值滤波是一.种排序方法，其图像及边缘的保持效果较好，而在噪声处理上，中值滤波处理后的图像内，噪声几乎看不到。

15、优选的，所述在步骤6中，fpga对外设器件需要进行初始化，而且在正常工作时也需要与周边器件交互获取信息检测状态，所以需要设计cpu作为主控，i2c、uart、spi等作为外设接口，cpu作为主控单元，使用软核在fpga内部实现。uart模块能够用于与pc机通信，执行参数写入以及向上位机发送数据等功能，能够实现对系统的flash程序升级、程序调试、数据回读。i2c总线是器件互联中常用到的一种总线，用于对外设器件如视频编解码芯片进行初始化，spi可以实现对符合spi器件的读写控制，用于对spi flash数据的改写和读取等。

16、优选的，所述socpartitioning算法将状态机软件(那些提供应用程序控制、排序、用户界面控制、事件驱动软件等的算法)放在一个riscprocessor上，将信号处理软件放在dsp上，利用dsp为信号处理功能提供的特定于应用程序的体系结构，在硬件加速器中放置高速率、计算密集型算法。

17、优选的，所述该dsp包含一个类似的芯片支持库、以adsp为中心的内核、一组特定于dsp的算法以及与高级应用软件的接口，加速器包含一组供程序员访问的api和映射到加速的一些非常具体的算法。

18、本发明的技术效果和优点：本发明提出的一种基于soc的图像增强处理系统设计方法，与现有技术相比，具有以下优点：

19、本发明通过基于soc架构将实时图像处理和外设控制系统都在fpga内部实现，其中实时图像处理包括图像输入模块、图像输出模块、图像储存模块和图像运算模块；图像输入模块对多路视频数据进行选择解析，产生帧头、行有效和图像数据；图像输出模块会根据软件配置值产生字符标识，该标识与图像处理后的图像数据合成形成pal格式的视频信号输出到显示器；图像存储模块对图像储存前需突出某些有用信息，消弱有害无用信息，并将图像的整体或者局部进行位置、形状、大小等几何形态变化的处理；图像预处理以及目标监测、识别和追踪使用verilo实现，在fpga形成电路，工作频率低，不适用高性能dsp，软件根据场景改变图像运算模块的参数配置；基于soc架构在fpga上实现，根据需求的变化进行调整，实现图像增强处理算法对dsp依赖成都下降。

20、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。