一种基于VPX总线架构的综合图像处理信息集成系统的制作方法

本实用新型涉及一种基于vpx总线架构的综合图像处理信息集成系统。

背景技术：

随着科学技术的不断发展，通信、海路交通监测、军事等众多领域对图像处理系统的要求越来越高，高速性、实时性已成为考量其性能的重要指标。调研发现，传统软件进行图像处理灵活性和实时性受限，在速度上也受到一定限制，且现有的图像处理系统大多数功能比较单一。

嵌入式系统使得数据采集和图像检测集成更加紧密，在工业自动化领域的应用也越来越广泛，随着工业和计算机技术的发展，传统图像采集系统已经不能满足现代化生产和科学研究对图像采集系统日益提高的要求，由于fpga技术发展迅速，fpga能够满足系统对体积、灵活性，以及稳定性的要求，在图像采集和图像处理系统中得到了广泛应用。vpx总线作为新一代的工业总线标准，由vme总线发展而来，在应用于恶劣环境下嵌入式系统之间高速互联上取得了长足进步。

技术实现要素：

为了克服上述问题，本实用新型提出了一种基于vpx总线架构的综合图像处理信息集成系统，其具有多源图像处理的功能，且可执行高速数据交换。

本实用新型是一种基于风冷加导冷的6uvpx综合图像处理信息系统，包括输入接口板、图像采集板、存储板、图像处理板、输出接口板、扩展模板背板及机箱；

其中，所述输入接口板与图像采集板彼此之间直连；

所述图像采集板与存储板、图像处理板、扩展板模块之间通过srio总线连接；

所述存储板与图像处理板、扩展板模块之间通过srio总线连接；

所述图像处理板与扩展板模块、输出接口板模块通过srio总线连接；

所述扩展板模块与输出接口板彼此之间直连；

所述输入接口板、图像采集板、存储板、图像处理板、输出接口板、扩展模板背板均设置在机箱内。

所述图像采集板包括1片altera10ax066h3f34i2sg，8片genum公司的gs2971和1片tvp5158。

所述图像处理板包括ai数据处理器和协处理器，所述ai数据处理器为海思hi3559a，所述协处理器为k7系列fpga。

所述存储板选用msata数据存储板，存储容量不低于4t，存储板采用raido的读写方式，对外支持1路sriox4接口、2路千兆以太网，符合vita46.0规范。

所述图像采集板用于实现外部视频信号进srio总线的功能，是所述系统视频信号的入口。

所述图像处理板用于实现多路视频的实时处理，及处理结果的共享输出；所述图像处理板采用1对sriox4总线接口扩展。

工作原理：

输入接口板：具备2路光纤、4路sdi、4路av、2路串口、1路can及1路以太网，标准6u前插尺寸，用于实现与图像采集板数据的直连，可完成多路视频信号的输入，采集、处理及存储等传输控制指令交互。

图像采集板：图像采集板用于实现对2路光口输入信号转换为4路sdi信号，连同输入的4路sdi、4路av视频信号一并进行采集并发送至srio总线上。同时将2路rs422串口及1路can进行数据格式的转换并发送至srio总线上。

图像采集板采用6uvpx标准，遵行ansi/vita46.0-2007相关规范要求，使用vpx背板+3.3v和+12v供电。vpx板卡通过冷板开槽增加散热面积，配合机箱中的散热风道，使其具有良好的散热性能。srio工作在4x模式，速率可支持1.25g、2.5g、3.125g、5g、6.25g。

图像处理板从srio总线上获取指定通道的图像数据，并根据接收到的操控指令实现视频的拼接、融合、检测等处理工作，处理后的视频可发送至输入接口板进行送显，也可发送至srio总线上用于后续的存储处理。

存储板采用载板和fmc子板组成，载板用于基本的数据交互，与srio总线相连，从srio总线获取相应的数据并传输至fmc模块，fmc模块为标准的msata盘接口，最大支持4t存储容量的扩展。存储数据之前先对视频源的类型进行判断，若为未压缩数据则先进行数据压缩工作，若为压缩之后的视频数据则直接存储于本盘。待存储的数据可以是直接采集板输入的视频数据也可以是经过图像处理板处理之后的视频数据。

输出接口板，与图像处理板相连，将处理之后的视频数据传输至外部模块。

扩展模板背板插接在机箱的插槽位内，扩展模板背板与srio高速总线相连接。如可接入图像处理板、存储板等。

本实用新型与现有技术相比，具有以下优点及有益效果。

(1)本实用新型基于srio传输总线的方式进行数据的高速采集与交换，理论交换速率可到24.5g，可同时实现多路视频数据的采集与交互。

(2)本实用新型在实际使用时，通过不同模块的组合使用，可进行灵活配置，同时通过预留扩展模块，可极大提升系统的处理能力。

(3)本实用新型使用的图像处理板具备多种图像处理的功能，提升系统的集成度。

有益效果：

本实用新型可同时实现光口、sdi、av等多格式视频数据的采集、处理、存储及送显操作。可作为数据采集存储器使用、也可作为图像处理系统使用。

附图说明

下面结合附图和具体实施方式对本实用新型做更进一步的具体说明，本实用新型的上述或其他方面的优点将会变得更加清楚。

图1是本实用新型的系统框图。

图2是所述图像采集板原理框图。

图3是所述图像处理板原理框图。

图4是存储板原理框图。

具体实施方式

下面结合部分附图及实施例对本实用新型做进一步说明。

本实用新型所述的vpx总线架构综合图像处理板采用vpx接口。

从图1中可以看出，输入接口板、图像采集板、存储板、图像处理板、扩展板模板、输入接口板等均与vpx背板连接。连接的方式如下所述：

所述输入接口板与图像采集板彼此之间直连；

所述图像采集板与存储板、图像处理板、扩展板模块之间通过srio总线连接；

所述存储板与图像处理板、扩展板模块之间通过srio总线连接；

所述图像处理板与扩展板模块、输出接口板模块通过srio总线连接；

所述扩展板模块与输出接口板彼此之间直连。

通过以上的连接线路，实现视频数据在不同模块之间交换数据。

图2是本实用新型图像采集板所使用的详细原理框图，根据系统需求，图像采集板采用1片altera10ax066h3f34i2sg，8片genum公司gs2971，1片tvp5158的设计架构。fpga软件主要包括ddr3驱动、srio驱动、sdi接口、av接口等底层驱动软件。

图3是本实用新型图像处理板所使用的详细原理框图，根据系统需求，系统采用gpu+fpga的设计思路，设计中以海思hi3559a作为核心ai数据处理器，完成图像拼接、融合、目标识别、视频压缩等功能，以k7系列fpga作为协处理器，用于逻辑控制和图像预处理，并在fpga中实现srio接口数据传输功能。

图4是本实用新型存储板所使用的详细原理框图，根据系统需求，系统采用fpga+dsp的设计思路，用kintex-7系列高性能fpga作为主控单元，fpga内嵌高性能cpu和多路sataiiiip核。dsp用作协处理器，用于逻辑控制。

图像拼接及检测识别具体包括如下步骤：

a)图像拼接。

目前全景图拼接算法包括基于区域的拼接算法和基于特征的拼接算法等。考虑到实际应用时，系统对实时视频处理速度方面的要求，本方案设计了一种二维全景俯视图拼接算法。该算法包括图像配准和图像融合两部分。图像配准部分完成相邻的拼接帧的坐标对齐，使待拼接图像处于同一坐标下；图像融合部分完成图像最佳拼接缝的计算，图像的加权融合。

1)图像配准。基于区域匹配的是常用的图像配准算法之一，该算法具有计算速度快、内存消耗小的特点。区域匹配算法是通过设定多个固定的匹配区域，在待匹配图像上寻找相似度最高的点作为匹配成功点。通过多个区域的匹配后，可获得多对基准图、待拼接图的坐标对应关系。使用最小二乘方法，即可通过坐标对应关系计算出坐标变换矩阵。在获得图像变换矩阵后，使用放射变换即可完成图像配准。

2)图像融合。主要是用来消除拼接图像的颜色差异和鬼影现象，提高拼接图像的质量。在图融合部分，我们采用最佳拼接缝、线性融合结合的方法，减小线性融合方法中的鬼影现象，进一步提高拼接图像的质量。

b)目标检测识别。

主要任务是通过图像处理、人工智能方法，实时实现可见光、红外视频中所有感兴趣目标的检测、识别，并给出目标的位置、尺度等信息。针对地面复杂背景下远距离小尺寸目标检测识别的实际需求，拟采用传统图像目标识别与深度神经网络相结合的自动目标识别方法。

传统的视频图像目标识别方法主要针对单类目标，根据目标的固有特性(如尺寸、纹理、颜色、形状、结构信息等)设计人工特征，然后采用滑动窗口搜索的策略对图像中的特定目标进行提取。该类方法简单易行，但是难以对多类目标(如行人、车辆以及其他敏感目标)同时进行识别。针对实际需求，采用一种可变卷积结构的神经网络模型，进行目标自动识别。该模型利用可变卷积结构对具有尺度和方向变化的目标进行特征提取；然后，目标区域预测子网络从多层深度特征图中提取目标候选区域；目标区域分类子网络完成目标候选区域的分类和位置回归。深度特征提取网络采用的是fpn(featurepyramidnetwork)网络，该网络采用bottom-up与top-down结构，实现了低层特征和高层语义特征的融合，从而，提升了特征映射的信息密度和分辨率，提高了小尺寸目标的识别性能。

运动目标检测。凝视模式下运动目标检测，其实现过程是先采用混合高斯背景建模法进行前景提取；然后使用目标外观信息(面积、长宽比、密实度等)，对目标进行第一次过滤；再利用目标的序列连续性，最后输出连续、稳定出现的目标。

融合方法较多，根据项目特点及对计算时间的要求，这里主要采用一种基于双边滤波的图像融合方法。该方法源于双边滤波的图像去噪技术，该技术的特点在于对图像进行滤波时去掉图像的噪声，保留图像的纹理及边缘，其与高斯滤波方法比较的三维图，可见双边滤波方法具有良好的保持边缘特点。把双边滤波方法应用到融合中，其核心思想就是以某一图像作为基本图像，另一波段图像通过双边滤波得到其突出边缘纹理的图像，称为细节图像，把基本图像和细节图像按一定权重组合起来形成融合图像。

双边滤波公式及融合公式如下式所示。

ifusion＝αibase+βidetail

其中，h(s)表示滤波后s点的像素值。s表示滤波点的位置。p表示与滤波点的邻域像素位置，d(p,s)表示滤波点s和其邻域点p之间的像素点差，ip表示p点像素值，ω表示滤波子窗口。g(||p-s||)反映了p点像素和s点像素之间距离对s的影响，如公式(3)。g(d(p,s))反映了p点和s点像素之间的相似程度对s的影响，如公式(2)。is表示s点像素值，ip表示p点的像素值；ifusion表示融合后的图像，ibase表示滤波之后含有边缘信息的图像，idetail表示双边滤波后的图像减去原始图像得到的细节图像；α、β分别表示图像ibase的权重参数和idetail的权重参数。

本实用新型提供了一种基于vpx总线架构的综合图像处理信息集成系统，具体实现该技术方案的方法和途径很多，以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。