一种适用于无人作战系统的高实时性通用图像处理平台的制作方法

本发明实施例涉及图像处理技术领域，尤其涉及一种适用于无人作战系统的高实时性通用图像处理平台。

背景技术：

在无人操作系统中的图像处理平台要求具备体积小、集成度高、实时性高的特点。为了提高图像处理的实时性，对于数据链路的传输延时、图像处理算法的耗时都有着十分严格的要求。为了缩短研发周期，整个图像处理平台要符合模块化、通用化的设计思路。

随着人工智能算法的普及，将传统的跟踪处理算法与人工智能的识别算法相结合已成为一种趋势。但由于人工智能算法平台的体积和功耗较大，若将其集成到图像处理平台中，对于空间和散热的设计都有较大的困难。

技术实现要素：

本发明实施例提供一种适用于无人作战系统的高实时性通用图像处理平台，通过网络等通讯接口将人工智能识别与决策系统的运算结果引入图像处理平台，结合图像处理平台本身的跟踪处理算法，进一步提高目标跟踪的稳定性与准确性。

本发明实施例提供了一种适用于无人作战系统的高实时性通用图像处理平台，包括现场可编程逻辑门阵列fpga模块和数字信号处理dsp模块；

所述fpga模块，用于采集图像源，并解析所述图像源后通过srio高速串行接口传输到dsp模块；

所述dsp模块，用于接收图像数据后进行运算，并与外部处理模块进行数据交互。

进一步，所述dsp模块具体用于通过ddr3读写控制器将图像数据写入ddr3读写控制器内的图像缓存区中，并根据需求读取ddr3读写控制器中的图像数据进行运算。

进一步，所述dsp模块还用于通过网络与外部处理模块进行数据交互，通过引入外部处理模块的运算结果，结合dsp模块自身的跟踪处理算法，以提高目标跟踪的稳定性和准确性；所述外部处理模块包括人工智能识别与决策系统。

进一步，所述fpga模块和所述dsp模块，所述fpga模块与接口模块间通过fmc标准接插件进行互联。

进一步，所述fpga模块和所述dsp模块均包括存储单元、电源单元、时钟单元、复位单元和网口单元。

进一步，所述dsp模块还包括dsp内核和ddr3图像缓存单元；所述dsp内核集成有图像处理算法，用于进行图像数据运算，所述ddr3图像缓存单元用于存储图像数据。

本发明实施例提供的一种适用于无人作战系统的高实时性通用图像处理平台，利用了fpga并行处理能力强、io管脚数量多、集成软核资源丰富的特点与dsp强大运算处理能力的特点。fpga负责图像的采集、显示、外部通讯控制、图像预处理，由于fpga并行处理的特点，这些工作都是同步展开的，有助于提升图像跟踪的实时性。dsp则专注于图像处理算法的实现，不会被其他任务中断图像处理运算流程，缩短跟踪处理时间，提高跟踪实时性。dsp还可通过网络接收外部信息，如人工智能平台的目标识别与决策结果，进一步提高跟踪的稳定性与准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的图像处理平台核心模块电路组成框图；

图2为根据本发明实施例提供的图像处理平台核心模块搭配接口模块的一种具体应用示意图；

图3为根据本发明实施例提供的图像处理算法流程框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

随着人工智能算法的普及，将传统的跟踪处理算法与人工智能的识别算法相结合已成为一种趋势。但由于人工智能算法平台的体积和功耗较大，若将其集成到图像处理平台中，对于空间和散热的设计都有较大的困难。但可以通过网络等通讯接口将人工智能识别与决策系统的运算结果引入图像处理平台，结合图像处理平台本身的跟踪处理算法，进一步提高目标跟踪的稳定性与准确性。

因此，本发明实施例提出一种适用于无人作战系统的高实时性通用图像处理平台，利用了fpga(fieldprogrammablegatearray，现场可编程逻辑门阵列)并行处理能力强、io管脚数量多、集成软核资源丰富的特点与dsp(digitalsignalprocessor，数字信号处理)强大运算处理能力的特点。fpga负责图像的采集、显示、外部通讯控制、图像预处理，由于fpga并行处理的特点，这些工作都是同步展开的，有助于提升图像跟踪的实时性。dsp则专注于图像处理算法的实现，不会被其他任务中断图像处理运算流程，缩短跟踪处理时间，提高跟踪实时性。dsp还可通过网络接收外部信息，如人工智能平台的目标识别与决策结果，进一步提高跟踪的稳定性与准确性。以下将通过多个实施例进行展开说明和介绍。

图1至图3为本发明实施例提供了一种适用于无人作战系统的高实时性通用图像处理平台，包括现场可编程逻辑门阵列fpga模块和数字信号处理dsp模块；

所述fpga模块，用于采集图像源，并解析所述图像源后通过srio高速串行接口传输到dsp模块；

所述dsp模块，用于接收图像数据后进行运算，并与外部处理模块进行数据交互。

图1为根据本发明实施例提供的图像处理平台核心模块电路组成框图，在本实施例中，作为一种优选的实施方式，选用fpga+多核dsp的图像处理架构，fpga模块负责图像源的采集、预处理及显示，dsp模块专注于图像处理复杂算法的实现，并通过网络和人工智能识别与决策系统进行数据交互；利用了fpga模块并行处理能力强、io管脚数量多、集成软核资源丰富的特点与dsp模块强大运算处理能力的特点。fpga模块负责图像的采集、显示、外部通讯控制、图像预处理，由于fpga模块并行处理的特点，这些工作都是同步展开的，有助于提升图像跟踪的实时性。dsp模块则专注于图像处理算法的实现，不会被其他任务中断图像处理运算流程，缩短跟踪处理时间，提高跟踪实时性。

在上述实施例的基础上，所述dsp模块具体用于通过ddr3读写控制器将图像数据写入ddr3读写控制器内的图像缓存区中，并根据需求读取ddr3读写控制器中的图像数据进行运算。

在本实施例中，作为一种优选的实施方式，dsp模块通过网络可与其他处理模块进行数据交互。fpga模块与dsp模块在处理图像数据时可在外部存储模块中进行数据缓存。图3为图像处理算法实现的流程框图，fpga模块在完成了源端数据解析后，直接通过srio高速串行接口传输到dsp模块端，链路上的传输延迟极低。dsp模块在收到图像数据后，先通过ddr3读写控制器将数据写入外部ddr3内的图像缓存区中，然后再根据需要从ddr3中将数据读取到内核中进行运算。由于dsp模块具有多个内核，可以通过协同处理的方式进一步提高处理速度。

在上述各实施例的基础上，所述dsp模块还用于通过网络与外部处理模块进行数据交互，通过引入外部处理模块的运算结果，结合dsp模块自身的跟踪处理算法，以提高目标跟踪的稳定性和准确性；所述外部处理模块包括人工智能识别与决策系统。

在本实施例中，作为一种优选的实施方式，dsp模块通过网络能够与其他处理模块(如人工智能识别与决策系统)进行数据交互，通过引入其他处理模块的运算结果，结合dsp模块自身的跟踪处理算法，可以进一步提高目标跟踪的稳定性和准确性。

在上述各实施例的基础上，所述fpga模块和所述dsp模块，所述fpga模块与接口模块间通过fmc标准接插件进行互联。

在本实施例中，作为一种优选的实施方式，dsp模块通过网络可与其他处理模块进行数据交互。fpga模块与dsp模块在处理图像数据时可在外部存储模块中进行数据缓存。核心模块与接口模块之间通过fmc标准接插件进行互联，通讯协议按照fmc(fpgamezzaninecard，fpga中间层板卡)标准规范制定。

在上述各实施例的基础上，所述fpga模块和所述dsp模块均包括存储单元、电源单元、时钟单元、复位单元和网口单元。

在本实施例中，作为一种优选的实施方式，图1包含了图像处理平台的核心组成部分，由fpga模块、dsp模块搭配必须的电源、时钟、复位模块组成。

在上述各实施例的基础上，所述dsp模块还包括dsp内核和ddr3图像缓存单元；所述dsp内核集成有图像处理算法，用于进行图像数据运算，所述ddr3图像缓存单元用于存储图像数据。

板卡尺寸为3u，满足无人作战系统中小型化的需求，采用核心模块+接口模块的设计方式，根据实际情况搭配不同的接口模块进行使用，提升平台通用性，缩短研发周期；

图2为根据本发明实施例提供的图像处理平台核心模块搭配接口模块的一种具体应用示意图，其中视频编码器与视频解码器都集成在接口模块上，根据具体的视频源类型、视频源数量、显示接口数量来选用合适的接口模块，核心模块与接口模块之间通过fmc接口进行数据交互。视频的采集与显示所需的解码器与编码器都由fpga模块来控制。fpga模块还负责将经过预处理后的视频数据通过高速串行总线接口发送给dsp模块，dsp模块只需专注于图像处理算法流程的实现，不会被其他任务中断，提高跟踪实时性。dsp模块通过网络能够与其他处理模块(如人工智能识别与决策系统)进行数据交互，通过引入其他处理模块的运算结果，结合dsp模块自身的跟踪处理算法，可以进一步提高目标跟踪的稳定性和准确性

综上所述，本发明实施例提供的一种适用于无人作战系统的高实时性通用图像处理平台，利用了fpga模块并行处理能力强、io管脚数量多、集成软核资源丰富的特点与dsp强大运算处理能力的特点。fpga模块负责图像的采集、显示、外部通讯控制、图像预处理，由于fpga模块并行处理的特点，这些工作都是同步展开的，有助于提升图像跟踪的实时性。dsp则专注于图像处理算法的实现，不会被其他任务中断图像处理运算流程，缩短跟踪处理时间，提高跟踪实时性。dsp还可通过网络接收外部信息，如人工智能平台的目标识别与决策结果，进一步提高跟踪的稳定性与准确性。

需要说明的是，本发明实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。