动态重配置图像处理功能的智能相机及其动态重配置方法
【专利摘要】本发明公开了一种动态重配置图像处理功能的智能相机，包括：系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块；系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模块集成于SoC（System?on?Chip系统级芯片）芯片及其外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。本发明还公开了基于上述动态重配置图像处理功能的智能相机的图像处理功能动态重配置方法。本发明在相机使用期间，能够不中断系统的情况下更换不同的图像处理算法，提高了智能相机的灵活性和适应性。
【专利说明】动态重配置图像处理功能的智能相机及其动态重配置方法
【技术领域】
[0001]本发明涉及相机技术，具体涉及一种动态重配置图像处理功能的智能相机及其动态重配置方法。
【背景技术】
[0002]随着相机的应用领域不断扩大，对相机提出了越来越高的要求，不仅要求相机的像素提高、处理速度加快，而且还要求相机功能丰富、灵活适应各种应用场合的要求。然而目前采用ARM和DSP芯片的相机，一方面处理速度有待提高，另一方面不适合用来实现数据运算量较大图像处理算法。采用FPGA芯片的相机，则有并行计算的优势，然而相机厂商的相机产品出厂时在FPGA芯片上的算法配置就已经固化，用户不能根据实际应用场合更改，失去了相机灵活性。因此，迫切需要一种既有很高的运算速度，又有很高灵活性的智能相机。Xilinx和Altera两家公司均已开始供应可动态重配置的芯片，并在部分系列的芯片上增加了硬核处理器，可以通过硬核处理器实现芯片的FPGA资源动态重配置，因此智能相机的图像处理功能可以在FPGA资源上实现，并且可以根据需要动态配置。
【发明内容】
[0003]本发明的目的在于克服现有技术的不足，提供一种结构紧凑合理、处理数字图像功能更灵活、更快捷的动态重配置图像处理功能的智能相机。
[0004]为了达到上述目的，本发明采用的技术方案是，一种动态重配置图像处理功能的智能相机，包括:系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块；系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模块集成于SoC (System on Chip系统级芯片)芯片及其外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。
[0005]更具体的，在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。
[0006]更具体的，所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是指对所述可重配置资源中一个区域重配置。
[0007]更具体的，将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的功能编译成相应的每一个动态配置文件。这样，FPGA资源上实现的所有功能就对应一个静态配置文件和若干个动态配置文件。FPGA资源上设定的静态配置资源使用一个静态配置文件配置，可重配置资源使用若干个动态配置文件配置。
[0008]更具体的，所有图像处理功能采用统一的流式高速图像处理总线接口，该接口实现图像处理功能之间的隔离和数据传输。所述流式高速图像处理总线接口，是一种采用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送。
[0009]更具体的，在程序编写中使用编程工具以流式图像处理总线的程序代码对图像处理功能代码封装，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，从而得到带有流式高速图像处理总线接口的图像处理功能，由编程工具对程序代码编译转换为图像处理功能的配置文件。
[0010]更具体的，将编程工具产生的所有配置文件存储到相机的外部存储中。
[0011]更具体的，所述系统控制模块集成于SoC芯片及其外围电路上，实现对所有其它模块的控制。
[0012]更具体的，所述图像采集模块包括:图像传感器及其驱动电路、光学成像系统和与所述图像处理模块相连的接口，其完成图像的采集，并完成图像数据的AD转换。
[0013]更具体的，所述图像显示模块包括:与所述SoC芯片相连的显示接口驱动芯片和与所述显示接口驱动芯片相连的IO接口。
[0014]更具体的，所述通讯模块包括:通讯接口驱动芯片和与所述通讯接口驱动芯片相连的通讯IO接口。
[0015]更具体的，所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC
-H-* I I
心/T O
[0016]更具体的，所述智能相机运行一种基于Iinux内核的操作系统，该操作系统在所述SoC芯片的硬核处理器上运行，管理所有硬件资源和任务调度，提供图形用户界面，并将该图形用户界面在所述图像显示模块中输出。
[0017]本发明的目的还在于提供基于上述动态重配置图像处理功能的智能相机的图像处理功能动态重配置方法，步骤包括:
[0018]S1、产生配置文件:
[0019]S11、在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是指对所述可重配置资源中一个区域重配置。
[0020]S12、将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的功能编译成相应的每一个动态配置文件。这样，FPGA资源上实现的所有功能就对应一个静态配置文件和若干个动态配置文件。FPGA资源上设定的静态配置资源使用一个静态配置文件配置，可重配置资源使用若干个动态配置文件配置。
[0021]S13、所有图像处理功能采用统一的流式高速图像处理总线接口，该接口是一种采用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送。所述流式高速图像处理总线接口实现图像处理功能之间的隔离和数据传输。
[0022]S14在程序编写中使用编程工具将所述流式高速图像处理总线和图像处理功能代码封装在一起，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，从而得到带有流式高速图像处理总线接口的图像处理功能对应的配置文件。
[0023]S15、将所有配置文件存储到相机的外部存储中。[0024]S2、动态重配置图像处理功能:
[0025]S21、系统启动，SoC芯片先加载静态配置文件，图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，开始由静态配置文件对应的若干个图像处理功能处理，向输出接口传输。
[0026]S22、系统运行中，用户向系统发出一个重配置某项功能的指令，系统将与该项功能对应的动态配置文件加载到内存中，再加载到FPGA的可重配置资源上的某个区域；或者直接从外部存储加载到FPGA可重配置资源上。
[0027]S23、根据所述动态配置文件识别FPGA可重配置资源的一个区域，对该区域进行逻辑重构，同时自动连接图像处理功能之间的流式高速图像处理总线接口，启动重配置后的图像处理功能。
[0028]加载所述动态配置文件时分为两种情况:1)、可重配置资源中对应的区域未被配置，所述动态配置文件直接加载到该区域上；2)、可重配置资源中对应的区域已被配置，先擦除该对应区域里原来的配置文件，再加载所述动态配置文件到此区域。
[0029]S24、所述动态配置文件的图像处理功能与静态配置文件对应的图像处理功能通过流式高速图像处理总线串联，按照图像处理过程的先后顺序，对图像的逐个或者逐行数据边传输边处理，总线的上一级图像处理输出作为下一级图像处理的输入。
[0030]S25、根据用户的指令，可重配置资源中的任一区域可以实时动态反复使用不同的动态配置文件配置，重复S22、S23和S24步骤，实现不同的图像处理功能动态重配置。
[0031]S26、图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，经过上述若干个数字图像处理功能处理之后，从流式高速图像处理总线输出接口输出。
[0032]相对于现有技术，本发明的有益效果是:智能相机上的图像处理功能能够动态重配置，在有限的FPGA资源上实现多种数字图像处理算法，在相机使用期间，不中断系统的情况下更换不同的图像处理算法，提高了智能相机的灵活性和适应性。而且SoC芯片上实现多种功能，使得相机结构紧凑，占用空间小，使用便捷。
【专利附图】
【附图说明】
[0033]图1为本发明的智能相机的模块框图。
[0034]图2为本发明的FPGA资源分配结构图。
[0035]图3为本发明的流式高速图像处理总线工作原理图。
[0036]图4为本发明图像处理功能动态重配置方法流程图。
【具体实施方式】
[0037]下面结合附图和实施例进一步说明本发明，但本发明要求保护的范围并不限于实施例表述的范围。对本领域的技术人员在不背离本发明的精神及保护范围的情况下做出的其它的变化和修改，仍包括在权利要求书保护的范围内。
[0038]实施例
[0039]本实施例，一种动态重配置图像处理功能的智能相机，包括:系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块；系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模块集成于SoC (System on Chip系统级芯片)芯片及其外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。其模块框图如图1所示。
[0040]所述系统控制模块集成于SoC芯片及其外围电路上，实现对所有其它模块的控制。所述图像采集模块包括:图像传感器及其驱动电路、光学成像系统和与所述图像处理模块相连的接口，其完成图像的采集，并完成图像数据的AD转换。所述图像显示模块包括:与所述SoC芯片相连的显示接口驱动芯片和与所述显示接口驱动芯片相连的IO接口。所述通讯模块包括:通讯接口驱动芯片和与所述通讯接口驱动芯片相连的通讯IO接口。所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。本实施例优选Altera公司的SoC芯片。
[0041]本实施例运行一种基于Iinux内核的操作系统，该操作系统在所述SoC芯片的硬核处理器上运行，管理所有硬件资源和任务调度，提供图形用户界面，并将该图形用户界面在所述图像显示模块中输出。
[0042]本实施例工作原理:
[0043]本实施例SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是指对所述可重配置资源中一个区域重配置。将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的功能编译成相应的每一个动态配置文件。这样，FPGA资源上实现的所有功能就对应一个静态配置文件和若干个动态配置文件。FPGA资源上设定的静态配置资源使用一个静态配置文件配置，可重配置资源使用若干个动态配置文件配置。那么，在本实施例上实现动态重配置图像处理功能就可以转化成动态加载不同的配置文件。FPGA资源分配结构如图2所示。
[0044]在本实施例上实现的所有图像处理功能采用统一的流式高速图像处理总线接口，该接口实现图像处理功能之间的隔离和数据传输。所述流式高速图像处理总线接口，是一种采用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送。流式高速图像处理总线工作原理如图3所示。
[0045]本实施例图像处理功能动态重配置方法流程图如图4所示，首先使用编程工具以流式图像处理总线的程序代码对图像处理功能代码封装，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，从而得到带有流式高速图像处理总线接口的图像处理功能，由编程工具对程序代码编译转换为图像处理功能的配置文件。
[0046]然后将所有配置文件存储到相机的外部存储中，所述外部存储可以是SD卡(Secure Digital Memory Card),或者其它可移动的电子存储介质。本实施例优选SD卡。
[0047]系统启动，SoC芯片先加载静态配置文件，图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，开始由静态配置文件对应的若干个图像处理功能处理，向输出接口传输。[0048]系统运行中，用户向系统发出一个重配置某项功能的指令，系统将与该项功能对应的动态配置文件加载到内存中，再加载到FPGA的可重配置资源上的某个区域；或者直接从SD卡加载到FPGA可重配置资源上。
[0049]根据所述动态配置文件识别FPGA可重配置资源的一个区域，对该区域进行逻辑重构，同时自动连接图像处理功能之间的流式高速图像处理总线接口，启动重配置后的该项图像处理功能。
[0050]加载所述动态配置文件时分为两种情况:1)、可重配置资源中对应的区域未被配置，所述动态配置文件直接加载到该区域上；2)、可重配置资源中对应的区域已被配置，先擦除该对应区域里原来的配置文件，再加载所述动态配置文件到此区域。
[0051]所述动态配置文件的图像处理功能与静态配置文件对应的图像处理功能通过流式高速图像处理总线串联，按照图像处理过程的先后顺序，对图像的逐个或者逐行数据边传输边处理，总线的上一级图像处理输出作为下一级图像处理的输入。
[0052]根据用户的指令，可重配置资源中的任一区域可以实时动态反复使用不同的动态配置文件配置，重复上述三个步骤，实现各种图像处理功能动态重配置。
[0053]图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，经过上述若干个数字图像处理功能处理之后，从流式高速图像处理总线输出接口输出
[0054]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
【权利要求】
1.动态重配置图像处理功能的智能相机，包括系统控制模块、图像处理模块、图像采集模块、图像显示模块和通讯模块，其特征在于:系统控制模块和上述所有其它模块相连，图像处理模块分别与图像采集模块、图像显示模块和通讯模块相连；所述图像处理模块集成于SoC芯片及其外围电路上，所述SoC芯片上具有硬核处理器和FPGA资源，部分或全部FPGA资源可以动态重配置；所述图像处理模块实时动态部分或全部重配置图像处理功能。
2.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部。
3.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征 在于:所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能。
4.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两类，编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的功能编译成相应的每一个动态配置文件。
5.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:所有图像处理功能采用统一的流式高速图像处理总线接口，该接口是一种采用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送。
6.根据权利要求4所述的动态重配置图像处理功能的智能相机，其特征在于:所有配置文件存储在相机的外部存储中，所述外部存储可以是SD卡，或者其它可移动的电子存储介质。
7.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:所述系统控制模块集成于SoC芯片及其外围电路上，实现对所有其它模块的控制。
8.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。
9.根据权利要求1所述的动态重配置图像处理功能的智能相机，其特征在于:所述智能相机运行一种基于Iinux内核的操作系统，该操作系统在所述SoC芯片的硬核处理器上运行，管理所有硬件资源和任务调度。
10.根据权利要求1-9任一项所述的动态重配置图像处理功能的智能相机的图像处理功能动态重配置方法，其特征在于步骤包括: S1、产生配置文件: SI 1、在所述SoC芯片的FPGA资源上设定一部分作为可重配置资源，其余作为静态配置资源，该可重配置资源可以是FPGA资源的一部分也可以是FPGA资源的全部；所述可重配置资源由若干个独立的区域构成，一个区域实现一项功能，一项图像处理功能重配置是指对所述可重配置资源中一个区域重配置； S12、将在FPGA资源上实现的所有功能划分为可重配置的功能和不可重配置的功能两类。编程工具将所有不可重配置的功能编译到单个静态配置文件中；将每一项可重配置的功能编译成相应的每一个动态配置文件； S13、所有图像处理功能采用统一的流式高速图像处理总线接口，该接口是一种采用流水式数据传输方式的总线，在总线的时钟信号驱动下，一个时钟周期传输若干个图像像素的数据，从数据发送端按照图像像素的顺序向数据接收端发送； S14在程序编写中使用编程工具将所述流式高速图像处理总线和图像处理功能代码封装在一起，使图像处理功能的输入输出接口成为流式高速图像处理总线接口，得到带有流式高速图像处理总线接口的图像处理功能对应的配置文件； S15、将所有配置文件存储到相机的外部存储中； S2、动态重配置图像处理功能: s21、系统启动，SoC芯片先加载静态配置文件，图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，开始由静态配置文件对应的若干个图像处理功能处理，向输出接口传输； s22、系统运行中，用户向系统发出一个重配置某项功能的指令，系统将与该项功能对应的动态配置文件加载到内存中，再加载到FPGA的可重配置资源上的某个区域；或者直接从外部存储加载到FPGA可重配置资源上； s23、根据所述动态配置文件识别FPGA可重配置资源的一个区域，对该区域进行逻辑重构，同时自动连接图像处理功能之间的流式高速图像处理总线接口，启动重配置后的图像处理功能； 加载所述动态配置文件时分为两种情况:1)、可重配置资源中对应的区域未被配置，所述动态配置文件直接加载到该区域上；2)、可重配置资源中对应的区域已被配置，先擦除该对应区域里原来的配置文件，再加载所述动态配置文件到此区域； s24、所述动态配置文件的图像处理功能与静态配置文件对应的图像处理功能通过流式高速图像处理总线串联，按照图像处理过程的先后顺序，对图像的逐个或者逐行数据边传输边处理，总线的上一级图像处理输出作为下一级图像处理的输入； s25、根据用户的指令，可重配置资源中的任一区域可以实时动态反复使用不同的动态配置文件配置，重复S22、S23和S24步骤，实现不同的图像处理功能动态重配置； s26、图像数据从流式高速图像处理总线输入接口输入到总线中，成为流式高速图像处理总线的格式，经过上述若干个数字图像处理功能处理之后，从流式高速图像处理总线输出接口输出。
【文档编号】H04N5/232GK103685890SQ201310659093
【公开日】2014年3月26日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】叶峰, 陈剑东, 赖乙宗, 陈灿杰 申请人:华南理工大学