压缩感知图像的采集重建方法和系统与流程

本发明涉及计算机图像采集和处理领域，具体涉及一种压缩感知图像的采集重建方法和设备。

背景技术：

近年来计算机技术高速发展，数据和信息也改变着人们的生活方式，随着数据的爆炸式增长，对数据的压缩存储就有了更改的要求，根据经典的nyquist采样定律，如果想要无失真恢复原始信号，那么信号采样频率至少需要是原始信号带宽的2倍。这一采样定律始终限制着对信号的压缩，但是在稀疏信号上，压缩感知理论突破了这一采样定律，使得我们能够利用极少量的采样数据就能够高质量的恢复原始信号。

压缩感知理论主要依据信号稀疏性的假设，自然界中人们可以理解的信号都具有一定的规律性，例如图像通常是连续变化的，而不是杂乱无章的噪声。这一规律性表现在数学上就是通过某一变换基变换后大多数系数都近似于0，所以压缩感知基本理论如下公式：

ax＝b

其中a是一m*n的变换矩阵，x是n维原始信号，信号x与a作用得到m维测量值b，通常m远小于n，那么n维的信号x就被压缩成了m维的信号b。但也正是由于m远小于n，这一问题的求解也就成了欠定方程组求解的问题，此类方程组的求解是非常困难的，这也正是压缩感知算法求解时间长的原因。

通常在实际应用中，矩阵x需要显示在空间光调制器(例如液晶、dmd)上，通过调制外接进入的光线来达到a乘x的目的，信号b在实际应用中利用的是光敏元器件(例如光电二极管、cmos)接收，通过光电转换把调制后的光信号b转换为计算机能够处理的电信号，然后再通过数字模拟转换电路(adc)转换为二进制数值存储下来。这样我们在实际系统应用中就得到了测量值，可以用于存储或者恢复图像。这一过程中如果要高速的采集图像数据，需要空间光调制器和光电器件严格同步，否则采集的信号就会出错。

图像恢复算法通常利用计算机来处理运算，但是由于这一算法是一个欠定方程组求解问题，运行就需要比较长的时间，这也是一直以来制约压缩感知技术发展的一个因素。

现有方案一的缺点

1.软件算法重建速度慢。现有技术是将软件算法在计算机上简单实现，例如利用matlab等工具实现算法，这样导致算法优化不够，同时普通的计算机cpu也不适合进行大规模的矩阵运算，最终使得软件算法运行效率低，重建速度慢。

2.只能进行图像或者视频的采集。通常图像的采集利用到了光电二极管，而视频的采集则利用的是cmos相机，现有技术在光路上只有上述一种设备，导致只能进行图像或者视频的单一采集。

技术实现要素：

为解决上述问题，本发明提出一种能够同步稳定的采样，同时能够快速重建图像的压缩感知采样和重建的方法和设备。

具体来说，本发明涉及一种压缩感知图像的采集重建方法，包括：

采样步骤，通过对原始图像进行双光路调制，得到第一调制信号和/或第二调制信号，采样该第一调制信号和/或该第二调制信号以得到第一采样值和/或第二采样值；

重建步骤，采用下列步骤之一：

主控计算机通过调用该主控计算机内的第一压缩感知重建模块，对该第一采样值和/或该第二采样值进行重建，并采用图形处理器进行该重建中的规模矩阵运算；

该主控计算机将该第一采样值和/或该第二采样值，发送至现场可编程门阵列，该现场可编程门阵列调用硬化在该现场可编程门阵列内的第二压缩感知重建模块，对该第一采样值和/或该第二采样值进行重建。

本发明所述的压缩感知图像的采集重建方法，其中该采集步骤中的该双光路调制具体包括：通过空间光调制器，将该原始图像调制并发送至第一光路和/或第二光路，发送至第一光路的调制信号为该第一调制信号，发送至第二光路的调制信号为该第二调制信号。

本发明所述的压缩感知图像的采集重建方法，其中该采集步骤还包括：

第一采样步骤，通过第一光电传感器接收该第一调制信号，采样单帧静态图像以形成该第一采样值；

第二采样步骤，通过第二光电传感器接收该第二调制信号，采样多帧连续图像以形成该第二采样值。

本发明所述的压缩感知图像的采集重建方法，其中该重建步骤还包括：对该第一采样值执行重建以得到重建图像，对该第二采样值执行重建以得到重建视频。

本发明所述的压缩感知图像的采集重建方法，其特征在于，该重建步骤之后还包括：

存储步骤，将该重建图像或该重建视频存储至该主控计算机内的存储器。

本发明还涉及一种压缩感知图像的采集重建系统，包括：

采集模块，用于通过对原始图像进行双光路调制，得到第一调制信号和/或第二调制信号，采样该第一调制信号和/或该第二调制信号以得到第一采样值和/或第二采样值；

重建模块，包括第一重建模块或第二重建模块；

该第一重建模块，用于主控计算机通过调用该主控计算机内的第一压缩感知重建模块，对该第一采样值和/或该第二采样值进行重建，并采用图形处理器进行该重建中的规模矩阵运算；

该第二重建模块，用于该主控计算机将该第一采样值和/或该第二采样值，发送至现场可编程门阵列，该现场可编程门阵列调用硬化在该现场可编程门阵列内的第二压缩感知重建模块，对该第一采样值和/或该第二采样值进行重建。

本发明所述的压缩感知图像的采集重建系统，其中该采集模块包括：

空间光调制器，用于将该原始图像调制并发送至第一光路和/或第二光路，发送至第一光路的调制信号为该第一调制信号，发送至第二光路的调制信号为该第二调制信号；

第一光电传感器，用于通过第一光电传感器接收该第一调制信号，采集单帧静态图像以形成该第一采样值；

第二光电传感器，用于通过第二光电传感器接收该第二调制信号，采集多帧连续图像以形成该第二采样值。

本发明所述的压缩感知图像的采集重建系统，其中该重建模块所得到的重建结果包括：重建图像和重建视频，其中该第一采样值重建后得到该重建图像，该第二采样值重建后得到该重建视频。

本发明所述的压缩感知图像的采集重建系统，还包括存储模块，用于将该重建结果存储至该主控计算机内的存储器。

本发明在现有压缩感知成像技术的基础上，设计了同时进行图像采集的方案，而且集成了压缩感知算法重建的部分，进行了gpu的软件算法加速，设计了fpga的软件算法硬化方案，达到了高效图像视频采集和快速重建的效果。

附图说明

图1是压缩感知图像的采集重建方法及设备示意图

图2是本发明实施例之一的dmd实现调制及双光路采集过程的示意图

图3是本发明实施例之一的cpu和gpu执行重建流程图

图4是本发明实施例之一的fpga内部结构示意图

图5是本发明实施例之一的fpga执行重建框图

图6是本发明实施例之一的fpga执行重建流程示意图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的压缩感知图像的采集重建方法及设备进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

针对压缩感知成像当前方案中存在的问题，本发明设计了一种压缩感知图像的采集重建方法，同时在方法的基础上实现了一套设备，如图1所示，具体实施细节如下：

如图2所示，双光路设计能够同时获得图像的测量值，假设正向光路是光电管，那么可以获得ax＝b的测量值b，反向光路是cmos图像传感器，图像a与光电管是一样的，唯一不同的是dmd上显示的测量矩阵是跟x相反的，假设为x’，那么反向光路cmos可以获得ax’＝b’的测量值，这条光路也是可以通过压缩感知算法重建出图像或者视频的。这样双光路设计就可以同时获得图像的测量值。

双光路的设计在实际使用中还可以提供图像的预览，通常情况下相机在拍照前需要对拍摄的场景进行预览，以获得位置和效果最佳的待拍摄图像，这样预览就是有必要的。双光路在拍摄前可以通过cmos观察图像的情况，同时在主控计算机上显示，这样就能够获得待拍摄场景的预览图像。

主控计算机获得测量值以后可以通过主控计算机的cpu和图形处理器(gpu)调用本地软件算法重建图像，或通过现场可编程门阵列(fpga)重建图像。

实施例一：

具体来说，空间光调制器使用dmd，采用德州仪器(ti)的d4100，其分辨率达到1920*1080，能够最高支持16000帧/秒的采样，可以实现高速的压缩感知采样，缩短采样时间；第一光电传感器使用光电二极管，采用高速的硅光电二极管，能够达到30khz的采样速度；第二光电传感器使用cmos相机，采用大恒图像的工业相机，能够有高信噪比的输出，减少图像噪声；主控计算机采用intelcorei3的普通计算机；gpu使用的是nvidiak20系列图形计算单元服务器。

使用cpu和gpu执行重建的流程如图3，实现在gpu上的优点是，gpu擅长进行大规模的矩阵运算，这样可以加速软件的执行速度，例如针对某1920×1080的高清图像，cpu版本的软件算法重建需要100秒左右时间，然而经过本发明改进的使用gpu的软件算法只需要1秒左右的时间，大大缩短了软件的执行时间。具体执行时间如表1：

表1：cpu和gpu在重建执行时间上的对比(单位：秒)

实施例二：

具体来说，空间光调制器使用dmd，采用德州仪器(ti)的d4100，其分辨率达到1920*1080，能够最高支持16000帧/秒的采样，可以实现高速的压缩感知采样，缩短采样时间；第一光电传感器使用光电二极管，采用高速的硅光电二极管，能够达到30khz的采样速度；第二光电传感器使用cmos相机，采用大恒图像的工业相机，能够有高信噪比的输出，减少图像噪声；主控计算机采用intelcorei3的普通计算机；fpga使用的是双核xilinxv72000t的fpga芯片。

fpga的内部结构如图4，包括：系统axi总线、microblaze、tval3、pcie、ddr、串口及gpio；系统axi总线上挂载了多个设备，其中microblaze是微处理器核，用于逻辑控制，tval3是一种硬化在fpga内的压缩感知重建算法，pcie是与主控计算机通信的高速接口，用于图像和测量值的传递，ddr是重建时所需的内存，串口用于调试和状态信息的输出，gpio用于简单低速的逻辑控制。

fpga执行重建的流程如图5、图6所示，主控计算机将接收到的测量值传递到fpga的ddr，并通过串口通知fpga开始重建，fpga的microblaze通知tval3执行重建，所得到的重建结果存入ddr，并由microblaze通知主控计算机读取重建结果。

fpga用于制造专用芯片及芯片制造过程中的验证，通常编解码算法先有的软件算法，然后将算法硬化在fpga上验证，由于fpga设计的是算法处理的专用硬件，比通常的cpu运行都要快很多，这也就是硬解码的优势，本发明正是对tval3算法进行了硬化，实现了硬件版本的tval3算法。这样，软件算法可以独立于cpu运行，算法运行完毕以后可以通知主控计算机读取结果，这样可以减少cpu占用率，提升性能。同时fpga内部是并行的逻辑设计，与普通cpu的串行逻辑不同，这样如果设计合理可以同时完成多项任务，算法运行效率比cpu要高很多。

虽然本发明已以实施例公开如上，但其并非用以限定本发明，任何所属技术领域的技术人员，在不脱离本发明的精神和范围内，当可作些许的变更与修改，故本发明的保护范围当视权利要求书保护范围所界定者为准。