一种基于云计算的公共场合图像信息采集无人机控制系统的制作方法

本发明属于图像采集技术领域，尤其涉及一种基于云计算的公共场合图像信息采集无人机控制系统。

背景技术

目前，业内常用的现有技术是这样的：

公共场合是指处在人群经常聚集、供公众使用或服务于人民大众的活动场所时产生的场合。一般表现为两人以上的场所。例如学校教室、学校寝室等，学校寝室一般4～6人，也应该视为公共场所。然而，现有对公共场合图像采集的无人机工作时间短，续航能力差，图像采集效率低；同时现有对公共场合人流量检测速度较慢，而且精度不高，通常不能有效的解决人流量检测的问题。

在高精度的摄影测量中，图像处理精度对整体测量精度起着至关重要的作用，但成像过程中摄像机对特征点图像的离散化采样，会造成图像与原始信号的失真，从而带来图像处理环节的误差。

综上所述，现有技术存在的问题是：

现有对公共场合图像采集的无人机工作时间短，续航能力差，图像采集效率低；同时现有对公共场合人流量检测速度较慢，而且精度不高，通常不能有效的解决人流量检测的问题。

现有技术中，没有通过对图像处理过程中特征点总能量、能量分布弥散半径和图像处理窗口的特性分析，并以特征点中心位置、提取误差大小和能量密度函数的标准差之间关系为基础，不能提升原有图像处理精度。

现有技术推导出的拉氏抠图矩阵给出邻域像素的alpha值间的线性关系，被广泛的应用在抠图算法中；拉氏抠图矩阵有其局限性，拉氏抠图矩阵表示空间邻域内像素间的关系，但不能体现非邻域间像素间的关系；拉氏抠图矩阵建立在空间连续的假设基础上，在某些前景和背景分量突变的区域，拉氏抠图矩阵难以得到理想的效果。

现如今，随着几何获取设备(如：深度相机、三维扫描仪等)的发展，人流量检测图形中的多边形网格已成为表示物体表面的一种主流方法。对于既定的曲面，网格数量越多，表示的曲面就越光滑。而对数量繁多的网格表示的曲面直接做纹理映射时，需求出每个网格顶点的纹理坐标，这样会降低方法的时间性能。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于云计算的公共场合图像信息采集无人机控制系统。

本发明是这样实现的，一种基于云计算的公共场合图像信息采集无人机控制系统，所述基于云计算的公共场合图像信息采集无人机控制系统包括：

摄像模块，与单片机控制模块连接，用于通过摄像头对公共场合进行采集图像；

单片机控制模块，与太阳能供电模块、摄像模块、无人机模块、云服务模块、人流量检测模块、数据存储模块、显示模块连接，用于调度各个模块正常工作；

无人机模块，与单片机控制模块连接，用于通过无人机搭配摄像模块进行图像采集；

无人机模块集成有图像处理模块，图像处理模块的处理方法包括：通过仿真拟合的方式，通过特征点中心位置、提取误差大小和能量密度函数标准差σ之间的对应关系，利用最小二乘法进行曲线拟合，求得最佳拟合曲线，以此对误差进行补偿；

假设特征点中心在某个像素内部，将像素分为100等分，每次中心移动0.01pixel，仿真计算出每次移动后的中心，通过对x方向的分析得到不同算法提取点的分布，得出实测中单个像素的提取点也基本呈直线分布；

则误差δx和中心位置x方向的关系也成直线分布，理论直线中误差δx为零，将其斜率定义为1，得到其他算法的直线分布方程：

δx＝(k－1)x.其中，－0.5＜x＜0.5；(1)

方程表述的为误差和中心位置的关系，与像素分割的份数和间隔大小无关，只需保证每次间隔一致，得到不同位置不同算法下直线分布相应的斜率k以及误差δx和中心位置x方向的关系；在特征点的图像能量密度函数标准差σ一定时，通过仿真得到在单个像素内每次移动后高斯拟合得到的标准差分布；由于离散化采样的影响，高斯拟合出的标准差σ是呈2次曲线分布的，极小值最接近于真值；

再对不同距离的特征点进行实际测量拟合，可得到单像素内标准差实际分布，得到标准差σ和中心位置的表达式：

σ＝p1x²+p2；其中，－0.5＜x＜0.5；(2)

根据得到的特征点中心位置、提取误差大小和能量密度函数的标准差σ之间的对应关系，对该位置的提取坐标进行补偿；若在不同位置都得到三者之间的关系，根据(1)式和(2)式，并通过最小二乘法进行曲线拟合得出两组关系：

k＝f1(p2)和p2＝f2；

最后的补偿精度低于0.05pixel，拟合的rms小于0.05pixel，最后通过(1)公式可计算得到该点对应的误差，对初提取出的坐标进行补偿修正；

设任意提取点的坐标为(xi，yi)，拟合的标准差为бi以及k＝f1(p2)和p2＝f2(σ)，都代入(1)公式得出每点x方向的补偿值：

xp＝{f1[f2(σi)]－1}xix

式中xix为xi的小数部分，其中，－0.5＜xix＜0.5，则得到补偿后的坐标

(xi+xp，yi+yp)(3)；

云服务模块，与单片机控制模块连接，用于通过云服务器集中大数据资源对采集的图像进行处理；

人流量检测模块，与单片机控制模块连接，用于通过对采集图像进行处理分析来检测人流量数据信息；人流量检测模块集成有人流量图像构建模块，人流量图像构建模块的构建方法包括：

1)进行人流量图像模型初始化，遍历人流量图像网格中的每条有向边，若此边仅被一个人流量图像包含，则说明连接此边的两个顶点均为边界点；

2)输入需要保留的顶点个数x，以及夹角阈值θ；

3)判断现有顶点个数是否大于顶点阈值x；若是，则进行4)；若否，则进行9)；

4)分别求出每一条边的边长，以及每个人流量图像的法向量，利用以下公式计算有向边的折叠代价cost(eij)；并找出折叠代价最小的有向边euv，然后进行5)；

cost(eij)＝||eij||·w(eij)

其中w(eij)表示有向边eij的局部曲率，ti表示包含顶点vi的人流量图像集合，表示包含边eij的人流量图像集合，f.normal是指f面的法向量，n.normal是指n面上的法向量；它表示了包含有向边eij的人流量图像面片与包含顶点vi的人流量图像面片的法向最大值；

5)判断u、v是否均为边界点。若是，则进行6)；若否，则进行7)；

6)判断边界点u处的边界角是否大于阈值θ；若是，则进行8)；若否，则进行3)；

7)判断u、v是否满足u是边界点，v不是边界点；若满足，则进行3)；若不满足，则进行8)；

8)删除顶点u，将与顶点u连接的边关系连接至顶点v；并标记u、v两点均为受影响点，进行3)；

9)结束。

进一步，所述基于云计算的公共场合图像信息采集无人机控制系统还包括：

太阳能供电模块，与单片机控制模块连接，用于通过太阳能电池板将太阳能转化为电能，进行供电；

数据存储模块，与单片机控制模块连接，用于存储采集的图像数据；

显示模块，与单片机控制模块连接，用于显示采集的图像数据信息。

进一步，所述人流量检测模块检测方法如下：

首先，将视频图像存储于原始视频数据库，视频图像包括视频文件和文件属性；

其次，利用背景差分法和帧间差分法对图像中的运动目标进行提取；

然后，利用dpm方法提取运动目标特征；将运动目标特征与利用svm建立的人体特征模型库进行对比，根据对比结果判断运动目标是否为人体，人流量计数器是否加减；

最后，在人体遮挡面积过大时采用面积分割法估算人流量。

进一步，所述人体特征模型库构建方法如下：

收集人体标准特征的图像并存储于标准模型库；

根据标准模型库，根据dpm方法识别的人体特征，利用svm方法对人体各个部分特征值进行学习训练模型，形成人体特征模型库。

进一步，最小二乘法的图像处理方法包括：

构造拉普拉斯矩阵，并使用knn邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，从而计算出移动拉氏矩阵，并得到alpha图；

构造抠图拉氏矩阵时，最小二乘法得到alpha图上的线性关系,所述移动最小二乘抠图的方法如下：

在灰度图像中,窗口wi的邻域内alpha值满足局部线性条件，使用移动最小二乘法求解局部线性关系，表示如下：

公式(4)中权值ω，ωi是邻域wk中的权值；式(1)表示为以下矩阵的形式:

对于每个邻域wk,gk定义为‖wk‖×2矩阵；gk每行包括向量(ii,1)，wk是每行向量对应的权值ωi组成的向量，gk’为gk的wk加权，对应的每行向量表示为(wk.ii,wk)，是邻域内所有像素对应的alpha值组成的向量；

系数ak,bk解得如下所示：

令j(α)表示为下式：

δi,j是kroneckerdelta函数，μk和σ²分别是小窗口wk内的基于wk的加权均值和方差，‖wk‖是窗口内像素的个数,l为移动拉氏抠图矩阵；

引入权值ωi，应用至彩色模型，彩色模型下的移动最小二乘抠图方法如下：

用下式表示彩色图像各通道间的线性关系：

c为彩色图像的通道数,在考虑各个通道信息后，式(4)转化为下式:

对式(5)进行化简后，解得彩色模型下移动拉氏矩阵如下式所示：

j(α)＝αlα^t；

在(6)式中，i为小邻域内所有像素对应3*1颜色向量组成的矩阵，μk为i的wk加权平均,σk是i在wk加权下的协方差矩阵。

进一步，利用得到的简化人流量图像网络模型，建立弹簧-质点模型，得到简化人流量图像网格通过弹簧-质点模型参数化于矩形域后的最终位置，包括如下步骤：

(a)读入人流量图像网格模型，初始化质点质量m，弹簧劲度系数k，时间步长δt，迭代域值e；

(b)进行人流量图像网格数据预处理，得到人流量图像网格模型边界点序列，以有各顶点的邻接点序列；

(c)根据式步骤3)、步骤4)选择投影面，将人流量图像网格模型进行投影，在投影面建立二维坐标系，计算人流量图像网格顶点投影后的二维坐标(xi,yi)；

a(x-x0)+b(y-y0)+c(z-z0)＝0

其中，(a,b,c)是投影面的法向量，x0,y0,z0是空间内一定点，(ai,bi,ci)是第i个人流量图像的法向量，n是不规则曲面片上人流量图像的个数；

(d)选取参数化矩形区域的四个顶点，根据投影后的人流量图像网格的结构特征，选取四个边界点，固定于给定矩形域的顶点；

(e)由于点的移动，引发非固定点的受力情况发生改变；根据式计算非固定点所受合力f(pi)；其中，m为弹簧-质点模型系统的质量矩阵，q为质点坐标，k为刚度矩阵；

若对于任意点pi，所受合力均小于给定阈值，即f(pi)≤e，则终止本次迭代,第一次终止迭代时转(i)，第二次终止迭代时转(j)；否则，继续；

(f)根据下式，由合力f(pi)计算每个点的加速度

其中，m是质点质量，为在t时刻质点pi的加速度；

(g)由加速度以及给定的时间步长δt，根据式下两式计算每个点的位移；

其中，和分别为在t和t+δt时刻时质点pi的速度，和分别为在t和t+δt时刻质点pi的位置；

(h)由(g)中的位移，计算每个点在经过δt时间后，点的当前位置转(e)；

(i)将未固定的边界点按照空间网格中边界点与边界点间折线段的比例，固定至给定矩形域的四个边；再继续进行(i)；

(j)得到参数化结果。

本发明的另一目的在于提供一种实现所述云计算的公共场合图像信息采集无人机控制系统的运行方法的计算机程序。

本发明的另一目的在于提供一种实现所述云计算的公共场合图像信息采集无人机控制系统的图像信息数据处理计算机。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述云计算的公共场合图像信息采集无人机控制系统的运行方法。

本发明的另一目的在于提供一种搭载有所述云计算的公共场合图像信息采集无人机控制系统的图像信息数据处理终端。

本发明的优点及积极效果为：

本发明通过太阳能供电模块可以获取高效清洁的太阳能，可以对无人机进行持久供电，提高无人机的工作时长，提高图像采集效率；同时通过云服务模块、人流量检测模块可以大大提高图像处理速度，提高人流量检测速度及检测精度。

本发明无人机模块的图像处理中，通过对图像处理过程中特征点总能量、能量分布弥散半径和图像处理窗口的特性分析，并以特征点中心位置、提取误差大小和能量密度函数的标准差之间关系为基础，提出一种针对离散化采样的误差补偿法。本发明仅需标定一次补偿参数，适用于所有摄像机和算法，可显著提升原有图像处理精度。实验证明，对于质心法和高斯拟合法，该补偿法可将图像提取精度提高到0.04pixel。

本发明在有复杂的前景和前景区域，以及前景和背景复杂混合的区域，都能取得较好的效果。使用最小移动二乘法替代最小二乘法推导出移动拉氏矩阵；相对于最小二乘法，移动最小二乘法求解的线性条件更为准确；使用knn邻域替代空间邻域，使得拉氏矩阵可以反映非邻域间像素的alpha值的关系。本发明根据矩阵求解alpha图,从而可以对复杂背景下的图像进行前景抠图处理,相比以前的方法更为有效，可以求解出更为精确的alpha图，并在图中前背景复杂的区域，特别是在前景和背景颜色混合区域，以及局部会出现空洞的区域，变化较大的区域，都能取得良好的效果。

本发明不需要求出每个人流量检测图像多边形网络格顶点的纹理坐标，就能直接做纹理映射，可以很大程度上减少方法的时间复杂度，提高了时间性能，通过弹簧-质点模型的应用使参数化后的人流量检测图像多边形网格保持了原始人流量检测图像多边形网格的几何结构，弹簧-质点模型的应用能够保持人流量检测图像多边形网格原始几何特征地均匀分布，不会引发纹理会聚以及纹理较大变形现象，因此，纹理映射结果中的纹理变形较小。

附图说明

图1是本发明实施例提供的基于云计算的公共场合图像信息采集无人机控制系统结构框图。

图中：1、太阳能供电模块；2、摄像模块；3、单片机控制模块；4、无人机模块；5、云服务模块；6、人流量检测模块；7、数据存储模块；8、显示模块。

图2是本发明实施例提供的人流量检测模块检测方法流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

如图1所示，本发明实施例提供的基于云计算的公共场合图像信息采集无人机控制系统，包括：太阳能供电模块1、摄像模块2、单片机控制模块3、无人机模块4、云服务模块5、人流量检测模块6、数据存储模块7、显示模块8。

太阳能供电模块1，与单片机控制模块3连接，用于通过太阳能电池板将太阳能转化为电能，进行供电；

摄像模块2，与单片机控制模块3连接，用于通过摄像头对公共场合进行采集图像；

单片机控制模块3，与太阳能供电模块1、摄像模块2、无人机模块4、云服务模块5、人流量检测模块6、数据存储模块7、显示模块8连接，用于调度各个模块正常工作；

无人机模块4，与单片机控制模块3连接，用于通过无人机搭配摄像模块2进行图像采集；

云服务模块5，与单片机控制模块3连接，用于通过云服务器集中大数据资源对采集的图像进行处理；

人流量检测模块6，与单片机控制模块3连接，用于通过对采集图像进行处理分析来检测人流量数据信息；

数据存储模块7，与单片机控制模块3连接，用于存储采集的图像数据；

显示模块8，与单片机控制模块3连接，用于显示采集的图像数据信息。

如图2，本发明提供的人流量检测模,检测方法如下：

s101：首先，将视频图像存储于原始视频数据库，视频图像包括视频文件和文件属性；

s102：其次，利用背景差分法和帧间差分法对图像中的运动目标进行提取；

s103：然后，利用dpm方法提取运动目标特征；将运动目标特征与利用svm建立的人体特征模型库进行对比，根据对比结果判断运动目标是否为人体，人流量计数器是否加减；

s104：最后，在人体遮挡面积过大时采用面积分割法估算人流量。

本发明提供的人体特征模型库构建方法如下：

收集人体标准特征的图像并存储于标准模型库；

根据标准模型库，根据dpm方法识别的人体特征，利用svm方法对人体各个部分特征值进行学习训练模型，形成人体特征模型库。

本发明工作时，通过太阳能供电模块1将太阳能转化为电能，进行供电；通过摄像模块2对公共场合进行采集图像；单片机控制模块3调度无人机模块4搭配摄像模块2进行图像采集；通过云服务模块5集中大数据资源对采集的图像进行处理；通过人流量检测模块6对采集图像进行处理分析来检测人流量数据信息；接着，通过数据存储模块7存储采集的图像数据；最后，通过显示模块8显示采集的图像数据信息。

下面结合具体分析对本发明作进一步描述。

无人机模块集成有图像处理模块，图像处理模块的处理方法包括：通过仿真拟合的方式，通过特征点中心位置、提取误差大小和能量密度函数标准差σ之间的对应关系，利用最小二乘法进行曲线拟合，求得最佳拟合曲线，以此对误差进行补偿；

假设特征点中心在某个像素内部，将像素分为100等分，每次中心移动0.01pixel，仿真计算出每次移动后的中心，通过对x方向的分析得到不同算法提取点的分布，得出实测中单个像素的提取点也基本呈直线分布；

则误差δx和中心位置x方向的关系也成直线分布，理论直线中误差δx为零，将其斜率定义为1，得到其他算法的直线分布方程：

δx＝(k－1)x.其中，－0.5＜x＜0.5；(1)

方程表述的为误差和中心位置的关系，与像素分割的份数和间隔大小无关，只需保证每次间隔一致，得到不同位置不同算法下直线分布相应的斜率k以及误差δx和中心位置x方向的关系；在特征点的图像能量密度函数标准差σ一定时，通过仿真得到在单个像素内每次移动后高斯拟合得到的标准差分布；由于离散化采样的影响，高斯拟合出的标准差σ是呈2次曲线分布的，极小值最接近于真值；

再对不同距离的特征点进行实际测量拟合，可得到单像素内标准差实际分布，得到标准差σ和中心位置的表达式：

σ＝p1x²+p2；其中，－0.5＜x＜0.5；(2)

根据得到的特征点中心位置、提取误差大小和能量密度函数的标准差σ之间的对应关系，对该位置的提取坐标进行补偿；若在不同位置都得到三者之间的关系，根据(1)式和(2)式，并通过最小二乘法进行曲线拟合得出两组关系：

k＝f1(p2)和p2＝f2；

最后的补偿精度低于0.05pixel，拟合的rms小于0.05pixel，最后通过(1)公式可计算得到该点对应的误差，对初提取出的坐标进行补偿修正；

设任意提取点的坐标为(xi，yi)，拟合的标准差为бi以及k＝f1(p2)和p2＝f2(σ)，都代入(1)公式得出每点x方向的补偿值：

xp＝{f1[f2(σi)]－1}xix

式中xix为xi的小数部分，其中，－0.5＜xix＜0.5，则得到补偿后的坐标

(xi+xp，yi+yp)(3)；

人流量检测模块，与单片机控制模块连接，用于通过对采集图像进行处理分析来检测人流量数据信息；人流量检测模块集成有人流量图像构建模块，人流量图像构建模块的构建方法包括：

1)进行人流量图像模型初始化，遍历人流量图像网格中的每条有向边，若此边仅被一个人流量图像包含，则说明连接此边的两个顶点均为边界点；

2)输入需要保留的顶点个数x，以及夹角阈值θ；

3)判断现有顶点个数是否大于顶点阈值x；若是，则进行4)；若否，则进行9)；

4)分别求出每一条边的边长，以及每个人流量图像的法向量，利用以下公式计算有向边的折叠代价cost(eij)；并找出折叠代价最小的有向边euv，然后进行5)；

cost(eij)＝||eij||·w(eij)

其中w(eij)表示有向边eij的局部曲率，ti表示包含顶点vi的人流量图像集合，表示包含边eij的人流量图像集合，f.normal是指f面的法向量，n.normal是指n面上的法向量；它表示了包含有向边eij的人流量图像面片与包含顶点vi的人流量图像面片的法向最大值；

5)判断u、v是否均为边界点。若是，则进行6)；若否，则进行7)；

6)判断边界点u处的边界角是否大于阈值θ；若是，则进行8)；若否，则进行3)；

7)判断u、v是否满足u是边界点，v不是边界点；若满足，则进行3)；若不满足，则进行8)；

8)删除顶点u，将与顶点u连接的边关系连接至顶点v；并标记u、v两点均为受影响点，进行3)；

9)结束。

最小二乘法的图像处理方法包括：

构造拉普拉斯矩阵，并使用knn邻域替代空间邻域，获取非邻域像素在alpha图上的线性关系，从而计算出移动拉氏矩阵，并得到alpha图；

构造抠图拉氏矩阵时，最小二乘法得到alpha图上的线性关系,所述移动最小二乘抠图的方法如下：

在灰度图像中,窗口wi的邻域内alpha值满足局部线性条件，使用移动最小二乘法求解局部线性关系，表示如下：

公式(4)中权值ω，ωi是邻域wk中的权值；式(1)表示为以下矩阵的形式:

对于每个邻域wk,gk定义为‖wk‖×2矩阵；gk每行包括向量(ii,1)，wk是每行向量对应的权值ωi组成的向量，gk’为gk的wk加权，对应的每行向量表示为(wk.ii,wk)，是邻域内所有像素对应的alpha值组成的向量；

系数ak,bk解得如下所示：

令j(α)表示为下式：

δi,j是kroneckerdelta函数，μk和σ²分别是小窗口wk内的基于wk的加权均值和方差，‖wk‖是窗口内像素的个数,l为移动拉氏抠图矩阵；

引入权值ωi，应用至彩色模型，彩色模型下的移动最小二乘抠图方法如下：

用下式表示彩色图像各通道间的线性关系：

c为彩色图像的通道数,在考虑各个通道信息后，式(4)转化为下式:

对式(5)进行化简后，解得彩色模型下移动拉氏矩阵如下式所示：

j(α)＝αlα^t；

在(6)式中，i为小邻域内所有像素对应3*1颜色向量组成的矩阵，μk为i的wk加权平均,σk是i在wk加权下的协方差矩阵。

进一步，利用得到的简化人流量图像网络模型，建立弹簧-质点模型，得到简化人流量图像网格通过弹簧-质点模型参数化于矩形域后的最终位置，包括如下步骤：

(a)读入人流量图像网格模型，初始化质点质量m，弹簧劲度系数k，时间步长δt，迭代域值e；

(b)进行人流量图像网格数据预处理，得到人流量图像网格模型边界点序列，以有各顶点的邻接点序列；

(c)根据式步骤3)、步骤4)选择投影面，将人流量图像网格模型进行投影，在投影面建立二维坐标系，计算人流量图像网格顶点投影后的二维坐标(xi,yi)；

a(x-x0)+b(y-y0)+c(z-z0)＝0

其中，(a,b,c)是投影面的法向量，x0,y0,z0是空间内一定点，(ai,bi,ci)是第i个人流量图像的法向量，n是不规则曲面片上人流量图像的个数；

(d)选取参数化矩形区域的四个顶点，根据投影后的人流量图像网格的结构特征，选取四个边界点，固定于给定矩形域的顶点；

(e)由于点的移动，引发非固定点的受力情况发生改变；根据式计算非固定点所受合力f(pi)；其中，m为弹簧-质点模型系统的质量矩阵，q为质点坐标，k为刚度矩阵；

若对于任意点pi，所受合力均小于给定阈值，即f(pi)≤e，则终止本次迭代,第一次终止迭代时转(i)，第二次终止迭代时转(j)；否则，继续；

(f)根据下式，由合力f(pi)计算每个点的加速度

其中，m是质点质量，为在t时刻质点pi的加速度；

(g)由加速度以及给定的时间步长δt，根据式下两式计算每个点的位移；

其中，和分别为在t和t+δt时刻时质点pi的速度，和分别为在t和t+δt时刻质点pi的位置；

(h)由(g)中的位移，计算每个点在经过δt时间后，点的当前位置转(e)；

(i)将未固定的边界点按照空间网格中边界点与边界点间折线段的比例，固定至给定矩形域的四个边；再继续进行(i)；

(j)得到参数化结果。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。