基于网格参数化的遥感影像目标识别训练样本生成方法与流程

1.本发明涉及一种基于网格参数化和莫比乌斯变换的遥感影像目标识别训练样本生成方法，属于计算几何及深度学习技术领域。


背景技术：

2.在遥感影像目标识别任务中，通常使用深度学习方法来检测舰船、飞机和汽车等目标。在该过程中，整个网络的参数训练往往需要海量数据作为训练样本，成本较高。
3.一般在训练数据比较少的情况下，数据增广是对其进行扩充，生成新样本的一个常用方法，其目的是增加训练数据集的丰富度，使训练数据尽可能地多样化，从而使得训练出的网络模型具有更强的泛化能力。按照处理数据的时机，数据增广可分为线下增广和线上增广。线下增广适用于体积较小的数据集，这样即使数据量增加数倍，硬件也能够承受。而线上增广，则适用于较大的数据集，由于硬件往往无法承受这类数据集容量的爆炸性增长，故每次仅对输入模型的小批量数据进行增广。目前常用的数据增广方法包括：水平或垂直翻转、旋转、缩放、剪切、平移、裁剪、调整对比度、色彩抖动或添加噪声等。
4.网格参数化是指嵌入在三维空间的流形(面网格或体网格)与某个更简单、更规则的参数域之间的一一映射，其目的是为了将在复杂流形上的处理操作转移到简单的参数域上执行，从而提高操作的可行性和效率。网格参数化是计算机图形学、计算机辅助几何设计、数字几何处理中研究的核心问题之一，在过去的近二十年中，它已成为一种无所不在的基本工具，广泛应用于三维网格模型的处理，包括纹理映射、细节转换、网格变形、网格编辑、网格重剖、网格压缩、网格修复、曲面拟合、曲面变形、形状分析等等。
5.在计算几何中，经典的莫比乌斯反演公式是由august ferdinand于1832年引入。每个莫比乌斯变换都是从黎曼球面到它自身的一一对应的共形变换，即每一条直线都会被映射为一条直线或者一个圆，每个圆都会被映射为一条直线或一个圆。一般来说，对于一个从一个曲面到另一个曲面的映射，如果其处处保持微小区域的相似性，则该映射被称作是共形变换。莫比乌斯变换是共形变换，其特点是保持局部形状不变，使得本发明生成的新训练样本中各个物件以及目标的形状相较于原始样本不会发生变化。


技术实现要素：

6.本发明的技术解决问题是：克服现有技术的不足，提供了一种基于网格参数化的遥感影像目标识别训练样本生成方法，通过使用计算几何中的网格参数化以及莫比乌斯变换实现对遥感影像目标识别训练样本的生成，该训练样本能够在不改变舰船、飞机和汽车等识别目标形状的情况下对背景地理图片信息进行增广。
7.本发明的技术解决方案是：
8.一种基于网格参数化的遥感影像目标识别训练样本生成方法，包括如下步骤：
9.步骤一：根据原始图像的大小按照比例构建相应大小的栅格网格，并对其进行三角化得到初始三角形网格m；
10.步骤二：对初始三角形网格m进行参数化得到[0,1]2上的参数化网格g；
[0011]
步骤三：在参数化网格g上选取两个固定点γ1和γ2，调整固定点的位置至圆周的两个固定点(0,0)和(1,0)上；
[0012]
步骤四：通过γ1和γ2反推得到对应莫比乌斯变换的四个系数a、b、c和d；
[0013]
步骤五：保持原始三角形网格拓扑结构不变对参数化网格g上的每一个顶点进行莫比乌斯变换，得到网格g'；
[0014]
步骤六：对莫比乌斯变换后得到的网格g'进行单位化，使得网格g'上的每一个顶点vi∈[0,1]2；
[0015]
步骤七：使用经过莫比乌斯变换后得到的网格g'作为参数化坐标，原始图像作为纹理，按照实时渲染管线的规则将纹理贴到初始三角形网格m上得到增广后的图像，即完成基于网格参数化的遥感影像目标识别训练样本的生成。
[0016]
进一步的，所述步骤一根据原始图像的大小按照比例构建相应大小的栅格网格，具体为：栅格的尺寸小于原始图像的尺寸，其比例在1:2至1:4之间，栅格的尺寸即横向和纵向栅格的数目；得到栅格网格后连接每一个正方形的左上角与右下角得到初始三角形网格m。
[0017]
进一步的，所述步骤二对初始三角形网格m进行参数化得到[0,1]2上的参数化网格g，具体为：
[0018]
将初始三角形网格m上的每一个顶点按照的方式单位化至[0,1]2并舍去其垂直于网格平面的坐标分量即可得到初始三角形网格m的参数化网格g；其中，v
x
是顶点v的x坐标值，x
min
是所有顶点的x坐标的最小值，x
max
是所有顶点的x坐标的最大值。
[0019]
进一步的，所述步骤四通过γ1和γ2反推得到对应莫比乌斯变换的四个系数a、b、c和d，具体为：
[0020]
对于给定的莫比乌斯变换将γ1和γ2代入方程f(γ)＝γ得到其中γ是γ1和γ2的代称，该方程等价于zγ平面上的标准双曲线方程cγz-az+dγ-b＝0；
[0021]
取γ1和γ2的中点作为第三个固定点，此时反推莫比乌斯变换的过程相当于寻找从三元组(z1,z2,z3)到(γ1,γ2,γ3)之间映射f(z)的四个系数a、b、c和d，这个过程等价于寻找经过点(zi,γi)的双曲面的方程的四个系数a、b、c和d，其中i＝1,2,3；此时的双曲线方程通过使用拉格朗日展开法对以下矩阵的第一行展开得到
[0022][0023]
各系数的值等于矩阵展开后各余子式行列式的值
[0024][0025]
进一步的，步骤六对莫比乌斯变换后得到的网格g'的顶点按照的方式单位化，使得g'上的每一个顶点vi∈[0,1]2。
[0026]
进一步的，实时渲染时，设纵向为y轴方向，横向为x轴方向，宽高比为r，此时y∈[-1,1]，x∈[-r,r]；使用正交投影进行渲染，正交投影使用的投影矩阵如下
[0027][0028]
其中近平面n和远平面f的取值只需要保证网格所有顶点的z∈(n,f)即可；最后通过抓取帧缓冲或者离线渲染至纹理并进行回读操作的方式得到生成样本的图像数据。
[0029]
本发明与现有技术相比的有益效果是：
[0030]
(1)本发明提供了一种基于网格参数化和莫比乌斯变换的遥感影像目标识别训练样本生成方法。对于给定原始图像，只要根据其大小按照比例构建相应大小的栅格网格并对网格进行三角化得到初始三角形网格m，并对初始三角网格m进行参数化得到参数化网格g'，在对参数化网格g'进行单位化后选取其上的两个固定点γ1和γ2，通过γ1和γ2反推得到对应的莫比乌斯变换，然后对参数化网格g'施以莫比乌斯变换并对变换的结果进行单位化，最后按照实时渲染管线的规则以经过莫比乌斯变换后得到的网格g'作为参数化坐标，原始图像作为纹理，将纹理贴回到初始三角形网格m上，即可得到增广后的图像。整个过程只有莫比乌斯变换的反推、对网格g'的变换以及纹理贴回三步需要反复计算。
[0031]
(2)上述过程其中莫比乌斯变换的反推只需要对一个方程进行求解，计算量非常的小；对网格g'的变换以及纹理贴回这两步均可以完全地并行化计算，整体的计算效率非常高，运行速度较快，对于大量样本生成的任务也能达到较高的运行速度。
[0032]
(2)固定γ1和γ2的选取非常自由，排列组合的数量非常多，这使得生成样本的多样性与丰富性得到了保证。另一方面，整个样本生成的过程可以通过程序自动完成，具有较高的鲁棒性以及实用性。
附图说明
[0033]
图1为本发明的整体实现步骤流程图。
[0034]
图2为本发明实施过程中使用的栅格网格在三角化后得到初始三角形网格m、m的参数化网格g以及g经过莫比乌斯变换后得到的网格g'的示例图。
[0035]
图3为本发明生成港口样本的样例图，其中子图(1)为原始样本，子图(2)～子图(6)为使用不同固定点γ1和γ2生成的新样本。
[0036]
图4为本发明生成港口及海洋样本的样例图，其中子图(1)为原始样本，子图(2)～子图(6)为使用不同固定点γ1和γ2生成的新样本。
[0037]
图5为本发明生成海上目标样本的样例图，其中子图(1)为原始样本，子图(2)～子图(6)为使用不同固定点γ1和γ2生成的新样本。
[0038]
图6为本发明生成陆地样本的样例图，其中子图(1)为原始样本，子图(2)～子图(6)为使用不同固定点γ1和γ2生成的新样本。
具体实施方式
[0039]
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
[0040]
为了生成供遥感影像目标识别的训练样本，本发明提供了一种基于网格参数化和莫比乌斯变换的训练样本增强方法，用以生成额外的训练数据供深度学习网络进行训练。本发明能够从数学上保证增广样本与原始样本中的识别目标间变换的共形性，即物体形状不发生较大的改变，并且能够对作为背景的地图地理图片信息进行较大幅度的变换，从而提高训练样本的丰富性与多样性。
[0041]
在几何学以及复变分析中，复平面上的莫比乌斯变换可以写成有理函数的形式，其中z为复数变量，a、b、c和d为四个复数系数，满足条件ad-bc≠0。莫比乌斯变换也可以用矩阵的形式进行表达同理莫比乌斯变换的逆变换可以用原变换矩阵的逆矩阵进行表示。尽管当给定系数a、b、c和d且矩阵对应行列式的值ad-bc≠0后就能唯一确定一个莫比乌斯变换，但是这时的变换还不是单射的。这是因为可以通过在矩阵前乘上一个不为零系数使得多个变换得到的结果相同。这个问题可以通过对莫比乌斯变换进行单位化解决，单位化后ad-bc＝1。
[0042]
在直观的几何形式上，可以通过如下方式得到莫比乌斯变换：首先执行从平面到单位二维球体的立体投影，随后旋转并将球体移动到空间中的新位置和方向，接下来从球体的新位置将其立体投影回平面上。当c≠0时，上述变换可以写成：其中(平移变换)，(以单位圆做反演变换然后以实轴为轴做翻转变换)，(以原点为中心的位似和旋转变换)，(平移变换)。通过这种分解我们可以得到莫比乌斯变换的许多基本性质。
[0043]
莫比乌斯变换逆变换的存在性以及其表达式可以通过对变换分解得到的四个函数的反函数进行组合得到。由于上述分解中提到的每一种变换都是可逆的，并且其逆变换是非常容易得到的，故莫比乌斯的变换的逆变换也是一个莫比乌斯变换。即对于每一个fi，计算其反函数通过对这些反函数进行组合可以得到莫比乌斯的逆变换从对莫比乌斯变换的分解中还能够看到莫比乌斯变换具有保持反演变换的几乎所有非平凡属性。由于平移、反演、位似以及旋转变换的过程中，
角度都保持不变，故而两个复数之间的幅角差在经过莫比乌斯变换之后仍然能够保持不变。一个广义圆在经过莫比乌斯变换之后仍然会被映射为一个广义圆。广义圆与普通的圆不同，指的是黎曼球面上的圆，它包括普通的圆和带无穷远断点的直线，后者也可以被看作是半径无限大的圆。反演保持广义圆的结果使得莫比乌斯变换并不是直观地将圆映射到圆，将直线映射到直线。变换使得直线可能变成圆，圆也可能变成直线。上述这些特性从数学上保证了使用本发明生成的增强样本与原始样本中之间变换的共形性。
[0044]
每一个非单位化的莫比乌斯变换都存在两个固定点γ1和γ2，这两个固定的位置是可重合的，并且固定点中的一个或两个可以是无穷远的。对于一个给定的莫比乌斯变换固定点可以通过解方程f(γ)＝γ得到。当c≠0时，两个固定点对应的根可以通过解一元二次方程cγ
2-(a-d)γ-b＝0得到。当c＝0时，上述一元二次方程退化为一般的线性方程，且原变换也退化为线性变换。在几何上，这相当于其中一个固定点处于无限远的位置上，当a≠d时，另一个固定点为此时原变换等价于平移、旋转和膨胀变换的组合。而当c＝0并且a＝d同时满足时，两个固定点都位于无限远的位置上。
[0045]
本发明提出一种基于网格参数化的遥感影像目标识别训练样本生成方法，整体流程图可见附图1，其基本实现步骤如下：
[0046]
步骤一：根据原始图像的大小按照比例构建相应大小的栅格网格，栅格的尺寸(横向和纵向栅格的数目)应小于原始图像的尺寸，其比例一般在1:2至1:4之间。为了方便后续步骤的实施，栅格网格的高度设置为2，整个栅格网格长宽的比例应该等于原始图像长宽的比例。得到栅格网格后连接每一个正方形的左上角与右下角可以得到初始三角形网格m，构建出的三角形网格如附图2所示。
[0047]
步骤二：将初始三角形网格上的每一个顶点按照的方式单位化至[0,1]2并舍去其垂直于网格平面的坐标分量即可得到初始三角形网格m的参数化网格g。
[0048]
步骤三：在参数化网格g上选取两个固定点γ1和γ2，调整固定点的位置至圆周的两个固定点(0,0)和(1,0)上并保持整个三角形网格的拓扑结构不变。
[0049]
步骤四：通过γ1和γ2反推得到对应莫比乌斯变换的四个系数a、b、c和d。对于给定的莫比乌斯变换可以将γ1和γ2代入方程f(γ)＝γ得到该方程等价于zγ平面上的标准双曲线方程cγz-az+dγ-b＝0。注意到我们只选择了γ1和γ2两个固定点，而为了求解系数a、b、c和d至少需要3个未知量，因此这里取γ1和γ2的中点作为第三个固定点(第三个控制点的导出方法可根据情况调整)。此时反推莫比乌斯变换的过程相当于寻找从三元组(z1,z2,z3)到(γ1,γ2,γ3)之间映射f(z)的四个系数a、b、c和d，这个过程等价于寻找经过点(zi,γi)的双曲面的方程的四个系数a、b、c和d，其中i＝1,2,3。由于此时的双曲线方程可以通过使用拉格朗日展开法对以下矩阵的第一行展开得到
[0050][0051]
根据同类项系数相同的原则，各系数的值应等于矩阵展开后各余子式行列式的值
[0052][0053]
步骤五：对参数化网格g上的每一个顶点进行莫比乌斯变换得到变换后顶点的位置，接下来按照网格g顶点的连接方式构建三角形网格，得到变换后的参数化网格g'。
[0054]
步骤六：对莫比乌斯变换后得到的网格g'的顶点按照的方式单位化，使得g'上的每一个顶点vi∈[0,1]2。
[0055]
步骤七：使用初始三角形网格m作为位置坐标，经过莫比乌斯变换后得到的网格g'的顶点作为纹理坐标，原始图像作为输入纹理，提交至实时渲染管线进行渲染。渲染过程中将三角形网格m置于垂直于摄像机的任意位置。
[0056]
设纵向为y轴方向，横向为x轴方向，宽高比为r，因为栅格网格的高度为2，故此时y∈[-1,1]，x∈[-r,r]。为了不产生透视形变并使网格m充满整个视口，使用正交投影进行渲染，正交投影使用的投影矩阵如下
[0057][0058]
其中近平面n和远平面f的取值则相对随意，只需要保证网格所有顶点的z∈(n,f)即可。最后通过抓取帧缓冲或者离线渲染至纹理并进行回读操作的方式得到生成样本的图像数据。
[0059]
以上选择固定点的方式是通过首先手动选取前两个固定点，然后通过计算其中点得到第三个固定点，但是通过发明内容中的对莫比乌斯变换的相关说明可以看出，固定点的选取方式并不唯一，可以根据实际需要进行更改。通过附图中的实例展示，证明了本发明能够从数学上保证增强样本与原始样本中的识别目标间变换的共形性，即物体形状不发生较大的改表，并且能够对作为背景的地图地理图片信息进行较大幅度的变换，从而提高训练样本的丰富性与多样性，该算法生成的相关结果如附图3、附图4、附图5和附图6所示。尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范
围。
[0060]
本发明未详细说明部分属本领域技术人员公知常识。