通道可视化训练数据合成方法、装置、设备和存储介质与流程

1.本技术涉及数字图像处理技术领域，特别是涉及到一种通道可视化训练数据合成方法、装置、设备和存储介质。


背景技术：

2.数据对于深度学习训练非常重要，但现实世界所收集的真实数据在数量和质量上有时无法满足需求。例如在电力行业等通道可视化领域，某些检测对象通常出现机率低，优质数据无法大量获取甚至无法获取，比如森林山火、烟雾等。因此，需要人工合成数据作为训练数据的补充，合成数据是计算机模拟或算法所生成的带有注释的信息，可用于模拟真实数据。虽然是人造数据，但合成数据能够从数学或统计学上反映真实数据。研究表明，在训练 ai 模型方面，使用合成数据进行训练，与基于实际物体、事件或人的真实数据进行训练效果相同，甚至能达到更好的效果。
3.现有图像合成技术包括：图像拼接和蒙版合成。图像拼接，是将从其他图像中裁切的目标对象直接拼接到新的图像中，该方法不去除背景。蒙版合成，是将从其他图像中裁切的目标对象通过蒙版合成到新的图像中，该方法去除背景。具体原理如下：其中代表像素属于前景的概率图，代表待合成的场景图像，代表含有待检测目标对象的图像，代表合成后的图像。
4.上述两种图像合成技术，其中图像拼接由于未去除目标对象的背景，合成的图像会有强烈的视觉违和感，与真实数据相差较大。蒙版合成由于去除了目标对象的背景，合成的图像较为真实，因此蒙版合成是一种较好的合成数据方法。但蒙版合成图像时如果不考虑物距因素会导致合成的图像不符合远景目标对象小和近景目标对象大的客观情况，在数学或统计学上无法反映真实数据的分布情况，导致通道可视化训练数据集质量低，进而影响训练效果。


技术实现要素：

5.本技术的主要目的为提供一种通道可视化训练数据合成方法、装置、设备和存储介质，旨在解决现有通道可视化训练数据合成中，合成的图像不符合远景目标对象小和近景目标对象大的客观情况，不能够人工合成高质量的通道可视化训练数据集的技术问题。
6.为了实现上述发明目的，本技术提出一种通道可视化训练数据合成方法，所述方法包括：获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；获取摄像机的相关参数；获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种
子点对应真实场景中的位置的实际距离；根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
7.进一步地，所述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理，包括：获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
8.进一步地，所述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点，包括：根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
9.进一步地，所述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离，包括：运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
10.进一步地，所述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练，包括：根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；将所述实际距离进行排序；根据实际距离排序结果，调整所述蒙版图尺寸；将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
11.本技术还提供了一种通道可视化训练数据合成装置，所述装置包括：相关图像处理模块，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；摄像机参数获取模块，用于获取摄像机的相关参数；真实场景图像处理模块，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；实际距离测量模块，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;合成模块，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
12.进一步地，所述相关图像处理模块，包括：相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
13.进一步地，所述真实场景图像处理模块，包括：真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景
图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
14.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
15.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
16.本技术提供的一种通道可视化训练数据合成方法，通过摄像机参数和真实场景图像中选定的点，通过几何关系计算出摄像机到真实场景中每个选定点的实际距离。基于实际距离使用蒙版合成的方法合成数据，可根据实际距离自动生成符合近景和远景目标不同大小的高质量通道可视化训练数据。例如在电力行业通道可视化领域中，可以对难以获取的数据起到仿真扩充的作用，有利于后期深度学习模型的训练。
附图说明
17.图1为本技术一实施例的通道可视化训练数据合成方法的流程示意图；图2为本技术一实施例的摄像机与真实场景点在标定平面上的几何投影示意图；图3为本技术一实施例的摄像机到真实场景点实际距离的几何投影示意图；图4为本技术一实施例的摄像机所拍图像中真实场景点和标定点几何示意图；图5为本技术一实施例的包含待检测目标对象的相关图像；图6为本技术一实施例的合成数据效果图；图7 为本技术一实施例的通道可视化训练数据合成装置的结构示意框图；图8 为本技术一实施例的计算机设备的结构示意框图。
18.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
19.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
20.参照图1，本技术实施例中提供一种通道可视化训练数据合成方法，包括步骤s1-s5，具体地：s1、获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理。
21.具体地，对于步骤s1，从网络中爬取一定数量包含待检测目标对象的相关图像，例如，需要合成发生森林山火的图像数据，则相关图像为包含火、烟雾等目标对象的图像；需要合成发生森林开发挖掘的图像数据，则相关图像为包含打桩机、挖掘机等目标对象的图像（如图5）。对获取的相关图像进行裁切和分类，便于后续合成前进行尺寸调整。
22.s2、获取摄像机的相关参数。
23.具体地，对于步骤s2，使用张正友相机标定法，用高精度棋盘格标定板对摄像机进行标定，获取摄像机焦距f、像素大小、像素距离-实际距离映射比等内参。相机标定指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系。然后，如图4所示，在摄像机真实视野内的纵向中心线处选定a、b两点，使用测距仪分别测得场景中ab两点之间的实际距离dab，如图2所示，a点和b点到摄像
机镜头中心o点的实际距离doa和dob。摄像机的相关参数用于后续实际距离的计算，合成的数据图像适用于相同参数的摄像机。
24.s3、获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点。
25.具体地，对于步骤s3，获取多张不同时段不同天气条件且不包含检测目标项的真实场景图像，例如，需要合成森林开发挖掘的图像数据，检测目标对象为则包括晴天、阴天、上午和晚上等天气条件和时段的森林图像。由于每张真实场景图像所包含的图像内容不相同，合成训练数据的要求也可能不同，所以对每张真实场景图像进行区域划分，在每个区域有对应的监控等级。在划分的区域内生成随机数量和位置的种子点，用于确定目标对象在真实场景图像中的数量和位置。
26.s4、根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离。
27.s5、根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
28.具体地，对于步骤s4和s5，根据所述摄像机的相关参数和所述种子点的位置，运用几何变换方法计算出摄像头到每个所述种子点对应真实场景中的位置的实际距离。根据实际距离的大小调整包含目标对象的相关图像尺寸大小，再移动到对应的种子点位置处，得到合成图像。使得合成的图像数据符合于远景目标小、近景目标大的客观规律。有助于提升模型的训练学习效果。
29.在一个实施例中，上述获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理的步骤s1，包括：s101、获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图。
30.s102、将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
31.具体地，对于步骤s101，根据合成图像的要求，获取多张包含待检测目标对象的相关图像。例如，需要合成发生森林山火的图像数据，则相关图像为包含火、烟雾等目标对象的图像；需要合成发生森林开发挖掘的图像数据，则相关图像为包含打桩机、挖掘机等目标对象的图像。使用ai交互式抠图工具将火、烟雾、打桩机、挖掘机等目标对象从相关图像中分割出来，去除掉相关图像中的背景，得到目标对象的蒙版图。蒙版图将用于与真实场景图片进行合成，得到合成的图像训练数据。
32.具体地，对于步骤s102，按照最小外接矩形的方式对每张图像的目标对象进行裁切，并将裁切后的图像进行分类，分类的依据为裁切后的图像尺寸宽度与高度大小关系。并在保持目标不变形的情况下，分别将每种类别的图像统一缩放为相同的尺寸，构建目标素材库。例如，挖掘机、推土机、水泥车等这类宽度大于高度目标素材统一缩放为宽高（300，200）。打桩机、烟雾等这类高度大于宽度的目标素材统一缩放为宽高（200，300）。
33.在一个实施例中，上述获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点的步骤s3，包括：s301、根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划
分。
34.s302、在划定的区域内生成随机数量和随机位置的种子点。
35.具体地，对于步骤s301和s302，例如，实际发生森林山火时，一般会有树木着火、天空漂浮着浓烟的情景。因此在合成发生森林山火的图像数据时，真实的森林场景图像中的树林区域、天空区域是监控等级较高的，其余水池、泥路等其他区域监控等级更低。将真实场景图像的区域划分后，对每个区域进行标号，根据监控关注度设置种子点，在每个划定区域内生成1-5个随机数量和位置的种子点记为pij，其中，pij代表第i个区域内的第j个种子点。通过种子点作为合成图像的位置标记，后续将目标对象的蒙版图移动到对应种子点的位置进行图像合成。
36.在一个实施例中，上述根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离的步骤s4，包括：s401、运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
37.具体地，对于步骤s401，如图4所示，摄像机视野纵向中心线上的两个标记点是a和b，e是场景中任意点，即图像上种子点在真实场景中的映射点，d为e点在中心线ab上的投影点。立体示意图如图3所示，o是摄像机镜头中心点，oad是垂直于地面的平面，根据立体几何定理：如图3，在直角 中，摄像机到场景e点的物距oe可通过以下公式计算得到：
ꢀꢀꢀ
(1)e点到中心线上的实际距离de可通过像素距离-实际距离映射比 计算得到（
ꢀꢀ
为步骤s2中使用张正友相机标定法获得的参数之一）：
ꢀꢀ
(2)在图2中， 是物投影面， 是像投影面，m’是相机成像面的中心点，om’也即为相机焦距f（f为步骤s2中使用张正友相机标定法获得的参数之一），d’是d点相机上的成像点，h是摄像机镜头安装高度。摄像机镜头安装高度h是根据模型的应用场景预先确定的值。
38.在直角 中： (3)在 中，
ꢀ
(4)将公式（3）中求得的和 代入公式（4）可求得 ，又有 。
39.在
ꢀꢀ
中，中，中，
ꢀꢀ
(5)将公式（2）和公式（5）中计算得到的od和de代入公式（1）即可求得摄像机到场景点e的物距oe，即实际距离。
40.在一个实施例中，上述根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练的步骤s5，包括：s501、根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图。
41.s502、将所述实际距离进行排序。
42.s503、根据实际距离排序结果，调整所述蒙版图尺寸。
43.s504、将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
44.具体地，对于步骤s501，在真实场景中的每个种子点位置都需要与一个目标对象进行合成，因此在这一步骤中，根据种子点数量，在目标素材库中随机获取相同数量的裁剪后的蒙版图。
45.具体地，对于步骤s502、s503和s504，将上一步骤中计算得出的实际距离进行排序，实际距离最小对应的种子点对应的裁剪后的蒙版图不进行尺寸调整，其余种子点对应的裁剪后的所述蒙版图根据实际距离做相应比例的尺寸压缩，具体计算公式如下：其中，d
min
代表图像种子点中最小物距，di代表第i个种子点所对应的物距，s0代表目标素材原始尺寸，si代表第i个种子点处目标素材缩放后尺寸。通过这种方式调整的蒙版图尺寸大小，再进行合成，使得合成的图像符合远景目标对象小和近景目标对象大的客观情况（如图6），从而使模型的训练效果更好。
46.参照图7，是本技术一实施例中通道可视化训练数据合成装置结构框图，装置包括：相关图像处理模块100，用于获取多张包含待检测目标对象的相关图像，对所述相关图像进行处理；摄像机参数获取模块200，用于获取摄像机的相关参数；
真实场景图像处理模块300，用于获取多张不包含检测目标对象的真实场景图像，并进行区域划分，在划分的区域内生成随机数量和随机位置的种子点；实际距离测量模块400，用于根据所述摄像机的相关参数和所述种子点的位置，计算得出摄像头到每个所述种子点对应真实场景中的位置的实际距离;合成模块500，用于根据所述实际距离，将处理后的所述相关图像进行尺寸调整，并与所述真实场景图像进行合成，得到合成图像，所述合成图像用于通道可视化训练。
47.在一个实施例中，上述通道可视化训练数据合成装置，还包括：相关图像处理子模块，用于获取多张包含待检测目标对象的相关图像，将目标对象从相关图像中分割出来，得到目标对象的蒙版图；将所述蒙版图按照最小外接矩形的方式对目标对象进行裁切，并将裁切后的所述蒙版图进行分类和缩放。
48.在一个实施例中，上述通道可视化训练数据合成装置，还包括：真实场景图像处理子模块，用于根据摄像机视野中监控关注的区域，对真实场景图像进行监控等级区域划分；在划定的区域内生成随机数量和随机位置的种子点。
49.在一个实施例中，上述通道可视化训练数据合成装置，还包括：实际距离计算模块，用于运用几何变换方法计算出每个所述种子点映射在真实场景中的位置，再计算出摄像头到每个所述位置的实际距离。
50.在一个实施例中，上述通道可视化训练数据合成装置，还包括：合成调整模块，用于根据所述种子点数量，随机获取相同数量的裁剪后的蒙版图；将所述实际距离进行排序；根据实际距离排序结果，调整所述蒙版图尺寸；将尺寸调整后的蒙版图移动到对应种子点位置处，得到合成图像。
51.参照图8，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储通道可视化训练数据合成方法过程中的使用数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任一实施例的一种通道可视化训练数据合成方法。
52.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
53.本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种通道可视化训练数据合成方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
54.本技术提供的一种通道可视化训练数据合成方法，通过摄像机参数和真实场景图像中选定的点，通过几何关系计算出摄像机到真实场景中每个选定点的实际距离。基于实际距离使用蒙版合成的方法合成数据，可根据实际距离自动生成符合近景和远景目标不同大小的高质量通道可视化训练数据。例如在电力行业通道可视化领域中，可以对难以获取的数据起到仿真扩充的作用，有利于后期深度学习模型的训练。
55.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
56.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
57.以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。