一种光伏组件图像的快速拼接方法及系统与流程

本发明涉及一种光伏组件图像的快速拼接方法及系统，属于图像处理技术领域。

背景技术：

光伏组件往往设置在比较恶劣的户外环境中，从而导致光伏组件各种故障频频发生，严重影响组件的发电效率，所以对光伏组件进行巡检是光伏系统运维的重要工作。

现如今光伏电站的巡检方式主要分为人工巡检以及无人机巡检。人工巡检成本较高且效率低下，此外，对于安装在屋顶上的分布式光伏阵列，人工巡检的运维方式会带来一定的安全隐患。而使用搭载ccd相机的无人机检测光伏组件成本较低，检测速度快并能够在恶劣的环境下工作，使用搭载ccd相机的无人机巡检光伏组件已经成为光伏系统运维的主流。

由于巡检无人机机载ccd相机拍摄的单幅光伏组件图像往往不能包含多块连续组件的图像信息，不利于在后续的图像处理过程中获取有效信息，因此需要对巡检无人机机载ccd相机采集到的多幅连续的光伏组件图像进行图像拼接。

在图像拼接中，相邻图像的配准是至关重要的一步，常用的图像配准算法有控制点配准算法、自动角点检测配准算法以及基于轮廓特征点的配准算法。但在光伏组件图像中，组件栅线交错，角点相似性高，为图像的配准带来了极大的困难。

技术实现要素：

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种光伏组件图像的快速拼接方法及系统。

为解决上述技术问题，本发明提供一种光伏组件图像的快速拼接方法，获取待拼接光伏组件图像；

对待拼接光伏组件图像进行预处理，得到包含待拼接光伏组件边框信息的二值图像；

对所述二值图像进行直线检测，并将检测到的直线在待拼接光伏组件图像中标出；

根据所述直线，求解各直线交点，获取图像校正关键点和图像拼接关键点；

根据所述图像校正关键点，对待拼接光伏组件图像进行投影变换，获得标准尺寸的光伏组件图像；

确定所述图像拼接关键点在标准光伏组件图像中对应的拼接关键点坐标；

将所述拼接关键点坐标作为图像拼接时的所需要的控制点坐标，进行基于控制点的图像配准，建立相应的图像拼接变换模型；

根据所述图像拼接变换模型，依次对标准尺寸的光伏组件图像进行图像拼接，得到理想的拼接图像。

进一步的，所述预处理的过程为：

对待拼接光伏组件图像进行全局阈值分割，得到分割后二值图，所述全局阈值分割的阈值依据待拼接光伏组件的颜色预先设置；

对分割后二值图进行一次闭运算，将分割后二值图中的狭小黑缝消除，然后再进行一次开运算，将组件二值图中的栅线全部消除，得到包含待拼接光伏组件边框信息的二值图像。

进一步的，应用hough变换对所述二值图像进行直线检测，根据组件边框以及栅线在图像中的实际长度设置阈值进行筛选。

进一步的，所述图像校正关键点为待拼接光伏组件图像的内边框的4个角点；

所述图像拼接关键点为相邻的待拼接光伏组件图像中间边框的4个角点。

进一步的，进行图像拼接时，后一幅光伏组件图像在前一步图像拼接的基础上进行拼接，按照待拼接光伏组件图像的前后顺序将所有的待拼接光伏组件图像依次拼接在一起。

一种光伏组件图像的快速拼接系统，包括获取模块、预处理模块、检测模块、求解模块、变换模块、确定模块、模型构建模块和拼接模块；

所述获取模块，用于获取待拼接光伏组件图像；

所述预处理模块，用于对待拼接光伏组件图像进行预处理，得到包含待拼接光伏组件边框信息的二值图像；

所述检测模块，用于对所述二值图像进行直线检测，并将检测到的直线在待拼接光伏组件图像中标出；

所述求解模块，用于根据所述直线，求解各直线交点，获取图像校正关键点和图像拼接关键点；

所述变换模块，用于根据所述图像校正关键点，对待拼接光伏组件图像进行投影变换，获得标准尺寸的光伏组件图像；

所述确定模块，用于确定所述图像拼接关键点在标准光伏组件图像中对应的拼接关键点坐标；

所述模型构建模块，用于将所述拼接关键点坐标作为图像拼接时的所需要的控制点坐标，进行基于控制点的图像配准，建立相应的图像拼接变换模型；

所述拼接模块，用于根据所述图像拼接变换模型，依次对标准尺寸的光伏组件图像进行图像拼接，得到理想的拼接图像。

进一步的，所述预处理模块包括全局阈值分割模块和形态学处理模块；

所述全局阈值分割模块，用于对待拼接光伏组件图像进行全局阈值分割，得到分割后二值图，所述全局阈值分割的阈值依据待拼接光伏组件的颜色预先设置；

所述形态学处理模块，用于对分割后二值图进行一次闭运算，将分割后二值图中的狭小黑缝消除，然后再进行一次开运算，将组件二值图中的栅线全部消除，得到包含待拼接光伏组件边框信息的二值图像。

进一步的，所述检测模块包括hough变换模块，用于应用hough变换对所述二值图像进行直线检测，根据组件边框以及栅线在图像中的实际长度设置阈值进行筛选。

进一步的，所述求解模块包括图像校正关键点确定模块和图像拼接关键点确定模块；

所述图像校正关键点确定模块，用于确定待拼接光伏组件图像的内边框的4个角点为图像校正关键点；

所述图像拼接关键点确定模块，用于确定相邻的待拼接光伏组件图像中间边框的4个角点为图像拼接关键点。

进一步的，所述拼接模块，用于确定后一幅光伏组件图像在前一步图像拼接的基础上进行拼接，按照待拼接光伏组件图像的前后顺序将所有的待拼接光伏组件图像依次拼接在一起。

本发明所达到的有益效果：

1）本发明专利不仅可以实现组件图像的拼接，同时能够对光伏组件图像中存在的倾斜形变以及透视形变进行几何校正；

2）本发明专利中涉及到的阈值分割、形态学处理、直线检测以及投影变换等算法原理简单，运算速度快，应用十分方便；

3）本发明专利在图像拼接时采取基于控制点的图像配准方法，原理简单，运算量小；控制点的选取与组件图像的几何校正同时进行，提高了图像拼接算法的运算效率，且精度可以满足实际需求，可由拼接后的光伏组件图像轻松得出单块光伏组件的位置信息，便于后续的图像处理。

附图说明

图1是本发明专利光伏组件图像的快速拼接方法流程图；

图2（a）为待拼接光伏组件图像；

图2（b）为光伏组件图像的预处理效果图；

图2（c）为直线检测及关键点示意图；

图2（d）为几何校正后的光伏组件图像；

图2（e）为图像拼接过程示意图；

图2（f）为最终的图像拼接效果图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

结合图1，本发明专利一种光伏组件图像的快速拼接方法，具体包括以下步骤：

步骤1.对待拼接光伏组件图像进行相应的图像预处理，光伏组件图像预处理主要包括全局阈值分割以及形态学处理：在全局阈值分割时，根据光伏组件颜色设置分割阈值；在形态学处理时，首先对二值图进行一次闭运算，将二值图中的狭小黑缝消除，然后再进行一次开运算，将组件二值图中的栅线全部消除。经过图像预处理获得包含光伏组件边框信息的二值图像；

步骤2.对步骤1得到的二值图像应用hough变换进行直线检测，在进行直线检测时，根据组件边框的实际长度设置长度阈值l，剔除长度小于阈值l的线段，并将检测到的直线在原组件图像中标出；

步骤3.根据步骤2检测到的直线，求解各直线交点，获取后续组件图像校正以及组件图像拼接所需要的关键点：选择组件图像内边框的4个角点作为组件图像校正关键点，保证校正后的图像能较好得还原光伏组件的实际尺寸；选择相邻光伏组件中间边框的4个角点作为图像拼接关键点；

步骤4.根据步骤3得到的图像校正关键点，对原组件图像进行投影变换，消除原组件图像中的倾斜变形以及透视变形，获得标准尺寸的光伏组件图像；

步骤5.根据步骤3得到的图像拼接关键点，经过步骤4的投影变换以后得到标准光伏组件图像中对应的拼接关键点坐标；

步骤6.将步骤5得到的拼接关键点坐标作为图像拼接时的所需要的控制点坐标，进行基于控制点的图像配准，建立相应的图像拼接变换模型；

步骤7.根据步骤6得到的图像拼接变换模型，依次对校正后的待拼接光伏组件图像进行图像拼接（后一幅光伏组件图像在前一步图像拼接的基础上进行拼接），最终将多幅连续的光伏组件图像拼接在一起，得到理想的拼接图像。

下面结合实施例进行具体描述。

实施例

（1）结合图2，待拼接光伏组件图像如图2（a）所示，5幅光伏组件图像是光伏电站中拍摄到的5块相邻的光伏组件。5幅光伏组件图像均存在不同程度的倾斜变形以及透视变形，且图像尺寸均为3024×4032，其中3024像素为图像的宽度，4032像素为图像的高度。

（2）对待拼接图像进行图像预处理，图像预处理主要包括全局阈值分割以及形态学处理：在全局阈值分割时，根据光伏组件灰度图像灰度值的实际情况选取适当的全局分割阈值，在实施例中设置阈值为125；在形态学处理时，首先对二值图进行一次闭运算，将二值图中的狭小黑缝消除，然后再进行一次开运算，将组件二值图中的栅线全部消除。以其中一幅待拼接组件图像为例，图像预处理的效果如图2（b）所示，二值图尺寸同样为3024×4032。

（3）对步骤1得到的预处理图像应用hough变换进行直线检测，在进行直线检测时，根据组件边框的实际长度设置长度阈值l，剔除长度小于阈值l的线段（在本实施例中将长度阈值l设置为2000）并将检测到的直线在原组件图像中标出。

（4）根据步骤2检测到的直线，求解各直线交点，获取后续组件图像校正以及组件图像拼接所需要的关键点：选择组件图像内边框的4个角点作为组件图像校正关键点，保证校正后的图像能较好得还原光伏组件的实际尺寸；选择相邻光伏组件中间边框的4个角点作为图像拼接关键点。以其中一幅待拼接组件图像为例，直线检测以及关键点标注的结果如图2（c）所示，图2（c）中点1、2、3、4为图像校正关键点；点5、6、7、8为光伏组件左侧的拼接关键点；点9、10、11、12为光伏组件右侧的拼接关键点。

（5）根据步骤3得到的图像校正关键点，对原组件图像进行投影变换，消除原组件图像中的倾斜变形以及透视变形，获得标准尺寸的光伏组件图像，以其中一幅待拼接组件图像为例，图像校正的结果如图2（d）所示；

（6）根据步骤3得到的图像拼接关键点，经过步骤4的投影变换以后得到标准光伏组件图像中对应的拼接关键点坐标；

（7）将步骤5得到的拼接关键点坐标作为图像拼接时的所需要的控制点坐标，进行基于控制点的图像配准，建立相应的图像拼接变换模型；

（8）根据步骤6得到的图像拼接变换模型，依次对校正后的待拼接光伏组件图像进行图像拼接（后一幅光伏组件图像在前一步图像拼接的基础上进行拼接），拼接过程如图2（e）所示。最终将多幅连续的光伏组件图像拼接在一起，得到理想的拼接图像，最终的拼接结果如图2（f）所示。

相应的本发明还提供一种光伏组件图像的快速拼接系统，包括获取模块、预处理模块、检测模块、求解模块、变换模块、确定模块、模型构建模块和拼接模块；

所述获取模块，用于获取待拼接光伏组件图像；

所述预处理模块，用于对待拼接光伏组件图像进行预处理，得到包含待拼接光伏组件边框信息的二值图像；

所述检测模块，用于对所述二值图像进行直线检测，并将检测到的直线在待拼接光伏组件图像中标出；

所述求解模块，用于根据所述直线，求解各直线交点，获取图像校正关键点和图像拼接关键点；

所述变换模块，用于根据所述图像校正关键点，对待拼接光伏组件图像进行投影变换，获得标准尺寸的光伏组件图像；

所述确定模块，用于确定所述图像拼接关键点在标准光伏组件图像中对应的拼接关键点坐标；

所述模型构建模块，用于将所述拼接关键点坐标作为图像拼接时的所需要的控制点坐标，进行基于控制点的图像配准，建立相应的图像拼接变换模型；

所述拼接模块，用于根据所述图像拼接变换模型，依次对标准尺寸的光伏组件图像进行图像拼接，得到理想的拼接图像。

所述预处理模块包括全局阈值分割模块和形态学处理模块；

所述全局阈值分割模块，用于对待拼接光伏组件图像进行全局阈值分割，得到分割后二值图，所述全局阈值分割的阈值依据待拼接光伏组件的颜色预先设置；

所述形态学处理模块，用于对分割后二值图进行一次闭运算，将分割后二值图中的狭小黑缝消除，然后再进行一次开运算，将组件二值图中的栅线全部消除，得到包含待拼接光伏组件边框信息的二值图像。

所述检测模块包括hough变换模块，用于应用hough变换对所述二值图像进行直线检测，根据组件边框以及栅线在图像中的实际长度设置阈值进行筛选。

所述求解模块包括图像校正关键点确定模块和图像拼接关键点确定模块；

所述图像校正关键点确定模块，用于确定待拼接光伏组件图像的内边框的4个角点为图像校正关键点；

所述图像拼接关键点确定模块，用于确定相邻的待拼接光伏组件图像中间边框的4个角点为图像拼接关键点。

所述拼接模块，用于确定后一幅光伏组件图像在前一步图像拼接的基础上进行拼接，按照待拼接光伏组件图像的前后顺序将所有的待拼接光伏组件图像依次拼接在一起。

本发明专利涉及到的图像预处理、直线检测、投影变换以及基于控制点的图像配准等算法原理简单，运算速度快，应用方便且能满足实际的精度要求。

本发明专利方法能够在完成光伏组件图像几何校正的同时，实现对多幅连续的光伏组件图像的拼接。可由拼接后的光伏组件图像轻松得出单块光伏组件的位置信息，便于后续的图像处理，在光伏电站巡检中有着很高的应用价值。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。