一种倒绳机乱绳检测方法、装置和计算机设备与流程

1.本发明涉及图像处理技术领域，具体涉及一种倒绳机乱绳检测方法、装置和计算机设备。


背景技术：

2.钢丝绳在很多工业作业中都起着很重要的作用，因此钢丝绳的质量和可靠性一直是人们关注的一环，然而钢丝绳在作业中经常出现磨损，变形和结构破坏等过早失效的现象，乱绳就是造成钢丝绳过早失效的主要原因之一。
3.目前，在检测倒绳机上钢丝绳是否存在乱绳现象时，采用直线检测算法（lsd）进行直线检测时，由于lsd直线检测是局部算法，通常是结合图像梯度和方向的信息提取直线，首先要生成直线支持区域，通过计算每个像素点的梯度值即梯度方向，并且生成梯度场，然后人为设定阈值将具有相同梯度的像素连成为直线支持区域。之后对每个直线支持区域选择其最小外接矩形，该矩形的主轴表示支持域的主轴方向，且矩形要覆盖整个区域，让最小外接矩形表示其直线信息。在传统的lsd算法中，虽然其计算量要比霍夫直线检测小的多，但是其也有自身的缺点，在两条线相交时，该算法并不能很好的处理，其检测到的直线很有可能会因为一些相交等原因被割裂为数条线段，降低了钢丝绳乱绳检测的精度。


技术实现要素：

4.本发明提供一种倒绳机乱绳检测方法、装置和计算机设备，该方法采用相机采集倒绳机的俯视角图像，并且分割其缠绕部分；使用改进的lsd直线检测方法分析图像的乱绳系数；根据所得到的倒绳机乱绳系数来判断倒绳机乱绳情况。
5.本技术实施例提供了一种倒绳机乱绳检测方法，包括以下步骤：获取钢丝绳缠绕区域的灰度图；根据灰度图中每个像素点的灰度值及其邻域像素点的灰度值获取每个像素点的灰度梯度值和灰度梯度方向；根据每个像素点的灰度梯度值将所有像素点划分为边缘像素点和平滑像素点；根据一边缘像素点与邻域一边缘像素点的灰度梯度值、灰度梯度方向及该两个像素点之间的欧式距离获取两个边缘像素点的相似度，根据任意两个边缘像素点的相似度将所有边缘像素点进行聚类；依次将所有边缘像素点划分在不同的类别中；通过对每一类别中的边缘像素点进行细化并结合其灰度梯度方向获得边缘直线，依次获得多条边缘直线，将灰度图中每条所述边缘直线上像素点和所有平滑像素点进行语义分割获得直线边缘二值图像；根据所述直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度计算得到乱绳系数；根据乱绳系数判断倒绳机上乱绳情况。
6.在一实施例中，所述根据每个像素点的灰度梯度值将所有像素点划分为边缘像素
点和平滑像素点是将所有像素点按照灰度梯度值的级数从大到小排列，通过获取差值最大的两个相邻级数将所有像素点划分为边缘像素点和平滑像素点两类。
7.在一实施例中，所述两个相邻级数分别是平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值，根据平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值计算其平均值，以该平均值作为分界线将所有像素点划分为边缘像素点和平滑像素点。
8.在一实施例中，所述根据任意两个边缘像素点的相似度将所有边缘像素点进行聚类过程中，当两个边缘像素点的相似度小于预设阈值时，则该两个边缘像素点为相似的像素点，并将相似的边缘像素点分在一个类别中，依次将所有边缘像素点划分在不同的类别中。
9.在一实施例中，所述两个边缘像素点的相似度计算公式如下：式中，和表示图像中的任意两边缘像素点的灰度梯度值；和表示该两边缘像素点的灰度梯度方向；表示两边缘像素点的欧式距离。
10.在一实施例中，所述依次将所有边缘像素点划分在多个类别中，将边缘像素点数量＜20的类别去除。
11.在一实施例中，所述直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值获取方法是：将所有像素点的灰度值按照列投影在一行中，将直线边缘二值图像中每一列像素点的灰度值加和作为该列像素点投影的灰度值；所述每条直线的角度是每条直线与倒绳机轴线方向的夹角。
12.在一实施例中，所述乱绳系数计算公式如下：式中，就表示倒绳机的乱绳系数；表示投影后共有k个灰度值小于像素点数；表示是投影后的灰度值不为0的像素点数；表示投影后的像素点对应的灰度值；e表示边缘直线的条数；表示每条边缘直线的角度；表示二值图像中像素点的行数，表述二值图像中像素点的列数。
13.此外，为实现上述目的，本发明还提供一种倒绳机乱绳检测装置，包括：图像采集模块，用于获取钢丝绳缠绕区域的灰度图；像素点划分模块，用于根据钢丝绳缠绕区域灰度图中每个像素点的灰度值及其邻域像素点的灰度值获取每个像素点的灰度梯度值和灰度梯度方向；根据每个像素点的灰度梯度值将所有像素点划分为边缘像素点和平滑像素点；二值图像获取模块，用于根据边缘像素点的灰度梯度值、灰度梯度方向及任意两个边缘像素点之间的欧式距离将所有边缘像素点进行聚类，将所有边缘像素点划分在不同的类别中；通过对每一类别中的边缘像素点进行细化并结合其灰度梯度方向获得边缘直
线，依次获得多条边缘直线，将灰度图中每条所述边缘直线上像素点和所有平滑像素点进行语义分割获得直线边缘二值图像；乱绳系数计算模块，用于根据所述直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度计算得到乱绳系数；乱绳判断模块，用于通过得到的乱绳系数判断倒绳机上乱绳情况。
14.此外，为实现上述目的，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述倒绳机乱绳检测方法的步骤。
15.本发明的有益效果是：本发明在提供的一种倒绳机乱绳检测方法、装置及计算机设备，采用相机采集倒绳机的俯视角图像，并且分割其缠绕部分；使用改进的lsd直线检测方法分析图像的乱绳系数；根据所得到的倒绳机乱绳系数来判断倒绳机乱绳情况。
16.本发明用乱绳系数来表示倒绳机的乱绳情况，系数越大，乱绳情况就越大，当时，就认为该倒绳机即使存在乱绳也不会太影响设备的寿命和效率；时，就认为该倒绳机存在严重的乱绳情况，会大大的影响机器的使用寿命和效率。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的一种倒绳机乱绳检测方法的实施例总体步骤的流程示意图；图2为本发明的一种倒绳机乱绳检测装置的控制原理框图。
19.图3为本发明实施例方案涉及的硬件运行环境的结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明采用相机采集倒绳机的俯视角图像，并且分割其缠绕部分；使用改进的lsd直线检测方法分析图像的乱绳系数；根据所得到的倒绳机乱绳系数来判断倒绳机乱绳情况。
22.参见图1所示，在本技术的实施例中，本技术的倒绳机乱绳检测方法，包括以下步骤：s1，获取钢丝绳缠绕区域的灰度图；首先获取倒绳机上钢丝绳的图像，将图像经灰度处理后获取钢丝绳缠绕区域的灰度图；在本实施例中，使用俯视角相机采集获取倒绳机钢丝绳缠绕状态的图像，首先将图像转换为灰度图像，对于采集到的图像进行语义分割处理，将机器中绳索缠绕的部分分
割出来进行处理，因为之后需要使用lsd直线检测来处理图像，需要将图像进行灰度化。通过对倒绳机进行图像的采集灰度化后，将其进行语义分割成为只包含绳索缠绕区域的图像。
23.其中，语义分割网络具体如下：1）网络输入为在固定距离下采集到的倒绳机俯视角图像的灰度图像；2）在语义分割中，将绳索缠绕区域的像素点标记为1，背景的像素点标记为0，将两者分开；3）语义分割使用的loss函数为交叉熵损失函数；对于分割完的图像来说，设图像大小为n
×
m。
24.s2，根据钢丝绳缠绕区域灰度图中每个像素点的灰度值及其邻域像素点的灰度值获取每个像素点的灰度梯度值和灰度梯度方向值；对于已经语义分割完成的灰度图像进行缩放，这是为了避免图像出现锯齿效应，导致检测精度降低。之后计算每个像素的梯度值以及其梯度方向，计算公式如下所示：致检测精度降低。之后计算每个像素的梯度值以及其梯度方向，计算公式如下所示：致检测精度降低。之后计算每个像素的梯度值以及其梯度方向，计算公式如下所示：致检测精度降低。之后计算每个像素的梯度值以及其梯度方向，计算公式如下所示：式中，表示像素点在水平方向上的灰度梯度值；表示像素点在竖直方向上的灰度梯度值；表示该像素点的灰度值，其余、、则表示其像素点邻域的像素点的灰度值；表示结合水平和竖直方向后的该点的梯度值，也即该点最终的灰度梯度值；表示该像素点的灰度梯度方向。
25.之后对整张图像进行上述计算，得到每个像素点的灰度梯度值和灰度梯度方向，对于图像来说，越是边缘部分，灰度值变化越剧烈，越是平滑部分，灰度值变化越缓慢，因此得到每个像素点的灰度梯度值和灰度梯度方向值之后，就可以利用这两个值根据像素点之间的相似性确定直线边缘。其中灰度梯度值越大，越表明该像素点处在边缘位置，而梯度方向则可以判断该处边缘是否时直线。
26.s3，根据每个像素点的灰度梯度值将所有像素点划分为边缘像素点和平滑像素点；具体的，将所有像素点按照灰度梯度值的级数从大到小排列，通过获取差值最大的两个相邻级数将所有像素点划分为边缘像素点和平滑像素点两类。其中，两个相邻级数分别是平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值，根据平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值计算其平均值，以该平均值作为分界线将所有像素点划分为边缘像素点和平滑像素点。
27.s4，根据一边缘像素点与邻域一边缘像素点的灰度梯度值、灰度梯度方向及该两个像素点之间的欧式距离获取两个边缘像素点的相似度，根据任意两个边缘像素点的相似度将所有边缘像素点进行聚类，将所有边缘像素点划分在不同的类别中；在本实施例中，当两个边缘像素点的相似度小于预设阈值时，则该两个边缘像素点为相似的像素点，并将相似的边缘像素点分在一个类别中，依次将所有边缘像素点划分在不同的类别中。
28.具体的，从已经得到每个边缘像素点的灰度梯度信息，灰度方向信息还有其本身的位置信息，通过这三个信息构建像素点之间的相似性，将相似的边缘像素点分为一个聚类里。
29.相似度计算公式如下：式中，和表示图像中的任意两边缘像素点的灰度梯度值，和表示该两边缘像素点的灰度梯度方向，为两边缘像素点的欧式距离则表示两者的位置信息；则表示二者的相似度，越小，其相似度越高。当＜预设阈值为3时，就认为像素点相似，将其分在一个聚类中。需要说明的是，预设阈值为3是根据人工经验而取得。
30.为此，依次通过选中灰度梯度最大的边缘像素点，以此点为基础点，计算其与周围点的相似性，若周围一圈存在与其相似的边缘像素点，就以该相似的边缘像素点继续寻找，直到遍历完所有的边缘像素点，此时就将所有的边缘像素点根据位置，梯度，方向三个信息分类完成。
31.依次将所有边缘像素点划分在不同的类别中，根据分类之后的大小将过小的类别去除，根据划分后的多个类别中，将边缘像素点数量＜20的类别去除，减少噪声影响。
32.s5，通过对每一类别中的边缘像素点进行细化并结合其灰度梯度方向获得边缘直线，依次获得多条边缘直线，将灰度图中每条所述边缘直线上像素点和所有平滑像素点进行语义分割获得直线边缘二值图像；在本实施例中，在lsd算法的基础上对其进行改进，使用聚类思想来确定直线，由于每个边缘像素点的梯度方向是已知的，根据已知的每一聚类中已知的梯度方向可以得到这一聚类的边缘像素点的方向，由于在本技术中，基本都是以直线存在，因此可以看作得到了边缘直线的方向。再将每一类别中的像素点进行细化，细化时结合直线的方向就得到了边缘直线。其中，细化是对边缘直线上的像素点进行细化，比如把长50宽5的像素条细化成长50宽1的直线；之后对钢丝绳缠绕区域灰度图进行分割，将组成每条边缘直线中细化的像素点标记为1，将其余的平滑像素点标记为0，即获得所有钢丝绳的直线边缘二值图像，其中，直线边缘像素点的灰度值为1，其余部分的像素点灰度值为0。
33.s6，根据直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度计算得到乱绳系数；其中，直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值获取方法是：将所有像素点的灰度值按照列投影在一行中，将直线
边缘二值图像中每一列像素点的灰度值加和作为该列像素点投影的灰度值。每条边缘直线的角度是每条边缘直线与倒绳机轴线方向的夹角。
34.通过上述操作已经得到所有钢丝绳的边缘直线，在没有乱绳的倒绳机中所有钢丝绳都是紧密排列，每条钢丝绳的边缘线都是近似平行；而在存在乱绳情况的倒绳机下，上述所得到的边缘直线可能会存在交叉等情况。
35.在本实施例中，通过所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度两个方面结合来判断图像的乱绳系数；需要说明的是，获得的直线边缘二值图像；一方面，首先对二值图像进行投影，将所有像素点的灰度值朝着钢丝绳缠绕方向投影在一行中，也就是将图像中每一列的像素点灰度值进行累加，使一列变为一个像素点，这个像素点的值就是对应该列的像素点灰度值之和，直线边缘二值图像中共有n行像素点，即任意一列像素点投影到一行时该行像素点的最大灰度值为n；其次，本技术认为投影的像素点的灰度值若少于那么认为该像素点对应的列数时存在乱绳现象的，同时，存在这样的像素点越多，其像素点对应灰度值越大，乱绳现象就越严重。上述分析的过程中，将二值图像中的边缘直线成纵向排布，每一列表示一边缘直线。
36.另一方面，以数值方向为基准，通过得到的直线计算每条边缘直线的角度，对于不乱绳的倒绳机来说，所有边缘直线都接近90度，在本技术中，角度越小，乱绳程度就越大。其中，每条边缘直线的角度是每条边缘直线与倒绳机轴线方向的夹角。
37.通过上述两方面得到如下获取乱绳系数计算公式：式中，表示投影后共有k个灰度值小于像素点数；表示是投影后的灰度值不为0的像素点数；表示投影后的像素点对应的灰度值；e表示边缘直线的条数；表示每条边缘直线的角度；表示二值图像中像素点的行数，表述二值图像中像素点的列数。
38.就表示倒绳机的乱绳系数，该值越大，倒绳机的乱绳程度就越大。
39.至此，通过lsd直线检测和聚类算法得到直线边缘图像，并通过直线边缘二值图像得到乱绳系数。
40.s7，根据乱绳系数判断倒绳机上乱绳情况。
41.乱绳会导致出现不同问题，在本技术中用乱绳系数来表示倒绳机的乱绳情况，系数越大，乱绳情况就越大，当时，本技术就认为该倒绳机即使存在乱绳也不会太影响设备的寿命和效率；时，本技术就认为该倒绳机存在严重的乱绳情况，会大大的影响机器的使用寿命和效率。
42.至此，通过判断乱绳系数得到机器的乱绳情况。
43.参见图2所示，在本技术的实施例中，本技术还提供一种倒绳机乱绳检测装置，包括：图像采集模块，用于获取钢丝绳缠绕区域的灰度图；像素点划分模块，用于根据钢丝绳缠绕区域灰度图中每个像素点的灰度值及其邻域像素点的灰度值获取每个像素点的灰度梯度值和灰度梯度方向；根据每个像素点的灰度
梯度值将所有像素点划分为边缘像素点和平滑像素点；二值图像获取模块，用于根据边缘像素点的灰度梯度值、灰度梯度方向及任意两个边缘像素点之间的欧式距离将所有边缘像素点进行聚类，将所有边缘像素点划分在不同的类别中；通过对每一类别中的边缘像素点进行细化并结合其灰度梯度方向获得边缘直线，依次获得多条边缘直线，将灰度图中每条所述边缘直线上像素点和所有平滑像素点进行语义分割获得直线边缘二值图像；乱绳系数计算模块，用于根据所述直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度计算得到乱绳系数；乱绳判断模块，用于通过得到的乱绳系数判断倒绳机上乱绳情况。
44.参见图3所示，图3为本发明实施例方案涉及的硬件运行环境的结构示意图。
45.需要说明的是，图3即可为计算机设备的硬件运行环境的结构示意图。
46.参见图3所示，该计算机设备可以包括：处理器101，例如cpu，存储器105，用户接口103，网络接口104，通信总线102；其中，通信总线102用于实现这些组件之间的连接通信。用户接口103可以包括显示屏、输入单元比如键盘，可选用户接口103还可以包括标准的有线接口、无线接口。网络接口104可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器105可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器105可选的还可以是独立于前述处理器101的存储装置。
47.本领域技术人员可以理解，图3中示出的计算机设备结构并不构成对计算机设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
48.参见图3所示，作为一种存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。其中，操作系统是管理和控制计算机设备硬件和软件资源的程序，计算机程序以及其它软件或程序的运行。
49.在图3所示的计算机设备中，用户接口103主要用于连接终端，与终端进行数据通信；网络接口104主要用于后台服务器，与后台服务器进行数据通信；处理器101可以用于调用存储器105中存储的计算机程序。
50.在本实施例中，计算机设备包括：存储器105、处理器101及存储在存储器105上并可在处理器上运行的计算机程序，其中：处理器101调用存储器105中存储的计算机程序时，执行以下操作：获取钢丝绳缠绕区域的灰度图；根据灰度图中每个像素点的灰度值及其邻域像素点的灰度值获取每个像素点的灰度梯度值和灰度梯度方向；根据每个像素点的灰度梯度值将所有像素点划分为边缘像素点和平滑像素点；根据边缘像素点的灰度梯度值、灰度梯度方向及任意两个边缘像素点之间的欧式距离将所有边缘像素点进行聚类，将所有边缘像素点划分在不同的类别中；通过对每一类别中的边缘像素点进行细化并结合其灰度梯度方向获得边缘直线，依次获得多条边缘直线，将灰度图中每条所述边缘直线上像素点和所有平滑像素点进行语义分割获得直线边缘二值图像；根据所述直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值及每条边缘直线的角度计算得到乱绳系数；
根据乱绳系数判断倒绳机上乱绳情况。
51.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：将所有像素点按照灰度梯度值的级数从大到小排列，通过获取差值最大的两个相邻级数将所有像素点划分为边缘像素点和平滑像素点。
52.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：两个相邻级数分别是平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值，根据平滑像素点的最大灰度梯度值和边缘像素点的最小灰度梯度值计算其平均值，以该平均值作为分界线将所有像素点划分为边缘像素点和平滑像素点。
53.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：根据一边缘像素点与邻域一边缘像素点的灰度梯度值、灰度梯度方向及该两个像素点之间的欧式距离获取两个边缘像素点的相似度，根据任意两个边缘像素点的相似度将所有边缘像素点进行聚类。
54.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：当两个边缘像素点的相似度小于预设阈值时，则该两个边缘像素点为相似的像素点，并将相似的边缘像素点分在一个类别中，依次将所有边缘像素点划分在不同的类别中。
55.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：将边缘像素点数量＜20的类别去除处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：直线边缘二值图像中所有像素点朝着钢丝绳缠绕方向投影的灰度值获取方法是：将所有像素点的灰度值按照列投影在一行中，将直线边缘二值图像中每一列像素点的灰度值加和作为该列像素点投影的灰度值。
56.处理器101调用存储器105中存储的计算机理程序时，还执行以下操作：每条直线的角度是每条直线与倒绳机轴线方向的夹角。
57.综上，本发明在提供的一种倒绳机乱绳检测方法、装置及计算机设备，采用相机采集倒绳机的俯视角图像，并且分割其缠绕部分；使用改进的lsd直线检测方法分析图像的乱绳系数；根据所得到的倒绳机乱绳系数来判断倒绳机乱绳情况。
58.本发明用乱绳系数来表示倒绳机的乱绳情况，系数越大，乱绳情况就越大，当时，则该倒绳机即使存在乱绳也不会太影响设备的寿命和效率；时，则倒绳机存在严重的乱绳情况，会大大的影响机器的使用寿命和效率。
59.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。