一种无人网络租售机之羽毛球拍断线检测方法与流程

本发明涉及球拍检测相关技术领域，尤其是指一种无人网络租售机之羽毛球拍断线检测方法。

背景技术：

羽毛球拍一般由拍头、拍杆、拍柄及拍框与拍杆的接头构成。一支球拍的长度不超过68厘米，其中球拍柄与球拍杆长度不超过42厘米，拍框长度不超过25厘米，宽为20厘米，随着科学技术的发展，球拍的发展向着重量越来越轻、拍框越来越硬、拍杆弹性越来越好、空气阻力越来越小的方向发展。

现有的羽毛球拍在租赁过程中往往存在羽毛球拍上的线断了，导致羽毛球拍无法再次被租赁，而用户在归还羽毛球拍时，无人网络租售机往往无法检测羽毛球拍的拍面上线是否已经断了。

技术实现要素：

本发明是为了克服现有技术中存在上述的不足，提供了一种自动检测羽毛球拍线断裂的无人网络租售机之羽毛球拍断线检测方法。

为了实现上述目的，本发明采用以下技术方案：

一种无人网络租售机之羽毛球拍断线检测方法，具体包括如下步骤：

(1)采集拟租售的各种羽毛球球拍的图像若干幅，然后将采集图像的80％用于训练循环神经网络，训练好之后用剩余的20％采集图像进行测试并优化确定网络参数；

(2)在无人网络租售机的摄像头下采集拟出租的羽毛球球拍的标准图像若干幅，分别命名为img1、imgp2、…、imgpn，然后在这些标准图像上通过手工标注的方式获得每个球拍中每根网线的起始坐标和终止坐标，以及每种球拍的网线的根数；

(3)当拟返还的羽毛球球拍被放到无人租售机的摄像头下时，采集其图像img，然后调用步骤(1)中已训练好的循环神经网络识别出该球拍是哪一种球拍，这种球拍的标准图像为步骤(2)中第i幅的标准图像imgi，1＜＜i＜＜n；

(4)以标准图像imgi为参考图像，对步骤(3)中采集出的图像img先做基于特征点的图像配准，保存配准后图像为img_cali，使其与参考图像的坐标达到一致；

(5)将图像img_cali转换为灰度图像img_gray，之后对其做带阻滤波，得到滤波后图像img_filter；

(6)对滤波后图像img_filter做二值分割，采用大津法实现自动分割，将图像img_filter中所有大于前景和背景的分割阈值的图像像素做为前景分割出来；

(7)对二值分割出的前景部分进行区域连通，然后将连通的区域做一次膨胀处理，对应这些区域找到图像img_gray中对应部分的图像imagereduced；

(8)对图像imagereduced做直线探测；

(9)将在步骤(5)中检测出的直线与标准图像imgi已经标注好的直线做比照，若检测出的直线与标准图像中的各条直线都基本重合，没有断续则认为球拍的网线没有断线情况，可以退还；而若标准图像对应的网线位置在我们检测出的直线中没有对应或出现不连续情况，可以认定球拍网线应已有断裂情况出现。

采用上述方法的设计，在无人租售机的摄像头前面，通过采集对应的羽毛球球拍就可以实现自动检测羽毛球球拍上是否存在网线断裂的情况，从而确保该羽毛球能够被再次租售。

作为优选，在步骤(1)中，在各种光照及背景条件下采集球拍图像，每种球拍图像不少于200张。

作为优选，在步骤(1)中，循环神经网络包括卷积神经网络和残差单元组合成为卷积残差网络，利用卷积残差网络构造多分类模型并进行训练，提取最优训练模型下的网络参数；然后再利用迁移学习继续优化模型，保存最优模型下的网络参数。

作为优选，在步骤(4)中，配准的具体操作步骤如下：对步骤(3)中采集出的图像img先做定位处理，如果选取图像img中的特征区域进行角点检测，其中角点检测采用harris角点检测算法，然后在检出的角点中选择三个特征点做进一步的特征匹配，来计算其仿射变换系数，根据求出的仿射变换系数对图像img进行仿射变换，之后对图像img进行剪切就可以得到配准之后的图像结果了。

作为优选，仿射变换系数的计算公式如下：

其中：x＇、y＇为变换后图像像素点的x，y坐标，x、y为变换前图像像素点的x，y坐标，a11、a12、a21、a22为旋转缩放尺度，a13、a23为平移量。

作为优选，在步骤(5)中，在做带阻滤波时，n阶butterworth滤波器的传递函数如下：

其中：w是带阻的宽度，d0是带阻的中心半径，d(u，v)是(u²+v²)^1/2，表示点(u，v)到原点的距离，h(u，v)为传递函数。

作为优选，在步骤(6)中，采用大津法实现自动分割的具体操作步骤如下：对于图像img_filter，前景和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1，图像的总平均灰度记为μ，类间方差记假设图像的背景较暗，并且图像的大小为m×n，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1，则有

ω0＝n0/m×n(1)

ω1＝n1/m×n(2)

n0+n1＝m×n(3)

ω0+ω1＝1(4)

μ＝ω0*μ0+ω1*μ1(5)

g＝ω0(μ0-μ)^2+ω1(μ1-μ)^2(6)

将式(5)代入式(6)得到等价公式

g＝ω0ω1(μ0-μ1)^2(7)

g就是类间方差，采用遍历的方法得到使类间方差g最大的阈值t，即为所求。

作为优选，在步骤(8)中，直线探测采用rht-lsm直线探测算法，即：首先用随机hough变换确定直线的大致位置；然后，利用所得直线参数，计算图像中的点到直线的距离，根据距离，可以确定每条直线附近的点集，剔除干扰点和噪声；最后，用最小二乘法对点集中的各点进行拟合，得到精确的直线参量。

本发明的有益效果是：通过采集对应的羽毛球球拍就可以实现自动检测羽毛球球拍上是否存在网线断裂的情况，从而确保该羽毛球能够被再次租售。

附图说明

图1是本发明的配准方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

一种无人网络租售机之羽毛球拍断线检测方法，具体包括如下步骤：

(1)采集拟租售的各种羽毛球球拍的图像若干幅，然后将采集图像的80％用于训练循环神经网络，训练好之后用剩余的20％采集图像进行测试并优化确定网络参数；在各种光照及背景条件下采集球拍图像，每种球拍图像不少于200张；循环神经网络包括卷积神经网络和残差单元组合成为卷积残差网络，利用卷积残差网络构造多分类模型并进行训练，提取最优训练模型下的网络参数；然后再利用迁移学习继续优化模型，保存最优模型下的网络参数；

(2)在无人网络租售机的摄像头下采集拟出租的羽毛球球拍的标准图像若干幅，分别命名为img1、imgp2、…、imgpn，然后在这些标准图像上通过手工标注的方式获得每个球拍中每根网线的起始坐标和终止坐标，以及每种球拍的网线的根数；

(3)当拟返还的羽毛球球拍被放到无人租售机的摄像头下时，采集其图像img，然后调用步骤(1)中已训练好的循环神经网络识别出该球拍是哪一种球拍，这种球拍的标准图像为步骤(2)中第i幅的标准图像imgi，1＜＜i＜＜n；

(4)以标准图像imgi为参考图像，对步骤(3)中采集出的图像img先做基于特征点的图像配准，保存配准后图像为img_cali，使其与参考图像的坐标达到一致；

如图1所示，配准的具体操作步骤如下：对步骤(3)中采集出的图像img先做定位处理，如果选取图像img中的特征区域进行角点检测，其中角点检测采用harris角点检测算法，然后在检出的角点中选择三个特征点做进一步的特征匹配，来计算其仿射变换系数，仿射变换系数的计算公式如下：

其中：x＇、y＇为变换后图像像素点的x，y坐标，x、y为变换前图像像素点的x，y坐标，a11、a12、a21、a22为旋转缩放尺度，a13、a23为平移量，根据求出的仿射变换系数对图像img进行仿射变换，之后对图像img进行剪切就可以得到配准之后的图像结果了；

(5)将图像img_cali转换为灰度图像img_gray，之后对其做带阻滤波，得到滤波后图像img_filter；在做带阻滤波时，n阶butterworth滤波器的传递函数如下：

其中：w是带阻的宽度，d0是带阻的中心半径，d(u，v)是(u²+v²)^1/2，表示点(u，v)到原点的距离，h(u，v)为传递函数；

(6)对滤波后图像img_filter做二值分割，采用大津法实现自动分割，将图像img_filter中所有大于前景和背景的分割阈值的图像像素做为前景分割出来；

采用大津法实现自动分割的具体操作步骤如下：对于图像img_filter，前景(即目标)和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1，图像的总平均灰度记为μ，类间方差记假设图像的背景较暗，并且图像的大小为m×n，图像中像素的灰度值小于阈值t的像素个数记作n0，像素灰度大于阈值t的像素个数记作n1，则有

ω0＝n0/m×n(1)

ω1＝n1/m×n(2)

n0+n1＝m×n(3)

ω0+ω1＝1(4)

μ＝ω0*μ0+ω1*μ1(5)

g＝ω0(μ0-μ)^2+ω1(μ1-μ)^2(6)

将式(5)代入式(6)得到等价公式

g＝ω0ω1(μ0-μ1)^2(7)

g就是类间方差，采用遍历的方法得到使类间方差g最大的阈值t，即为所求；

(7)对二值分割出的前景部分进行区域连通，然后将连通的区域做一次膨胀处理，对应这些区域找到图像img_gray中对应部分的图像imagereduced；

(8)对图像imagereduced做直线探测；直线探测采用rht-lsm直线探测算法，即：首先用随机hough(rht)变换确定直线的大致位置；然后，利用所得直线参数，计算图像中的点到直线的距离，根据距离，可以确定每条直线附近的点集，剔除干扰点和噪声；最后，用最小二乘法(lsm)对点集中的各点进行拟合，得到精确的直线参量；

(9)将在步骤(5)中检测出的直线与标准图像imgi已经标注好的直线做比照，若检测出的直线与标准图像中的各条直线都基本重合，没有断续则认为球拍的网线没有断线情况，可以退还；而若标准图像对应的网线位置在我们检测出的直线中没有对应或出现不连续情况，可以认定球拍网线应已有断裂情况出现。