一种基于图像识别的二手手机质量检测方法及装置与流程

本发明属于图像识别，尤其涉及一种基于图像识别的二手手机质量检测方法及装置。

背景技术：

1、目前，回收的二手手机一般进行二次售卖或报废处理，对于二手手机的定损定价主要是依靠人工进行确定，首先回收人员根据二手手机的品牌和信号确定其答题价位，然后根据其外观特别是玻璃屏的破损程度以及内部各种性能确定二手手机的最终价格。然而，人工回收检测二手手机过程中，第一步是由回收人员确定手机的品牌和信号，但这不仅要求回收人员对各个机型手机的形状特点非常熟悉，且将会耗费大量的人工成本。由于人工检测的主观性比较强，且工人工作时间有限，导致现在的人工检测准确性和效率不高，且工人长时间盯着玻璃屏观察检测，对工人眼睛和身体也有很大伤害，因此，如何利用计算机视觉的方法根据二手手机背面的品牌信息和外形轮廓信息自动识别出手机的品牌、如何自动检测二手手机屏幕缺陷和也显得很重要。

技术实现思路

1、有鉴于此，本发明提供了一种提升二手手机质量检测准确性和效率的基于图像识别的二手手机质量检测方法及装置，来解决上述存在的技术问题，具体采用以下技术方案来实现。

2、第一方面，本发明提供了一种基于图像识别的二手手机质量检测方法，包括以下步骤：

3、获取二手手机的正面和背面的图像得到手机图像，对手机图像进行预处理得到手机背面图像和手机屏幕图像，其中，预处理包括对输入手机图像进行灰度化处理得到灰度图，并对灰度图进行图像增强、二值化处理和形态学操作得到预处理后的手机背面图像和手机屏幕图像；

4、将手机屏幕图像进行边缘检测得到二手手机的边缘特征，对边缘特征进行滑动窗口算法的图像分割得到手机屏幕图像对应的样本屏幕图像，其中，滑动窗口算法包括：先设置一个固定的滑动窗口区域，然后将滑动窗口在图像上按照设定步长进行滑动，对每一步的滑动区域中存在目标的概率，调整滑动窗口的大小和滑动的步长，以同样的方式滑动窗口进行预测；

5、对手机背面图像进行字符识别以识别出手机背面的品牌字符信息，根据字符识别的结果确定二手手机的品牌类别；

6、根据样本屏幕图像和品牌类别输入至已训练好的神经网路中进行训练得到二手手机对应的质量检测结构以完成对二手手机质量检测。

7、作为上述技术方案的进一步改进，根据样本屏幕图像和品牌类别输入至已训练好的神经网路中进行训练得到二手手机对应的质量检测结构以完成对二手手机质量检测，包括：

8、神经网络的单个神经元存在多个输入x0，x1…xn，存在一个输出，神经元的输出表达式为f(·)表示激活函数，w、b表示神经网络参数，对神经网络进行前向传播计算的表达式为其中fl(·)表示第l层的激活函数，zl表示第l层神经元的输出，al表示第l层神经元的激活值，wl表示第l+1层到第l层的权重矩阵，bl表示第l+1层到第l层的偏置；

9、神经网络最后的输出是输入信息不断经过隐藏层的处理后得到的，输入信息经过一层层的隐藏层进行处理，神经网络的最终输出输出y的计算表达式为x＝a0→a1→…→al-1→al＝y，在神经网络正向传播的过程中，同时伴随着反向传播进行反馈，用于对权重进行更新，以使神经网络完成训练。

10、作为上述技术方案的进一步改进，当有一个样本时，预设其损失函数为其中yx表示神经网络的模型预测结果，多个样本时的损失函数为其中表示均方差项，表示正则化项，λ表示权重衰减参数，m表示样本数量，l表示神经网络层数，均方差项用于来衡量实际值和期望值之间的大小，正则化项用于防止数据训练时出现过拟合，权重衰减参数用于影响损失函数两个组成部分的相对权重；

11、通过不断调整参数值使得损失函数最小，计算输出层对输出值的梯度，的白到时为依次计算对于l＝l-1.l-2…2各层的梯度得到并对损失函数关于各层权重参数的偏导数进行计算的表达式为采用梯度下降算法对参数进行更新的表达式为其中α表示学习速率，重复上述过程使损失函数j(w，b)收敛到设定的值，以完成神经网络的训练得到最优参数值。

12、作为上述技术方案的进一步改进，对手机背面图像进行字符识别以识别出手机背面的品牌字符信息，根据字符识别的结果确定二手手机的品牌类别，包括：

13、采用canny边缘检测算子对手机背面的品牌字符信息进行识别的表达式为g(x，y)＝h(x，y，δ)*f(x，y)，其中g(x，y)表示去噪之后得到的图像，h(x，y，δ)表示高斯滤波，f(x，y)表示去噪前的原始图像，对应的表达式为其中g表示对应权重的卷积核，θ表示梯度方向；预设l为原图像，gx＝g*i表示水平方向的图像灰度值，gy＝gt*i表示垂直方向的图像灰度值；

14、找到图像中的梯度强度，在水平方向和竖直方向上使用3×3内核去噪后的图像进行滤波处理，在获得图像的梯度和方向后，对图像进行扫描，排出不构成图像边缘的像素，对每个像素点沿着梯度方向进行检查以确定是否为领域内的梯度的局部最大值，并保留梯度最大的像素点；梯度的局部最大值大于高阈值的像素点作为强边缘，将小于低阈值的像素点不认为是边缘，处于两个阈值之间作为候选边缘。

15、作为上述技术方案的进一步改进，对边缘特征进行滑动窗口算法的图像分割得到手机屏幕图像对应的样本屏幕图像，包括：

16、对手机屏幕缺陷图片进行裁剪并在行方向上进行分割，按照预先设置的尺寸和步长逐行的进行扫描，对边缘像素点不足的部分进行不全操作。

17、作为上述技术方案的进一步改进，通过对不同信号二手手机的模板图像和目标图像进行分析，将缩放比例的取值范围限定在区间[λmin,λmax]之间，λmin小于1表示最小缩放因子，和λmax大于1表示最大缩放因子，设定缩放幅度为f，经过缩放后一幅模板图像产生多幅不同尺度的模板图像m，根据数学关系可得m，m＝(λmax-λmin+1)/f。

18、作为上述技术方案的进一步改进，对手机图像进行预处理得到手机背面图像和手机屏幕图像，包括：

19、将手机背面图像进行灰度化处理，根据灰度化后图像的整体灰度将图像分为低灰度图像和高灰度图像，其中，对低灰度图像和高灰度图像采用图像匹配算法对比分析图像增强效果得到待矫正图像；

20、采用透视变换将待矫正图像投影到一个新的视平面，透视变换的变换表达式为其中[u，v，w]表示原始图像像素坐标，[x0，y0，z0]表示矫正后新的图像像素坐标，t1表示图像线性变化矩阵，t2表示图像非线性变换矩阵，t3表示图像平移矩阵。

21、作为上述技术方案的进一步改进，对低灰度图像和高灰度图像采用图像匹配算法对比分析图像增强效果得到待矫正图像，包括：

22、整个模板匹配过程根据图像曲率大小分为两个阶段，第一阶段为对大曲率的外围轮廓图像进行模板匹配，当第一阶段不能确定手机型号时，进行第二阶段的模板匹配，第二阶段为基于对内部轮廓的模板匹配，其中，第二阶段小曲率轮廓的度量因子添加一个小于1的权值；

23、恒流整个匹配效果时有两个度量因子和一个度量权重，分别为模板欧赔第一阶段的度量因子λ1、模板匹配第二阶段用于衡量大曲率轮廓的度量因子λ2以及用于模板匹配第二阶段小曲率轮廓的度量权重η，当两者满足表达式为λ1＞o或其中o、p和q表示系数，且有o＞p，其中λ2＝λ21+λ22η，其中λ21表示模板匹配第二阶段用于衡量大曲率轮廓的度量因子，λ22表示模板匹配第二阶段用于衡量小曲率轮廓的度量因子；

24、若模板匹配第一阶段的度量因子大于设定的高阈值，则确定目标图像手机型号为模板图像手机型号，无需进行第二阶段的模板匹配；若第一阶段的度量因子小于设定的低阈值，则确定目标图像手机型号不是模板图像手机型号，无需进行第二阶段的模板匹配；若第一阶段的度量因子位于高低阈值之间，则需要进行第二阶段的模板匹配；若第二阶段的度量因子大于设定的阈值即判定目标图像手机型号为模板图像手机型号。

25、作为上述技术方案的进一步改进，图像曲率分析计算包括：

26、手机背面图像的外部轮廓为曲线，轮廓的曲线采用梯度来表示，梯度作为矢量，预设曲线函数为f(x1，y1)，和分别表示x1、y1风向的梯度，则梯度矢量的表达式为梯度的大小为梯度的方向为当两个方向的梯度和都不为0时表示轮廓是弯曲的，越弯曲的轮廓在图像上表现为轮廓为尖锐的，曲率也越大。

27、第二方面，本发明还提供了一种基于图像识别的二手手机质量检测装置，包括：

28、图像获取模块，用于获取二手手机的正面和背面的图像得到手机图像，对手机图像进行预处理得到手机背面图像和手机屏幕图像，其中，预处理包括对输入手机图像进行灰度化处理得到灰度图，并对灰度图进行图像增强、二值化处理和形态学操作得到预处理后的手机背面图像和手机屏幕图像；

29、图像分割模块，用于将手机屏幕图像进行边缘检测得到二手手机的边缘特征，对边缘特征进行滑动窗口算法的图像分割得到手机屏幕图像对应的样本屏幕图像，其中，滑动窗口算法包括：先设置一个固定的滑动窗口区域，然后将滑动窗口在图像上按照设定步长进行滑动，对每一步的滑动区域中存在目标的概率，调整滑动窗口的大小和滑动的步长，以同样的方式滑动窗口进行预测；

30、图像识别模块，用于对手机背面图像进行字符识别以识别出手机背面的品牌字符信息，根据字符识别的结果确定二手手机的品牌类别；

31、图像检测模块，用于根据样本屏幕图像和品牌类别输入至已训练好的神经网路中进行训练得到二手手机对应的质量检测结构以完成对二手手机质量检测。

32、本发明提供了一种基于图像识别的二手手机质量检测方法及装置，通过获取二手手机的正面和背面的图像得到手机图像，对手机图像进行预处理得到手机背面图像和手机屏幕图像，将手机屏幕图像进行边缘检测得到二手手机的边缘特征，对边缘特征进行滑动窗口算法的图像分割得到手机屏幕图像对应的样本屏幕图像，对手机背面图像进行字符识别以识别出手机背面的品牌字符信息，根据字符识别的结果确定二手手机的品牌类别，根据样本屏幕图像和品牌类别输入至已训练好的神经网路中进行训练得到二手手机对应的质量检测结构以完成对二手手机质量检测，提高了二手手机质量检测的准确性和效率。