一种液压轴承超精加工中划伤的显著性识别方法及装置与流程

1.本技术涉及图像识别领域，具体涉及一种液压轴承超精加工中划伤的显著性识别方法及装置。


背景技术：

2.液压泵为液压传动提供加压液体的一种液压元件，轴承为液压泵的重要零件之一，轴承内外圈的生产工艺包括下料、锻造、球化退火、车加工、热处理、磨加工、超精加工、零件终检、防锈入库。
3.在轴承的内外圈表面超精过程中，是将轴承置于轴承座或转动轴上，然后进行转动，控制磨削设备对轴承内外圈进行磨削超精处理，在此过程中可能会由于磨削过程中的磨粒刻划导致轴承内外圈表面上出现细小划伤，若不进行识别检测，划伤会造成轴承安装不良，在轴承使用过程中引起偏载和应力集中，造成轴承旋转精度和使用寿命的下降，进一步影响液压泵寿命。
4.目前，对超精加工的轴承的内外圈进行进行划伤检测识别的方法是通过人工检测或图像处理的方式，人工检测或图像处理的方式无法排除光照和超精纹理的干扰，准确率无法保证。


技术实现要素：

5.本发明提供一种液压轴承超精加工中划伤的显著性识别方法，解决划伤识别检测准确率不高的问题，采用如下技术方案：采集轴承超精加工时的外圈内表面/内圈外表面的连续帧图像；对连续帧图像进行图像预处理得到对应的灰度图；分别对所有帧灰度图进行相同的区域划分得到每一帧灰度图划分后的多个区域灰度图；根据每一帧灰度图中每个区域中的每个像素点和该区域内其他像素点的灰度差异及宽度差异得到每个像素点的区域显著性；根据每一帧灰度图中每个像素点和其他帧图像中相对应位置的像素点的灰度差异和宽度差异得到每个像素点的位置显著性；根据每个像素点的位置显著性和该像素点所在区域的区域显著性得到每一帧灰度图的每个区域中每个像素点的显著性特征；提取所有帧灰度图中所有相对应的同一像素点；根据同一像素点在所有帧灰度图中的显著性特征计算同一像素点的连续显著性特征；将所有同一像素点的连续显著性特征作为任意帧灰度图像中与该同一像素点对应像素点的灰度值，构建连续显著性特征图；根据连续显著性特征图对轴承外圈内表面/内圈外表面中的划伤进行识别。
6.所述对所有帧灰度图进行相同的区域划分的方法为：
对每一帧灰度图像进行高斯滤波处理；使用均值漂移聚类，将图像中像素点分为多个区域；对所有帧图像同一个位置的像素点进行区域投票，获取投票数最大的区域作为该位置像素点的所属区域；根据每个位置像素点的所属区域，完成每一帧灰度图的区域划分。
7.所述每一帧灰度图的每个区域中每个像素点的显著性特征的计算方法为：式中，为第帧灰度图上第个区域中第个像素点的显著性特征，为第上第个区域中第个像素点在图像上第个区域的区域显著性，为第上第个区域中第个像素点的位置显著性，为的权重即所在区域显著性的权重。
8.所述每个像素点的区域显著性的计算方法如下：式中，为图像上第个区域第个像素点 的灰度值，为图像中第个区域第个像素点的灰度值，为第个区域像素点的个数，为和和差异函数，，为图像中第个区域每个像素点与其他像素点的灰度值差异之和的均值，为像素点的宽度，为像素点的宽度，为和的差异函数，为图像第个区域中每个像素点与其他像素点的宽度差异之和的均值。
9.所述每个像素点的区域显著性的权重的计算方法为：式中，为图像上第个区域第个像素点 距离第个区域边缘像素点最近的距离。
10.所述每个像素点的位置显著性的计算方法为：
式中，为像素点的灰度，为第帧灰度图中第个区域中第个像素点的灰度，为帧图像个数，为每一帧灰度图中第个区域中与对应位置的像素点与其他帧图像的第个区域中对应位置像素点灰度值的差异之和的均值，为像素点的宽度，为图像的第个区域中第个像素点的宽度，为每一帧灰度图的第个区域中与对应位置像素点与所有帧图像第个区域中的像素点宽度差异之和的均值。
11.所述同一像素点的连续显著性特征的获取方法为：将同一像素点在所有帧灰度图中的显著性特征进行累加得到同一像素点的连续显著性特征。
12.所述对轴承外圈内表面/内圈外表面中的划伤进行识别的方法为：对连续显著性特征图进行边缘检测，若检测到边缘，则该边缘为轴承外圈内表面和内圈外表面中的划伤；若检测不到边缘，则无划伤。
13.本技术方案还提供一种液压轴承超精加工中划伤的显著性识别装置，其特征在于，包括图像采集单元，图像处理单元，划伤识别单元和控制分拣单元：所述图像采集单元：采集轴承超精加工时的外圈内表面/内圈外表面的连续帧图像并将图像发送至图像处理单元；所述图像处理单元：对连续帧图像进行图像预处理得到对应的灰度图并将灰度图发送至划伤识别单元；分别对所有帧灰度图进行相同的区域划分得到每一帧灰度图划分后的多个区域灰度图；所述划伤识别单元：根据每一帧灰度图中每个区域中的每个像素点和该区域内其他像素点的灰度差异及宽度差异得到每个像素点的区域显著性；根据每一帧灰度图中每个像素点和其他帧图像中相对应位置的像素点的灰度差异和宽度差异得到每个像素点的位置显著性；根据每个像素点的位置显著性和该像素点所在区域的区域显著性得到每一帧灰度图的每个区域中每个像素点的显著性特征；提取所有帧灰度图中所有相对应的同一像素点；根据同一像素点在所有帧灰度图中的显著性特征计算同一像素点的连续显著性特征；将所有同一像素点的连续显著性特征作为任意帧灰度图像中与该同一像素点对应像素点的灰度值，构建连续显著性特征图；根据连续显著性特征图对轴承外圈内表面/内圈外表面中的划伤进行识别：对连续显著性特征图进行边缘检测，若检测到边缘，则该边缘为轴承外圈内表面和内圈外表面中的划伤；若检测不到边缘，则无划伤，将划伤识别结果发送给控制分拣单
元；所述控制分拣单元：根据划伤识别结果控制分拣，若存在划伤，对划伤位置进行标记，控制机械臂将轴承内外圈分拣至磨削模块，根据标记位置对划伤进行磨削处理；若不存在划伤，控制机械臂将轴承内外圈分拣至防锈入库模块。
14.本发明的有益效果是：通过图像识别出采集轴承转动时内外圈表面的连续帧图像,预处理得到多帧灰度图，通过均值漂移聚类和像素点区域投票，将每一帧灰度图划分为多个区域，根据每个区域中每个像素点和其他像素点的灰度差异和宽度差异得到每个像素点的所在区域的区域的区域显著性，根据每个像素点与其他帧图像中对应位置的像素点的灰度差异和宽度差异得到每个像素点的位置显著性，根据每个像素点的区域显著性和位置显著性得到每个像素点的显著性特征，根据同一像素点在所有帧图像中的位置变化得到每个像素点的连续显著性特征及连续显著性特征图，利用连续显著性特征图对轴承表面划伤进行识别，方法智能、精准。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明的一种液压轴承超精加工中划伤的显著性识别方法流程示意图；图2是本发明的一种液压轴承超精加工中划伤的显著性识别方法的轴承内圈外表面图像采集装置示意图；图3是本发明的一种液压轴承超精加工中划伤的显著性识别方法的轴承外圈内表面图像采集装置示意图；图4是本发明的一种液压轴承超精加工中划伤的显著性识别装置的结构框图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明的一种液压轴承超精加工中划伤的显著性识别方法的实施例，如图1所示，包括：步骤一：采集轴承超精加工时的外圈内表面/内圈外表面的连续帧图像；对连续帧图像进行图像预处理得到对应的灰度图；该步骤的目的是拍摄轴承内圈或外圈表面图像，并进行图像预处理得到连续多帧灰度图；其中，轴承表面图像包括轴承外圈内表面图像和轴承内圈外表面图像，图像采集装置包括机械臂、检测台、相机。分为轴承内圈外表面图像采集装置及轴承外圈内表面图像采集装置，轴承内圈外表面图像采集装置如图2所示，轴承外圈内表面图像采集装置如图3
所示，检测台上设置转动轴，控制机械臂将超精完成的轴承内圈或外圈放置在对应图像采集装置的转动轴上，通过转动轴转动使得轴承内圈或外圈转动，使用相机拍摄轴承内圈表面或外圈表面连续帧的图像，帧图像个数记为。
19.其中，图像预处理步骤如下：采用dnn语义分割的方式来识别分割图像中的目标：dnn网络使用的数据集为采集的轴承内圈表面或轴承外圈表面图像数据集；需要分割的像素，共分为2类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于轴承表面的标注为1，属于背景类或轴承其他区域的标注为0；网络的任务是分类，所以使用的loss函数为交叉熵损失函数。
20.本步骤通过dnn实现了轴承内圈表面或外圈表面图像的预处理，获得图像中轴承内圈或外圈的表面连通域信息，为便于分析，轴承内圈或外圈的表面连通域图像转换为灰度图像。
21.步骤二：分别对所有帧灰度图进行相同的区域划分得到每一帧灰度图划分后的多个区域灰度图；该步骤的目的是结合多帧图像进行分析对每一帧灰度图进行区域划分，每一帧中分割的区域都一致，因为轴承内外圈表面为圆环形，其每个位置的光照不同，每个位置的亮度不同。为准确的识别划伤，首先对图像进行区域分割，将不同亮度的区域分割开来。
22.其中，对对所有帧灰度图进行相同的区域划分的方法为：（1）将轴承内外圈表面图像的多帧图像记为，其中表示第帧轴承内外圈表面图像，表示第帧轴承内外圈表面图像。
23.（2）由于超精纹与划伤的存在，直接对图像进行区域分割不准确。因此先对图像进行高斯滤波，通过高斯滤波可以一定程度上将超精纹与划伤去除，第帧图像高斯滤波后记为。
24.（3）对图像进行均值漂移聚类，将图像分割成个区域，每个区域内部像素点的亮度基本一致。将此个区域对应到图像中，即完成了第帧图像的区域分割，同理对所有帧图像中的像素点进行分割。
25.（4）对于不同帧的轴承内外圈表面图像，由于轴承转动导致轴承内外圈表面上同一个超精纹或同一个划伤位置发生了变化，但整体光照情况不变，也就是说不同帧的轴承内外圈表面图像，其上相同位置的亮度不变。对不同帧图像上同一个位置的像素点，其亮度一致，在每个图像上所属区域也应该一致。但可能由于不同帧图像同一个位置的超精纹理不同，高斯滤波后的图像存在差别，导致不同帧图像相同位置的像素点划分至了不同的区域。
26.因此，结合所有帧图像对分割的区域进行调整，保证每一帧灰度图中的区域都一致，具体方法为：对所有帧同一个位置的像素点进行区域投票，统计该像素点在所有帧图像中所处的区域，获取投票数最大的区域作为为该位置像素点的所属区域。同理，对所有位置像素点进行投票，获取其所属的区域，通过对每个位置像素点所属区域的确定，完成了图像的区域
划分，不同帧图像分割的区域一致。
27.步骤三：根据每一帧灰度图中每个区域中的每个像素点和该区域内其他像素点的灰度差异及宽度差异得到每个像素点的区域显著性；该步骤的目的是，根据每个区域中每个像素点与该区域内其他像素点的灰度特征，得到该像素点的区域显著性。
28.其中，每个像素点的区域显著性的计算方法为：公式中，为表示图像上第个区域第个像素点，为在第个图像上第个区域的区域显著性，为图像上第个区域第个像素点 的灰度，为图像中第个区域第个像素点的灰度，为第个区域像素点的个数，为关于的差异函数：，为像素点与图像中第个区域所有像素点的灰度差异和；：为图像中第个区域每个像素点与所有像素点的灰度差异和的均值；为像素点在垂直磨削方向上的游程，即像素点的灰度值在垂直磨削方向上连续出现的次数，表示该像素点所代表特征的宽度（如超精纹宽度或划伤宽度），此处简称像素点宽度；为图像中第个区域第个像素点宽度；为像素点与图像中第个区域所有像素点的宽度差异和； ：为图像中第个区域每个像素点与所有像素点的宽度差异和的均值。
29.需要说明的是，划伤为内外圈表面表面凹陷的细纹。在不同的光照条件下与超精纹亮度区别不同，在某些光照条件下，与超精纹亮度不同，在某些光照条件下，与超精纹亮度基本一致。同时划伤较超精纹稍宽。因此结合灰度以及宽度，获取像素点在当前图像中的区域显著性特征。区域显著性越大，该像素点越可能为划伤。
30.步骤四：根据每一帧灰度图中每个像素点和其他帧图像中相对应位置的像素点的灰度差异和宽度差异得到每个像素点的位置显著性；该步骤的目的是分析每一帧图像中的每个像素点与其他帧图像中对应位置的像素点的灰度和宽度差异，得到每个像素点的位置显著性。
31.其中，每个像素点的位置显著性的计算方法为：
公式中，为在连续帧图像上同一个位置的位置显著性，其中为像素点的灰度值，为图像中第个区域第个像素点的灰度；为图像个数；为像素点与所有图像第个区域对应像素点的灰度差异和；：为每个图像第个区域中与对应像素点与所有图像第个区域中所有像素点灰度差异和的均值；为像素点宽度；为图像中第个区域第个像素点宽度；为像素点与所有图像第个区域对应像素点的宽度差异和；：为每个图像第个区域对应像素点与所有图像第个区域对应像素点宽度差异和的均值。
32.需要说明的是，位置显著性越大，该图像该位置的像素点与其他图像该位置像素点的差异越大，越可能为划伤；但位置显著性越小，不一定并非划伤，可能为非常长的划伤，位于整个内外圈表面的一圈，此时连续帧各个图像该位置的像素点均为划伤，但其位置显著性较小。结合区域显著性以及位置显著性，可以降低像素的点误划分区域的影响，以及长划伤的影响，获取较为准确的显著性特征。
33.步骤五：根据每个像素点的位置显著性和该像素点所在区域的区域显著性得到每一帧灰度图的每个区域中每个像素点的显著性特征；该步骤的目的是将每个像素点的区域显著性和位置显著性综合分析得到显著性特征。
34.其中，显著性指与周围具有较强对比度或与周围有明显不同的区域其中，每个像素点的显著性特征的计算方法为：公式中，图像上第个区域第个像素点的显著性特征，为图像上第个区域第个像素点的区域显著性，为图像上第个区域第个像素点的
位置显著性，为的权重即区域显著性的权重。
35.其中，区域显著性的权重的计算方法为：公式中，为像素点距离第个区域边缘像素点最近的距离；当距离边缘像素点越近，其区域显著性越不可信，区域显著性的权重越低。
36.需要说明的是，步骤二中结合均值漂移聚类进行区域划分，位于两个相邻区域中间的像素点可能由于所处位置可能被误划分。当像素点处于区域边缘时，若被误划分至第个区域，其与该区域正常像素点的差异较大，得到的区域显著性也较大。但实际可能在其真正所属的区域与其余像素点的差异较小，区域显著性较小。像素点越靠近区域边缘，其倍误划分的可能性就越大，因此结合像素点的位置，为该像素点的区域显著性设置权重。
37.步骤六：提取所有帧灰度图中所有相对应的同一像素点；根据同一像素点在所有帧灰度图中的显著性特征计算同一像素点的连续显著性特征；该步骤的目的是，结合连续多帧图像得到每个像素点的连续显著性特征。
38.其中，同一像素点的连续显著性特征的获取方法为：（1）根据内外圈表面转动速度和相机拍摄间隔，获取同一像素点在不同帧灰度图中的位置；（2）将同一像素点在不同帧灰度图中的位置对应的显著性特征进行累加得到同一像素点的连续显著性特征。
39.计算公式为：公式中，表示像素点在图像中的位置，像素点在图像图像中用来表示；表示像素点在图像中的显著性特征；为图像个数。
40.需要说明的是，轴承内外圈表面多帧图像为轴承转动过程中拍摄图像中一个位置的像素点经过转动后在图像中到达另一位置，可根据内外圈表面转动速度以及相机拍摄间隔，获取同一个像素点在不同图像中的位置，结合多帧图像中像素点位置的变化，获取该像素点的连续显著性特征。
41.举例说明同一像素点的连续显著性特征获取方法：假设帧图像总数为2，如中的第一个像素点经过转动后在中为第二个像素点，并且根据步骤一到五获取到了所有帧图像中每个像素点的显著性特征，则将中第一
个像素点的显著性特征和中的第二个像素点的显著性特征相加，得到同一像素点的连续显著性特征。
42.需要说明的是，划伤较超精纹稍宽，但在某些光照条件下，相邻的两个超精纹亮度一致，无法区分为单个超精纹，其上像素点的宽度也较宽，同时在某些光照条件下，划伤与超精纹的亮度不一致，在某些光照条件下，划伤与超精纹的亮度基本一致。因此只根据单张图像上像素的显著性特征无法将划伤识别出来，因此需要结合多帧图像，获取像素点的连续显著性特征。
43.步骤七：将所有同一像素点的连续显著性特征作为任意帧灰度图像中与该同一像素点对应像素点的灰度值，构建连续显著性特征图；根据连续显著性特征图对轴承外圈内表面/内圈外表面中的划伤进行识别。
44.该步骤的目的是，根据同一像素点的连续显著性特征构建显著性特征图，根据显著性特征图对轴承内外圈表面中的划伤进行识别。
45.其中，构建显著性特征图的方法为：获取所有同一像素点的连续显著性特征，将同一像素点的连续显著性特征作为其灰度值，构成连续显著性图；图中每个像素点的灰度大小表示了该像素点在连续帧图像中与周围像素点的差异大小。若差异越小，则该像素点越可能为超精纹理，反之，若差异越大，则该像素点越可能为划伤。
46.其中，对轴承外圈内表面/内圈外表面中的划伤进行识别的方法为：对连续显著性特征图进行边缘检测，若检测到边缘，则该边缘为轴承外圈内表面和内圈外表面中的划伤，对划伤位置进行标记，控制机械臂将轴承内外圈分拣至磨削模块，根据标记位置对划伤进行磨削处理；若检测不到边缘，则无划伤，控制机械臂将轴承内外圈分拣至防锈入库模块。
47.本技术方案还提供一种液压轴承超精加工中划伤的显著性识别装置的实施例，如图4所示，包括图像采集单元s100，图像处理单元s101，划伤识别单元s102和控制分拣单元s103：具体实施步骤为：s100：采集轴承超精加工时的外圈内表面/内圈外表面的连续帧图像并将图像发送至s101；s101：对连续帧图像进行图像预处理得到对应的灰度图；分别对所有帧灰度图进行相同的区域划分得到每一帧灰度图划分后的多个区域灰度图并将灰度图发送至s102；s102：（1）根据每一帧灰度图中每个区域中的每个像素点和该区域内其他像素点的灰度差异及宽度差异得到每个像素点的区域显著性；（2）根据每一帧灰度图中每个像素点和其他帧图像中相对应位置的像素点的灰度差异和宽度差异得到每个像素点的位置显著性；（3）根据每个像素点的位置显著性和该像素点所在区域的区域显著性得到每一帧灰度图的每个区域中每个像素点的显著性特征；
（4）提取所有帧灰度图中所有相对应的同一像素点；根据同一像素点在所有帧灰度图中的显著性特征计算同一像素点的连续显著性特征；（5）将所有同一像素点的连续显著性特征作为任意帧灰度图像中与该同一像素点对应像素点的灰度值，构建连续显著性特征图；（6）根据连续显著性特征图对轴承外圈内表面/内圈外表面中的划伤进行识别。
48.（7）将划伤识别结果发送给s103；s103：根据划伤识别结果控制分拣，若存在划伤，对划伤位置进行标记，控制机械臂将轴承内外圈分拣至磨削模块，根据标记位置对划伤进行磨削处理；若不存在划伤，控制机械臂将轴承内外圈分拣至防锈入库模块,提升了轴承内外圈检测的质量。
49.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。