手工装配视觉检测防错方法及系统与流程

文档序号:12126341阅读:来源:国知局

技术特征:

1.一种手工装配视觉检测防错方法,其特征在于,通过将用于装配仿真的装配工艺引导信息和从样本视频中提取得到的装配状态识别信息按操作顺序相关联,生成防错预警信息模型,并在其中标定设备及工作空间;然后监控手工装配的装配进度及装配状态,进行装配行为识别、装配到位识别以及装配零件识别;最后进行装配正确性判断,并在装配不正确时从防错预警信息模型导出包括渲染合成图像和装配工艺引导信息的防错引导信息和装配状态识别信息,并在若干显示输出装置上进行多通道同步显示。

2.根据权利要求1所述的手工装配视觉检测防错方法,其特征是,具体包括以下步骤:

1)创建用于防错引导的装配工艺引导信息;

2)从样本视频中提取装配状态识别信息;

3)将装配产品工序的装配工艺引导信息和装配状态识别信息按操作顺序相关联,以工序号为索引,生成输出含有防错引导信息的防错预警信息模型;

4)标定设备及工作空间;

5)载入防错预警信息模型,通过视频采集装置监控手工装配的装配进度及装配状态;

6)通过装配行为识别、装配到位识别以及零件识别进行装配正确性判断,当装配正确则进入下一工序,否则输出防错引导信息和装配状态识别信息。

3.根据权利要求2所述的手工装配视觉检测防错方法及系统,其特征是,所述的渲染合成图像为仿真软件中装配工艺仿真动画与实时采集视频图像虚实融合后输出至显示器的投影图像。

4.根据权利要求3所述的手工装配视觉检测防错方法,其特征是,所述的装配工艺引导信息包括:序号、工序名称、工序操作内容、工序操作注意事项、零件名称和装配工艺仿真动画。

5.根据权利要求4所述的手工装配视觉检测防错方法,其特征是,所述的步骤2)具体包括以下步骤:

2.1)采集第一视角下的手工装配的样本视频;

2.2)提取视频中各个工序对应的包含装配手势几何特征、零件特征和装配到位特征的视觉描述特征;

2.3)利用装配手势几何特征的概率分布拟合边界条件生成装配行为数据作为装配行为模板;

2.4)通过装对配到位图像与其时间轴上邻域图像的匹配SURF特征点数量进行正态分布拟合,取拟合后的[μ-2σ,μ+2σ]边界值作为装配到位模板;

2.5)对待装配的零件拍照并提取零件ORB图像特征,将ORB图像特征输入至线性SVM分类器获得分类器参数,作为零件识别模型;

2.6)将装配行为模板、装配到位模板及零件识别模型封装成装配状态识别信息。

6.根据权利要求5所述的手工装配视觉检测防错方法,其特征是,所述的装配行为识别是指通过对装配图像进行肤色分割后检测装配手势几何特征,识别出装配手势与装配行为模板对比识别出装配行为。

7.根据权利要求6所述的手工装配视觉检测防错方法,其特征是,所述的装配到位识别是指从装配图像中提取SURF特征点,与装配到位模板进行特征匹配的过程。

8.根据权利要求7所述的手工装配视觉检测防错方法,其特征是,所述的零件识别是指将装配的零件的图像特征经过分类器计算,识别出零件类别。

9.一种实现上述任一权利要求所述的方法的手工装配视觉检测防错系统,其特征在于,包括:头戴视频采集装置、固定视频采集装置、头戴光学辅助显示装置、交互式显示装置和控制模块,其中:头戴视频采集装置采集手工装配的第一视角图像并传输到控制模块;固定视频采集装置采集装配人员取件后的零件图像,传输到控制模块;头戴光学辅助显示装置向装配人员输出显示装配工艺引导信息,分别与头戴视频采集装置和控制模块连接;交互式显示装置与控制模块连接并向装配人员以外的用户同步输出显示防错引导信息和装配状态识别信息。

10.根据权利要求9所述的手工装配视觉检测防错系统,其特征是,所述的控制模块包括:装配过程视觉检测单元、装配状态识别单元、零件视觉检测单元和防错信息输出显示单元,其中:装配过程视觉检测单元接收头戴视频采集装置采集的图像,传输给装配状态识别单元,零件视觉检测单元接收装配人员取件后的零件图像,传输给装配状态识别单元,装配状态识别单元识别装配手势几何特征、零件特征和装配到位特征,根据时间约束和工序约束,从多通道视觉识别特征判断装配状态,防错信息输出显示单元根据装配状态输出显示防错引导信息和装配状态识别信息。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1