一种目标物体检测方法及装置与流程

文档序号:16136811发布日期:2018-12-01 01:06阅读:224来源:国知局

本发明属于智能检测领域,具体涉及一种目标物体检测方法及装置。

背景技术

随着科技的发展,越来越多的智能化家居进入们的生活中,不管是家庭还是工作,也渐渐的离不开智能化家居。其中,对于智能化的清洁装置而言,需要对目标物体进行良好的检测,分辨其是否为垃圾还是家用物品,才可以更好的进行清洁操作。

然而现有的检测方法操作复杂,检测效率低下,检测精度低。



技术实现要素:

为了解决上述技术问题,本发明提出了一种目标物体检测方法及装置,其检测更快、更精准,对硬件的要求更低。

为了达到上述目的,本发明的技术方案如下:

一种目标物体检测方法包括以下步骤:

1)数据集收集与标注,收集多张同一类目标物体的图片,并对目标物体的属性进行标注,在图片中标注出目标物体所在位置;

2)分类模型预训练,预训练一个分类模型对每一类目标物体进行训练,对选定的类用标注的数据集提取深层网络特征,利用该特征来表征训练数据,从而构建数据集深层网络;

3)实时检测,将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频或图片进行目标物体的判定与识别,并输出目标物体类别以及其置信度。

本发明提出一种目标物体检测方法,其操作便捷,可以有效快速的对目标物体的类别进行鉴别,大大提高了清扫装置的清洁效率。不仅如此,本申请所公开的一种目标物体检测方法还不仅可应用于对垃圾和非垃圾的类别检测,还应用于其他物品的检测。

在上述技术方案的基础上,还可做如下改进:

作为优选的方案,目标物体检测方法为基于mobilenet构架。

采用上述优选的方案,mobilenet构架是一个针对移动终端的全新深度神经网络(dnns)。其深度可分离卷积(dsc)层取代了传统的卷积网络,使得整个计算过程可以在低能耗,终端级运算速度的条件下进行高精度,高实时性的物体识别。深度可分离卷积网络最大的特点在于其可以更有效地利用参数共享和自由度。

作为优选的方案,分类模型结构包括:标准卷积层、一连串的深度可分离卷积包、平均降维层以及完全链接层,深度可分离卷积包包含一个深度卷积层;

标准卷积层为分类模型的第一层,平均降维层为分类模型的倒数第二层,完全链接层为分类模型的最后一层。

采用上述优选的方案,结构简单,提高检测精度。

作为优选的方案,深度卷积层由深度卷积操作、线性整流函数、批量标准化操作和逐点卷积操作构成。

采用上述优选的方案,操作便捷。

作为优选的方案,步骤3)具体包括:

3.1)移动装置带动影像采集装置运动;

3.2)移动装置停止运动,影像采集装置采集视频或图片,并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频或图片进行目标物体的判定与识别,并输出目标物体类别以及其置信度;

3.3)重复步骤3.1)-3.2)。

采用上述优选的方案,保证影像采集装置采集视频或图片的多样性和稳定性,提高检测精度。

作为优选的方案,步骤3.1)进一步为,移动装置带动影像采集装置绕着目标物体进行运动。

采用上述优选的方案,保证影像采集装置采集视频或图片是目标物体的不同角度,提高检测精度。

作为优选的方案,步骤3.2)进一步为,移动装置停止运动,影像采集装置采集视频或图片,并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频进行目标物体的判定与识别,输出目标物体与该帧视频帧中心或图片中心的偏移量、目标物体类别以及其置信度,并将目标物体与该帧视频帧中心或图片中心的偏移量发送给移动装置,移动装置将在下次运动中进行偏移补偿。

采用上述优选的方案,移动装置在下次运动中进行偏移补偿,保证下一次目标物体的位置可以靠近或处于视频帧中心或图片中心,有效提高检测精度。

作为优选的方案,在步骤3.1)中,移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的关系满足下式的分段函数:

v=-a*t2+b*t,0<t≤t1;

v=k*cdt,k>0,1nc<0,d>1,t1<t≤t2。

采用上述优选的方案,移动装置开始运行的速度呈一个急速上升的状态(加速度不断增加),而当其上升到速度峰值后,其速度沿龚帕兹(生长)曲线呈一个缓慢下降的状态(加速度不断减小)。采用上述的分段函数对移动装置的运行速度进行控制,可以有效保证移动装置启动速度快,但是在靠近停止检测阶段时,其缓慢停止,可以有效降低惯性晃动对影像采集装置的影响。

一种目标物体检测装置包括:

影像采集装置,用于采集目标物体的视频或图像,并将其发送给处理器;

处理器,用于对影像采集装置采集的视频或图像进行处理,执行目标物体检测方法;

存储器,用于存储处理器可执行指令。

本发明一种目标物体检测装置结构简单,操作便捷,可直接应用于智能化清洁装置,如:扫地机器人上。也可应用于其他设备上,用于对目标物体进行类别检测。

作为优选的方案,还包括:

移动装置,用于带动影像采集装置移动,移动装置与处理器电连接。

采用上述优选的方案,结构简单,可以有效采集多个角度下的目标物体,提高检测精度。同时,对于智能化清洁装置而言,其移动装置也是必要的。

附图说明

图1为本发明实施例提供的目标物体检测方法的流程图。

图2为本发明实施例提供的深度卷积层的结构示意图。

图3为本发明实施例提供的逐点卷积层的结构示意图。

图4为本发明实施例提供的分类模型结构示意图。

图5为本发明实施例提供的深度卷积层的操作结构示意图。

图6为本发明实施例提供的移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的分段函数曲线图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的,一种目标物体检测方法及装置的其中一些实施例中,

如图1所示,一种目标物体检测方法包括以下步骤:

1)数据集收集与标注,收集多张同一类目标物体的图片,并对目标物体的属性进行标注,在图片中标注出目标物体所在位置;

2)分类模型预训练,预训练一个mobilenet-ssd的分类模型对每一类目标物体进行训练,对选定的类用标注的数据集提取深层网络特征,利用该特征来表征训练数据,从而构建数据集深层网络;

3)实时检测,将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频或图片进行目标物体的判定与识别,并输出目标物体类别以及其置信度。

上述步骤1)具体为:第一步是数据收集与标注,以电线为例,收集3000张该类图片,用xml文件类型进行标注,并在图片中标出目标物体的位置,以如下标注为例,

在该标注中,标出了目标物体的类型(cable),文件名(l.jpg),图片大小,目标位置(xmin,ymin,xmax,ymax)等。

在上述步骤2)中,在该数据集深层网络中,以vgg16为主要网络,在之后进一步加入五层全连接层,进而实现高效的数据集表征。

本发明提出一种目标物体检测方法,其操作便捷,可以有效快速的对目标物体的类别进行鉴别,大大提高了清扫装置的清洁效率,鲁棒性好。不仅如此,本申请所公开的一种目标物体检测方法还不仅可应用于对垃圾(如:粉尘、油渍)和非垃圾(如:电线、拖鞋)的类别检测,还应用于其他物品的检测。

为了进一步地优化本发明的实施效果,在目标物体检测方法另外一些实施方式中,其余特征技术相同,不同之处在于,目标物体检测方法为基于mobilenet构架。

采用上述优选的方案,mobilenet构架是一个针对移动终端的全新深度神经网络(dnns)。其深度可分离卷积(dsc)层取代了传统的卷积网络,使得整个计算过程可以在低能耗,终端级运算速度的条件下进行高精度,高实时性的物体识别。深度可分离卷积网络最大的特点在于其可以更有效地利用参数共享和自由度。

深度可分离卷积网络主要分为两个部分:

第一部分:深度卷积层(如图2所示)。每一层包含了dfxdf大小的过滤器。该过滤器主要负责过滤输入目标图片的一个单一深度。

第二部分:逐点卷积层(如图3所示)。逐点卷积只是一个用于结合不同通道信息的1x1大小的卷积层。

如图4所示,为了进一步地优化本发明的实施效果,在目标物体检测方法另外一些实施方式中,其余特征技术相同,不同之处在于,分类模型结构包括:标准卷积层、一连串的深度可分离卷积包、平均降维层以及完全链接层,深度可分离卷积包包含一个深度卷积层;

标准卷积层为分类模型的第一层,平均降维层为分类模型的倒数第二层,完全链接层为分类模型的最后一层。

采用上述优选的方案,结构简单,提高检测精度。

如图5所示,进一步,深度卷积层由深度卷积操作(depthwiseconv)、线性整流函数(relu)、批量标准化操作(batchnorm)和逐点卷积操作(1×1conv)构成。

采用上述优选的方案,操作便捷。

为了进一步地优化本发明的实施效果,在目标物体检测方法另外一些实施方式中,其余特征技术相同,不同之处在于,步骤3)具体包括:

3.1)移动装置带动影像采集装置运动;

3.2)移动装置停止运动,影像采集装置采集视频或图片,并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频或图片进行目标物体的判定与识别,并输出目标物体类别以及其置信度;

3.3)重复步骤3.1)-3.2)。

采用上述优选的方案,保证影像采集装置采集视频或图片的多样性和稳定性,提高检测精度。同时,当本申请应用于扫地机器人或其他设备上时,扫地机器人在扫地时,肯定会发生移动,但是本申请采用间歇性运动停止的方式,即如移动装置带动影像采集装置运动1秒,停止0.5秒进行检测,这种将运动部分和检测部分交替进行的方式,能让两个模块互不干扰,进而加强检测精度,同时也不会对扫地机器人的清扫造成影响。

进一步,步骤3.1)进一步为,移动装置带动影像采集装置绕着目标物体进行运动。

采用上述优选的方案,保证影像采集装置采集视频或图片是目标物体的不同角度,提高检测精度。

进一步,步骤3.2)进一步为,移动装置停止运动,影像采集装置采集视频或图片,并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中,该数据集深层网络对该帧视频进行目标物体的判定与识别,输出目标物体与该帧视频帧中心或图片中心的偏移量、目标物体类别以及其置信度,并将目标物体与该帧视频帧中心或图片中心的偏移量发送给移动装置,移动装置将在下次运动中进行偏移补偿。

采用上述优选的方案,由于在0.5秒的检测过程中,移动装置的方向很有可能并不正对目标物体,因而采用补偿机制,判断目标物体位置和视频帧中心或图片中心的偏移量,进而在下一次运动过程中进行偏移补偿。

移动装置在下次运动中进行偏移补偿,保证下一次目标物体的位置可以靠近或处于视频帧中心或图片中心,有效提高检测精度。

为了进一步地优化本发明的实施效果,在目标物体检测方法另外一些实施方式中,其余特征技术相同,不同之处在于,在步骤3.1)中,移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的关系满足下式的分段函数:

v=-a*t2+b*t,0<t≤t1;

v=k*cdt,k>0,lnc<0,d>1,t1<t≤t2。

采用上述优选的方案,移动装置开始运行的速度呈一个急速上升的状态(加速度不断增加),而当其上升到速度峰值后,其速度沿龚帕兹(生长)曲线呈一个缓慢下降的状态(加速度不断减小)。采用上述的分段函数对移动装置的运行速度进行控制,可以有效保证移动装置启动速度快,但是在靠近停止检测阶段时,其缓慢停止,可以有效降低惯性晃动对影像采集装置的影响。分段函数曲线如图6所示。其中,t1具体可为0.3s,t2具体可为1s。

一种目标物体检测装置包括:

影像采集装置,用于采集目标物体的视频或图像,并将其发送给处理器;

处理器,用于对影像采集装置采集的视频或图像进行处理,执行目标物体检测方法;

存储器,用于存储处理器可执行指令。

本发明一种目标物体检测装置结构简单,操作便捷,可直接应用于智能化清洁装置,如:扫地机器人上。也可应用于其他设备上,用于对目标物体进行类别检测。

为了进一步地优化本发明的实施效果,在目标物体检测装置另外一些实施方式中,其余特征技术相同,不同之处在于,还包括:

移动装置,用于带动影像采集装置移动,移动装置与处理器电连接。

采用上述优选的方案,结构简单,可以有效采集多个角度下的目标物体,提高检测精度。同时,对于智能化清洁装置而言,其移动装置也是必要的。

对于本发明的优选实施方式,应当指出,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1