计算机视觉对物体进行识别的装置及其系统的制作方法
【技术领域】
[0001]本发明是计算机视觉对物体进行识别的装置及其系统，本发明可快速监测到物体，尤其具有特定外形轮廓的物体。
技术背景
[0002]行人监测是计算机视觉中的一个关键问题，不过在目前所开发出来的计算机视觉监控系统中，大多是采用固定位置摄影机，而且其背景往往维持不变。同时，此种监控系统虽然能判断是否出现行人或车辆，却不能跟随待测物自动进行实时追踪，因此无法应用在例如扫地机器人等方面，或是其他需要对环境物体进行实时监测与追踪的行动装置。
[0003]其次，虽然利用雷达波或红外线等方式也可以达到监测周围环境的目的，但此种监测方式需耗费相当长时间来进行运算与构建环境，因此将不利在实时监测追踪的应用，而往往只能应用在静态环境的构建。
[0004]另外，利用全球定位系统（GPS)搭配适当的算法，虽然可以评估预测例如车辆等物体的移动状态，但是此方法必须搭配全球定位系统的使用，而无法应用在居家环境或是行人监测。
【发明内容】
[0005]本发明的主要目的是为提供一种可利用计算机视觉对特定物体进行实时监测与追踪的装置及其应用，用于回避或追踪物体。
[0006]本发明是要提供一种利用计算机视觉进行实时监测与追踪的装置，来实时监测与追踪物体。装置包括影像采集单元、影像分析处理单元、影像金字塔生成单元、监测单元与追踪单元。其中，影像采集单元会自环境采集待判定影像。影像分析处理单元是用于去除待判定影像的不必要信息，从而产生处理后的影像。影像金字塔生成单元是依据处理后影像，产生影像金字塔。监测单元是利用物体特征信息，扫描影像金字塔的各影像层进行分类判断，以产生实时物体信息。追踪单元是依据此实时物体信息，产生追踪信息。
[0007]通过前述技术手段的具体实现，本发明可应用在较矮的自动化行动机器人，例如：捡球机器人、宠物机器人、扫地机器人等。详细说明如下：当捡球机器人在进行捡球时，可以同时监测运动员所在的区域，就可以避开此区域，让运动员与机器人同时动作；而就宠物机器人而言，其可以监测到人类的位置，并且进行追踪人类，并与人类进行互动；扫地机器人在进行扫地的同时，也可以与捡球机器人相似的监测到行人的存在，进而选择避开。
【附图说明】
[0008]图I是本发明利用计算机视觉，进行实时监测与追踪物体的系统的方块示意图。
[0009]图2至图5本发明利用计算机视觉，进行实时监测与追踪物体的系统应用示意图。
[0010]图6是系统进行实时监测与追踪物体的流程图。
[0011]图7系统在监测到多个物体时，进行实时追踪的流程图。
【具体实施方式】
[0012]本发明的简要架构，如图I中所示，此系统具有影像采集单元110、影像分析处理单元120、影像金字塔生成单元130、训练单元140、监测单元150、追踪单元160与运动单元170。
[0013]影像采集单元110是用在自环境采集连续的待判定影像，以判断是否存在待监测物体。
[0014]根据影像采集单元110所采集的一个待判定影像，影像分析处理单元120是用来去除待判定影像内的不必要信息，以产生处理后影像。影像前处理模块120是对待判定影像进行影像灰阶化操作与小波转换操作。影像灰阶化操作是去除影像的色彩信息，而小波转换操作则是降低影像的分辨率。图2中的A图与B图是显示影像前处理模块对灰阶化影像进行小波转换的示意图，A图是转换前的影像，B图是转换后的影像。此两种图像处理的操作的目的在于缩小影像整体信息量。
[0015]影像金字塔生成单元130是依据处理后影像来产生影像金字塔。如图3所示，影像金字塔是依据处理后的影像，连续建立多个分辨率渐减的影像层。影像金字塔生成单元130是将影像分析处理单元120所产生的分辨率为80X60的影像，分解为四个分辨率渐减的影像层。分辨率与影像金字塔的影像层的数量，可视待监测物体的特征复杂度、系统运算能力、实时性监测等需求而进行调整。
[0016]监测单元150是依据物体特征信息，来扫描影像金字塔的各影像层并进行分类判断，以产生实时物体信息。物体特征信息是用以供监测单元150判定影像金字塔的各个影像层中，是否存在待监测物体。
[0017]训练单元140是依据多个物体训练样本与非物体训练样本，来产生前述物体特征信息。
[0018]追踪单元160是在监测单元150确定监测到物体后，再依据待判定影像内的物体的定位信息与监测单元150所建立的物体影像模型，产生追踪信息。在物体追踪过程中，可利用物体的运动、边缘及颜色等资讯作为相似性比对的特征。追踪单元160在运算后所产生的追踪信息，可单纯用来追踪物体的移动方位，以避免装置(例如行动机器人）与物体相撞，也可在物体向装置前进而可能发生碰撞时产生警示。
[0019]运动单元170是依据追踪单元160所产生的追踪信息，而视需求来追踪物体或回避物体。
[0020]图6是为图5的系统进行实时监测与追踪的方法的流程图。如图中所示，首先，如步骤T510所示，自环境采集待处理的影像。随后，如步骤T511与T512所示，对此待处理影像依次进行影像灰阶化与小波转换，以产生处理后影像。然后，如步骤T514所示，依据此处理后影像来产生多个分辨率递减的影像层（即影像金字塔)。接下来，如步骤T516与T518所示，以高斯滤波去除影像层的噪声，并以直方图来强化其影像对比度，以便于后续分类判断。然后，如步骤T520所示，对处理后的影像金字塔的各个影像层进行扫描，并利用物体特征信息对扫描到的影像进行分类判断（即判断是否为物体影像)。如图4所示，就实例而言，此物体特征信息是来自在经训练后的类神经网络(尤其是其中的隐藏层的神经元与权重值)。依据类神经网络的输出值是更接近O还是1，即可判断扫描到的影像是否为物体影像。
[0021]如图6所示，如步骤T530所示，在倒传递类神经网络的训练程序中，先将物体训练样本与非物体训练样本调整成预设分辨率大小。如步骤T532所示，将这些样本是依序提供到类神经网络以进行倒传递类神经网络训练，并逐步调整类神经网络的参数，缩减网络输出值与目标输出值的差异，以提升物体影像判断的准确度。完成此训练步骤后，此类神经网络的相关参数即可作为进行分类判断所需的物体特征资讯并供步骤T520使用。如步骤T521与T522所示，分类判断的结果若是存在物体影像，便随即产生定位信息，并建立物体影像模型，以供后续的物体追踪使用。相反，如步骤T524所示，若未监测到物体影像，此监测流程随即终止。如步骤T540所示，在确认监测到物体影像后，随即确认是否对物体进行追踪。若需对物体进行追踪，则如步骤T542所示，本实施例是采用粒子滤除器的技术，依据步骤T522所取得的定位信息与物体影像模型（目标物)，而在后续的待判定影像中采集适当的窗口影像(候选物)中，进行相似度比较以产生追踪信息，以达到动态追踪物体的目的。若不需对物体进行追踪，此流程即告终止。图6图6是针对监测到单物体的情形来说明。
[0022]图7则显示监测到多个物体后所实行的追踪方法。承接第六图的步骤T540，如步骤T544所示，在确定需要对物体进行追踪后，先判断待判定影像中是否存在多个物体。若仅存在单一个物体，则如步骤T542所示，即可利用如粒子滤除器等方式，将步骤T522所建立的目标物与候选物间的相似度比较，以产生追踪信息。若是待判定影像中监测到多个物体，如步骤T546所示，需先判断各个物体间是否存在遮蔽的情形。若否，如步骤T542所示，则采取如同单物体的处理方式，对各个物体分别进行追踪，即可利用如粒子滤除器等方式将步骤T522所建立的各个目标物与下个待判定影像中的各个候选物的相似度比较，以产生各个被追踪物体的追踪信息。若是发生遮蔽的情形，则是如步骤T548所示，进行遮蔽处理，并加入移动方向特征，再进行追踪，即可利用如粒子滤除器等方式将步骤T522所建立的目标物特征加上T548所建立的移动方向特征来与下个待判定影像中的各个候选物的相似度比较，以产生各个物体的追踪信息。最后承接回T540以判断是否继续追踪。
[0023]经由前述的结构设计及说明，让本发明可快速监测到物体，尤其是例如行人的腿部的具有特定外形轮廓的物体，并且进行追踪。以行人腿部的监测为例，通过行人腿部的监测，即可判定行人的位置，而不需对行人整体较复杂的外形进行监测。此外，由于目前市面存在的行动机器人的高度通常低于正常人的高度，其所取得的影像内容也会受限在行动机器人的高度。因此，本发明尤其适用在此类型的行动机器人，诸如扫地机器人或其他需要对环境物体进行实时监测与追踪的行动装置中。
【主权项】
1.一种计算机视觉对物体进行识别的装置及其系统，其特征是，装置包括: 影像采集单元，用于采集待判定影像； 影像分析处理单元，用于去除待判定影像的不必要信息，以产生处理后影像； 影像金字塔生成单元，依据处理后影像，来产生影像金字塔； 监测单元，利用物体特征信息，扫描影像金字塔的各影像层，并进行分类判断，以产生实时物体信息； 追踪单元，依据实时物体信息，来产生追踪信息。
2.根据权利要求书I的利用计算机视觉进行实时监测与追踪物体的装置，其特征是，包含训练单元，训练单元适用在依据多个训练样本，而由倒传递类神经网络，来产生物体特征信息。
3.根据权利要求书I的利用计算机视觉进行实时监测与追踪物体的装置，其特征是，包括用于依据追踪信息，而追踪或回避物体的运动单元。
4.根据权利要求书I的利用计算机视觉进行实时监测与追踪物体的装置，其特征是，追踪模块包括粒子滤除器，其是依据实时物体信息而在后续的至少待判定影像中，进行相似度比较以产生追踪信息，并且实时物体信息包含有定位信息与物体影像模型。
5.根据权利要求书I的利用计算机视觉进行实时监测与追踪物体的装置，其特征是，监测模块是以默认窗口尺寸，来扫描影像金字塔的各影像层以进行分类判断，进而在待判定影像中定位物体。
【专利摘要】本发明涉及一种计算机视觉对物体进行识别的装置，其包含有影像采集单元、影像分析处理单元、影像金字塔生成单元、监测单元、追踪单元与运动单元。其中影像采集单元用于采集待判定影像；影像分析处理单元用于去除待判定影像的不必要信息，以产生处理后影像。影像金字塔生成单元是依据处理后影像产生影像金字塔。监测单元是利用物体的特征信息，扫描影像金字塔的各影像层进行分类判断，在待判定影像中定位待监测物体。追踪单元是依据监测单元提供的物体信息，产生追踪信息。运动单元是依据此追踪信息追踪或回避待监测物体。
【IPC分类】G06T7-00, H04N5-232, G06T7-20, H04N7-18
【公开号】CN104754311
【申请号】CN201510205096
【发明人】宋强, 刘凌霞
【申请人】刘凌霞
【公开日】2015年7月1日
【申请日】2015年4月28日