基于rgb-d相机的复杂环境下纸币检测和识别方法
【专利摘要】本发明公开了一种基于RGB?D相机的复杂环境下纸币检测和识别方法，该方法利用RGB‐D相机分割出纸币，图像预处理后将纸币区域RGB颜色空间转化为HSI颜色空间，利用色度分量初步判断，再用SURF算法提取特征点与参考区域模板匹配，根据匹配特征点数与阈值的大小比较输出结果。该方法专用于盲人在复杂背景环境下的纸币检测与识别，具有无纸币时检测到视场中不存在纸币，有纸币时输出纸币面值的功能。该方法的实现对盲人无特殊要求，操作习惯与常人相同，同时全面考虑了各种实际环境中可能遇到的干扰因素，具有速度快，准确性高，鲁棒性好等优点。
【专利说明】
基于RGB-D相机的复杂环境下纸币检测和识别方法
技术领域
[0001] 本发明涉及场景获取、物体识别、视觉障碍人群辅助技术领域，尤其涉及一种利用 RGB-D相机采集视频图像，判断复杂环境中是否存在纸币以及存在时输出纸币的面值的方 法。
【背景技术】
[0002] 视觉是人类最依赖的感官。通过视觉，人类获得至少80 %的外界信息，获得对机体 生存具有重要意义的各种信息。然而，中国每年会出现新视觉障碍人士大约45万，低视力 135万，即约每分钟就会出现1个全盲患者，3个低视力患者。据2013年最新统计显示，中国有 视力障碍的残疾人约1350万，而世界卫生组织估计全世界有4000万到4500万的盲人。随着 社会的各项保障制度与体系的完善，盲人的生活越来越受到政府与科研机构的关注，用于 盲人视觉辅助的简单设备已无法满足盲人的基本生活需求。
[0003] 盲人的出行不可避免伴随着钱币的交易，虽然纸币上有按照各个国家的标准制定 了的盲文，然而随着纸币的流通，盲文经历了越来越严重的磨损，早已无法再被盲人感知。 因此，盲文虽然是一项很有意义的存在，却并没有真正发挥价值。同样，纸币的大小也是有 国家标准的，而这一标准是盲人通常使用的判断面值的方法。经调研，盲人通常会在身边放 一张1元的纸币，对于其他经手的纸币通过与1元纸币的相对大小的比较获得面值信息，但 这是基于纸币是完好无损的，且这种使用的方法比较笨拙和机械。然而，市场上目前为止并 没有专为盲人设计的纸币识别系统，因此为了更加便捷盲人的生活，设计一款面向盲人的 纸币识别系统迫在眉睫。
[0004] 该系统既是要应用到实际生活当中，那么它的设计需要考虑到很多重要且现实的 因素:纸币的四种朝向（正面竖着，正面倒着，反面竖着，反面倒着），我们无法保证盲人拿着 的纸币的状态，因此在检测到正样本时，需要保证这四种状态在系统中均可以被检测到;纸 币距离导致场景中的大小不同以及无法保证完全水平放置出现的小角度旋转;手持纸币不 同位置时导致的不同程度、面积的遮挡;场景中光线的明暗造成纸币可能出现过曝与欠曝 的情况;观察纸币时视场的变化、色温的变化;纸币所处的复杂背景以及不存在纸币时输出 无结果等。针对以上需要考虑的众多因素，通过对视频图像的简单预处理从而提取目标特 征进行匹配识别总是无法正确识别所有因素下的纸币。
[0005] 近些年来，深度相机在体感游戏方面的体验深入人心，也让人们意识到了深度相 机在视觉互动方面的潜在价值。利用深度相机剔除场景中的复杂背景，实现背景与目标的 完整分割，减少了系统设计时需要考虑的因素，比如复杂的背景环境，场景中光线明暗也可 根据分割出来的区域调整局部亮度。这大大降低了图像预处理时需要考虑的众多因素，最 重要的是屏蔽了随机背景对目标分割的干扰。
【发明内容】
[0006] 本发明为了解决视觉障碍人群较为急迫的纸币识别问题，提供了一种基于RGB-D 相机的复杂环境下纸币检测和识别方法。本发明可以识别现在发行的中华人民共和国第五 套人民币，包括1元、5元、10元、20元、50元、100元。
[0007]本发明通过以下技术方案来解决技术问题:一种基于RGB-D相机的复杂环境下纸 币检测和识别方法，包括以下步骤：
[0008] (1)、第五套人民币的1元、5元、10元、20元、50元、旧版100元、新版100元这七种纸 币的数据获取;该步骤通过以下子步骤来实现：
[0009] (1.1)、将第五套人民币的1元纸币正面放入RGB-D相机的视场中，根据正常手持纸 币的最近距离，由近及远移动纸币，直至达到手臂伸直的最远距离;再将第五套人民币的1 元纸币反面放入RGB-D相机的视场中，由近及远移动纸币，直至达到最远距离;保证纸币在 最近距离与最远距离内，通过RGB-D相机采集视频流N帧，N为自然数，为保证获取的数据具 有普遍性，N至少为100;同时获取视频流中每一帧图像的彩色信息和深度信息。
[0010] (1.2)、对步骤1.1获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限 是步骤1.1中的手持纸币时的最远与最近距离。将深度阈值范围内的场景信息提取出来，像 素值设为全白1，同时将深度阈值范围以外的像素值设为全黑〇,从而将每一帧图像均转化 为二值图像。
[0011] (1.3)、对步骤1.2得到的二值图像进行水平和竖直直方图投影，统计该方向上像 素值为1的像素点个数，找出投影中直方图高出直方图高度阈值下限且长度最长的一段，则 必为纸币所在的水平和垂直区域，即提取区域。所述直方图高度阈值下限是纸币在深度阈 值上限时纸币宽度对应的像素个数。找到提取区域的最大外切矩形，设置为感兴趣区域，获 取感兴趣区域内的RGB信息。
[0012] (1.4)、将步骤1.3获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HSI 颜色空间，只针对H色度分量进行分析。H分量对应的转化公式如下： f OXj>B \2tt-0,G<B
[0013] //-
[0014] 其中， l;R、G、B分别为RGB信息中的红色值、绿 色值和蓝色值；
[0015] 由于HSI颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为 [0，360)内的整数。统计感兴趣区域内H色度各值的像素点个数。
[0016] (1.5)、纸币的H色度分量的获取:将步骤1.1获取的N帧图像依次经过步骤1.2、1.3 获得N个感兴趣区域，再通过步骤1.4统计这N个感兴趣区域的H色度从0到359各值的像素点 个数之和。找到N个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色度值上 下取余量值40作为该面值纸币的颜色阈值。
[0017] 将N帧中该颜色阈值范围内的像素点个数之和除以这N帧感兴趣区域像素点个数 之和的百分比数值减5作为百分比阈值。
[0018] (1.6)、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现：
[0019] (1.6.1)、获取1元纸币的标准图片，正面和反面各一张，所述的标准图片是干净、 整洁、无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从 网上获取，分辨率为800*400。
[0020] (1.6.2)、将通过步骤1.6.1获取的标准纸币截取出七个参考区域作为模板，即七 个参考区域分别为：纸币正面三处纸币数值区域，纸币背面的三处纸币数值区域和纸币背 面中间的图像区域。
[0021] (1.6.3 )、针对步骤1.6.2中的七个模板，依次找到它们的SURF特征点并计算出描 述子。
[0022] (1.7)、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步 骤1.1、1.2、1.3、1.4、1.5、1.6获得该面值纸币对应的颜色阈值、相应的百分比阈值以及对 应七个参考区域的SURF特征点和描述子。
[0023] (2 )、纸币检测，该步骤通过以下子步骤来实现：
[0024] (2.1)、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像， 对待测图像进行纸币检测。
[0025] (2.2)、对步骤2.1中的待测图像进行步骤1.2、1.3处理寻找待测感兴趣区域。若无 法找到待测感兴趣区域，则判定无纸币。找到待测感兴趣区域的继续纸币识别。
[0026] (3 )、纸币识别，该步骤通过以下子步骤来实现：
[0027] (3.1)、H分量初步估计纸币面值范围：对步骤2获得的待测感兴趣区域按照步骤 1.4处理，获得其H色度各值对应的像素点个数。分别统计其在七种纸币颜色阈值范围内的 像素占待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面 值。若此过程中，H色度的像素点在七种纸币的颜色阈值范围内的个数百分比均无法达到相 应的百分比阈值，则判定无纸币。
[0028] (3.2)、SURF特征点进一步纸币面值确定:将步骤2获取的待测感兴趣区域的特征 点与步骤3.1获取的一个或多个候选面值下的七个参考区域的特征点匹配，匹配时根据对 应描述子中的欧氏距离判断，若欧氏距离小于欧氏距离阈值，则特征点匹配上;欧氏距离阈 值为描述子中最小欧氏距离的1.5倍。每个候选面值得到7个显示特征点匹配数量的数据， 求出7个数据之和作为该候选面值匹配度。若有多个候选面值，即有多个候选面值匹配度， 选取匹配度最大且大于20的作为最终输出面值;若只有1个候选面值，即只有1个候选面值 匹配度，当其大于20时，输出该候选面值。
[0029] 本方法相比现有的视觉障碍辅助方法，其有益效果是：
[0030] 1、纸币提取完整且干扰因素少。在图像分割时，利用RGB-D相机取代图像处理的图 像分割，充分利用了相机的深度信息，提高了纸币提取的可靠性与完整性。
[0031] 2、鲁棒性高。该算法利用HSI颜色空间和SURF算法相结合，兼具颜色空间的亮度调 整，在目标图像有部分遮挡、旋转变化、尺度变化、光照变化、色温变化、视角变化时都具有 良好的稳定性。
[0032] 3、速度快，准确性高。简单的使用颜色空间的变化，虽然快，准确率却无法保证；只 使用SURF算法，准确性较好，速度却很慢。因此，将这两者结合，先用颜色空间的匹配缩小可 能的结果范围，再在小范围内使用SURF算法，既确保了准确度，又提高了速度。
[0033] 4、使用方便。传统的方法都具有实际操作上的不便，例如实用一元纸币比对大小 的方法。而本方法不需要使用比对模板，直接将钱币置于探测器之下即可快速得到纸币面 值信息，与正常人眼识别的方式是类似的，没有打破人们的操作习惯，因此使用上会很方 便。
[0034] 5、方法智能化程度高。本发明的核心技术在于找到合适的智能方法使得在各种复 杂的场景下均能得到很好的匹配效果。为了达到上述目的，我们采取模板学习的方法，通过 海量数据输入学习纸币SURF特征点，得到最适宜的匹配方案，几乎是模仿了人的思维学习 方法，因此得到的智能化程度非常高，而且这种方法是可移植性的。
[0035] 6、应用生命力强。本发明专注于识别第五套人民币，对于接下来的第六套人民币， 只需要更新其数据库便可以方便快速地适用于第六套人民币，并不需要很复杂地更换设备 或者重新设计方案，具有很强的延续性。
【附图说明】
[0036] 图1是本发明的流程图；
[0037] 图2是纸币提取SURF特征点的参考区域示意图。
【具体实施方式】
[0038] 如图1所示，本发明基于RGB-D相机的复杂环境下纸币检测和识别方法，包括以下 步骤：
[0039] 1、待测图片处理前，七种纸币的数据获取，该步骤通过以下子步骤来实现：
[0040] 1.1、将1元纸币正面放入RGB-D相机的视场中，根据正常手持纸币的最近距离，由 近及远移动纸币，直至达到手臂伸直，此时即最远距离（此处的距离均相对架在镜框上的 RGB-D相机所在的平面而言的距离）；再将1元纸币反面放入RGB-D相机的视场中，由近及远 移动纸币，直至达到最远距离。保证纸币正面和反面在最近距离与最远距离内，通过RGB-D 相机采集视频流共200帧，同时获取视频流中每一帧图像的彩色信息和深度信息。
[0041] 1.2、对步骤1.1获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限是 步骤1.1中的手持纸币时的最远与最近距离。将深度阈值范围内的场景信息提取出来，像素 值设为全白1，同时将深度阈值范围以外的像素值设为全黑〇,从而将每一帧图像均转化为 二值图像。
[0042] 1.3、对步骤1.2得到的二值图像进行水平和竖直直方图投影，统计该方向上像素 值为1的像素点个数，由于纸币在视场中具有一定的长度与宽度，纸币所在的水平和垂直位 置对应的直方图比其他无纸币存在的位置要高，即白色像素点要多。找出投影中直方图高 出直方图高度阈值下限且长度最长的一段，则必为纸币所在的水平和垂直区域，即提取区 域。所述直方图高度阈值下限是纸币在深度阈值上限时纸币宽度对应的像素个数。此方法 可以剔除一些干扰点，因为在该深度阈值内，可能有噪声点的存在。找到提取区域的最大外 切矩形，设置为感兴趣区域，获取感兴趣区域内的RGB信息。
[0043] 1.4、将步骤1.3获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HSI颜 色空间，只针对H色度分量进行分析。H分量对应的转化公式如下： f 6,g>b
[0044] II =< \2n-(lG<B
[0045] 其中
[0046] 由于HSI颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为 [0，360)内的整数。统计感兴趣区域内H色度各值的像素点个数。
[0047] 1.5、纸币的H色度分量的获取:将步骤1.1获取的200帧图像依次经过步骤1.2、1.3 获得200个感兴趣区域，再通过步骤1.4统计这200个感兴趣区域的H色度从0到359各值的像 素点个数之和。找到200个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色 度值上下取余量值40作为该面值纸币的颜色阈值。此时需要注意的是，各面值的颜色阈值 存在重叠的部分。
[0048]将200帧中该颜色阈值范围内的像素点个数之和除以这200帧感兴趣区域像素点 个数之和的百分比数值减5作为百分比阈值。
[0049] 1.6、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现：
[0050] 1.6.1、获取1元纸币的标准图片，正面和反面各一张，所谓的标准图片是干净、整 洁、无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从网 上获取，分辨率为800*400。
[0051] 1.6.2、将通过步骤1.6.1获取的标准纸币按照图2的方式截取出七个参考区域作 为模板，即七个参考区域分别为：纸币正面三处纸币数值区域(两个"1"和一个"壹"），纸币 背面的三处纸币数值区域和纸币背面中间的图像区域。
[0052] 1.6.3、针对步骤1.6.2中的七个模板，依次找到它们的SURF特征点并计算出描述 子。
[0053] 1.7、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步骤 1.1、1.2、1.3、1.4、1.5、1.6获得该面值对应的颜色阈值、相应的百分比阈值以及对应七个 参考区域的SURF特征点和描述子。
[0054] 2、纸币检测，该步骤通过以下子步骤来实现：
[0055] 2.1、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像，对 待测图像进行纸币检测。
[0056] 2.2、对步骤2.1中的待测图像进行步骤1.2、1.3处理寻找待测感兴趣区域。若无法 找到待测感兴趣区域，则输出无纸币。找到待测感兴趣区域的继续纸币识别。
[0057] 3、纸币识别，该步骤通过以下子步骤来实现：
[0058] 3.1、H分量初步估计纸币面值范围：对步骤2获得的待测感兴趣区域按照步骤1.4 处理，获得其H色度各值对应的像素点个数。分别统计其在六种纸币颜色阈值范围内的像素 占待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面值，此 时的候选面值由于光照的轻微变化可能存在多种情况。若此过程中，H色度的像素点在七种 纸币的颜色阈值范围内的个数百分比均无法达到相应的百分比阈值，则输出无纸币，此时 视场内可能只是一张纯色的纸。
[0059] 3.2、SURF特征点进一步纸币面值确定
[0060] SURF算法的好处在于具有旋转和尺度的不变性，具有良好的鲁棒性。因此，加上这 一步，可以验证步骤3.1获取的一个候选面值的正确性或者找出多个候选面值中可信度最 高的结果。
[0061]将步骤2获取的待测感兴趣区域的特征点与步骤3.1获取的一个或多个候选面值 下的七个参考区域的特征点匹配，匹配时根据对应描述子中的欧氏距离判断，若欧氏距离 小于欧氏距离阈值，则特征点匹配上；欧氏距离阈值为描述子中最小欧氏距离的1.5倍。每 个候选面值得到7个显示特征点匹配数量的数据，求出7个数据之和作为该候选面值匹配 度。若有多个候选面值，即有多个候选面值匹配度，选取匹配度最大且大于20的作为最终输 出面值;若只有1个候选面值，即只有1个候选面值匹配度，当其大于20时，输出该候选面值。 从实验中发现，一幅1920* 1080的图片，纸币在深度阈值范围内与正确纸币进行SURF特征点 的匹配度均大于20。
【主权项】
1. 一种基于RGB-D相机的复杂环境下纸币检测和识别方法，其特征在于，包括以下步 骤： (1)、第五套人民币的1元、5元、10元、20元、50元、旧版100元、新版100元这七种纸币的 数据获取;该步骤通过以下子步骤来实现： (1.1 )、将第五套人民币的1元纸币正面放入RGB-D相机的视场中，根据正常手持纸币的 最近距离，由近及远移动纸币，直至达到手臂伸直的最远距离;再将1元纸币反面放入RGB-D 相机的视场中，由近及远移动纸币，直至达到最远距离；保证纸币在最近距离与最远距离 内，通过RGB-D相机采集视频流N帧，N为自然数，为保证获取的数据具有普遍性，N至少为 100;同时获取视频流中每一帧图像的彩色信息和深度信息。 (1.2) 、对步骤1.1获取的每一帧图像，设置深度阈值范围的上限与下限，该上下限是步 骤1.1中的手持纸币时的最远与最近距离。将深度阈值范围内的场景信息提取出来，像素值 设为全白1，同时将深度阈值范围以外的像素值设为全黑0,从而将每一帧图像均转化为二 值图像。 (1.3) 、对步骤1.2得到的二值图像进行水平和竖直直方图投影，统计该方向上像素值 为1的像素点个数，找出投影中直方图高出直方图高度阈值下限且长度最长的一段，则必为 纸币所在的水平和垂直区域，即提取区域。所述直方图高度阈值下限是纸币在深度阈值上 限时纸币宽度对应的像素个数。找到提取区域的最大外切矩形，设置为感兴趣区域，获取感 兴趣区域内的RGB信息。 (1.4 )、将步骤1.3获取的感兴趣区域的每个像素点RGB颜色空间转化到对应的HS I颜色 空间，只针对H色度分量进行分析。H分量对应的转化公式如下：其中 为RGB信息中的红色值、绿色值和 蓝色值； 由于HS I颜色空间的H分量映射为一个圆，H的值对应的是角度值，所以它的范围为[0， 360)内的整数。统计感兴趣区域内H色度各值的像素点个数。 (1.5) 、纸币的H色度分量的获取:将步骤1.1获取的N帧图像依次经过步骤1.2、1.3获得 N个感兴趣区域，再通过步骤1.4统计这N个感兴趣区域的H色度从0到359各值的像素点个数 之和。找到N个感兴趣区域统计的像素点个数之和最大所在的H色度值，对该色度值上下取 余量值40作为该面值纸币的颜色阈值。 将N帧中该颜色阈值范围内的像素点个数之和除以这N帧感兴趣区域像素点个数之和 的百分比数值减5作为百分比阈值。 (1.6) 、纸币参考区域的SURF特征点的获取，该步骤通过以下子步骤来实现： (1.6.1) 、获取1元纸币的标准图片，正面和反面各一张，所述的标准图片是干净、整洁、 无折痕的纸币在正常光照下拍摄并截取的只含有纸币的图片，该标准图片也可以从网上获 取，分辨率为800*400。 (1.6.2) 、将通过步骤1.6.1获取的标准纸币截取出七个参考区域作为模板，即七个参 考区域分别为：纸币正面三处纸币数值区域，纸币背面的三处纸币数值区域和纸币背面中 间的图像区域。 (1.6.3 )、针对步骤1.6.2中的七个模板，依次找到它们的SURF特征点并计算出描述子。 (1.7)、将剩余六种纸币5元、10元、20元、50元、旧版100元、新版100元依次通过步骤 1.1、1.2、1.3、1.4、1.5、1.6获得该面值纸币对应的颜色阈值、相应的百分比阈值以及对应 七个参考区域的SURF特征点和描述子。 (2)、纸币检测，该步骤通过以下子步骤来实现： (2.1) 、获取RGB-D相机任意一帧含有彩色信息和深度信息的图像作为待测图像，对待 测图像进行纸币检测。 (2.2) 、对步骤2.1中的待测图像进行步骤1.2、1.3处理寻找待测感兴趣区域。若无法找 到待测感兴趣区域，则判定无纸币。找到待测感兴趣区域的继续纸币识别。 (3 )、纸币识别，该步骤通过以下子步骤来实现： (3.1)、H分量初步估计纸币面值范围：对步骤2获得的待测感兴趣区域按照步骤1.4处 理，获得其H色度各值对应的像素点个数。分别统计其在七种纸币颜色阈值范围内的像素占 待测感兴趣区域像素总数的百分比，找出达到相应百分比阈值的面值作为候选面值。若此 过程中，H色度的像素点在七种纸币的颜色阈值范围内的个数百分比均无法达到相应的百 分比阈值，则判定无纸币。 (3.2 )、SURF特征点进一步纸币面值确定:将步骤2获取的待测感兴趣区域的特征点与 步骤3.1获取的一个或多个候选面值下的七个参考区域的特征点匹配，匹配时根据对应描 述子中的欧氏距离判断，若欧氏距离小于欧氏距离阈值，则特征点匹配上;欧氏距离阈值为 描述子中最小欧氏距离的1.5倍。每个候选面值得到7个显示特征点匹配数量的数据，求出7 个数据之和作为该候选面值匹配度。若有多个候选面值，即有多个候选面值匹配度，选取匹 配度最大且大于20的作为最终输出面值;若只有1个候选面值，即只有1个候选面值匹配度， 当其大于20时，输出该候选面值。
【文档编号】G07D7/20GK105894655SQ201610260457
【公开日】2016年8月24日
【申请日】2016年4月25日
【发明人】汪凯巍, 张豫, 杨恺伦
【申请人】浙江大学