专利名称：利用计算机视觉技术进行盲道和人行横道实时检测的方法
技术领域：
本发明属于自动电子导盲技术领域，特别涉及一种利用计算机视觉技术进行盲道 和人行横道实时检测的方法。
背景技术：
据国家权威部门统计，中国是世界盲人最多的国家，约有500万，占全世界盲人口 的18%，同时，每年我国新增45万盲人，对于如此庞大的人群，如何提高他们的生活质量， 已经受到越来越多的人关注，为了改善因身体残疾对他们造成的生活不变，在中国的很多 城市都设置了针对盲人的便利服务设备，同时越来越多的旨在提高他们生活质量的设备被 发明和制造。目前导盲方法和装置已经有很多，按照感应器类型可分为红外、超声波、超声波 与摄像机结合和仅利用摄像机。在发明专利申请名称为“导盲仪”(申请号200610166352. X，公开号CN 100998531A)的专利中利用超声波检测盲人周围是否有障碍物；在发明专 利申请名称为“基于运动物体跟踪的导盲方法及装置”(申请号200810201253. X，公开号 CN101385677A)的专利中利用摄像头拍摄周围环境，运用DSP进行处理，计算出周围环境中 运动目标的运动信息，并利用特定的声音将该信息传递给盲人；发明专利申请名称为“基 于DSP的路牌识别导盲装置及其方法”(申请号200910053318. 5，公开号CN 101584624A) 的专利中运用DSP进行路牌识别，主要是对路牌上的字符进行提取和识别；发明专利名称 为“一种导盲镜”(申请号200520048220. 8，授权公告号CN 2860442Y)中介绍了一种导盲 眼镜，其中说明了该导盲眼镜的组成，并没有说明其所用的具体导盲方法；发明专利名称 为“电子导盲手杖”(申请号200820001855. 6，授权公告号CN 201139688Y)中运用摄像头 对周围环境中的活动或固定的障碍物进行判断；发明专利申请名称为“导盲器”(申请号 200510110741. 6，公开号CN 1969781A)中提出了一种基于机器学习的算法，对周围环境中 的物件构建一个数据库，它运用超声和双摄像头对周围物件进行拍摄，当拍摄到的物件在 数据库中时对其进行识别，如果不在数据库中时，就对其进行学习加入到数据库中。上述导盲装置和方法都是对盲人周围的障碍物或者运动物体进行检测，以提醒盲 人避障，它们并不针对盲道和人行横道作检测。现今城市大多都铺上了盲道，盲道是为盲人 提供行路方便和安全的道路设施，主要由条形引导砖铺成，只要将盲人引导到盲道上，他们 就可以根据盲道砖来获得路况信息，因此本发明提出一种能够检测盲道、统计盲道方位信 息并引导盲人走上盲道的导盲方法。该方法通过摄像头对周围环境进行拍摄，运用检测算 法对盲道进行实时检测，以引导盲人准确走到盲道上；同样本发明还能引导盲人准确走到 人行横道上。本发明与上述运动物体检测、路牌检测等专利采用了不同的方法本发明运用基 于训练的方法，对盲道特征进行学习和训练；为了让检测结果具有仿射不变性，采用了人工 生成和实际采集数据相结合的方式来构造训练样本集；人工生成数据的方法是建立一个 仿射模型，随机改变模型参数，得到若干模拟实际拍摄效果的数据，这样以来实现了样本数据的多样性，同时也减小了人工采集样本的工作量。
发明内容
本发明的目的在于提供一种利用计算机视觉技术进行盲道和人行横道实时检测 的方法，以解决现有技术中存在的缺陷，本发明方法通过摄像头对周围环境进行拍摄，运用 检测算法对盲道进行实时检测，以引导盲人准确走到盲道上；同样本发明还能引导盲人准 确走到人行横道上。盲道是现在城市中大范围使用的导盲物件，盲人在盲道上行走可以通过对脚底盲 道砖块形状的变化来感知周围的路况。本发明提出一种可检测盲道以及人行横道的导盲方 法，该方法可以进行形状不变性检测，使其可以实时的检测出位于任何角度的盲道和人行 横道，对它们的位置和走向进行快速的判定。本发明的技术方案该方法包含如下步骤[1]、采集盲道的图像数据，采集盲道周围环境(其中包括人行横道)的图像数据； 采集人行横道的图像数据，采集人行横道周围环境(其中包括盲道)的图像数据；[2]、利用第[1]步采集的图像数据按照如下步骤建立正样本集和反样本集(2. 1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据 和采集的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数 据；(2. 2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采 集的盲道周围环境数据(即非盲道数据)构成盲道反样本集；(2. 3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横 道正样本集，采集的人行横道周围环境数据(即非人行横道数据)构成人行横道反样本集。[3]、运用第[2]步建立的正样本集和反样本集按照如下步骤进行分类器训练，生 成对盲道的分类器和对人行横道的分类器(3.1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸 的图像样本数据；(3. 2)、对于第(3. 1)步得到的样本数据，采用矩形特征模板计算样本的特征值， 矩形特征模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像 素之和减去模板中黑色区域所覆盖的像素之和。通过改变矩形特征模板在图像样本上的大 小和位置，计算出图像样本的N个特征值(N> 1)；如图2所示，对于图2中的A、B、D这三 种模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖 的像素之和；对于图2中的C模板，样本的特征值等于模板中白色区域所覆盖的像素之和减 去模板中黑色区域所覆盖的像素之和的2倍；将黑色区域像素和乘以2是为了使C模板中 黑白两色的矩形区域像素数目一致。(3.3)对于盲道样本的每一个特征值f(i)，i = 1，...，N，利用盲道正样本集和盲 道反样本集进行训练得到一个分类器C(i)，i = 1，...，N，该分类器使全部的r个盲道正样 本都能被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样 本集，这个最大数量的盲道反样本计为e (i)，而反样本总数计为w (w > e (i))；(3. 4)、从第(3.3)步得到的N个分类器中选择一个分类器C(t(l))，该分类器是使e(i)取值最大的分类器，即 e(t(l)) =max{e(i),i = 1，...，N}；(3. 5)、从盲道反样本集中去除被第(3.4)步所正确归类的e(t(l))个盲道反样 本，使盲道反样本集中样本的个数减少到w-e (t (1))个；(3. 6)、返回第(3. 3)步，并利用从第(3. 5)步得到的新的盲道反样本集和原先的 盲道正样本集一起重新进行分类器训练，得到一个新的分类器C(t (2))；依次类推，直到第 m次循环得到分类器C (t (m))，使盲道反样本集中样本的个数减少到零； (3. 7)、将上述步骤得到的m个分类器C (t (1))，. . .，C (t (m))级联起来形成一个分 级的分类器，作为最终对盲道的分类器；(3. 8)、利用人行横道样本再次执行第(3. 3)步到第(3. 7)步，生成对人行横道的 分类器。[4]、运用生成的盲道分类器和人行横道分类器对实际拍摄的图像进行检测，从图 像中检测出所需要的目标(盲道和人行横道)，并对检测结果进行如下后处理(4. 1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点， 然后计算检测区域的质心作为目标的位置信息；(4. 2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和 次方向；其中主方向作为目标(盲道和人行横道)的走向。上述步骤中所涉及的概念归纳说明如下[1]仿射变换模型用如下公式所表达的数学模型x，= a x+b y+c ；f = d x+e y+f ；其中(x，y)是初始的图像点坐标，(x’，y’ )是经过仿射变换的图像点坐标；a、b、 c、d、e、f是可以随机变换的六个模型参数。[2]分类器一种映射关系，能将输入的样本映射到正样本集或反样本集。[3]形态学计算机视觉领域中一种公知的数学处理方法。[4]霍特林变换计算机视觉领域中一种公知的数学变换方法，又称为K-L变换。本发明一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，其优点及 功效在于本发明能实时检测所拍摄图像中的盲道和人行横道，引导盲人安全的行进。本发 明的方法对于拍摄角度的变化具有很好的稳定性对于正面拍摄和侧面拍摄的图像数据， 本发明的方法都能准确的检测出盲道的位置和走向。通过改变样本集的数据，本发明的方 法可以得到用于检测其它目标的分类器，因而本发明具有很好的扩展性。
图1是本发明所述方法的流程图，其中“目标”是指盲道或人行横道；图2是步骤(3. 2)中所使用的矩形特征模板图，其中A、B、C、D是使用的四种模板；
具体实施例方式本发明可以在嵌入式系统上实现，这样更加便于盲人携带，同时可以有效的降低 功耗。该系统由以下模块构成数据采集模块、数据处理模块和语言提示模块。数据采集模 块主要用于对周围环境的图像数据进行采集；数据处理模块用于对采集的图像进行检测，寻找盲道或人行横道；语言提示模块根据检测信息引导盲人行走。本发明的一个具体实施方式
包含如下步骤[1]、采集盲道的图像数据，采集盲道周围环境(其中包括人行横道)的图像数据； 采集人行横道的图像数据，采集人行横道周围环境(其中包括盲道)的图像数据；[2]、利用第[1]步采集的图像数据按照如下步骤建立正样本集和反样本集(2. 1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据 和采集的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数 据；(2. 2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采 集的盲道周围环境数据(即非盲道数据)构成盲道反样本集；(2. 3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横 道正样本集，采集的人行横道周围环境数据(即非人行横道数据)构成人行横道反样本集。[3]、运用第[2]步建立的正样本集和反样本集按照如下步骤进行分类器训练，生 成对盲道的分类器和对人行横道的分类器分类器的具体训练算法可以有多种选择，比如 利用AdaBoost算法等。(3.1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸 的图像样本数据；(3. 2)、对于第(3. 1)步得到的样本数据，采用矩形特征模板计算样本的特征值， 矩形特征模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像 素之和减去模板中黑色区域所覆盖的像素之和。通过改变矩形特征模板在图像样本上的大 小和位置，计算出图像样本的N个特征值(N> 1)；如图2所示，对于图2中的A、B、D这三 种模板，样本的特征值等于模板中白色区域所覆盖的像素之和减去模板中黑色区域所覆盖 的像素之和；对于图2中的C模板，样本的特征值等于模板中白色区域所覆盖的像素之和减 去模板中黑色区域所覆盖的像素之和的2倍；将黑色区域像素和乘以2是为了使C模板中 黑白两色的矩形区域像素数目一致。(3. 3)对于盲道样本的每一个特征值f(i)，i = 1，. . .，N，利用盲道正样本集和盲 道反样本集进行训练得到一个分类器C(i)，i = 1，...，N，该分类器使全部的r个盲道正样 本都能被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样 本集，这个最大数量的盲道反样本计为e (i)，而反样本总数计为w (w > e (i))；(3. 4)、从第(3.3)步得到的N个分类器中选择一个分类器C (t (1))，该分类器是使 e(i)取值最大的分类器，即 e(t(l)) =max{e(i),i = 1，...，N}；(3. 5)、从盲道反样本集中去除被第(3.4)步所正确归类的e (t (1))个盲道反样 本，使盲道反样本集中样本的个数减少到w-e(t(l))个；(3. 6)、返回第(3. 3)步，并利用从第(3. 5)步得到的新的盲道反样本集和原先的 盲道正样本集一起重新进行分类器训练，得到一个新的分类器C(t (2))；依次类推，直到第 m次循环得到分类器C (t (m))，使盲道反样本集中样本的个数减少到零； (3. 7)、将上述步骤得到的m个分类器C (t (1))，. . .，C (t (m))级联起来形成一个分 级的分类器，作为最终对盲道的分类器； (3. 8)、利用人行横道样本再次执行第(3. 3)步到第(3. 7)步，生成对人行横道的分类器。[4]、运用生成的盲道分类器和人行横道分类器对实际拍摄的图像进行检测，从图 像中检测出所需要的目标(盲道和人行横道)，并对检测结果进行如下后处理(4. 1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点， 然后计算检测区域的质心作为目标的位置信息；(4. 2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和 次方向；其中主方向作为目标(盲道和人行横道)的走向。上述步骤中所涉及的概念归纳说明如下[1]仿射变换模型用如下公式所表达的数学模型x，= a x+b y+c ；f = d x+e y+f ；其中(x，y)是初始的图像点坐标，(x’，y’ )是经过仿射变换的图像点坐标；a、b、 c、d、e、f是可以随机变换的六个模型参数。[2]分类器一种映射关系，能将输入的样本映射到正样本集或反样本集。[3]形态学计算机视觉领域中一种公知的数学处理方法。[4]霍特林变换计算机视觉领域中一种公知的数学变换方法，又称为K-L变换。
权利要求
一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，其特征在于该方法包括如下步骤步骤一、采集盲道的图像数据，采集盲道周围环境的图像数据；采集人行横道的图像数据，采集人行横道周围环境的图像数据；步骤二、利用仿射变换模型，通过模型中参数的随机变换，对步骤一采集到的盲道和人行横道的图像数据进行仿射变换，生成新的盲道和人行横道图像数据，和采集的盲道和人行横道的图像数据一起构成正样本集和反样本集；步骤三、运用步骤二建立的正样本集和反样本集进行分类器训练，生成对盲道的分类器和对人行横道的分类器；步骤四、将生成的分类器数据导入到嵌入式系统中，对实际拍摄的图像进行检测，从图像中检测出所需要的目标，并对检测结果进行后处理，得到目标的位置和走向。
2.根据权利要求1所述的利用计算机视觉技术进行盲道和人行横道实时检测的方法， 其特征在于所述步骤二具体按如下步骤实现(1)、建立仿射变换模型，通过模型中参数的随机变换，对采集的盲道图像数据和采集 的人行横道图像数据进行仿射变换，生成新的盲道图像数据和新的人行横道图像数据；(2)、采集的盲道图像数据和新生成的盲道图像数据一起构成盲道正样本集，采集的盲 道周围环境数据即非盲道数据，构成盲道反样本集；(3)、采集的人行横道图像数据和新生成的人行横道图像数据一起构成人行横道正样 本集，采集的人行横道周围环境数据即非人行横道数据，构成人行横道反样本集。
3.根据权利要求1所述的利用计算机视觉技术进行盲道和人行横道实时检测的方法， 其特征在于所述步骤三具体按如下步骤实现(1)、将盲道和人行横道的正样本集和反样本集中的数据都归一化为同样尺寸的图像 样本数据；(2)、对于第(1)步得到的样本数据，采用矩形特征模板计算样本的特征值，矩形特征 模板由黑白相间的矩形图案组成，样本的特征值等于模板中白色区域所覆盖的像素之和减 去模板中黑色区域所覆盖的像素之和；通过改变矩形特征模板在图像样本上的大小和位 置，计算出图像样本的N个特征值(N> 1)；(3)对于盲道样本的每一个特征值f(i)，i= 1，...，N，利用盲道正样本集和盲道反样 本集进行训练得到一个分类器C(i)，i = 1，...，N，该分类器使全部的r个盲道正样本都能 被正确归类到盲道正样本集；同时使最大数量的盲道反样本被正确归类到盲道反样本集， 这个最大数量的盲道反样本计为e (i)，而反样本总数计为w (w > e (i))；(4)、从第(3)步得到的N个分类器中选择一个分类器C(t(l))，该分类器是使e(i)取 值最大的分类器，即 e(t(l)) =max{e(i),i = 1，···，Ν}；(5)、从盲道反样本集中去除被第(4)步所正确归类的e(t(l))个盲道反样本，使盲道 反样本集中样本的个数减少到w-e(t(l))个；(6)、返回第(3)步，并利用从第(5)步得到的新的盲道反样本集和原先的盲道正样本 集一起重新进行分类器训练，得到一个新的分类器C (t (2))；依次类推，直到第m次循环得 到分类器C (t (m))，使盲道反样本集中样本的个数减少到零；(7)、将上述步骤得到的m个分类器C(t (1))，. . .，C (t (m))级联起来形成一个分级的分类器，作为最终对盲道的分类器；(8)、利用人行横道样本再次执行第(3)步到第(7)步，生成对人行横道的分类器。
4.根据权利要求1所述的的利用计算机视觉技术进行盲道和人行横道实时检测的方 法，其特征在于所述步骤四中的后处理，具体如下(1)、对检测到的目标区域运用形态学方法进行处理，剔除其中的错误检测点，然后计 算检测区域的质心作为目标的位置信息；(2)、对运用形态学处理后的目标区域作霍特林变换，得到目标形状的主方向和次方 向；其中主方向作为目标的走向。
全文摘要
本发明一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，包括如下步骤一、采集盲道的图像数据，采集盲道周围环境的图像数据；采集人行横道的图像数据，采集人行横道周围环境的图像数据；二、利用仿射变换模型，通过模型中参数的随机变换，对步骤一采集到的盲道和人行横道的图像数据进行仿射变换，生成新的盲道和人行横道图像数据，和采集的盲道和人行横道的图像数据一起构成正样本集和反样本集；三、运用步骤二建立的正样本集和反样本集进行分类器训练，生成对盲道的分类器和对人行横道的分类器；四、对实际拍摄的图像进行检测，从图像中检测出所需要的目标，并对检测结果进行后处理，得到目标的位置和走向。
文档编号G06K9/66GK101853399SQ20101017401
公开日2010年10月6日 申请日期2010年5月11日 优先权日2010年5月11日
发明者王兆仲, 肖汉 申请人:北京航空航天大学