头戴式避障设备的控制方法与头戴式避障设备与流程

本申请涉及视觉避障技术领域，特别是涉及一种头戴式避障设备的控制方法与头戴式避障设备。

背景技术：

应用于人眼视觉受限或有视觉障碍情况下的避障方法一直是市场和技术关注的重点之一。对于那些无法正常依赖视觉进行日常生活的视觉障碍群体来说，无论是在室内活动还是在外出行，操作简单，实用性强，且能够实时避障的避障设备都是理想的视觉补偿工具。

传统的避障设备往往选择语音信号作为提示方案，即避障设备在检测到有障碍物出现时，会发出预设的语音信号，提示使用人规避障碍物，以达到避障目的。

然而，传统的避障设备具有一个很严重的问题：在外部环境变化的条件下，无法稳定的为使用人提供精确的避障支持。这是因为，当使用人置身于嘈杂环境时，使用人会因为听不清语音提示而导致避障功能完全失效，或使用人会听清部分语音提示而导致避障功能不精确。

技术实现要素：

基于此，有必要针对传统避障设备在外部环境变化的条件下，无法稳定的为使用人提供精确的避障支持的问题，提供一种头戴式避障设备的控制方法与头戴式避障设备。

本申请提供一种头戴式避障设备的控制方法，包括：

对待检测区域进行光学扫描，生成所述待检测区域的深度信息；

基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取；

基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现；

若所述待检测区域内有障碍物出现，则进一步依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度；

控制与障碍物对应的振动电极以所述振动幅度振动。

其中一实施例中，对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤，包括：

向待检测区域发射红外光，并接收所述待检测区域反射回来的红外光，采集红外光学数据；

依据所述红外光学数据，生成所述待检测区域的深度信息矩阵，所述深度信息矩阵如公式1所示；

其中，m为深度信息矩阵，xmn为待检测区域中一个像素的横向坐标，ymn为待检测区域中一个像素的纵向坐标，dmn为像素(xmn,ymn)到所述头戴式避障设备的距离。

其中一实施例中，在基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤之前，所述头戴式避障设备的控制方法还包括：

对所述深度信息矩阵进行噪声过滤。

其中一实施例中，基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取的步骤，包括：

基于轮廓提取算法，对经噪声过滤后的深度信息矩阵进行卷积，生成待检测区域的轮廓矩阵，所述轮廓矩阵如公式2所示；

h＝m'*f(u,v)*g(u,v)公式2；

其中，h为轮廓矩阵，m'为经噪声过滤后的深度信息矩阵，f(u,v)为选定的滤波算子，g(u,v)为轮廓提取的传递函数，*代表进行了一次卷积；

依据所述轮廓矩阵，提取所述待检测区域中的疑似障碍物的深度信息，生成所述疑似障碍物的深度图。

其中一实施例中，在对待检测区域进行光学扫描，生成所述待检测区域的深度信息的步骤之前，所述头戴式避障设备的控制方法还包括：

将头戴式避障设备的光学扫描范围作为待检测区域，获取头戴式避障设备中电极矩阵的结构数据；

依据所述电极矩阵的结构数据，将所述待检测区域划分为多个区域单元，所述多个区域单元以矩阵式排布，且所述多个区域单元的排布方式与所述电极矩阵中多个振动电极的排布方式一致；每一个区域单元对应一个振动电极；

建立电极矩阵与待检测区域的映射关系，将所述映射关系与振动电极的预设振动规则耦合，生成电极振动函数；所述电极矩阵与待检测区域的映射关系表示为映射关系矩阵；

其中，η为电机振动函数，q为预设振动规则函数，k为映射关系矩阵，i为电极矩阵的行数，j为电极矩阵的列数，xij为电极矩阵中位于第i行第j列的振动电极的横坐标，yij为电极矩阵中位于第i行第j列的振动电极的纵坐标，aij为电极矩阵中位于第i行第j列的振动电极的振动幅度。

其中一实施例中，基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现的步骤，包括：

依据所述疑似障碍物的深度信息，计算所述疑似障碍物覆盖的像素总个数占整个待检测区域的像素总个数的比例，得到疑似障碍物像素占比；

判断所述疑似障碍物像素占比是否大于或等于预设像素占比；

若所述疑似障碍物像素占比大于或等于预设像素占比，则确定所述待检测区域内有障碍物出现，将所述疑似障碍物定义为障碍物。

其中一实施例中，依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度的步骤，包括：

调取所述电极振动函数，依据所述障碍物的深度信息与所述电极振动函数，获取与障碍物对应的振动电极和振动幅度。

其中一实施例中，在障碍物覆盖的像素总个数不变的条件下，当障碍物处于待检测区域的中心时，障碍物对应的振动电极的振动幅度，大于当障碍物处于待检测区域的边缘时，障碍物对应的振动电极的振动幅度。

其中一实施例中，当障碍物处于待检测区域的位置不变的条件下，障碍物覆盖的像素总个数越多，障碍物对应的振动电极的振动幅度越大。

本申请还提供一种头戴式避障设备，采用如前述任一实施例中提及的的头戴式避障设备的控制方法，用于实时躲避障碍物。

本申请涉及一种头戴式避障设备的控制方法与头戴式避障设备，头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。

附图说明

图1为本申请一实施例提供的头戴式避障设备的控制方法的流程示意图；

图2为本申请一实施例提供的一种深度信息下，障碍物与振动电极对应的示意图；

图3为本申请一实施例提供的另一种深度信息下，障碍物与振动电极对应的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供一种头戴式避障设备的控制方法。需要说明的是，本申请提供的头戴式避障设备的控制方法的应用于存在视觉障碍的人群佩戴的头戴式避障设备。

此外，本申请提供的头戴式避障设备的控制方法不限制其执行主体。可选地，本申请提供的头戴式避障设备的控制方法的执行主体的可以为一种头戴式避障设备。

如图1所示，在本申请的一实施例中，所述头戴式避障设备的控制方法包括如下步骤s100至步骤s900：

s100，对待检测区域进行光学扫描，生成所述待检测区域的深度信息。

具体地，所述头戴式避障设备内可以设置有光学模块和处理器。所述处理器可以是stm32，树莓派等具有信息处理和计算能力的处理器。stm32为一种具有armcortex-m内核的32位微控制器。

所述光学模块可以存在一个预设的光学扫描范围。当使用人佩戴所述头戴式避障设备时，所述光学模块实时对处于光学扫描范围的场景进行光学扫描，这个场景即定义为待检测区域。所述待检测区域的深度信息可以包括待检测区域与所述头戴式避障设备的距离信息。

s300，基于所述待检测区域的深度信息，对所述待检测区域进行轮廓提取。

具体地，本步骤相当于将待检测区域看作一张图像，图像中存在一些无意义的点，即常规信息点，还有一些异常信息点，这些异常信息点可以视为与障碍物相关。本步骤可以提取这些异常信息点的轮廓，使其组成一个异常信息整体，即障碍物。

s500，基于轮廓提取的结果，判断所述待检测区域内是否有障碍物出现。

具体地，若确定所述待检测区域内没有障碍物出现，则返回步骤s100，重新实时对所述待检测区域扫描。

s700，若所述待检测区域内有障碍物出现，则进一步依据所述轮廓提取的结果，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度。

具体地，若确定所述待检测区域内有障碍物出现，则需要调取障碍物与振动电极的映射关系，确定与障碍物对应的振动电极，以及所述振动电极的振动幅度。

s900，控制与障碍物对应的振动电极以所述振动幅度振动。

具体地，所述头戴式避障设备还可以同时通过报警模块进行声音报警或灯光报警。

本实施例中，头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。

在本申请的一实施例中，所述步骤s100包括如下步骤s110至步骤s120：

s110，向待检测区域发射红外光，并接收所述待检测区域反射回来的红外光，采集红外光学数据。

具体地，所述头戴式避障设备内可以设置有光学模块。所述光学模块可以实时向正前方的待检测区域主动发射红外光，并接收反射回来的红外光。本申请头戴式避障设备在使用时，使用人需要在头上佩戴所述头戴式避障设备，且所述头戴式避障设备的光学模块需要对准使用额的正前方。因此，所述光学模块是向正前方发射红外光。因此，本申请中，使用人正前方的障碍物的判定与分析是我们主要的分析方向。

进一步地，所述光学模块可以根据红外光的折返时间和光速计算红外光走过的距离，从而计算待检测区域的深度信息，生成红外光学数据。

s120，依据所述红外光学数据，生成所述待检测区域的深度信息矩阵。所述深度信息矩阵如公式1所示。

其中，m为深度信息矩阵。xmn为待检测区域中一个像素的横向坐标。ymn为待检测区域中一个像素的纵向坐标。dmn为像素(xmn,ymn)到所述头戴式避障设备的距离。

具体地，所述光学模块可以输出所述深度信息矩阵。所述待检测区域可以相当于一张场景图像，所述深度信息矩阵的每一个元素(xmn,ymn,dmn)，代表场景图像中的每一个像素点，且该元素包含了该像素点在场景图像中的位置信息和距离信息，位置信息即像素点的横向坐标和纵向坐标，即xmn和ymn。距离信息即像素点距离光学模块的距离，即dmn。

可选地，在步骤s120之后，还包括:

s130,依据所述深度信息矩阵，生成所述待检测区域的二维场景图像。

本实施例中，通过头戴式避障设备向待检测区域发射红外光，采集红外光学数据，实现二维横向成像和提取纵向深度信息的功能。

在本申请的一实施例中，在步骤s100之后，步骤s200之前，所述头戴式避障设备的控制方法还包括：

s200，对所述深度信息矩阵进行噪声过滤。

具体地，前述内容已经提及，可以将待检测区域看作一张图像，图像中存在一些无意义的点，即常规信息点，还有一些异常信息点，这些异常信息点可以视为与障碍物相关。异常信息点一般是连续的，有规律可循。然而光学模块在发射红外光和接收红外光的同时，会受到外界环境的杂散光的影响，或者是红外光在物体边缘处存在反射或散射的原因，都会在深度信息矩阵中体现为孤立的，dmn数值不正常，甚至出现dmn极大值的像素点。此时，需要头戴式避障设备内部设置的处理器对所述深度信息矩阵进行噪声过滤。

噪声过滤的方式有很多种。可选地，所述处理器可以将深度信息矩阵中出现dmn极大值、dmn极小值或dmn异常值的元素的dmn值替换为和常规元素相同的常dmn值。常规元素就是上述内容提及的无意义的点，即常规信息点。

当然，噪声过滤的方式也可以采取其他滤波方式，例如中值滤波、几何均值滤波等等。

本实施例中，通过对所述深度信息矩阵进行噪声过滤，实现了对深度信息矩阵中异常数据的处理，消除了异常数据对后续数据处理步骤的不利影响。

在本申请的一实施例中，所述步骤s300包括如下步骤s310至步骤s320：

s310，基于轮廓提取算法，对经噪声过滤后的深度信息矩阵进行卷积，生成待检测区域的轮廓矩阵。所述轮廓矩阵如公式2所示。

h＝m'*f(u,v)*g(u,v)公式2

其中，h为轮廓矩阵。m'为经噪声过滤后的深度信息矩阵。f(u,v)为选定的滤波算子。g(u,v)为轮廓提取的传递函数。*代表进行了一次卷积。

具体地，所述选定的滤波算子可以为拉普拉斯算子或坎尼算子。

s320，依据所述轮廓矩阵，提取所述待检测区域中的疑似障碍物的深度信息，生成所述疑似障碍物的深度图。

具体地，所述疑似障碍物的深度图如图2(b)所示。所述深度图不但可以展示疑似障碍物的轮廓和形状，而且可以展示疑似障碍物与所述光学模块的距离，这个距离我们认为等同于疑似障碍物与整个头戴式避障设备的距离。

图2(a)是光学模块生成的所述待检测区域的二维场景图像(请参见步骤s130)。图2(b)则是经过轮廓提取后，处理器生成的疑似障碍物的深度图。从图2(b)可以知晓。疑似障碍物为一颗螺钉。

本实施例中，通过基于轮廓提取算法生成待检测区域的轮廓矩阵，生成疑似障碍物的轮廓图，实现了对待检测区域中疑似障碍物的轮廓提取，可以准确、简明了当的展示疑似障碍物的全部深度信息。

在本申请的一实施例中，在所述步骤s100之前，所述头戴式避障设备的控制方法还包括如下步骤s010至步骤s030：

s010，将头戴式避障设备的光学扫描范围作为待检测区域，获取头戴式避障设备中电极矩阵的结构数据。

具体地，所述步骤s010至步骤s030是电极矩阵与待检测区域的映射关系的建立步骤。为了使得实现步骤s700中，在确定有障碍物出现后，能够快速确定与障碍物对应的振动电极，以及所述振动电极的振动幅度，需要预先设定电极矩阵与待检测区域的映射关系。

本步骤中，需要先获取电极矩阵的结构数据，所述结构数据包括电极矩阵的排布方式，有多少行，有多少列等等信息数据。

s020，依据所述电极矩阵的结构数据，将所述待检测区域划分为多个区域单元。所述多个区域单元以矩阵式排布。所述多个区域单元的排布方式与所述电极矩阵中多个振动电极的排布方式一致。每一个区域单元对应一个振动电极。

具体地，本步骤是具体建立映射的过程。以图2中示出的实施例说明，该实施例中的电极矩阵为一个3行4列的阵列式电极矩阵，那么需要将待检测区域划分为12个大小相等的区域单元，区域单元之间也依照3行4列阵列式排布。通过这种建立映射的过程，可以将每一个区域单元与每一个振动电极对应上。

那么在图2中，螺钉在深度图中所覆盖的区域，刚好与振动电极的第3列对应，即j＝3的列，那么螺钉就与j＝3的列的3个振动电极对应。

s030，建立电极矩阵与待检测区域的映射关系。将所述映射关系与振动电极的预设振动规则耦合，生成电极振动函数。所述电极矩阵与待检测区域的映射关系表示为映射关系矩阵。

其中，η为电极振动函数。q为预设振动规则函数。k为映射关系矩阵。i为电极矩阵的行数。j为电极矩阵的列数。xij为电极矩阵中位于第i行第j列的振动电极的横坐标。yij为电极矩阵中位于第i行第j列的振动电极的纵坐标。aij为电极矩阵中位于第i行第j列的振动电极的振动幅度。

具体地，前述步骤s030已经介绍了如何将电极矩阵中的每一个振动电极与待检测区域中的每一个区域单元进行对应。本步骤中，需要建立建立电极矩阵与待检测区域的映射关系，所述映射关系呈现为公式3中的映射关系矩阵k。

然而，本实施例不光要建立电极矩阵与待检测区域的映射关系，还要在映射关系中加入振动电极的振动幅度与振动规则。那么可以预先人为制定一套预设振动规则，所述预设振动规则呈现为公式3中的预设振动规则函数。进一步地，将电极矩阵与待检测区域的映射关系，与预设振动规则耦合，生成电极振动函数，如公式3所示。

可以理解，当执行步骤s700时，通过调取电极振动函数，不但可以快速确定与障碍物对应的振动电极，还可以确定振动振动方式。振动方式包括振动幅度的大小具体是多少，振动幅度随着时间变化而变化的情况。

本实施例通过生成电极振动函数，实现将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，便于头戴式避障设备在扫描到障碍物时，可以自动与振动电极匹配，及时控制振动电极振动。

在本申请的一实施例中，所述步骤s500包括如下步骤s510至步骤s530：

s510，依据所述疑似障碍物的深度信息，计算所述疑似障碍物覆盖的像素总个数占整个待检测区域的像素总个数的比例，得到疑似障碍物像素占比。

具体地，以图2为例说明，图2中的疑似障碍物为螺钉，那么需要计算螺钉覆盖的像素总个数，占整个个待检测区域的像素总个数的比例。

s520，判断所述疑似障碍物像素占比是否大于或等于预设像素占比。

具体地，所述预设像素占比由人为设定。可选地，所述预设像素占比可以为6.25％。

s530，若所述疑似障碍物像素占比大于或等于预设像素占比，则确定所述待检测区域内有障碍物出现，将所述疑似障碍物定义为障碍物。

相反的，若所述疑似障碍物像素占比小于预设像素占比，则确定所述待检测区域内没有障碍物出现，此时的疑似障碍物可以认为对使用人不会造成伤害或不会造成影响，可以忽略不计。

本实施例中，通过判断疑似障碍物像素占比是否大于或等于预设像素占比，可以实现对障碍物是否存在于待检测区域的精确判定。

在本申请的一实施例中，所述步骤s700包括如下步骤：

s710，调取所述电极振动函数，依据所述障碍物的深度信息与所述电极振动函数，获取与障碍物对应的振动电极和振动幅度。

具体地，所述电极振动函数的建立方式和工作原理已经在步骤s010至步骤s030的实施例提及，此处不再赘述。

本实施例中，通过调取所述电极振动函数，可以快速且准确的获取与障碍物对应的振动电极和振动幅度，不受周围环境变化的干扰，获取速度快。

在本申请的一实施例中，在障碍物覆盖的像素总个数不变的条件下，当障碍物处于待检测区域的中心时，障碍物对应的振动电极的振动幅度，大于当障碍物处于待检测区域的边缘时，障碍物对应的振动电极的振动幅度。

具体地，本实施例是属于步骤s030中提及的预设振动规则中包括的一种振动规则。本实施例可以预先对待检测区域进行划分，划分出中心区域或边缘区域。障碍物覆盖的像素总个数不变的条件，等价于障碍物与头戴式避障设备的距离不变，换言之，等价于障碍物与使用人的距离不变。那么在此条件下，当障碍物处于待检测区域的中心时，可以认为障碍物进入了使用人的行动范围，且障碍物在使用人的正前方。障碍物有可能干扰到使用人的正常行走。通俗来讲，这属于“挡路”了。因此，此时振动电极的振动幅度要大一些。

当障碍物处于待检测区域的边缘时，可以认为障碍物脱离了使用人的行动范围，障碍物基本不会干扰到使用人的正常行走。因此，此时，振动电极的振动幅度要小一些，但是还是会振动提示。

可选地，所述待检测区域的边缘区域和中心区域的划分需要预先进行人为划分。例如图2中，可以设定中间两列j＝2和j-3覆盖的范围为中心区域。设定i＝1和i＝4两列覆盖的范围为边缘区域。

本实施例中，通过设定障碍物处于待检测区域的边缘和中心的不同情况，控制振动电极以不同的振动幅度振动，实现了振动幅度随着危险程度的变化而变化，便于使用人对障碍物的潜在风险进行甄别。

在本申请的一实施例中，当障碍物处于待检测区域的位置不变的条件下，障碍物覆盖的像素总个数越多，障碍物对应的振动电极的振动幅度越大。

具体地，在障碍物位置不变的条件下，障碍物覆盖的像素总个数越多，表明障碍物距离头戴式避障设备的越近，障碍物也就离使用人越近。请参见图2和图3，图3中的障碍物覆盖的像素总个数明显大于图2中的障碍物覆盖的像素。因此，图3中的障碍物离使用人更近，图2中的障碍物离使用人就远一些。

可以理解，本实施例中，障碍物离使用人越近，设置障碍物对应的振动电极的振动幅度越大。可选地，此时所述头戴式避障设备中的报警模块还可以通过控制led灯闪烁的方式，通过通过控制扬声器或蜂鸣器发出警报音的方式，提醒使用人对障碍物进行避让。

本实施例可以实现在障碍物逐渐靠近时，振动电极的振动幅度会逐渐加大，给予使用人一个越来越强的反馈，提醒使用人规避障碍物的危险。相反的，在障碍物逐渐远离使用人时，振动电极的振动幅度会逐渐减小，避免给使用人长时间高强度的心理压力。

此外，除了上述2个实施例介绍的预设振动规则，还有很多不同的振动电极位置，不同的电极振动幅度，甚至是不同的振动频率的组合，与实际的障碍物侵入场景的配合实施例，这里就不一一列举。

通过使用不同振动电极位置，不同的电极振动幅度和不同的振动频率的组合，本映射算法可以在障碍物远离使用人、靠近使用人、横向移动等多情况下，灵活且全面的为使用人提供触觉反馈。

本申请还提供一种头戴式避障设备。

在本申请的一实施例中，所述头戴式避障设备采用前述任一实施例中提及的头戴式避障设备的控制方法，用于实时躲避障碍物。

具体地，所述头戴式避障设备的工作原理与前述任一实施例中提及的头戴式避障设备的控制方法的工作原理相同，此处不再赘述。

本实施例中，所述头戴式避障设备通过对待检测区域进行光学扫描和轮廓提取，实现对障碍物的识别与定位。通过将处于不同位置的障碍物的位置信息和深度信息，映射为头戴式避障设备中的电极的不同振动方式，实现在障碍物出现在头戴式避障设备的使用人的可视范围时，能够实时通过电极振动通知使用人主动避障，不受外界环境变化的影响，障碍物的分辨精确度高。

以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。