基于机器视觉的行人辅助方法、装置及系统与流程

本发明涉及机器视觉技术领域，具体涉及一种基于机器视觉的行人辅助方法、装置及系统。

背景技术：

通常，在十字路口会设有一处或者多处红绿灯，以控制道路上的汽车与行人的有序通行。然而，行人在通过十字路口时，只关注自身正前方的路面状况，无暇顾及左右两方的行车与行人。在此情况下，就有可能受到左右两侧行人或者汽车的干扰，严重时甚至会导致交通事故的发生。

技术实现要素：

本发明的主要目的在于提出一种基于机器视觉的行人辅助方法，以解决行人在道路行走时无法全面察觉周围安全风险的问题。

为解决上述技术问题，本发明提出一种基于机器视觉的行人辅助方法，该行人辅助方法包括：获取智能鞋在运动过程中的姿态；根据智能鞋的姿态，开启摄像头以获取行人周围的视频影像；对视频影像进行识别和分析，以获取行人周围移动物体的移动状态；根据移动物体的移动状态判断是否给行人发出报警信息。

优选地，在所述智能鞋的左侧、右侧及后侧方向上各设置有三个所述摄像头，所述对视频影像进行识别和分析包括：从智能鞋每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析。

优选地，所述对视频影像进行识别和分析还包括：消除视频影像中的天气环境信息。

优选地，所述对视频影像进行识别和分析还包括：消除视频影像中的静止物体信息；对视频影像中的移动物体进行特征比对，以确定移动物体的类别；根据移动物体形状变化的幅度，以获取移动物体的速度。

本发明进一步提出一种基于机器视觉的行人辅助装置，该行人辅助装置包括：姿态检测模块，用于获取智能鞋在运动过程中的姿态；影像获取模块，用于根据智能鞋的姿态，开启摄像头以获取行人周围的视频影像；识别分析模块，用于对视频影像进行识别和分析，以获取行人周围移动物体的移动状态；报警模块，用于根据移动物体的移动状态判断是否给行人发出报警信息。

优选地，在所述智能鞋的左侧、右侧及后侧方向上各设置有三个所述摄像头，所述行人辅助装置还包括：影像选取模块，用于从智能鞋每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析。

优选地，所述行人辅助装置还包括：第一图像去噪模块，用于消除视频影像中的天气环境信息。

优选地，所述行人辅助装置还包括：第二图像去噪模块，用于消除视频影像中的静止物体信息；特征比对模块，用于对视频影像中的移动物体进行特征比对，以确定移动物体的类别；形状滤波模块，用于根据移动物体形状变化的幅度，以获取移动物体的速度。

本发明还提出一种基于机器视觉的行人辅助系统，该行人辅助系统包括智能鞋与设置在所述智能鞋上的处理器、存储器、传感器、多个摄像头和报警器；所述存储器存储有计算机可读程序，所述处理器在调用所述计算机可读程序时，执行上述任一项中所述的方法步骤。

优选地，所述传感器为姿态传感器或压力传感器；所述报警器为发光器、振动器和蜂鸣器中的任一或其组合。

本发明技术方案的有益效果在于：行人穿戴本发明所提出的智能鞋在道路上行走时，设置在智能鞋上的摄像头将根据智能鞋的姿态，启动拍摄功能以获取清晰的视频影像；摄像头获取到的视频影像将由机器视觉识别模组进行识别和分析处理，以获取行人周围移动物体的移动状态，如移动速度；在得出处理结果后，报警模组将根据移动物体的状态判断是否给行人发出警报信息。如此，行人在道路上行走时，可通过穿戴本发明所提出的智能鞋，以帮助行人全面察觉周围风险，避免发生交通事故，提高行人通行的安全性。

附图说明

图1为本发明基于机器视觉的行人辅助方法一实施例的流程示意图；

图2为本发明基于机器视觉的行人辅助方法另一实施例的流程示意图；

图3为本发明基于机器视觉的行人辅助方法又一实施例的流程示意图；

图4为本发明基于机器视觉的行人辅助方法再一实施例的流程示意图；

图5为本发明基于机器视觉的行人辅助装置一实施例的功能模块图；

图6为本发明基于机器视觉的行人辅助系统一实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决上述技术问题，本发明提出一种基于机器视觉的行人辅助方法，参见图1，该行人辅助方法包括：

s10，获取智能鞋在运动过程中的姿态；智能鞋是一种集传统穿戴与电子智能系统为一体的功能鞋，其主要包括鞋子本体和布置在鞋子本体上的电子智能系统，本发明所使用的智能鞋上布置有多个用于获取行人周围视频影像的摄像头。由于行人在行走过程中，会使摄像头产生晃动，若在此时拍摄影像，其影像清晰度较低。为此，可在智能鞋处于“静止”状态时拍摄影像，避免获取清晰度低的影像。智能鞋的“静止”状态指的是智能鞋与地面完全接触的状态，而智能鞋的“移动”状态指的是智能鞋部分或完全脱离地面的状态。具体的，由于智能鞋在上述两种状态下的运动姿态不同，包括加速度、倾斜角度等，因此，可通过设置在智能鞋上的姿态传感器，对上述两种状态下智能鞋的运动姿态进行检测。

s20，根据智能鞋的姿态，开启摄像头以获取行人周围的视频影像；在检测到智能鞋的运动姿态后，根据检测结果，在智能鞋处于“静止”状态时开启摄像头以获取视频影像。考虑到行人在夜间或阴雨天气出行的光线较暗的问题，在此情况下获取到的视频影像的质量会受到较大的影响，而在夜间时甚至获取不到视频影像。为此，本发明可选择红外摄像头作为获取视频影像的视觉产品，红外摄像头是通过发出的红外线照射物体，经漫反射后被摄像头接收，形成视频影像，其不受白天黑夜及天气因素的影响。而红外摄像头又被分为普通红外摄像头和点阵红外摄像头，基于点阵红外摄像头的远距离拍摄、画质更加清晰及使用寿命更长等特点，可根据实际情况优先选择点阵红外摄像头获取相应的视频影像。

s30，对视频影像进行识别和分析，以获取行人周围移动物体的移动状态；在获取到视频影像后，对视频影像依次进行预处理、特征提取和选择、特征匹配及计算等，从而获取视频影像中移动物体的移动状态，移动物体的移动状态包括速度、体积及质量等参数。

s40，根据移动物体的移动状态判断是否给行人发出报警信息。在检测到移动物体的移动状态后，判断该移动物体相对于行人是否安全，若存在危险，则通过声、光或振动等方式提醒行人，注意躲避。

在本发明一较佳实施例中，参见图2，在智能鞋的左侧、右侧及后侧方向上各设置有三个摄像头，对视频影像进行识别和分析包括：

s301，从智能鞋每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析。在本实施例中，通过多个摄像头同时拍摄某一方向的视频影像，而后从每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析，以提高分析结果的准确性。

在本发明另一较佳实施例中，参见图3，对视频影像进行识别和分析还包括：

s302，消除视频影像中的天气环境信息。在阴雨天、雾霾等恶劣天气下，雾气、湿度等天气因素将对摄像头获取到的视频影像的质量产生影响。为此，在对视频影像进行识别和分析之前，需对视频影像内的天气因素进行消除处理，以获取更高清晰度的视频影像，从而进一步提高分析结果的准确性。

在本发明又一较佳实施例中，参见图4，对视频影像进行识别和分析还包括：

s303，消除视频影像中的静止物体信息；由于静止物体一般都不会对行人的安全造成威胁，将其自视频影像中消除，不仅能够去除静止物体信息对移动物体信息的识别和分析的干扰，还能够免除对静止物体信息的识别和分析工作，从而提高对移动物体状态进行分析的效率。

s304，对视频影像中的移动物体进行特征比对，以确定移动物体的类别；在消除视频影像中静止物体的信息后，对视频影像中的移动物体进行特征提取和特征匹配，以确定移动物体的类别。移动物体可以是朝向行人行驶的车辆，也可以是朝向行人移动的其它行人。

s305，根据移动物体形状变化的幅度，以获取移动物体的速度。在确定了移动物体的类别后，获取移动物体的状态，并据此判断其是否会对行人的安全造成威胁。上述移动物体的状态可以是速度，也可以是移动物体与行人之间的距离，包括但不限于此。本发明优选移动速度作为检测参数，移动物体的速度计算方法，包括：第一步骤，计算视频影像中目标运动轨迹的点数，然后进入第二步骤；第二步骤，若目标运动轨迹的点数小于第一阀值，则转入第三步骤，否则转入第四步骤；第三步骤，采用cv法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第四步骤，计算视频图像中当前帧图像内目标的轨迹点与前m帧图像内目标轨迹点的距离，然后进入第五步骤；第五步骤，若上述第四步骤计算出的距离大于单位距离，则转入第六步骤，否则转入第七步骤；第六步骤，采用ecv1法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第七步骤，采用ecv2法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第八步骤，根据目标运动的水平速度和垂直速度，计算目标运动的速度和方向。

本发明进一步的提出一种基于机器视觉的行人辅助装置，该行人辅助装置包括用于获取智能鞋在运动过程中的姿态的姿态检测模块1、用于根据智能鞋的姿态，开启摄像头以获取行人周围的视频影像的影像获取模块2、用于对视频影像进行识别和分析，以获取行人周围移动物体的移动状态的识别分析模块3以及用于根据移动物体的移动状态判断是否给行人发出报警信息的报警模块4。智能鞋是一种集传统穿戴与电子智能系统为一体的功能鞋，其主要包括鞋子本体和布置在鞋子本体上的电子智能系统，本发明所使用的智能鞋上布置有多个用于获取行人周围视频影像的摄像头。由于行人在行走过程中，会使摄像头产生晃动，若在此时拍摄影像，其影像清晰度较低。为此，可在智能鞋处于“静止”状态时拍摄影像，避免获取清晰度低的影像。智能鞋的“静止”状态指的是智能鞋与地面完全接触的状态，而智能鞋的“移动”状态指的是智能鞋部分或完全脱离地面的状态。具体的，由于智能鞋在上述两种状态下的运动姿态不同，包括加速度、倾斜角度等，因此，可通过设置在智能鞋上的姿态检测模块1，对上述两种状态下智能鞋的运动姿态进行检测。在检测到智能鞋的运动姿态后，根据检测结果，在智能鞋处于“静止”状态时开启摄像头以获取视频影像。考虑到行人在夜间或阴雨天气出行的光线较暗的问题，在此情况下，影像获取模块2获取到的视频影像的质量会受到较大的影响，而在夜间时甚至获取不到视频影像。为此，本发明可选择红外摄像头作为获取视频影像的影像获取模块2，红外摄像头是通过发出的红外线照射物体，经漫反射后被摄像头接收，形成视频影像，其不受白天黑夜及天气因素的影响。而红外摄像头又被分为普通红外摄像头和点阵红外摄像头，基于点阵红外摄像头的远距离拍摄、画质更加清晰及使用寿命更长等特点，可根据实际情况优先选择点阵红外摄像头获取相应的视频影像。在获取到视频影像后，由识别分析模块3对视频影像依次进行预处理、特征提取和选择、特征匹配及计算等，从而获取视频影像中移动物体的移动状态，移动物体的移动状态包括速度、体积及质量等参数。在检测到移动物体的移动状态后，判断该移动物体相对于行人是否安全，若存在危险，则通过报警模块4以声、光或振动等方式提醒行人，注意躲避。

在本发明一较佳实施例中，在智能鞋的左侧、右侧及后侧方向上各设置有三个摄像头，行人辅助装置还包括用于从智能鞋每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析的影像选取模块5。在本实施例中，通过多个摄像头同时拍摄某一方向的视频影像，而后从每一侧的摄像头中各选择影像清晰度最高的一个摄像头获取的视频影像进行识别和分析，以提高分析结果的准确性。

在本发明另一较佳实施例中，行人辅助装置还包括用于消除视频影像中的天气环境信息的第一图像去噪模块6。在阴雨天、雾霾等恶劣天气下，雾气、湿度等天气因素将对摄像头获取到的视频影像的质量产生影响。为此，在对视频影像进行识别和分析之前，需对视频影像内的天气因素进行消除处理，以获取更高清晰度的视频影像，从而进一步提高分析结果的准确性。

在本发明又一较佳实施例中，行人辅助装置还包括用于消除视频影像中的静止物体信息的第二图像去噪模块7、用于对视频影像中的移动物体进行特征比对，以确定移动物体的类别的特征比对模块8以及用于根据移动物体形状变化的幅度，以获取移动物体的速度的形状滤波模块9。由于静止物体一般都不会对行人的安全造成威胁，将其自视频影像中消除，不仅能够去除静止物体信息对移动物体信息的识别和分析的干扰，还能够免除对静止物体信息的识别和分析工作，从而提高对移动物体状态进行分析的效率。在消除视频影像中静止物体的信息后，对视频影像中的移动物体进行特征提取和特征匹配，以确定移动物体的类别。移动物体可以是朝向行人行驶的车辆，也可以是朝向行人移动的其它行人。在确定了移动物体的类别后，获取移动物体的状态，并据此判断其是否会对行人的安全造成威胁。上述移动物体的状态可以是速度，也可以是移动物体与行人之间的距离，包括但不限于此。本发明优选移动速度作为检测参数，移动物体的速度计算方法，包括：第一步骤，计算视频影像中目标运动轨迹的点数，然后进入第二步骤；第二步骤，若目标运动轨迹的点数小于第一阀值，则转入第三步骤，否则转入第四步骤；第三步骤，采用cv法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第四步骤，计算视频图像中当前帧图像内目标的轨迹点与前m帧图像内目标轨迹点的距离，然后进入第五步骤；第五步骤，若上述第四步骤计算出的距离大于单位距离，则转入第六步骤，否则转入第七步骤；第六步骤，采用ecv1法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第七步骤，采用ecv2法计算目标运动的水平速度和垂直速度，然后进入第八步骤；第八步骤，根据目标运动的水平速度和垂直速度，计算目标运动的速度和方向。

本发明还提出一种基于机器视觉的行人辅助系统，该行人辅助系统包括智能鞋100与设置在智能鞋100上的处理器200、存储器300、传感器400、多个摄像头500和报警器600；存储器300存储有计算机可读程序，处理器200在调用计算机可读程序时，执行上述的方法步骤。

在本发明一较佳实施例中，传感器400可以为姿态传感器410，也可以为压力传感器420。压力传感器420主要用于检测智能鞋100所受到的压力大小，通过实际检测到的压力与经训练后确认的标准压力参数进行比对，从而判断智能鞋100所处的状态，即智能鞋100部分或全部脱离地面，或者智能鞋1与地面完全接触。姿态传感器410主要用于检测智能鞋100的运动姿态，通过智能鞋100的水平、倾斜等方位状态，判断智能鞋100是否部分或全部脱离地面。报警器600为发光器610、振动器620和蜂鸣器630中的任一或其组合，在行人处于危险状态时，可由发光器610通过光照将危险信号传递至人眼以提醒行人注意警惕；或由振动器620通过振动将危险信号传递至人体以提醒行人注意警惕；再或由蜂鸣器630通过声音将危险信号传递至人耳以提醒行人注意警惕；还可通过其上的任意组合共同向行人传递危险信号，避免行人通行十字路口时发生意外。

以上所述的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明保护的范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护的范围内。