一种基于人脸识别的共享单车自动开锁方法及控制系统与流程

本发明涉及一种共享单车的开锁方法及控制系统，特别涉及一种基于人脸识别的共享单车自动开锁方法及控制系统。

背景技术：

共享单车是指企业在校园、地铁站点、公交站点、居民区、商业区、公共服务区等提供自行车单车共享服务，是一种分时租赁模式。共享单车在城市中给人们的短距离出行带来了极大的便利。为了保护共享单车，通常共享单车设置有车锁。

当前共享单车的车锁主要是通过用户使用智能终端扫描共享单车上的二维码，获取打开共享单车上的密码的机械锁或者自动开锁的电子锁，但这两种方式都过于依赖二维码的完整性和真实性。一方面，部分用户会使用工具恶意损坏二维码，让其他用户无法扫描，以便将共享单车据为己有，另一方面，有部分违法分子，在二维码上粘贴自己制作的二维码，在用户扫描共享单车上的二维码时，窃取用户信息，盗用用户账户。这些行为降低了通过扫描车身二维码的开锁方式的安全性。

技术实现要素：

本发明的目的是根据上述现有技术的不足，提供了一种基于人脸识别的共享单车自动开锁方法及控制系统。

本发明目的实现由以下技术方案完成：

一种基于人脸识别的共享单车自动开锁方法，其包括以下步骤：

(1)用户发起开锁请求；

(2)通过停车区域的摄像头拍摄所述用户的面部图像，并根据面部图像对所述用户的权限进行鉴别；

(3)若所述用户的权限符合要求，则控制一辆临近所述用户的共享单车开锁。

本发明的进一步改进在于，根据面部图像对所述用户的权限进行鉴别具体包括以下步骤：

(1)根据人脸具有的面部几何特征对所述面部图像中的人脸进行定位；

(2)使用主成分分析提取所述面部图像中的特征向量；

(3)根据所述特征向量在用户数据库中进行搜寻匹配，并根据搜寻结果鉴别所述用户的权限。

本发明的进一步改进在于，所述用户在注册时，将该所述用户的面部图像信息存储在所述用户数据库中，所述面部图像信息包括该用户的注册特征向量。

本发明的进一步改进在于，根据所述特征向量在所述用户数据库中进行搜寻匹配的过程中，预设一个阈值t，依次计算所述特征向量与所述用户数据库中存储的各用户的注册特征向量之间的距离；若所述特征向量与某个所述注册特征向量之间的距离小于所述阈值t，则判断所述特征向量对应的用户为该所述注册特征向量所对应的注册用户，并根据该所述用户的账户信息判断该所述用户的权限。

本发明的进一步改进在于，若所述用户的权限符合要求，在所述停车区域中找到与所述用户距离最近的所述共享单车，并控制该所述共享单车开锁。

本发明的进一步改进在于，将所述摄像头的位置信息作为所述用户的位置信息。

本发明的进一步改进在于，在所述共享单车停放在所述停车区域的过程中，记录所述共享单车的停放位置，以便再次开锁时计算所述共享单车与所述用户之间的距离。

本发明的进一步改进在于，在所述共享单车的停放过程中，

所述共享单车上报其轨迹数据及id标识，通过所述摄像头拍摄所述共享单车的行车图像，从所述行车图像中获取所述共享单车的轨迹信息，根据同一时间段内获得的所述轨迹数据以及所述轨迹信息将所述共享单车的id标识与所述行车图像中的所述共享单车进行配对，所述共享单车经锁车操作后，根据所述行车图像获取所述共享单车的停放位置；

或者，所述共享单车上报其姿态数据及id标识，通过所述摄像头拍摄所述共享单车的行车图像，从所述行车图像中获取所述共享单车的姿态信息，根据同一时间段内获得的姿态数据以及姿态信息将所述共享单车的id标识与所述行车图像中的所述共享单车进行配对，所述共享单车经锁车操作后，根据所述行车图像获取所述共享单车的停放位置；

或者，所述共享单车经锁车操作后发出id标识光学通讯信号，根据所述摄像头拍摄的图像中的所述id标识光学通讯信号识别所述图像中的共享单车及其停放位置；

或者，根据所述摄像头拍摄的图像识别用户对所述共享单车的关锁动作，经关锁操作后所述共享单车上报关锁信号及id标识；预设延迟阈值，将产生时间的差值小于所述延迟阈值的关锁动作以及关锁信号进行配对；配对成功后，从所述图像中识别所述关锁动作对应的所述共享单车，并将所述关锁信号对应的所述id标识与该所述共享单车进行绑定，根据所述图像检测所述id标识对应的所述共享单车的停放位置。

本发明的进一步改进在于，通过停车区域的第一摄像头拍摄所述用户的面部图像，在所述共享单车的停放过程中，

所述共享单车上报其轨迹数据及id标识，通过第二摄像头拍摄所述共享单车的行车图像，从所述行车图像中获取所述共享单车的轨迹信息，根据同一时间段内获得的所述轨迹数据以及所述轨迹信息将所述共享单车的id标识与所述行车图像中的所述共享单车进行配对，所述共享单车经锁车操作后，根据所述行车图像获取所述共享单车的停放位置；

或者，所述共享单车上报其姿态数据及id标识，通过第二摄像头拍摄所述共享单车的行车图像，从所述行车图像中获取所述共享单车的姿态信息，根据同一时间段内获得的姿态数据以及姿态信息将所述共享单车的id标识与所述行车图像中的所述共享单车进行配对，所述共享单车经锁车操作后，根据所述行车图像获取所述共享单车的停放位置；

或者，所述共享单车经锁车操作后发出id标识光学通讯信号，根据第二摄像头拍摄的图像中的所述id标识光学通讯信号识别所述图像中的共享单车及其停放位置；

或者，根据第二摄像头拍摄的图像识别用户对所述共享单车的关锁动作，经关锁操作后所述共享单车上报关锁信号及id标识；预设延迟阈值，将产生时间的差值小于所述延迟阈值的关锁动作以及关锁信号进行配对；配对成功后，从所述图像中识别所述关锁动作对应的所述共享单车，并将所述关锁信号对应的所述id标识与该所述共享单车进行绑定，并根据所述图像检测所述id标识对应的所述共享单车的停放位置。

本发明的进一步改进在于，所述用户通过交互屏幕发起开锁请求；所述共享单车开锁后，通过所述交互屏幕向所述用户提示该所述共享单车的停放位置。

本发明的进一步改进在于，所述共享单车开锁后向所述用户发出音频提示。

本发明还涉及一种基于人脸识别的共享单车自动开锁控制系统，其包括摄像头、服务器、交互屏幕以及若干单车终端；

所述摄像头用于拍摄停车区域的图像，所述摄像头与所述服务器通讯连接；

所述交互屏幕设置在所述停车区域中，所述交互屏幕与所述摄像头和所述服务器通讯连接；

所述单车终端安装在共享单车上；

所述服务器用于根据所述摄像头拍摄的面部图像鉴别用户的权限，并根据鉴别结果通过单车终端控制所述共享单车进行开锁。

本发明的进一步改进在于，所述摄像头连接有无线通讯模块，所述服务器与无线通讯模块通讯连接，所述服务器通过所述无线通讯模块向所述单车终端发送开锁指令。

本发明的进一步改进在于，所述单车终端包括音频提示模块，所述音频提示模块用于向所述用户发出音频提示。

本发明的进一步改进在于，所述单车终端包括用于发送id标识光学通讯信号的光学通讯装置。

本发明的进一步改进在于，所述单车终端包括车锁。

本发明的进一步改进在于，所述单车终端包括陀螺仪和/或加速度传感器。

本发明的有益效果是：通过摄像头采集用户的人脸信息，根据用户的人脸信息进行权限鉴别，开锁过程不依赖手机，可以应用在不能使用手机的场合。这种开锁方式可以避免扫描二维码的开锁认证方式所具有的缺陷。通过摄像头与共享单车相配合，还可以高精度地监测共享单车的停车位置，便于运维人员对停车区域进行管理。

附图说明

图1是一种基于人脸识别的共享单车自动开锁控制系统的结构框图；

图2是一种停车区域的示意图；

图3是另一种基于人脸识别的共享单车自动开锁控制系统的结构框图；

图4是另一种停车区域的示意图。

标号说明

1摄像头，1a第一摄像头，1b第二摄像头，2服务器，3交互屏幕，

4单车终端，5停车区域，6共享单车，7无线通讯模块，8车锁，

9音频提示模块，10光学通讯装置，11陀螺仪，12加速度传感器，

13无线通讯模块。

具体实施方式

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

实施例：如图1、2所示，本实施例公开了一种基于人脸识别的共享单车自动开锁控制系统，其包括摄像头1、服务器2、交互屏幕3以及若干单车终端4。摄像头1以及交互屏幕3均设置在停车区域5中，用户通过交互屏幕3发起开锁请求，摄像头1拍摄用户的面部图像，并发送至服务器2。服务器2根据用户的面部图像对用户的权限进行鉴别；若鉴别通过，则服务器2向单车终端4发出开锁指令，以控制共享单车6开锁。

共享单车6自动开锁控制系统部署在多个停车区域5中，每个停车区域5设置有至少一个摄像头1以及交互屏幕3。摄像头1用于拍摄停车区域5内的图像以及发起开锁请求的用户的面部图像。交互屏幕3和摄像头1通过有线的方式通讯连接。摄像头1的安装角度和位置使得摄像头1可以拍摄到站在交互屏幕3前方的用户的脸部区域。

摄像头1与服务器2通过无线的方式通讯连接，以便各摄像头1将其拍摄的图像发送至至服务器2。服务器2用于根据摄像头1拍摄的面部图像鉴别用户的权限。鉴别过程中，服务器2将用户的面部图像与用户数据库中的注册用户的数据进行匹配搜寻，若找到匹配的注册用户的信息，则判断该用户的权限；若该用户的权限符合要求，则服务器2向一辆临近用户的共享单车6发送开锁指令，以便该共享单车6开锁。服务器2内存储有各共享单车6的停放位置，以便服务器2控制离用户最近的共享单车6进行开锁。

每个共享单车6安装有一个单车终端4。服务器2向共享单车6发送的开锁指令可直接通过2g/4g网络发送至相应的单车终端4，开锁指令也可通过作为中继的摄像头1发送至单车终端4。摄像头1连接有一个无线通讯模块7，服务器2通过摄像头1与各摄像头1对应的无线通讯模块7保持通讯连接，同时各无线通讯模块7可与其所在的停车区域5内的各共享单车6的单车终端4进行通讯，以便服务器2发出的开锁指令可以传达至指定的单车终端4。单车终端4与无线通讯模块7之间可通过蓝牙、2g网络、4g网络、wifi无线网络等协议进行无线通讯。

单车终端4包括车锁8，车锁8为电动车锁，接到服务器2发出的开锁指令后，车锁8可以执行开锁动作。单车终端4还包括一个音频提示模块9，音频提示模块9用于在开锁后向用户发出音频提示。单车终端4还包括一个无线通讯模块13，单车终端4的无线通讯模块12与摄像头1的无线通讯模块13通过无线网络通讯连接。

此外，单车终端4还可与摄像头1以及服务器2相配合，对共享单车6的停放位置进行检测，以便服务器2可以选择离用户最近的共享单车6进行开锁。为了实现该功能，单车终端4包括光学通讯装置10、陀螺仪11以及加速度传感器12中的一种或多种。光学通讯装置10用于出摄像头1可以拍摄到的id标识光学通讯信号。陀螺仪11用于检测共享单车6的姿态，陀螺仪11和加速度传感器12配合可以检测共享单车6的轨迹。单车终端4用于将陀螺仪11以及加速度传感器12检测到的数据通过摄像头1的无线通讯模块7作为中继发送至服务器2，以便服务器2将这些数据与摄像头1拍摄到的数据相结合对共享单车6的停放位置进行检测。

如图3、4所示，在一些实施例中，共享单车自动开锁控制系统包括第一摄像头1a和第二摄像头1b；第一摄像头1a用于拍摄用户的面部图像，第二摄像头1b用于拍摄停车区域5的图像，识别停车区域5中的共享单车。第一摄像头1a与交互屏幕3通过有线的方式通讯连接。无线通讯模块7与第一摄像头1a通讯连接，第一摄像头1a用于将单车终端4通过无线信号发出的信息转发至服务器2。第二摄像头1b与服务器2通讯连接，第二摄像头1b用于将其拍摄的停车区域5的图像发送至服务器2。

如图1、2所示，本实施例还涉及一种运行在上述控制系统中的基于人脸识别的共享单车自动开锁方法，该方法包括以下步骤：

(s1)用户发起开锁请求；

(s2)通过停车区域的摄像头拍摄所述用户的面部图像，并根据面部图像对所述用户的权限进行鉴别；

(s3)若用户的权限符合要求，则控制一辆临近所述用户的共享单车6开锁。

用户通过停车区域5中的交互屏幕3发起开锁请求。用户发起开锁请求后，摄像头1拍摄该用户的面部图像，服务器2根据面部图像鉴别用户的权限。鉴别权限的过程包括以下步骤：根据人脸具有的面部几何特征对面部图像中的人脸进行定位；使用主成分分析(pca)提取所述面部图像中的特征向量，每个人的人脸图像具有不同的特征向量；服务器2根据特征向量在用户数据库中进行搜寻匹配，并根据搜寻结果鉴别所述用户的权限。

在每个用户在注册共享单车的使用账户时，需要采集该用户的面部图像，服务器2从面部图像中获取特征向量，并将其作为注册特征向量。服务器2将该用户的面部图像信息存储在用户数据库中，面部图像信息包括该用户的注册特征向量。

根据特征向量在用户数据库中进行搜寻匹配的过包括以下步骤：预设一个阈值t，依次计算特征向量与用户数据库中存储的各用户的注册特征向量之间的距离；若特征向量与某个注册特征向量之间的距离小于阈值t，则判断特征向量对应的用户为该注册特征向量所对应的注册用户，并根据该用户的账户信息判断该所述用户的权限。鉴别权限的方式可通过判断账户余额、信用记录、该用户是否为注册用户等方式进行。

特征向量与注册特征向量之间的距离用于表示二者之间的相似性，两个向量之间的距离越小表示两个向量之间越接近，也意味着特征向量与注册特征向量对应同一个用户的可能性也越大。因此当特征向量与注册特征向量之间的距离小于阈值t时，可以认为特征向量与注册向量对应同一个用户的面部数据。

若发起开锁请求的用户的权限符合要求，服务器2在该用户所在的停车区域5中找到与该用户距离最近的共享单车6，并控制该所述共享单车开锁。服务器2在计算共享单车与用户之间的距离的过程中，将摄像头1的位置信息作为用户的位置信息。

现有的共享单车通过gps进行定位，然而gps的定位精度过低，无法通过gps准确判断共享单车的停放位置。为了便于服务器2计算共享单车与用户之间的距离，在共享单车停放在停车区域5的过程中，记录共享单车的停放位置，以便再次开锁时计算共享单车6与用户之间的距离。

在一些实施例中，共享单车6的单车终端4包括光学通讯装置10，光学通讯装置10用于发出id标识光学通讯信号，id标识光学通讯信号为按照预定的时间序列闪烁的光学信号，id标识光学通讯信号传输的信息包含共享单车6的id标识。在共享单车6停放过程中，共享单车6经锁车操作后发出id标识光学通讯信号；服务器2根据摄像头1拍摄的图像检测id标识光学通讯信号，并从中识别id标识，服务器2用于将id标识与图像中id标识光学通讯信号对应的共享单车6进行绑定，并通过图像检测id标识对应的共享单车6的停放位置。

在一些实施例中，服务器2在共享单车6停放的过程中根据摄像头1拍摄的图像识别用户对共享单车6的关锁动作，经关锁操作后共享单车6的单车终端上报关锁信号及id标识；服务器2内预设有延迟阈值，服务器将产生时间的差值小于延迟阈值的关锁动作以及关锁信号进行配对。配对成功后，服务器2从图像中识别关锁动作对应的共享单车6，并将关锁信号对应的id标识与该共享单车6进行绑定，绑定后，服务器2根据图像检测id标识对应的共享单车6的停放位置。

在一些实施例中，共享单车6的单车终端包括陀螺仪11。共享单车6在停放过程中，单车终端4持续将共享单车的id标识以及陀螺仪11检测到的共享单车6的姿态数据上报至服务器；服务器2通过摄像头1拍摄共享单车6在停车过程中的行车图像，从行车图像中获取共享单车6的姿态信息，根据同一时间段内获得的姿态数据以及姿态信息将共享单车的id标识与行车图像中的共享单车6进行配对；共享单车6经锁车操作后，服务器2根据行车图像获取共享单车6的停放位置。

在一些实施例中，共享单车6的单车终端包括陀螺仪11以及加速度传感器12。陀螺仪11以及加速度传感器12相配合可以检测共享单车6的轨迹数据。在共享单车6的停放过程中，共享单车6的单车终端4向服务器2上报其轨迹数据及id标识。服务器2通过摄像头1拍摄共享单车6在停车过程中的行车图像，服务器从行车图像中获取共享单车6的轨迹信息，服务器根据同一时间段内获得的轨迹数据以及所述轨迹信息将共享单车6的id标识与行车图像中的共享单车6进行配对，共享单车6经锁车操作后，服务器2根据行车图像获取共享单车6的停放位置。

如图3、4所示，在一些实施例中，停车区域5设置有用于拍摄用户面部图像的第一摄像头1a以及用于拍摄停车区域5的行车图像的第二摄像头1b。

例如，共享单车6的单车终端4包括光学通讯装置10，光学通讯装置10用于发出id标识光学通讯信号，id标识光学通讯信号为按照预定的时间序列闪烁的光学信号，id标识光学通讯信号传输的信息包含共享单车6的id标识。在共享单车6停放过程中，共享单车6经锁车操作后发出id标识光学通讯信号；服务器2根据第二摄像头1b拍摄的图像检测id标识光学通讯信号，并从中识别id标识，服务器2用于将id标识与图像中id标识光学通讯信号对应的共享单车6进行绑定，并通过图像检测id标识对应的共享单车6的停放位置。

例如，服务器2在共享单车6停放的过程中根据第二摄像头1b拍摄的图像识别用户对共享单车6的关锁动作，经关锁操作后共享单车6的单车终端上报关锁信号及id标识；服务器2内预设有延迟阈值，服务器将产生时间的差值小于延迟阈值的关锁动作以及关锁信号进行配对。配对成功后，服务器2从图像中识别关锁动作对应的共享单车6，并将关锁信号对应的id标识与该共享单车6进行绑定，绑定后，服务器2根据图像检测id标识对应的共享单车6的停放位置。

例如，共享单车6的单车终端包括陀螺仪11。共享单车6在停放过程中，单车终端4持续将共享单车的id标识以及陀螺仪11检测到的共享单车6的姿态数据上报至服务器；服务器2通过第二摄像头1b拍摄共享单车6在停车过程中的行车图像，从行车图像中获取共享单车6的姿态信息，根据同一时间段内获得的姿态数据以及姿态信息将共享单车的id标识与行车图像中的共享单车6进行配对；共享单车6经锁车操作后，服务器2根据行车图像获取共享单车6的停放位置。

例如，共享单车6的单车终端包括陀螺仪11以及加速度传感器12。陀螺仪11以及加速度传感器12相配合可以检测共享单车6的轨迹数据。在共享单车6的停放过程中，共享单车6的单车终端4向服务器2上报其轨迹数据及id标识。服务器2通过第二摄像头1b拍摄共享单车6在停车过程中的行车图像，服务器从行车图像中获取共享单车6的轨迹信息，服务器根据同一时间段内获得的轨迹数据以及所述轨迹信息将共享单车6的id标识与行车图像中的共享单车6进行配对，共享单车6经锁车操作后，服务器2根据行车图像获取共享单车6的停放位置。

采用摄像头拍摄的视频以及单车终端4发出的信号对共享单车6进行定位，这样做的原因在于，通过摄像头拍摄的图像可以准确识别共享单车6的位置，其可以达到厘米级的定位精度，然而通过仅图像无法得知图像中共享单车6的id标识。通过将图像与共享单车6发出的各种信号相结合，可以将共享单车6与id标识对应起来。采用多种手段与视频检测相结合的方法检测共享单车6的停放位置，可以获得厘米级的定位精度，避免了gps定位精度过低的问题，使得服务器2可以选择离用户最近的共享单车6进行开锁。

在共享单车6开锁成功后，服务器2通过交互屏幕3向用户提示开锁的共享单车6的停放位置。提示过程中，交互屏幕3上可显示停车区域5的平面示意图，并在示意图中对开锁的共享单车6所在的位置添加闪烁标志。共享单车6开锁后单车终端4通过其内部的音频提示模块9向用户发出音频提示。本实施例中，音频提示为语音提示。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。