手握方向盘状态的检测方法及装置与流程

本发明涉及图像检测技术领域，具体而言，涉及一种手握方向盘状态的检测方法及装置。

背景技术：

目前，汽车成为一种很普遍的交通工具。私家车、运输用车的数量快速增长，给人们生活带来便利。同时驾驶人员能力、经验的参差不齐，安全意识不够到位，超负荷疲劳驾驶等，也带来很多交通问题。根据事故统计，有很大部分交通事故的发生，是由驾驶人员在车辆行驶过程中分心，打电话、发送信息、吃东西等引发的。在做这些干扰开车的行为时，驾驶人员的单手或者双手脱离了方向盘，失去对方向盘的完全掌控，手在与不在方向盘上，其注意力分散情况有很大差异。当危险发生时，驾驶人员便很难马上做出避险反应，酿成事故。而目前，还无法实现对于司机手脱离方向盘的行为进行监控和报警。

针对上述相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种手握方向盘状态的检测方法及装置，以至少解决相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。

根据本发明实施例的一个方面，提供了一种手握方向盘状态的检测方法，包括：对从目标车辆中采集的视频流进行检测，得到检测结果；获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，所述roi区域信息一为所述目标车辆的方向盘的roi区域信息，所述roi区域信息二为所述目标车辆的驾驶员的手的roi区域信息；根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

可选地，所述视频流包括以下至少之一：深度视频流，红外线ir视频流，rgb视频流。

可选地，对从目标车辆中采集的视频流进行检测，得到检测结果包括：对所述视频流中的图像进行检测，得到所述目标车辆的方向盘位置和所述驾驶员的手部位置，以得到所述检测结果。

可选地，获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态包括：使用预先训练的分类模型将所述方向盘位置和所述驾驶员的手部位置的位置关系分为不同的类别，其中，所述类别包括：所述手部位置在所述方向盘位置上，所述手部位置不在所述方向盘位置上。

可选地，获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态包括：比较所述方向盘位置与所述驾驶员的手部位置在所述二维平面的重合率和第一阈值，以确定所述roi区域信息一在二维平面中与所述roi区域信息二的集合状态，其中，所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二是否存在交集。

可选地，所述方法还包括：获取所述检测结果中携带的所述roi区域信息一与所述roi区域信息二的深度信息，确定所述roi区域信息一与所述roi区域信息二的深度状态，其中，所述roi区域信息一与所述roi区域信息二的深度状态用于表示所述roi区域信息一与所述roi区域信息二的深度范围是否一致。

可选地，所述方法还包括：根据所述roi区域信息一与所述roi区域信息二的深度信息，利用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域，以确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

可选地，获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息，确定roi区域信息一与roi区域信息二的深度状态包括：对所述方向盘位置的深度进行建模，得到所述方向盘位置的深度模型；获取所述手部位置的实际深度和所述手部位置在所述深度模型中的理论深度；根据所述手部位置的实际深度和理论深度，确定所述方向盘位置和所述手部位置的深度状态。

可选地，对所述视频流中的图像进行检测，得到所述目标车辆的方向盘位置包括：确定所述目标车辆的方向盘的初始位置，根据所述视频流中的图像在所述初始位置内检测，得到所述目标车辆的方向盘位置。

可选地，对所述视频流中的图像进行检测，得到所述驾驶员的手部位置包括：通过定位模型，获取与所述视频流中的图像对应的所述驾驶员的手部位置，其中，所述定位模型为使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括：视频流中的图像和所述视频流中的图像对应的驾驶员的手部位置。

可选地，对所述视频流中的图像进行检测，得到所述驾驶员的手部位置还包括：对所述视频流中的图像进行检测，定位得到所述驾驶员的手臂位置；根据所述手臂位置对基于所述定位模型得到的手部位置进行修正，得到所述手部位置。

可选地，所述驾驶员的手臂位置由根据所述视频流中的图像检测得到的手臂对应的手臂沿线上的预定数量的点的三维信息表示。

可选地，根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括：当所述手部位置在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态；当所述手部位置不在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

可选地，根据所述关联状态和所述深度状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括：在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集的情况下，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态；在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态；在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态。

可选地，根据所述关联状态和所述深度状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括：当所述手部位置在所述方向盘位置上时，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态；当所述手部位置在所述方向盘位置上时，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态；当所述手部位置不在所述方向盘位置上时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

可选地，所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括以下之一：双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态。

可选地，在获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前，该手握方向盘状态的检测方法还包括：检测到手的数量；在检测到所述手的数量为两个时，获取所述方向盘位置与所述驾驶员的每只手的手部位置在所述二维平面的关联状态。

根据本发明实施例的另外一个方面，还提供了一种手握方向盘状态的检测装置，包括：检测单元，用于对从目标车辆中采集的视频流进行检测，得到检测结果；获取单元，用于获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，所述roi区域信息一为所述目标车辆的方向盘的roi区域信息，所述roi区域信息二为所述目标车辆的驾驶员的手的roi区域信息；确定单元，用于根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

可选地，所述视频流包括以下至少之一：深度视频流，红外线ir视频流，rgb视频流。

可选地，所述检测单元，用于对所述视频流中的图像进行检测，得到所述目标车辆的方向盘位置和所述驾驶员的手部位置，以得到所述检测结果。

可选地，所述获取单元包括：关联状态获取模块，用于使用预先训练的分类模型将所述方向盘位置和所述驾驶员的手部位置的位置关系分为不同的类别，其中，所述类别包括：所述手部位置在所述方向盘位置上，所述手部位置不在所述方向盘位置上。

可选地，所述获取单元包括：关联状态获取模块，用于比较所述方向盘位置与所述驾驶员的手部位置在所述二维平面的重合率和第一阈值，以确定所述roi区域信息一在二维平面中与所述roi区域信息二的集合状态，其中，所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二是否存在交集。

可选地，所述获取单元还包括：深度状态获取模块，用于获取所述检测结果中携带的roi区域信息一与roi区域信息二的深度信息，并确定roi区域信息一与roi区域信息二的深度状态，其中，所述roi区域信息一与所述roi区域信息二的深度状态用于表示所述roi区域信息一与所述roi区域信息二的深度范围是否一致。

可选地，所述深度状态获取模块还用于根据所述roi区域信息一与所述roi区域信息二的深度信息，用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域，以确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

可选地，所述深度状态获取模块包括：建模子模块，用于对所述方向盘位置的深度进行建模，得到所述方向盘位置的深度模型；获取子模块，用于获取所述手部位置的实际深度和所述手部位置在所述深度模型中的理论深度；确定子模块，用于根据所述手部位置的实际深度和理论深度，确定所述方向盘位置和所述手部位置的深度状态。

可选地，所述检测单元包括：方向盘位置检测模块，用于确定所述目标车辆的方向盘的初始位置，根据所述视频流中的图像在所述初始位置内检测，得到所述目标车辆的方向盘位置。

可选地，所述检测单元包括：手部位置检测模块，用于通过定位模型，获取与所述视频流中的图像对应的所述驾驶员的手部位置，其中，所述定位模型为使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据均包括：视频流中的图像和所述视频流中的图像对应的驾驶员的手部位置。

可选地，所述检测单元还包括：手臂位置检测模块，用于对所述视频流中的图像进行检测，定位得到所述驾驶员的手臂位置；手部位置修正模块，用于根据所述手臂位置对基于所述定位模型得到的手部位置进行修正，得到所述手部位置。

可选地，所述确定单元包括：第一确定子单元，用于当所述手部位置在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态；第二确定子单元，用于当所述手部位置不在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

可选地，所述确定单元还包括：第三确定子单元，用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集的情况下，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态；第四确定子单元，用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态；第五确定子单元，用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态。

可选地，所述确定单元还包括：第六确定子单元，用于当所述手部位置在所述方向盘位置上时，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态；第七确定子单元，用于当所述手部位置在所述方向盘位置上时，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态；第八确定子单元，用于当所述手部位置不在所述方向盘位置上时，确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

可选地，所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括以下之一：双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态。

可选地，所述获取单元在获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前，检测手的数量；在所述检测结果为所述手的数量为两个时，获取所述方向盘位置与所述驾驶员的每只手的手部位置在所述二维平面的关联状态。

根据本发明实施例的另外一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的手握方向盘状态的检测方法。

根据本发明实施例的另外一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的手握方向盘状态的检测方法。

在本发明实施例中，采用对从目标车辆中采集的视频流进行检测，得到检测结果；并获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；以及根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态的方式对驾驶员手握方向盘状态进行检测，实现了根据图像分析得到的驾驶员的手的roi区域信息一与方向盘的roi区域信息二确定驾驶员的手与目标车辆的方向盘的状态的目的，达到了提高在对驾驶员的手与方向盘的状态进行检测的精确度的技术效果，进而解决了相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的手握方向盘状态的检测方法的流程图；

图2是根据本发明实施例的可选的手握方向盘状态的检测方法的流程图；

图3是根据本发明实施例的手握方向盘状态的检测方法的优选的流程图；

图4是根据本发明实施例的手握方向盘状态的检测装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着先进驾驶辅助系统(advanceddriverassistancesystem，简称adas)的发展，驾驶人员在很多时候都可以依赖其进行操作，但是如果过于信赖adas系统，就比较容易出现滥用该系统的风险，例如，在低速和倒车或停车的情况下，可以通过自主的转向系统来控制车辆，手脱离方向盘是可以接受的。但是在高速路段，adas只能以辅助为主，需要驾驶人员集中注意力在驾驶车辆上，此时就不可出现双手脱离方向盘的情况。因此，adas系统需要加入驾驶员方向盘脱手检测，在不同情境下给出合适的辅助。

传统的方向盘脱手检测利用硬件进行检测。具体地，利用硬件进行检测是直接使用电容传感器来检测驾驶员对方向盘的握紧程度。其优点在于，传感器与驾驶员直接接触，得到的结果准确、反应灵敏，然而往往会导致脱手检测系统的成本较高。

实施例1

根据本发明实施例，提供了一种手握方向盘状态的检测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的手握方向盘状态的检测方法的流程图，如图1所示，该手握方向盘状态的检测方法包括如下步骤：

步骤s102，对从目标车辆中采集的视频流进行检测，得到检测结果。

其中，上述视频流可以包括以下至少之一：深度视频流，红外线ir视频流，rgb视频流。其中，ir是红外线infraredradiation的简称，是一种无线通讯方式，可以进行无线数据的传输。由于车内(例如，驾驶室)的光线通常会跟随行车环境而变化，在天气晴好的白天，车内(例如，驾驶室)的光线较为明亮，在夜晚或者阴天以及隧道内，车内(例如，驾驶室)的光线则较暗，而红外摄像头受光照变化影响小，具有全天候工作的能力，因此可以选择红外摄像头(包括近红外摄像头等)获取质量优于普通摄像头的红外线ir视频流，从而提高检测结果的准确度。

另外，在本发明实施例中对于用于采集视频流的采集设备的安装位置也不做具体限定，只要可以采集到上述视频流即可。对于采集视角可以在目标车辆的顶端向下的视角、第一人视角、第三人视角。上述采集设备可以为道路监控设备，例如，道路关卡处的监控设备等。

另外，对从目标车辆中采集的视频流进行检测，得到检测结果可以包括：对视频流中的图像进行检测，得到目标车辆的方向盘位置和驾驶员的手部位置，以得到检测结果。

作为一种可选的实施例，对视频流中的图像进行检测，得到目标车辆的方向盘位置可以包括：确定目标车辆的方向盘的初始位置，根据视频流中的图像在初始位置内检测，得到目标车辆的方向盘位置。

另外一个方面，对视频流中的图像进行检测，得到驾驶员的手部位置可以包括：通过定位模型，获取与视频流中的图像对应的驾驶员的手部位置，其中，定位模型为使用多组训练数据训练得到的，多组训练数据中的每组训练数据均包括：视频流中的图像和视频流中的图像对应的驾驶员的手部位置。

步骤s104，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面上的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息。

即，上述检测结果中还携带有目标车辆的方向盘的roi区域信息和目标车辆的驾驶员的手的roi区域信息。

在一个实施例中，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面上的关联状态的一种方法可以为：使用预先训练的分类模型将方向盘位置和驾驶员的手部位置的位置关系分为不同类别，其中，类别包括：手部位置在方向盘位置上，手部位置不在方向盘位置上。具体地，手部位置不在方向盘位置上可以包括手部位置在所述方向盘下方或相邻的位置。

在另外一个可选的实施例中，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面上的关联状态可以包括：比较方向盘位置与驾驶员的手部位置在二维平面的重合率和第一阈值，以确定roi区域信息一在二维平面中与roi区域信息二的集合状态，其中，集合状态用于表示roi区域信息一在二维平面中与roi区域信息二是否存在交集。

例如，可以将方向盘位置与驾驶员的手部位置在二维平面的重合率与第一阈值进行比较，在比较结果为方向盘位置与驾驶员的手部位置在二维平面的重合率大于第一阈值的情况下，确定手部位置在方向盘位置上；在比较结果为方向盘位置与驾驶员的手部位置在二维平面的重合率不大于第一阈值的情况下，确定手部位置不在方向盘位置上，从而确定驾驶员的手与目标车辆的方向盘之间的位置关系。

步骤s106，根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

具体地，根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态可以包括：当手部位置在方向盘位置上时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态；当手部位置不在方向盘位置上时，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态。

通过上述步骤，可以对从目标车辆中采集的视频流进行检测，得到检测结果；然后获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；并根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。在该实施例中，可以对目标车辆的视频流进行检测得到检测结果，再确定roi区域信息一与roi区域信息二在二维平面上的关联状态，基于此关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态，实现了根据图像分析得到的驾驶员的手的roi区域信息一与方向盘的roi区域信息二，确定驾驶员的手与目标车辆的方向盘的状态的目的，达到了提高在对驾驶员的手与方向盘的状态进行检测的精确度的技术效果，进而解决了相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。但这种方式实际上只能判断出驾驶员手部与方向盘在视觉上是否重叠，以确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态还是脱离状态。如果驾驶员虚握方向盘，即，手在方向盘正上方做出握方向盘的动作，实际上并未接触到方向盘，就无法正确判断驾驶员已经有方向盘脱手的行为。为了进一步提高对驾驶员的手握方向盘状态的检测精确度，本发明实施例中通过使用深度视频流中驾驶员的手与目标车辆的方向盘的深度信息判断两者的深度范围是否一致，以确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态、虚握状态还是脱离状态。下面结合以下实施例进行详细说明。

实施例2

根据本发明实施例，提供了一种手握方向盘状态的检测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的可选的手握方向盘状态的检测方法的流程图，如图2所示，该手握方向盘状态的检测方法包括如下步骤：

步骤s202，对从目标车辆中采集的视频流进行检测，得到检测结果。

可选地，视频流包括以下至少之一：深度视频流，红外线ir视频流，rgb视频流。由于仅仅是单一使用rgb视频流或红外线ir视频流或rgb视频流与红外线ir视频流的组合，无法判断驾驶员的手与方向盘的深度位置，检测不出虚握的情况。另外，在夜间行车时，只使用rgb视频流则可能影响判断驾驶员的手与方向盘的状态。因此，在本发明实施例中，为了使得检测结果更加全面、适应性更好，视频流中可以包括多种类型，但是每种类型中均包括深度视频流。

另外，在本发明实施例中对视频流的采集设备不做具体限定，只要可以采集深度视频流即可；对于采集设备的安装位置也不做具体限定，只要可以采集到上述视频流即可。对于采集视角可以在目标车辆的顶端向下的视角、第一人视角、第三人视角。上述采集设备可以为道路监控设备，例如，道路关卡处的监控设备等。

在步骤s202中，对从目标车辆中采集的视频流进行检测，得到检测结果可以包括：对视频流中的图像进行检测，得到目标车辆的方向盘位置和驾驶员的手部位置，以得到检测结果。

步骤s204，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息。

其中，这里的roi区域为感兴趣区域(regionofinterest，简称roi)，在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。该roi区域在图像分析时可以作为图像分析的重点区域。这里的roi区域信息是二维平面内的坐标位置。

作为一种可选的实施例，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态可以包括：使用预先训练的分类模型将方向盘位置和驾驶员的手部位置的位置关系分为不同的类别，其中，类别包括：手部位置在方向盘位置上，手部位置不在方向盘位置上。

作为另一种可选的实施例，获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态可以包括：比较方向盘位置与驾驶员的手部位置在二维平面的重合率和第一阈值，以确定roi区域信息一在二维平面中与roi区域信息二的集合状态，其中，集合状态用于表示roi区域信息一在二维平面中与roi区域信息二是否存在交集。

例如，可以将方向盘位置与驾驶员的手部位置在二维平面的重合率与第一阈值进行比较，在比较结果为方向盘位置与驾驶员的手部位置在二维平面的重合率大于第一阈值的情况下，确定手部位置在方向盘位置上；在比较结果为方向盘位置与驾驶员的手部位置在二维平面的重合率不大于第一阈值的情况下，确定手部位置不在方向盘位置上，从而确定驾驶员的手与目标车辆的方向盘之间的位置关系。

步骤s206，获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息，确定roi区域信息一与roi区域信息二的深度状态。

可选地，roi区域信息一与roi区域信息二的深度状态包括：roi区域信息一与roi区域信息二的深度范围是否一致。

在一个实施例中，获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息，确定roi区域信息一与roi区域信息二的深度状态可以包括：对方向盘位置(roi区域信息一)的深度进行建模，得到方向盘位置(roi区域信息一)的深度模型；获取手部位置(roi区域信息二)的实际深度和手部位置(roi区域信息二)在深度模型中的理论深度；根据手部位置(roi区域信息二)的实际深度和理论深度，确定方向盘位置(roi区域信息一)和手部位置(roi区域信息二)的深度状态。其中，获取手部位置(roi区域信息二)的理论深度可以是将手部位置(roi区域信息二)的实际深度输入方向盘位置(roi区域信息一)的深度模型后，基于深度模型的输出得到的，方向盘位置的深度模型是使用多组训练数据通过机器学习训练得到的。

在一个实施例中，根据手部位置的实际深度和理论深度，确定方向盘位置和手部位置的深度状态可以包括：将手部位置的实际深度与手部位置在深度模型中的理论深度与第二阈值进行比较，以确定方向盘位置和手部位置的深度状态。具体地，当手部位置的实际深度与手部位置在深度模型中的理论深度大于第二阈值时，确定手部位置与方向盘位置不一致，即，roi区域信息一与roi区域信息二的深度范围不一致；当手部位置的实际深度与手部位置在深度模型中的理论深度不大于第二阈值时，确定手部位置与方向盘位置一致，即，roi区域信息一与roi区域信息二的深度范围一致。

步骤s208，根据关联状态和深度状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

作为一种可选的实施例，根据关联状态和深度状态确定驾驶员的手与目标车辆的方向盘之间的当前状态可以包括：当手部位置在方向盘位置上时，并且深度状态表示手部位置与方向盘位置不一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为虚握状态；当手部位置在方向盘位置上时，并且深度状态表示手部位置与方向盘位置一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态；当手部位置不在方向盘位置上时，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态。

作为另一种可选的实施例，根据关联状态和深度状态确定驾驶员的手与目标车辆的方向盘之间的当前状态还可以包括：在集合状态表示roi区域信息一在二维平面中与roi区域信息二不存在交集的情况下，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态；在集合状态表示roi区域信息一在二维平面中与roi区域信息二存在交集的情况下，并且深度状态表示手部位置与方向盘位置不一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为虚握状态；在集合状态表示roi区域信息一在二维平面中与roi区域信息二存在交集的情况下，并且深度状态表示手部位置与方向盘位置一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态。

通过上述步骤，可以对从目标车辆中采集的视频流进行检测，得到检测结果；然后获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息，确定roi区域信息一与roi区域信息二的深度状态；根据关联状态和深度状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。在该实施例中，可以对目标车辆的视频流进行检测得到检测结果，再确定roi区域信息一与roi区域信息二在二维平面的关联状态和深度状态，基于此关联状态和深度状态确定驾驶员的手与目标车辆的方向盘之间的当前状态，实现了根据图像分析得到的驾驶员的手的roi区域信息一与方向盘的roi区域信息二确定驾驶员的手与目标车辆的方向盘的状态的目的，不仅可以确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态还是脱离状态，还可以进一步判断出虚握状态，达到了提高在对驾驶员的手与方向盘的状态进行检测的精确度的技术效果，进而解决了相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。

另外，为了提高对驾驶员的手与方向盘的状态进行检测的精确度，作为一种可选的实施例，还可以根据roi区域信息一与roi区域信息二的深度信息，用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域，若判断结果是手部位置的区域生长图与方向盘位置的区域生长图无法融合为一个连通区域，说明手部位置与方向盘位置的深度范围不一致，确定驾驶员的手与目标车辆的方向盘的当前状态为虚握状态。

作为另一种可选的实施例，还可以对视频流中的图像进行检测，定位得到驾驶员的手臂位置；根据手臂位置对基于定位模型得到的手部位置进行修正，得到手部位置；或者根据手臂位置和方向盘位置进一步判断确定驾驶员的手与目标车辆的方向盘的当前状态是否为虚握状态；其中，驾驶员的手臂位置由根据视频流中的图像检测得到的手臂对应的手臂沿线上的预定数量的点的三维信息表示。

为了细化检测结果，在获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前，该手握方向盘状态的检测方法还可以包括：检测手的数量；在检测到手的数量为两个时，获取方向盘位置与驾驶员的每只手的手部位置在二维平面的关联状态。

通过上述实施例可知，驾驶员的手与目标车辆的方向盘之间的当前状态可以包括以下之一：双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态，如图3中所示。

例如，图3是根据本发明实施例的手握方向盘状态的检测方法的优选的流程图，如图3所示，可以将深度视频流、深度视频流与红外线ir视频流的组合、深度视频流与rgb视频流的组合、深度视频流与红外线ir视频流以及rgb视频流的组合中的任意一种视频流输入到检测模块中，即，输入视频流可以是只有深度视频流、深度视频流和红外线ir视频流的组合、深度视频流与rgb视频流的组合、深度视频流与红外线ir视频流以及rgb视频流的组合。检测模块对接收到的视频流进行检测，其中，检测模块对视频流的检测分为以下两个方面。

一个方面，对视频流中的图像进行检测，得到目标车辆的方向盘位置可以包括：确定目标车辆的方向盘的初始位置，根据视频流中的图像在初始位置内检测，得到目标车辆的方向盘的位置一。即，对输入到检测模块的视频流中携带的连续图像进行检测，其中，对方向盘的检测可以为先根据先验知识，给出大致范围，即，得到初始位置，在该大致范围内进行检测，得到目标车辆的方向盘的位置一。如图3所示，在对方向盘进行检测之后，判断是否检测到方向盘，在判断结果为是的情况下输出方向盘的位置一；反之，返回进行重新检测。

另外一个方面，对视频流中的图像进行检测，得到驾驶员的手部位置可以包括：通过定位模型，获取与视频流中的图像对应的驾驶员的手部位置，其中，定位模型为使用多组训练数据训练得到的，多组训练数据中的每组训练数据均包括：视频流中的图像和视频流中的图像对应的驾驶员的手部位置。

其中，在检测到方向盘的情况下，将方向盘的roi区域信息一和目标车辆的驾驶员的手的roi区域信息二输出到如图3中所示的判断模块中，并启动判断模块。

具体地，该判断模块可以用于获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；并用于根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

最后，输出驾驶员的手与目标车辆的方向盘之间的当前状态。

通过本发明实施例提供的手握方向盘状态的检测方法可以利用摄像头对目标车辆进行检测，得到目标车辆的视频流，对视频流(例如，深度视频流、深度视频流与红外线ir视频流的组合、深度视频流与rgb视频流的组合、深度视频流与红外线ir视频流以及rgb视频流的组合中的一种)进行实时分析检测，通过对检测结果中方向盘与手的位置在二维平面的关联状态以及深度状态，并在一些应用中结合人肢体与手、方向盘的位置关系判断驾驶员是双手握方向盘、单手脱离方向盘、双手脱离方向盘，对于虚握的情况也可以准确判断。同时也可以在夜间使用，检测驾驶员的方向盘脱手、虚握的情况。在驾驶员的驾驶过程中，对驾驶员单手或双手脱离、虚握方向盘的行为进行监控和报警，并给出相应的修正反馈机制，对减少交通事故发生有着重要的意义。

优选的，在检测结果为双手脱离、虚握方向盘时，会生成请求指令，其中，该请求指令用于控制目标车辆启动自动驾驶功能，以防止目标车辆出现跑偏引起交通事故。

实施例3

根据本发明实施例还提供了一种手握方向盘状态的检测装置，需要说明的是，本发明实施例的手握方向盘状态的检测装置可以用于执行本发明实施例所提供的手握方向盘状态的检测方法。以下对本发明实施例提供的手握方向盘状态的检测装置进行介绍。

图4是根据本发明实施例的手握方向盘状态的检测装置的示意图，如图4所示，该手握方向盘状态的检测装置包括：检测单元41，获取单元43以及确定单元45。下面对该手握方向盘状态的检测装置进行详细说明。

检测单元41，用于对从目标车辆中采集的视频流进行检测，得到检测结果。

获取单元43，用于获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息。

确定单元45，用于根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

在该实施例中，可以利用检测单元41对从目标车辆中采集的视频流进行检测，得到检测结果；并利用获取单元43获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；以及确定单元45根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。在该实施例中，可以对目标车辆的视频流进行检测得到检测结果，再确定roi区域信息一与roi区域信息二在二维平面的关联状态，基于此关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态，实现了根据图像分析得到的驾驶员的手的roi区域信息一与方向盘的roi区域信息二确定驾驶员的手与目标车辆的方向盘的状态的目的，达到了提高对驾驶员的手与方向盘的状态进行检测的精确度的技术效果，进而解决了相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。

作为一种可选的实施例，视频流包括以下至少之一：深度视频流，红外线ir视频流，rgb视频流。

作为一种可选的实施例，检测单元41，用于对视频流中的图像进行检测，得到目标车辆的方向盘位置和驾驶员的手部位置，以得到检测结果。

作为一种可选的实施例，获取单元43包括：关联状态获取模块，用于使用预先训练的分类模型将方向盘位置和驾驶员的手部位置的位置关系分为不同的类别，其中，类别包括：手部位置在方向盘位置上，手部位置不在方向盘位置上。

作为一种可选的实施例，获取单元43包括：关联状态获取模块，用于比较方向盘位置与驾驶员的手部位置在二维平面的重合率和第一阈值，以确定roi区域信息一在二维平面中与roi区域信息二的集合状态，其中，集合状态用于表示roi区域信息一在二维平面中与roi区域信息二是否存在交集。

作为一种可选的实施例，获取单元43还包括：深度状态获取模块，用于获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息，并确定roi区域信息一与roi区域信息二的深度状态，其中roi区域信息一与roi区域信息二的深度状态用于表示roi区域信息一与roi区域信息二的深度范围是否一致。

作为一种可选的实施例，深度状态获取模块，还用于根据roi区域信息一与roi区域信息二的深度信息，用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域。

作为一种可选的实施例，深度状态获取模块包括：建模子模块，用于对方向盘位置的深度进行建模，得到方向盘位置的深度模型；获取子模块，用于获取手部位置的实际深度和手部位置在深度模型中的理论深度；确定子模块，用于根据所述手部位置的实际深度和理论深度，确定所述方向盘位置和所述手部位置的深度状态，其中，理论深度是将手部位置的实际深度输入方向盘位置的深度模型计算后输出的，深度模型是使用多组训练数据通过机器学习训练得到的。

作为一种可选的实施例，检测单元41包括：方向盘位置检测模块，用于确定目标车辆的方向盘的初始位置，根据视频流中的图像在初始位置内检测，得到目标车辆的方向盘位置。

作为一种可选的实施例，检测单元41包括：手部位置检测模块，用于通过定位模型，获取与视频流中的图像对应的驾驶员的手部位置，其中，定位模型为使用多组训练数据训练得到的，多组训练数据中的每组训练数据均包括：视频流中的图像和视频流中的图像对应的驾驶员的手部位置。

作为一种可选的实施例，检测单元41还可以包括：手臂位置检测模块，用于对视频流中的图像进行检测，定位得到驾驶员的手臂位置；手部位置修正模块，用于根据手臂位置对基于定位模型得到的手部位置进行修正，得到手部位置。

作为一种可选的实施例，确定单元45包括：第一确定子单元，用于当手部位置在方向盘位置上或集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态；第二确定子单元，用于当手部位置不在方向盘位置上或集合状态用于表示roi区域信息一在二维平面中与roi区域信息二不存在交集时，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态。

作为一种可选的实施例，确定单元45还包括：第三确定子单元，用于在集合状态表示roi区域信息一在二维平面中与roi区域信息二不存在交集的情况下，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态；第四确定子单元，用于在集合状态表示roi区域信息一在二维平面中与roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为虚握状态；第五确定子单元，用于在集合状态表示roi区域信息一在二维平面中与roi区域信息二存在交集的情况下，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态。

作为一种可选的实施例，确定单元45还包括：第六确定子单元，用于当手部位置在方向盘位置上时，并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为虚握状态；第七确定子单元，用于当手部位置在方向盘位置上时，并且所述roi区域信息一与所述roi区域信息二的深度范围一致时，确定驾驶员的手与目标车辆的方向盘的当前状态为实握状态；第八确定子单元，用于当手部位置不在方向盘位置上时，确定驾驶员的手与目标车辆的方向盘的当前状态为脱离状态。

作为一种可选的实施例，驾驶员的手与目标车辆的方向盘之间的当前状态包括以下之一：双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态。

作为一种可选的实施例，获取单元在获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前，还用于检测手的数量；在所述检测结果为所述手的数量为两个时，获取所述方向盘位置与所述驾驶员的每只手的手部位置在所述二维平面的关联状态。

上述手握方向盘状态的检测装置包括处理器和存储器，上述检测单元41，获取单元43以及确定单元45等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数根据关联状态确定驾驶员的手与目标车辆的方向盘的状态。

上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

根据本发明实施例的另外一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述中任意一项的手握方向盘状态的检测方法。

根据本发明实施例的另外一个方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的手握方向盘状态的检测方法。

在本发明实施例中还提供了一种设备，该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：对从目标车辆中采集的视频流进行检测，得到检测结果；获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

在本发明实施例中还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：对从目标车辆中采集的视频流进行检测，得到检测结果；获取检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态，其中，roi区域信息一为目标车辆的方向盘的roi区域信息，roi区域信息二为目标车辆的驾驶员的手的roi区域信息；根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个检测单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。