手握方向盘状态的检测方法及装置与流程

文档序号:22471722发布日期:2020-10-09 22:04阅读:来源:国知局

技术特征:

1.一种手握方向盘状态的检测方法,其特征在于,包括:

对从目标车辆中采集的视频流进行检测,得到检测结果;

获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态,其中,所述roi区域信息一为所述目标车辆的方向盘的roi区域信息,所述roi区域信息二为所述目标车辆的驾驶员的手的roi区域信息;

根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

2.根据权利要求1所述的方法,其特征在于,所述视频流包括以下至少之一:深度视频流,红外线ir视频流,rgb视频流。

3.根据权利要求1所述的方法,其特征在于,对从目标车辆中采集的视频流进行检测,得到检测结果包括:对所述视频流中的图像进行检测,得到所述目标车辆的方向盘位置和所述驾驶员的手部位置,以得到所述检测结果。

4.根据权利要求1所述的方法,其特征在于,获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态包括:使用预先训练的分类模型将所述方向盘位置和所述驾驶员的手部位置的位置关系分为不同的类别,其中,所述类别包括:所述手部位置在所述方向盘位置上,所述手部位置不在所述方向盘位置上。

5.根据权利要求1所述的方法,其特征在于,获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态包括:比较所述方向盘位置与所述驾驶员的手部位置在所述二维平面的重合率和第一阈值,以确定所述roi区域信息一在二维平面中与所述roi区域信息二的集合状态,其中,所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二是否存在交集。

6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:获取所述检测结果中携带的所述roi区域信息一与所述roi区域信息二的深度信息,并确定所述roi区域信息一与所述roi区域信息二的深度状态,其中,所述roi区域信息一与所述roi区域信息二的深度状态用于表示所述roi区域信息一与所述roi区域信息二的深度范围是否一致。

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:根据所述roi区域信息一与所述roi区域信息二的深度信息,利用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域,以确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

8.根据权利要求6所述的方法,其特征在于,获取检测结果中携带的roi区域信息一与roi区域信息二的深度信息,确定所述roi区域信息一与所述roi区域信息二的深度状态包括:

对所述方向盘位置的深度进行建模,得到所述方向盘位置的深度模型;

获取所述手部位置的实际深度和所述手部位置在所述深度模型中的理论深度;

根据所述手部位置的实际深度和理论深度,确定所述方向盘位置和所述手部位置的深度状态。

9.根据权利要求3所述的方法,其特征在于,对所述视频流中的图像进行检测,得到所述目标车辆的方向盘位置包括:

确定所述目标车辆的方向盘的初始位置,根据所述视频流中的图像在所述初始位置内检测,得到所述目标车辆的方向盘位置。

10.根据权利要求3所述的方法,其特征在于,对所述视频流中的图像进行检测,得到所述驾驶员的手部位置包括:

通过定位模型,获取与所述视频流中的图像对应的所述驾驶员的手部位置,其中,所述定位模型为使用多组训练数据训练得到的,所述多组训练数据中的每组训练数据均包括:视频流中的图像和所述视频流中的图像对应的驾驶员的手部位置。

11.根据权利要求10所述的方法,其特征在于,对所述视频流中的图像进行检测,得到所述驾驶员的手部位置还包括:

对所述视频流中的图像进行检测,定位得到所述驾驶员的手臂位置;

根据所述手臂位置对基于所述定位模型得到的手部位置进行修正,得到所述手部位置。

12.根据权利要求11所述的方法,其特征在于,所述驾驶员的手臂位置由根据所述视频流中的图像检测得到的手臂对应的手臂沿线上的预定数量的点的三维信息表示。

13.根据权利要求4或5所述的方法,其特征在于,根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括:

当所述手部位置在所述方向盘位置上或所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态;

当所述手部位置不在所述方向盘位置上或所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

14.根据权利要求6所述的方法,其特征在于,所述方法包括:根据所述关联状态和所述深度状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

15.根据权利要求14所述的方法,其特征在于,根据所述关联状态和所述深度状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括:

在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集的情况下,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态;

在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态;

在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态。

16.根据权利要求14所述的方法,其特征在于,根据所述关联状态和所述深度状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括:

当所述手部位置在所述方向盘位置上时,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态;

当所述手部位置在所述方向盘位置上时,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态;

当所述手部位置不在所述方向盘位置上时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

17.根据权利要求1所述的方法,其特征在于,所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括以下之一:双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态。

18.根据权利要求1所述的方法,其特征在于,在获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前,还包括:

检测手的数量;

在检测到所述手的数量为两个时,获取所述方向盘位置与所述驾驶员的每只手的手部位置在所述二维平面的关联状态。

19.一种手握方向盘状态的检测装置,其特征在于,包括:

检测单元,用于对从目标车辆中采集的视频流进行检测,得到检测结果;

获取单元,用于获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态,其中,所述roi区域信息一为所述目标车辆的方向盘的roi区域信息,所述roi区域信息二为所述目标车辆的驾驶员的手的roi区域信息;

确定单元,用于根据所述关联状态确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

20.根据权利要求19所述的装置,其特征在于,所述视频流包括以下至少之一:深度视频流,红外线ir视频流,rgb视频流。

21.根据权利要求19所述的装置,其特征在于,所述检测单元,用于对所述视频流中的图像进行检测,得到所述目标车辆的方向盘位置和所述驾驶员的手部位置,以得到所述检测结果。

22.根据权利要求19所述的装置,其特征在于,所述获取单元包括:关联状态获取模块,用于使用预先训练的分类模型将所述方向盘位置和所述驾驶员的手部位置的位置关系分为不同的类别,其中,所述类别包括:所述手部位置在所述方向盘位置上,所述手部位置不在所述方向盘位置上。

23.根据权利要求19所述的装置,其特征在于,所述获取单元包括:关联状态获取模块,用于比较所述方向盘位置与所述驾驶员的手部位置在所述二维平面的重合率和第一阈值,以确定所述roi区域信息一在二维平面中与所述roi区域信息二的集合状态,其中,所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二是否存在交集。

24.根据权利要求22或23所述的装置,其特征在于,所述获取单元还包括:深度状态获取模块,用于获取所述检测结果中携带的roi区域信息一与roi区域信息二的深度信息,并确定roi区域信息一与roi区域信息二的深度状态,其中,所述roi区域信息一与所述roi区域信息二的深度状态用于表示所述roi区域信息一与所述roi区域信息二的深度范围是否一致。

25.根据权利要求24所述的装置,其特征在于,所述深度状态获取模块,还用于根据所述roi区域信息一与所述roi区域信息二的深度信息,利用区域生长的方法判断手部位置与方向盘位置能否生长成为一个连通区域,以确定所述驾驶员的手与所述目标车辆的方向盘之间的当前状态。

26.根据权利要求24所述的装置,其特征在于,所述深度状态获取模块包括:

建模子模块,用于对所述方向盘位置的深度进行建模,得到所述方向盘位置的深度模型;

获取子模块,用于获取所述手部位置的实际深度和所述手部位置在所述深度模型中的理论深度;

确定子模块,用于根据所述手部位置的实际深度和理论深度,确定所述方向盘位置和所述手部位置的深度状态。

27.根据权利要求21所述的装置,其特征在于,所述检测单元包括:

方向盘位置检测模块,用于确定所述目标车辆的方向盘的初始位置,根据所述视频流中的图像在所述初始位置内检测,得到所述目标车辆的方向盘位置。

28.根据权利要求21所述的装置,其特征在于,所述检测单元包括:

手部位置检测模块,用于通过定位模型,获取与所述视频流中的图像对应的所述驾驶员的手部位置,其中,所述定位模型为使用多组训练数据训练得到的,所述多组训练数据中的每组训练数据均包括:视频流中的图像和所述视频流中的图像对应的驾驶员的手部位置。

29.根据权利要求21所述的装置,其特征在于,所述检测单元还包括:

手臂位置检测模块,用于对所述视频流中的图像进行检测,定位得到所述驾驶员的手臂位置;

手部位置修正模块,用于根据所述手臂位置对基于所述定位模型得到的手部位置进行修正,得到所述手部位置。

30.根据权利要求22或23所述的装置,其特征在于,所述确定单元包括:

第一确定子单元,用于当所述手部位置在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态;

第二确定子单元,用于当所述手部位置不在所述方向盘位置上或所述集合状态用于表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

31.根据权利要求24所述的装置,其特征在于,所述确定单元还包括:

第三确定子单元,用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二不存在交集的情况下,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态;

第四确定子单元,用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态;

第五确定子单元,用于在所述集合状态表示所述roi区域信息一在所述二维平面中与所述roi区域信息二存在交集的情况下,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态。

32.根据权利要求24所述的装置,其特征在于,所述确定单元还包括:

第六确定子单元,用于当所述手部位置在所述方向盘位置上时,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围不一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为虚握状态;

第七确定子单元,用于当所述手部位置在所述方向盘位置上时,并且所述深度状态表示所述roi区域信息一与所述roi区域信息二的深度范围一致时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为实握状态;

第八确定子单元,用于当所述手部位置不在所述方向盘位置上时,确定所述驾驶员的手与所述目标车辆的方向盘的当前状态为脱离状态。

33.根据权利要求19所述的装置,其特征在于,所述驾驶员的手与所述目标车辆的方向盘之间的当前状态包括以下之一:双手脱离方向盘、单手脱离方向盘、双手虚握状态、单手虚握状态、双手实握状态。

34.根据权利要求19所述的装置,其特征在于,所述获取单元,还用于在获取所述检测结果中携带的roi区域信息一与roi区域信息二在二维平面的关联状态之前,检测手的数量;在所述检测结果为所述手的数量为两个时,获取所述方向盘位置与所述驾驶员的每只手的手部位置在所述二维平面的关联状态。

35.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至18中任意一项所述的手握方向盘状态的检测方法。

36.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至18中任意一项所述的手握方向盘状态的检测方法。


技术总结
本发明公开了一种手握方向盘状态的检测方法及装置。其中,该方法包括:对从目标车辆中采集的视频流进行检测,得到检测结果;获取检测结果中携带的ROI区域信息一与ROI区域信息二在二维平面的关联状态,其中,ROI区域信息一为目标车辆的方向盘的ROI区域信息,ROI区域信息二为目标车辆的驾驶员的手的ROI区域信息;根据关联状态确定驾驶员的手与目标车辆的方向盘之间的当前状态。本发明解决了相关技术中无法实现对驾驶员在驾驶车辆过程中对方向盘的掌握状态进行检测的技术问题。

技术研发人员:唐晨;张志伟;张骁迪;丁春辉;王进
受保护的技术使用者:虹软科技股份有限公司
技术研发日:2019.03.28
技术公布日:2020.10.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1