一种基于隔空手势识别的车机交互方法与系统与流程

本发明涉及车机隔空控制的，更具体地，涉及一种基于隔空手势识别的车机交互方法与系统。

背景技术：

1、在如今的汽车市场，屏幕越来越多，也越来越大。加上现在盛行的女王座椅、零重力座椅等场景模式，屏幕离用户越来越远。直接在屏幕上操作车机屏幕对用户来说也越来越不方便了。如何让用户隔空操作车机，是现在各大车企正在思考的问题。

2、目前的解决方案包括利用手机对车机进行控制和利用手势对车机进行控制；利用手机对车机进行控制时，通过蓝牙协议使手机和车机屏幕同步控制，并通过屏幕同显协议使手机与车机屏幕同屏显示；用户在座位上利用手机隔空控制车机屏幕，但该方案需要在手机上下载应用或关注公众号，并且需要同步更新维护手机应用和车及应用，增加了使用成本。现有的车载应用在对接车内隔空手势系统时一般需要接入隔空手势软件开发工具，接入成本高。

3、现有技术提供了一种方法，包括：获取通过摄像头检测到第一隔空手势，在所述第一隔空手势对应的预设响应操作与发起所述第一隔空手势的第一用户匹配时，响应于所述第一隔空手势，启动所述第一隔空手势对应的预设响应操作。该现有技术通过匹配响应操作和用户，提高了驾驶的安全性；但没有设置模拟对象，隔空控制不准确；并且还需要匹配隔空手势的用户和响应操作的关系，更加复杂，维护成本高。

技术实现思路

1、本发明为克服上述现有技术对车机进行隔空控制时，准确度低且成本高的缺陷，提供了基于隔空手势识别的车机交互方法与系统，能够利用车内现有硬件实现对车机准确的隔空控制，并且无需额外增加硬件结构，维护成本低。

2、为解决上述技术问题，本发明的技术方案如下：

3、本发明提供了一种基于隔空手势识别的车机交互方法，包括：

4、建立手势类型与预设模拟对象、预设操作指令的映射关系；

5、获取用户的当前隔空手势，并识别当前隔空手势类型；

6、从所述映射关系中，查找与所述当前隔空手势类型相同的手势类型；

7、将查找到的手势类型输入车机系统，以使所述车机系统创建对应的预设模拟对象，并在所述预设模拟对象下执行对应的预设操作指令。

8、优选地，所述手势类型包括放大手势、缩小手势、单指弯曲手势、单指伸直手势、单指滑动手势、双指左滑手势、双指右滑手势、双指上滑手势或双指下滑手势中的至少一种手势。

9、优选地，所述预设模拟对象包括模拟鼠标和模拟触摸板。

10、优选地，所述预设操作指令包括当前界面放大、当前界面缩小、当前界面内按压、当前界面内释放、当前界面内移动、当前界面左滑、当前界面右滑、当前界面上滑和当前界面下滑。

11、优选地，所述设置手势类型与预设模拟对象、预设操作指令的映射关系的具体方法包括：

12、当手势类型为放大手势、缩小手势、双指左滑手势、双指右滑手势、双指上滑手势或双指下滑手势时，对应设置的预设模拟对象均为模拟触摸板；当手势类型为放大手势时，对应的预设操作指令为当前界面放大；当手势类型为缩小手势时，对应的预设操作指令为当前界面缩小；当手势类型为双指左滑手势时，对应的预设操作指令为当前界面左滑；当手势类型为双指右滑手势时，对应的预设操作指令为当前界面右滑；当手势类型为双指上滑手势时，对应的预设操作指令为当前界面上滑；当手势类型为双指下滑手势时，对应的预设操作指令为当前界面下滑；

13、当手势类型为单指弯曲手势、单指伸直手势或单指滑动手势时，对应的预设模拟对象均为模拟鼠标；当手势类型为单指弯曲手势时，对应的预设操作指令为当前界面内按压；当手势类型为单指伸直手势时，对应的预设操作指令为当前界面内释放；当手势类型为单指滑动手势时，对应的预设操作指令为当前界面内移动。

14、优选地，利用车内摄像头获取用户的当前隔空手势。

15、优选地，所述获取用户的当前隔空手势，并识别当前隔空手势类型的具体方法为：

16、采集包含用户当前隔空手势的视频流或图像帧；若采集的为视频流，则将所述视频流分解为图像帧；

17、对每个所述图像帧进行目标检测，定位用户的手部位置，获得手部图像；

18、对所述手部图像进行图像分割，获得手部区域像素图像；

19、对所述手部图像或手部区域像素图像进行特征提取，获得手势特征参数，包括手指位置、手指间夹角、竖直状态的手指数量和手指弯曲度中的一种或多种；

20、对连续的图像帧进行对象追踪，获得手部位置移动轨迹；

21、从所述手部位置移动轨迹检测手指的移动，获得手指移动轨迹；

22、将所述手势特征参数和所述手指移动轨迹输入训练好的手势识别模型中，获得当前隔空手势类型。

23、优选地，利用目标检测算法或手部检测器对每个所述图像帧进行目标检测，定位用户的手部位置，获得手部图像；所述目标检测算法包括yolo系列算法、ssd算法和fasterr-cnn算法中的任意一种或多种。

24、优选地，利用图像分割法对所述手部图像进行图像分割，获得手部区域像素图像；所述图像分割法包括语义分割法和实例分割法中的一种或多种。

25、优选地，利用对象追踪算法对连续的图像帧进行对象追踪，获得手部位置移动轨迹；所述对象追踪算法包括卡尔曼滤波法和光流法中的一种或多种；

26、利用运动目标检测算法从所述手部位置移动轨迹检测手指的移动，获得手指移动轨迹；所述运动目标检测算法包括帧间差分法和光流法中的一种或多种。

27、优选地，所述训练好的手势识别模型包括基于卷积神经网络的手势识别模型和基于支持向量机的手势识别模型中的一种或多种。

28、本发明还提供了一种基于隔空手势识别的车机交互系统，用于实现上述的车机交互方法，包括：

29、映射关系建立模块，用于建立手势类型与预设模拟对象、预设操作指令的映射关系；

30、隔空手势识别模块，用于获取用户的当前隔空手势，并识别当前隔空手势类型；

31、手势查找模块，用于从所述映射关系中，查找与所述当前隔空手势类型相同的手势类型；

32、手势输入模块，用于将查找到的手势类型输入车机系统，以使所述车机系统创建对应的预设模拟对象，并在所述预设模拟对象下执行对应的预设操作指令。

33、与现有技术相比，本发明技术方案的有益效果是：

34、本发明利用车内现有的拍摄设备即可获取用户的当前隔空手势，利用现有的识别方法获得当前隔空手势类型，在建立的手势类型与预设模拟对象、预设操作指令的映射关系进行查找，获得与当前隔空手势类型相同的手势类型；将查找到的手势类型输入车机系统，车机系统根据映射关系创建对应的预设模拟对象，并执行对应的预设操作指令；现有技术在隔空手势匹配后，直接执行预设响应操作，用户无法得知隔空手势是否匹配，以及匹配到的隔空手势在车机屏幕上的起始位置和移动轨迹，无法隔空手势控制的准确性；而本发明在创建出预设模拟对象时，表示已成功识别当前隔空手势，预设模拟对象执行对应的预设操作指令，同步显示出模拟当前隔空手势在车机系统中的位置，供用户调整当前隔空手势，保证了隔空控制的准确性；并且本发明无需额外增加硬件结构，仅需维护维护车机系统，维护成本低。