一种手指与车机无接触即可完成按键和功能触发的方法与流程

1.本发明涉及图像识别技术领域，尤其是一种手指与车机无接触即可完成按键和功能触发的方法。


背景技术：

2.现处于疫情时期，需要做好自身安全防护，公共场合内如乘坐电梯时需要按下到达楼层，难免与他人共同接触控制面板，这种接触式传播，仍是当前亟待解决的痛点。
3.现有技术提出一种免接触智能交互的安全防疫电梯，包含语音识别交互系统、手势识别交互系统进行交互触发功能，但市面上的方案只是简单提供了如何能在不接触情况下完成一次功能的触发，可以通过语音控制，但当发出语音指令的人出现方言、口齿不清等问题时，语音识别系统则很难清楚识别目标楼层。


技术实现要素：

4.本发明的目的是通过提出一种手指与车机无接触即可完成按键和功能触发的方法，以解决上述背景技术中提出的缺陷。
5.本发明采用的技术方案如下：提供一种手指与车机无接触即可完成按键和功能触发的方法，包括如下步骤：步骤s1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；步骤s1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；步骤s1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；步骤s1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理。
6.作为本发明的一种优选技术方案：所述步骤s1.1中，深感摄像头的捕捉起始点为屏幕左上角或屏幕左下角。
7.作为本发明的一种优选技术方案：所述步骤s1.3中，坐标变换算法具体包括二维平面坐标系的坐标与三维世界坐标系的坐标之间的转换，其中，二维平面坐标系的平面与三维世界坐标系的xoy平面相重合，设定三维世界坐标点，其中，x、y、z分别为点q在三维世界坐标系x轴、y轴、z轴上的位置，为根据q点坐标转换的转置矩阵，二维平面坐标点为，其中，分别为点q在二维平面坐标系x轴、y轴上的位置，为根据q点坐标转换的转置矩阵，三维世界坐标点与二维平面坐标点q的映射关系满足：其中，s为坐标系变换尺度因子；、分别为二维平面坐标点q、三维世界平面坐
标点q的增广矩阵；p为深感摄像头内参矩阵，构成内参矩阵，为旋转矩阵，为平移矩阵，深感摄像头内参矩阵p满足：其中，为光心坐标；、为焦距与像素横纵比的融合。
8.作为本发明的一种优选技术方案：所述两深感摄像头标定的过程中存在畸变，包括径向畸变和切向畸变，设定点为深感摄像头获取的点，为点经去畸变、矫正后得到的点，其关系为：其中，确定径向畸变，确定切向畸变。
9.作为本发明的一种优选技术方案：所述步骤s1.3中的空间测距法，根据车机内两深感摄像头的成像视差来确定指尖到深感摄像头的距离：其中，为成像平面最左侧点的横坐标，为成像平面最右侧点的横坐标，s为两深感摄像头成像视差；根据：得到：其中，为基线距离，为指尖到深感摄像头的距离，为深感摄像头焦距。
10.作为本发明的一种优选技术方案：所述两深感摄像头成像视差s通过图像的局部立体匹配算法得到：
其中，为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴坐标，表示匹配窗口灰度均值，a为匹配区域，m为窗口偏移量。
11.作为本发明的一种优选技术方案：对所述局部立体匹配算法进行训练，通过ap检测窗口检测优劣：其中，ap为检测平均精确率，为样本训练预测精确率，通过检测ap和的值调整局部立体匹配算法的窗口大小。
12.作为本发明的一种优选技术方案：所述步骤s1.4中指尖悬停后靠近车机屏幕时，深感摄像头捕捉指尖悬停位置，服务器根据摄像头坐标与车机屏幕坐标的位置转换关系，识别检测指尖触发区域对应的按钮功能，并呈现按钮对应功能。
13.作为本发明的一种优选技术方案：所述摄像头坐标与车机屏幕坐标的位置转换关系如下：其中，为表示坐标点在车机屏幕坐标系的位置，h表示摄像头坐标系到车机屏幕坐标系的旋转矩阵，q表示坐标点在摄像头坐标系的位置，g表示平移矩阵；设定阈值，当满足：认为车机屏幕按钮与摄像头坐标系上的点相对应。
14.作为本发明的一种优选技术方案：所述步骤s1.4中服务器设定指尖悬停位置与屏幕距离阈值，当判断指尖悬停位置大于设定阈值时，展示按钮动态特性；当判断指尖悬停位置小于设定阈值时，触发指尖悬停区域按钮功能。
15.本发明提供的手指与车机无接触即可完成按键和功能触发的方法，与现有技术相比，其有益效果有：本发明通过利用深感摄像头的坐标变换算法以及空间测距法实现无接触的情况下进行按键的点击和触发对应的功能，在车机中可以通过深感摄像头捕捉定位，与车机屏幕坐标相结合，再根据指尖与深感摄像头的距离判断是否进行点击，以达到完成本次触发。
实现了人员无接触操控，避免了病毒的接触式传播。
附图说明
16.图1为本发明优选实施例的方法流程图；图2为本发明优选实施例中方法流程框图。
具体实施方式
17.需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参照图1-图2，本发明优选实施例提供了一种手指与车机无接触即可完成按键和功能触发的方法，包括如下步骤：步骤s1.1：深感摄像头捕捉屏幕上方的指尖悬停信息；步骤s1.2：当深感摄像头采集到指尖悬停信息时，将数据回传给服务器；步骤s1.3：服务器根据坐标变换算法以及空间测距法确认指尖悬停位置；步骤s1.4：指尖悬停后靠近车机屏幕，服务器根据指尖悬停位置进行判断及处理。
19.步骤s1.1中，深感摄像头的捕捉起始点为屏幕左上角或屏幕左下角。
20.对步骤s1.3中，坐标变换算法具体包括二维平面坐标系的坐标与三维世界坐标系的坐标之间的转换，其中，二维平面坐标系的平面与三维世界坐标系的xoy平面相重合，设定三维世界坐标点，其中，x、y、z分别为点q在三维世界坐标系x轴、y轴、z轴上的位置，为根据q点坐标转换的转置矩阵，二维平面坐标点为，其中，u、v分别为点q在二维平面坐标系x轴、y轴上的位置，为根据q点坐标转换的转置矩阵，三维世界坐标点q与二维平面坐标点q的映射关系满足：其中，s为坐标系变换尺度因子；分别为二维平面坐标点q、三维世界坐标点q的增广矩阵；p为深感摄像头内参矩阵，构成内参矩阵，r为旋转矩阵，m为平移矩阵，内深感摄像头参矩阵p满足：两深感摄像头标定的过程中存在畸变，包括径向畸变和切向畸变，设定点为深感摄像头获取的点，为点经去畸变、矫正后
得到的点，其关系为：其中，确定径向畸变，确定切向畸变。
21.步骤s1.3中的空间测距法，根据车机内两深感摄像头的成像视差来确定指尖到深感摄像头的距离：其中，为成像平面最左侧点的横坐标，为成像平面最右侧点的横坐标，s为两深感摄像头成像视差；根据：得到：其中，d为基线距离，l为指尖到摄像头的距离，f为深感摄像头焦距。
22.两深感摄像头成像视差s通过图像的局部立体匹配算法得到：其中，为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴坐标，表示匹配窗口灰度均值，a为匹配区域，m为窗口偏移量。
23.对局部立体匹配算法进行训练，通过ap检测窗口检测优劣：
其中，ap为检测平均精确率，为样本训练预测精确率，通过检测ap和的值调整局部立体匹配算法的窗口大小。
24.步骤s1.4中指尖悬停后靠近车机屏幕时，深感摄像头捕捉指尖悬停位置，服务器根据摄像头坐标与车机屏幕坐标的位置转换关系，识别检测指尖触发区域对应的按钮功能，并呈现按钮对应功能。
25.摄像头坐标系与车机屏幕坐标系之间满足：其中，为表示坐标点在车机屏幕坐标系的位置，h表示摄像头坐标系到车机屏幕坐标系的旋转矩阵，g表示平移矩阵；设定阈值，当满足：认为车机屏幕按钮与深感摄像头坐标系上的点相对应。
26.步骤s1.4中服务器根据指尖悬停位置进行判断及处理，服务器设定指尖悬停位置与屏幕距离阈值，当判断指尖悬停位置大于设定阈值时，展示按钮动态特性；当判断指尖悬停位置小于设定阈值时，触发指尖悬停区域按钮功能。
27.本实施例中，将屏幕的按钮按照从起始点，即屏幕左上角或左下角，开始记录坐标值，按钮所在坐标即为触控区，二维平面坐标系的坐标与三维世界坐标系的坐标之间的转换，其中，二维平面坐标系的平面与三维世界坐标系的xoy平面相重合，设定三维世界坐标点，其中，x、y、z分别为点q在三维世界坐标系x轴、y轴、z轴上的位置，为根据q点坐标转换的转置矩阵，二维平面坐标点为，其中，u、v分别为点q在二维平面坐标系x轴、y轴上的位置，为根据q点坐标转换的转置矩阵，其映射关系满足：其中，s为坐标系变换尺度因子；分别为二维平面坐标点q、三维世界坐标点q的增广矩阵；p为深感摄像头内参矩阵，构成内参矩阵，r为旋转矩阵，m为平
移矩阵，深感摄像头内参矩阵p满足：其中，为光心坐标；为焦距与像素横纵比的融合。
28.通过二维、三维坐标系之间的转换对深感摄像头进行标定，并通过对深感摄像头的径向畸变和切向畸变的分析对图片进行矫正：设定点为深感摄像头获取的点，为点经去畸变、矫正后得到的点，其关系为：其中，为径向畸变系数，为切向畸变系数。
29.通过深感摄像头捕捉指尖悬停对应屏幕的坐标和指尖到深感摄像头的距离发送给车机进行分析；通过摄像头坐标系与车机屏幕坐标系之间的变换关系：所述摄像头坐标系与车机屏幕坐标系之间满足：其中，为表示坐标点在车机屏幕坐标系的位置，h表示摄像头坐标系到车机屏幕坐标系的旋转矩阵，g表示平移矩阵；设定阈值，当满足：认为车机屏幕按钮与摄像头坐标系上的点相对应。
30.可以对车机屏幕及深感摄像头之间的坐标位置进行对应，同时也可以通过变换关系调整车机屏幕与深感摄像头的位置，使得对指尖的识别更加准确。
31.通过空间测距法对指尖与屏幕指尖的距离进行测定：步骤s1.3中的空间测距法中，根据车机内两深感摄像头的成像视差来确定指尖到摄像头的距离l：其中，为成像平面最左侧点的横坐标，为成像平面最右侧点的横坐标，s为两深感摄像头成像视差；根据：
得到：其中，d为基线距离，l为指尖到摄像头的距离，f为深感摄像头焦距。
32.通过局部立体匹配算法对两深感摄像头的视差进行匹配计算：两深感摄像头成像视差s通过图像的局部立体匹配算法得到：其中，为匹配代价函数，x，y为摄像头坐标系上任一点对应的x轴y轴坐标，表示匹配窗口灰度均值，a为匹配区域，m为窗口偏移量。
33.对局部立体匹配算法进行训练，通过ap检测窗口检测优劣：其中，ap为检测平均精确率，为样本训练预测精确率，通过检测ap和的值调整局部立体匹配算法的窗口大小。
34.并可以根据ap检测窗口的优劣结果来调整匹配窗口的大小，以达到更好的匹配效果，使得测量的结果更加准确。
35.车机获取到坐标后可处理相应按钮进行动效展示状态的改变；当检测指尖与深感摄像头的垂直距离大于设定阈值后，车机可处理该坐标对应按钮的触发操作。
36.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
37.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。