监测输出单元前面的3D空间以控制输出单元的系统和方法与流程

本申请涉及一种用于监测输出单元前面的3D空间以控制所述输出单元的系统和方法。

背景技术：

如果以高速度行驶或者在颠簸的道路上行驶，那么车载触摸屏操作可能具有挑战性。与平稳环境中操作系统相比，用户的手在驾驶时不是那么稳。因此，预期的触摸位置可能与实际的触摸位置不同，这有可能导致用户沮丧。

为了最小化碰到错误位置的风险并且避免系统的错误操作，诸如在触摸屏上显示的图标或按钮的设计元件必须足够大并且在空间上分离。然而，这减少了可以布置在触摸屏上的图标或按钮的最大数量。

因此，本发明的目的是提供一种用于监测输出单元前面的3D空间以控制所述输出单元的系统和方法，其中，该系统和方法允许使用由输出单元显示的更小和距离更近的元件，同时最小化碰到错误位置的风险。

技术实现要素：

上述目的通过独立权利要求的特征来解决。

一种用于监测输出单元前面的3D空间以控制所述输出单元的系统包括：3D成像单元，连接到所述3D成像单元的处理和控制单元，以及包括显示区域并且连接到所述处理和控制单元的输出单元。3D成像单元被配置成监测输出单元的显示区域前面的交互区域。处理和控制单元被配置成预测接近输出单元的显示区域并且由3D成像单元监测的手(具体地，手的手指)将触摸显示区域的位置，并且控制输出单元基于所预测的触摸位置来修改在显示区域上显示的内容。

基于对在手或手指实际触摸显示区域之前识别手或手指将触摸显示区域的位置以及具体地何时触摸的了解，可以触发特定动作来修改(adapt)或改变屏幕内容。所述系统提高了输出单元(其具体地为车载触摸屏)的可用性，以及改进了具体地如果附近有几个图标，并且用户很有可能意外地碰到错误的图标的用户体验。因此，所述系统允许使用更小和距离更近的图标，同时保持使用更大图像和更远距离的优点，并因此最小化碰到错误位置的风险。

根据一个实施方式，输出单元被配置成在显示区域上显示多个元件(例如，图标或按钮)，其中，如果处理和控制单元预测手或手指将触摸所述元件中的至少一个元件，则突出显示和/或放大所述元件中的所述至少一个元件。此外或另选地，如果处理和控制元件预测手或手指将触摸所述元件中的至少一个元件，还可以显示或隐藏在显示区域上显示的内容。

处理和控制单元可以被配置成在从所述3D成像单元接收到的图像中识别具有暴露的食指的手。可以丢弃在从3D成像单元接收到的图像中识别出的手的所有其他配置。

在一个实施方式中，处理和控制单元被配置成定位手指的指尖和指根，以及拟合(fit)通过指尖和指根的直线。指根是手和手指之间的交叉点。此外，可以通过处理和控制单元来定位手心。手心可以被定义为手掌的质心。

然后，处理和控制单元可以计算通过所述线和3D成像单元的相机原点的平面与显示区域的相交线，其中，所预测的手指的触摸位置位于相交线上。此外或另选地，处理和控制单元可以计算通过指尖和指根的线与显示区域的交叉点。具体地，交叉点表示所预测的手指的触摸位置。

此外，处理和控制单元可以计算指尖和所预测的触摸位置之间的距离、指尖的速度和指尖将触摸到显示区域的时间。由处理和控制单元发送到输出单元以修改显示内容的控制信号可以基于交叉点和触摸显示区域的时间。

根据另一个实施方式，处理和控制单元包括表示显示区域并且包括多个单元的2D图。此外，为所述单元中的每一个单元分配数值。处理和控制单元在连续的时间步长中计算所述线与显示区域的交叉点。对于所述时间步长中的每一个，识别包括所计算的交叉点的所述单元中的一个单元。然后，递增(increment)分配给所识别单元的数值。处理和控制单元可以使用2D图来预测手指的触摸位置。

处理和控制单元可以被配置成针对所述时间步长中的每一个找到2D图中的峰值，以便识别所预测的手指的触摸位置。

根据又一个实施方式，处理和控制单元被配置成针对所述时间步长中的每一个递增分配给位于所识别的单元周围一定距离内的单元的数值，其中，所述距离取决于所计算的交叉点的不确定性。

所述系统可以集成在车辆中。输出单元可以包括人接界面(具体地，触摸屏)。

一种用于监测输出单元前面的3D空间以控制所述输出单元的方法，所述方法包括以下步骤：监测输出单元的显示区域前面的交互区域，预测接近输出单元的显示区域并且被监测的手(具体地，手的手指)将触摸显示区域的位置，以及控制输出单元基于所预测的触摸位置来修改在显示区域上显示的内容。

所述方法可以包括上面结合系统描述的相同实施方式。

附图说明

下面参照示例性比例的附图对本发明的实施方式进行详细描述，其中

图1是用于预测用户的指尖在输出单元上的触摸位置并且基于所预测的触摸位置来修改由输出单元显示的内容的系统的示意图；

图2A和图2B、图3A和图3B以及图4A至图4C例示出了由输出单元显示的内容的修改的示例；

图5是例示出了预测指尖在输出单元上的的触摸位置的过程的流程图；

图6示出了具有在图5的过程中生成的归一化手的示例性子图像；

图7示出了在图5过程中产生的手的示例性3D可视化；

图8A和图8B以及图9A和图9B例示出了距离测量的不确定性对触摸预测的结果的影响；以及

图10A和图10B示出了触摸预测似然性图的示例。

具体实施方式

现在参考图1，在一个实施方式中，一种用于监测输出单元前面的3D空间以控制所述输出单元的系统10包括3D成像单元11、连接(couple)到所述3D成像单元的处理和控制单元12、以及包括显示区域14并且连接到所述处理和控制单元12的输出单元13。所述输出单元13可以是触摸屏。所述系统10可以被安装在车辆中。

3D成像单元11监测包括在输出单元13的显示区域14前面的交互区域的给定视场15。3D成像单元11提供2D图像和深度图两者。深度图是与2D图像相同大小的图像，其中，每个像素存储来自3D成像单元11的与对象的表面的距离有关的信息。

例如，3D成像单元11可以是飞行时间相机或立体视觉相机。飞行时间相机基于已知的光速来解析距离，对于图像的每个点，测量相机和对象之间光信号的飞行时间。例如，飞行时间相机可以包括发出光的红外发光二极管以及在光已经被对象反射之后接收光的相机传感器。

在本实施方式中，处理和控制单元12由处理单元16和图像内容生成器17组成，其可以是单独的单元，但也可以集成到同一单元中。

处理和控制单元12从3D成像单元11接收2D图像和深度图。利用由3D成像单元11提供的数据，可以在3D空间中定位人手20，包括手形心(centroid)、手指的位置和定向(orientation)、以及这些位置的3D轨迹，例如先前位置的历史。此外，可以导出手20上的特征点的3D速度矢量。例如，该信息可以用于计算手20相对于车辆内部的其他部件的位置，以及用于基于给定运动模型(例如，恒定速度线性运动)提前预测手的位置。

给定具有一个或多个暴露的手指(例如图1中所例示的食指21)的手20的3D位置和3D轨迹，可以预测食指21的指尖22在短时间内的位置。这个信息不仅可以用于粗略地预测手20将靠近输出单元13的显示区域14，还可以用于预测它最可能碰到显示区域14的位置，例如交叉点23的触摸屏坐标。如果手20没有运动，食指21的方向提供关于指向方向24和与显示区域14的潜在交叉点23的附加信息。

处理单元16从3D成像单元11接收2D图像和深度图，并且如下面详细描述的那样处理数据。处理单元16基于食指20的指向方向24，输出对应于预测的触摸位置(即，交叉点23)的在定义的平面区域(例如输出单元13的显示区域14)上的2D坐标。此外，处理单元15可以输出指尖22的当前位置、指尖22到显示区域14的距离以及触摸显示区域14的预测时间。该数据被提供给图像内容生成器17。

当没有手存在或者手20没有指向显示区域14，该信息也被传送给图像内容生成器17。

图像内容生成器17生成要在输出单元13的显示器上显示的2D或3D内容，输出单元13例如可以是信息娱乐人机界面(HMI)。图像内容生成器17相应地控制输出单元13。其可以基于预测的触摸位置、指尖22到显示区域14的距离以及到触摸显示区域14的预测时间来修改所述内容。

基于对在食指21实际触摸屏幕之前食指21将触摸屏幕的位置以及食指21何时触摸屏幕的了解，可以触发特定动作来改变屏幕内容。例如，某些控制元件(例如图标或按钮)，可以被突出显示或放大，或某些内容可以被显示或隐藏。

此外，由输出单元13显示的内容可以取决于手20的接近方向。例如，与从副驾驶侧的接近方向相比，如果手20从驾驶员侧接近，那么内容可以是不同的。此外，对于手20的向上移动和向下移动，内容的修改可以是不同的。

处理和控制单元12还可以被配置成使得其控制输出单元13仅基于手或手指(例如，食指21)的指向方向来修改在显示区域14上显示的内容。特别是对于后座椅应用，其中屏幕可能太远而无法触摸到，这个特征可以是一个有趣的选择。

图2A和图2B、图3A和图3B以及图4A至图4C例示出了显示内容的修改的示例。在图2A、图3A和4A中，手远离屏幕并且所有图标看起来相同。在图2B中，手接近图标“B”，并且在手实际触摸到屏幕之前，目标图标“B”被突出显示。在图3B中，手接近图标“A”，使得图标“A”在手触摸到屏幕之前被突出显示。在图4B中，当手接近屏幕时，接近预测的触摸位置的两个图标被放大。这允许用户选择想要的图标。如果预测的触摸位置如图4C所示的那样改变，调整放大的图标。

在图5中，示出了可以由处理和控制单元12(具体地处理单元16)执行的处理步骤30至42。

在步骤30中，基于由3D成像单元11提供的深度、幅度和可选的运动提示(cue)来定位前景目标。结果得到表示像素方式分段(segmentation)成前景斑块的前景分段图像，所述前景斑块是像素组，每个像素组属于相同的目标。在图像中的单个像素由斑块或段ID标记。

在步骤31中，对于满足多个基本标准(例如，最小尺寸)的每个段，基于尺寸、纵横比、定向和模型假设来定位潜在的手区域。不显示手区域的段可以被丢弃。步骤31的输出是由3D图像单元11提供的原始幅度图像的子图像，其仅包括手以及具体地手腕的部分。图像内容被归一化，使得手在子图像中总是以相同的方式定向，独立于原始图像中的手定向。

对于每个幅度子图像，以模拟的方式计算相应的深度图子图像和前景分段子图像。

图6示出了在步骤31中生成的具有归一化手区域的示例性幅度子图像。

在步骤32中，使用计算机视觉/机器学习技术或适于识别预定手姿势的其他技术来对在步骤31中产生的段的每个幅度子图像进行分类。相应的深度图子图像和前景分段子图像可以被提供作为所述方法的附加输入。可以将不同的手配置(例如一个手指指向、两个手指指向、钳形(clamp)等)与非手势手配置和其他目标区分开。在以下步骤中将仅考虑包括具有暴露的似然性最高的食指的手的段。在替代实施方式中，可以选择包括不同手配置的段，例如不同于食指的手指、平手、拳头或两个手指。

在步骤33中，通过分析在步骤31中生成的子图像中的深度、幅度和前景分段轮廓来定位食指。通过将2D线局部拟合到暴露的食指的区域中的图像数据(例如，通过使用迭代最大似然估计)，来计算2D图像中的食指尖、食指根(其是手和手指之间的交叉点)以及食指的定向。通过食指尖和食指根所获得的线提供在图像域中食指的定向，并且可以被转换到通过相机原点的相机坐标中的直立平面，其中，所述平面和图像平面的交叉对应于沿着手指的线。通过相机原点和沿着手指的线的平面与第二平面(例如，显示平面)的交叉产生2D线。预测的指向位置必须位于所述2D线上。

在图6中，示出了食指21的指尖22和指根50，手心51以及通过食指21的指尖22和指根50的直线52。直线52还对应于指向方向的投影。

在步骤34中，通过考虑这些点的小局部领域内的深度测量(基于异常值移除的加权平均和迭代细化)来计算针对食指尖、食指根和手心的鲁棒距离测量。

为了进一步提高这种深度坐标的精确度，具体地是关于可能对噪声敏感的指尖，还考虑沿着图像平面中从指尖到指根的路径的测量距离。在具有异常值检测的迭代过程中，线性函数被拟合到沿着该路径的深度测量。基于所获得的线性模型来计算指尖和指根的最终深度坐标。

在步骤35中，使用计算的距离和3D成像单元11的已知内在参数，将食指尖和食指根的2D位置转换成3D点。然后，这些3D点在3D空间中限定线。

图7示出了在步骤35中产生的手的示例性3D可视化，其包括食指21的指尖22和指根50以及由指尖22和指根50限定的线53。

在步骤36中，计算指尖和手掌的3D坐标的不确定性。根据一个实施方式，可以通过考虑测量数据的统计分布和线性拟合结果来计算不确定性。在另一个实施方式中，不确定性可以从经验数据导出。在这种情况下，不确定性取决于指尖距显示区域的距离。指尖越接近显示区域，不确定性越小。在又一个实施方式中，可以组合上述两个实施方式。例如，可以通过使用两种方法来计算不确定性，并且将不确定性的两个值中的较大者用于数据的处理。

在步骤37中，计算通过食指尖和食指根的3D线与显示区域(具体的是触摸屏表面)的交叉点。这个交叉点表示基于当前观察的“预测的触摸位置”。

在图7中，通过指尖22和指根50的线53延伸并且与虚拟显示区域54相交。交叉点23由白点表示。

在步骤38中，随着时间可选地跟踪和过滤计算的参考点，以便平滑结果并且减少预测的触摸位置的测量噪声。

在步骤39中，可选地，通过如下详细描述的概率映射方法来细化预测的触摸位置。

在步骤40中，计算指尖和预测的触摸位置之间的欧几里得距离(Euclidean distance)。

在步骤41中，基于指尖轨迹(即，指尖点的历史)，例如，通过具有估计指尖速度的线性运动模型(递归更新)的卡尔曼(Kalman)滤波器来计算指尖速度矢量。

在步骤42中，计算指尖触摸显示区域需要的时间。到显示区域的距离除以指尖速度来产生触摸时间。

例如，上述所有步骤可以由在处理和控制单元12(具体地处理单元16)中实现的软件来执行。

图8A和图8B以及图9A和图9B例示出了距离测量的不确定性对触摸预测的结果的影响。图8A和图8B以及图9A和图9B的每个表示示出了食指21的指尖22和指根50、虚拟显示区域54和通过手指矢量和相机原点58的平面56。平面56与虚拟显示区域54(或另选地另一个平面)的交叉产生2D线59。预测的指向位置必须位于所述2D线59上。可以在没有深度坐标的情况下计算2D线59，并且2D线59已经非常有用以限制针对预测的触摸位置的搜索空间。特别地，其可以限制显示区域14上的为潜在的目标的元件(例如，按钮)的数量。结合深度信息，可以计算交叉点23。

在图8A和图8B中，指尖22远离虚拟显示区域54，并且在图9A和图9B中，指尖22接近虚拟显示区域54。此外，图8A和9A示出了参考点(即，指尖22和指根50的位置)没有不确定性的理想情况，而在图8B和图9B中，一定的不确定性被分配给指尖22和指根50的位置。从图8B和9B可以看出，由于参考点的不确定性，虚拟显示区域54上的交叉区域由蚀(eclipse)57来表示，而不是点。蚀57的尺寸以及因此交叉点的不确定性随着指尖22到虚拟显示区域54的距离而减小。

下面描述在步骤39中执行的概率映射方法的实施方式。

首先，生成并且更新表示针对所预测的触摸位置的离散似然函数的2D图。2D图表示显示区域并且包括多个单元。为每个单元分配数值。通过将显示区域上的像素分组到2D图中的离散网格单元以用于加速和改进的鲁棒性，2D图可以具有与显示区域相同的分辨率或更低的分辨率。

在第一步骤中，用零来初始化2D图。然后，分配给线的交叉点落入其中的2D图中的单元的数值递增定义的量。

根据交叉点的投影的不确定性，递增与线的交叉点落入其中的单元相邻的单元。

加权可以是均匀的，即恒定值，或者指尖到交叉点的距离的函数，例如高斯核(Gaussian Kernel)。

如果在连续帧序列上重复，那么2D图中包括多次预测的触摸位置的区域将累积似然性并且在相应的2D似然函数中形成峰值。

为了减少先前测量的影响，并且保持2D图是当前的，来自过去条目的影响必须随着时间的推移而逐渐消失。

例如，所有单元值将(a)在随后的时间步长减少恒定值，或者(b)通过0和1之间的常数因子缩放，或者(c)通过应用用于向图中添加新观测结果的相同方法但是通过将值的加法替换为相同值的减法来仅删除个别观测结果。

后一种方法需要维持观测结果的历史(例如，最后N个条目的环形缓冲器)。所有这些步骤确保系统将在某一时间点忘记过去，因此，仅包括最新时间步长的数据。

对于每个时间步长，分析2D触摸预测似然性图，以便定位2D触摸预测似然性图中的峰值。峰值表示针对所预测的触摸位置的候选。每个峰值将被分类，例如，通过

(a)将峰值的似然性与第一预定阈值进行比较和/或将峰值的伸展性与第二预定阈值进行比较，或者

(b)使用机器学习技术和注释训练数据。

如果峰值被分类为“重要的”，例如，如果峰值的似然性超过第一阈值和/或峰值的伸展性超过第二阈值，那么峰值中心的水平和垂直坐标将被转换为显示区域的坐标，并且发送到输出单元13。

作为另选的方法，如果显示区域上的按钮、图标或其他元件的位置是已知的，那么可以通过将与相应元件重叠的所有图条目进行求和来计算由用户的手指瞄准的元件的总似然性。这个步骤可能需要重新缩放图或触摸屏内容。如果针对元件的累积似然性超过预定阈值，那么，“触摸预测”信号将和相应的触摸屏元件的标识符一起被发出，并且将被传送到图像内容生成器17，以便使得图像内容生成器17能够基于所预测的触摸位置来修改由输出单元13显示的内容。

图10A示出了触摸预测似然性图的示例，并且图10B示出了表示单个测量的不确定性的核权函数(kernel weight function)的示例。单个点的颜色越亮，这个点对应于手指的目标位置的可能性越大。在这个2D图中的峰值高于定义的阈值触发触摸预测事件。

发送到输出单元13的附加信息包括指尖到输出区域的欧几里得距离、指尖速度和触摸的时间。

在一个实施方式中，在所预测的触摸位置位于输出显示器上的限定区域内并且触摸的时间低于定义的阈值的情况下，系统10向输出单元13发出“触摸预测”信号。

附图标记列表

10 系统

11 3D成像单元

12 处理和控制单元

13 输出单元

14 显示区域

15 视场

16 处理单元

17 图像内容生成器

20 手

21 食指

22 指尖

23 交叉点

24 指向方向

32-40 步骤

50 指根

51 手心

52 线

53 线

54 虚拟显示区域

56 垂直平面

57 蚀

58 相机原点

59 线