手势识别系统、方法及显示设备与流程

本申请涉及显示技术领域，尤其涉及手势识别系统、方法及显示设备。

背景技术：

现有技术基于2d显示，可以根据x，y坐标确认用户手势的操作对象，但对于3d显示的控制还存在一些障碍，具体表现为：无法区分对于相同x，y坐标，不同景深的多个对象的控制。即无法判断人对3d空间中的哪个对象感兴趣，想操作哪个对象。

技术实现要素：

本申请实施例提供了手势识别系统、方法及显示设备，用以实现3d显示的手势识别。

本申请实施例提供的一种手势识别系统，包括：

第一模块，用于识别用户手势的景深位置；

第二模块，用于根据所述用户手势的景深位置，以及3d显示画面，进行手势识别。

通过该系统，第一模块识别用户手势的景深位置，第二模块根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，从而实现了3d显示的手势识别。

可选地，还包括：

校准模块，用于预先针对所述用户设置多个操作景深等级范围。

可选地，所述第一模块具体用于：识别用户手势的景深位置所对应到的操作景深等级范围。

可选地，所述第二模块具体用于：对用户手势的景深位置所对应到的操作景深等级范围内的3d显示画面中的对象，进行手势识别。

可选地，还包括：

校准模块，用于预先确定用户手势的操作景深值，与3d显示画面的景深值的对应关系。

可选地，所述第二模块具体用于：

根据所述对应关系，确定所述用户手势的景深位置对应的3d显示画面的景深值，对该景深值的3d显示画面进行手势识别。

可选地，所述第一模块包括下列传感器之一或组合：红外光敏传感器、雷达传感器、超声波传感器。

可选地，所述第一模块还包括至少一个摄像头。

可选地，所述传感器分布在非显示区的上、下、左、右四个边框。

可选地，所述第二模块还用于：通过瞳孔追踪确定用于识别用户手势的景深位置的传感器。

可选地，所述传感器具体设置在下列装置之一上：彩膜基板、阵列基板、背光板、印制电路板、柔性电路板、背板玻璃。

本申请实施例提供的一种显示设备，包括本申请实施例提供的所述的系统。

本申请实施例提供的一种手势识别方法，包括：

识别用户手势的景深位置；

根据所述用户手势的景深位置，以及3d显示画面，进行手势识别。

可选地，该方法还包括：预先针对所述用户设置多个操作景深等级范围。

可选地，所述识别用户手势的景深位置，具体包括：

识别用户手势的景深位置所对应到的操作景深等级范围。

可选地，根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，具体包括：

对用户手势的景深位置所对应到的操作景深等级范围内的3d显示画面中的对象，进行手势识别。

可选地，该方法还包括：预先确定用户手势的操作景深值，与3d显示画面的景深值的对应关系。

可选地，所述根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，具体包括：

根据所述对应关系，确定所述用户手势的景深位置对应的3d显示画面的景深值，对该景深值的3d显示画面进行手势识别。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种景深等级划分原理示意图；

图2为本申请实施例提供的一种手势识别方法的流程示意图；

图3为本申请实施例提供的一种景深范围归一化的原理示意图；

图4为本申请实施例提供的一种手势识别方法的流程示意图；

图5为本申请实施例提供的一种手势识别系统的结构示意图；

图6为本申请实施例提供的一种在显示设备上设置摄像头、传感器的示意图；

图7为本申请实施例提供的一种传感器设置在显示设备的盖板玻璃上的示意图；

图8为本申请实施例提供的一种光敏传感器与pixel集成设置的示意图；

图9为本申请实施例提供的一种传感器设置在bp上的示意图；

图10为本申请实施例提供的在显示面板的非显示区设置多个传感器的示意图；

图11为本申请实施例提供的在显示面板的非显示区设置传感器和多个摄像头的示意图。

具体实施方式

本申请实施例提供了手势识别系统、方法及显示设备，用以实现3d显示的手势识别。

本申请实施例提出实现对3d显示进行手势识别的方法及其相应的显示面板和显示设备，具体包括以下内容：1.一种3d显示景深与人眼视觉匹配的方案，使人可以对立体空间中实际触碰的影像进行手势操作。2.一种多技术融合，多传感器(sensor)探测、优劣互补的硬件方案。可以实现全范围、高精度的手势探测。3.瞳孔追踪，初步判断人的视角和人要操作的对象，再以对应方位的sensor为主sensor的手势检测方案。可以大大提高检测精度，防止误操作。

首先介绍一下本申请实施例提出的一种3d显示的手势识别方法，通过对3d显示空间和手势操作空间的景深进行等级划分，来实现用户对相同方位不同景深的显示对象的控制。更进一步，还提出一种利用手势位置与3d图像景深进行坐标比对，来实现任意景深的显示对象的控制的方法。

方法一：通过对3d显示空间和手势操作的景深进行等级划分来实现相同方位不同景深的显示对象的控制。该方法的原理如图1所示，具体的手势识别方法，参见图2，包括：

步骤s201、系统校准：即对应操作者操作习惯的景深等级划分，即预先针对所述用户设置多个操作景深等级范围。以操作手势的肩关节为参考点，手臂伸缩的状态不同，对应不同景深等级的操作。以两级景深为例，当显示3d画面时，系统提示请对距离你近的物体进行操作，操作者进行左、右、上、下、前推、向后拉的操作，系统采集景深坐标范围z1～z2。这时候手臂应该是弯曲的，手距离肩关节较近。同理，系统提示请对距离你远的物体进行操作，采集景深坐标范围z3～z4。这时手臂应该是直臂或弯曲较小的，手距离肩关节较远。取z2和z3的中间点z5作为远近操作的分界线，划分出远近两个景深操作空间。其中，z1<z2<z5<z3<z4。因此，在实际应用中，若采集到手势的z轴坐标＜z5，则确定为用户对距离人近的物体操作，对应的景深坐标范围为z1～z2，例如称为第一操作景深等级范围；反之，则确定为用户对距离人远的物体操作，对应的景深坐标范围为z3～z4，例如称为第二操作景深等级范围。

但是，当人移动位置时，z5值会变化，为了解决这个问题，参见图1，系统采集肩关节点景深坐标为z0，采集的z1～z5值全部减去z0，转化为以人的肩关节为参考点的坐标，这样人自由移动不会影响操作的景深判断。采集到手势坐标＜(z5-z0)，则认为用户是对距离人近的物体操作；反之，则认为是对距离人远的物体操作。

步骤s202、操作时等级确认：手势识别之前，需要进行哪个操作人或操作手的确认动作，该方法将该确认动作改进，根据手中心点坐标同时确认出是哪个景深等级的操作，并在显示画面上给出提示。采集到手势坐标＜(z5-z0)，则为对距离人近的物体操作，即当前用户的手势在第一操作景深等级范围内进行操作；反之，则为对距离人远的物体操作，即当前用户的手势在第二操作景深等级范围内进行操作。

步骤s203、手势识别：确认完景深等级后，手势操作相当于固定在一个景深，即对一个2d显示的控制。进行常规手势识别即可。即确定景深后，在该操作景深等级范围内，相同x，y坐标上只有一个物体，采集手势x，y坐标，判断操控的物体，再对其进行常规手势操作。

方法二：利用手势位置与3d图像景深进行坐标比对来实现任意景深的对象控制的方法。该方法不受限于景深等级划分的限制，可以实现任意景深的对象控制。具体的手势识别方法包括：

系统校准：以肩关节为参考点，测量操作者手势可以达到的景深范围(直臂与曲臂极限)。将3d显示画面的景深范围与操作者手势可以达到的景深范围这两个范围坐标值归一化处理，即预先确定用户手势的操作景深值，与3d显示画面的景深值的对应关系。具体地，曲臂时测量手坐标z1，直臂时测量手坐标z2，z1～z2即人的操作范围。识别出的人手的坐标减去z2再除以(z2-z1)，实现将人的操作范围坐标归一化。如图3所示，上边为在手势sensor采集坐标里测的值，下边为归一化到显示景深坐标系和操作空间坐标系的值，两套坐标系数值相同的点形成对应关系。特别的，在操作空间坐标系的归一化中用到了z2，而人的位置改变会造成z2的值变化，而z2值的测量要求人直臂，为了提高用户体验，改用测量肩关节推导出新的z2’(因为z2到肩关节的距离是固定的)，即z2’＝z3’-(z3-z2)，所以位置改变时要用进阶转化公式。

坐标比对：将手势所在景深值，对应到3d画面景深值，即根据所述对应关系，确定所述用户手势的景深位置对应的3d显示画面的景深值，具体地，测量手势坐标并进行归一化计算，得出的坐标值传递给3d显示景深坐标系，对号入座，即对应到相应的3d景深对象。

手势识别：针对根据对应到的3d画面景深值进行手势识别。

综上，参见图4，本申请实施例提供的一种手势识别方法，包括：

s101、识别用户手势的景深位置；

s102、根据所述用户手势的景深位置，以及3d显示画面，进行手势识别。

可选地，该方法还包括：预先针对所述用户设置多个操作景深等级范围。

可选地，所述识别用户手势的景深位置，具体包括：

识别用户手势的景深位置所对应到的操作景深等级范围。

可选地，根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，具体包括：

对用户手势的景深位置所对应到的操作景深等级范围内的3d显示画面中的对象，进行手势识别。

可选地，该方法还包括：预先确定用户手势的操作景深值，与3d显示画面的景深值的对应关系。

可选地，所述根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，具体包括：

根据所述对应关系，确定所述用户手势的景深位置对应的3d显示画面的景深值，对该景深值的3d显示画面进行手势识别。

与上述方法相对应地，本申请实施例提供的一种手势识别系统，参见图5，包括：

第一模块11，用于识别用户手势的景深位置；

第二模块12，用于根据所述用户手势的景深位置，以及3d显示画面，进行手势识别。

通过该系统，第一模块识别用户手势的景深位置，第二模块根据所述用户手势的景深位置，以及3d显示画面，进行手势识别，从而实现了3d显示的手势识别。

可选地，还包括：

校准模块，用于预先针对所述用户设置多个操作景深等级范围。

可选地，所述第一模块具体用于：识别用户手势的景深位置所对应到的操作景深等级范围。

可选地，所述第二模块具体用于：对用户手势的景深位置所对应到的操作景深等级范围内的3d显示画面中的对象，进行手势识别。

可选地，还包括：

校准模块，用于预先确定用户手势的操作景深值，与3d显示画面的景深值的对应关系。

可选地，所述第二模块具体用于：

根据所述对应关系，确定所述用户手势的景深位置对应的3d显示画面的景深值，对该景深值的3d显示画面进行手势识别。

可选地，所述第一模块包括下列传感器之一或组合：红外光敏传感器、雷达传感器、超声波传感器。

可选地，所述第一模块还包括至少一个摄像头。

可选地，所述传感器分布在非显示区的上、下、左、右四个边框。

可选地，所述第二模块还用于：通过瞳孔追踪确定用于识别用户手势的景深位置的传感器。

本申请实施例中所述的瞳孔追踪，是采用瞳孔追踪技术判断出人在注视什么，然后再选择相近的sensor检测。初步判断人要操作的对象，再以对应方位的sensor为主sensor的检测方案，可以大大提高检测精度，防止误操作。该方案可以与图10所示的多sensor提高精度方案结合使用。

可选地，所述传感器具体设置在下列装置之一上：彩膜基板、阵列基板、背光板、印制电路板、柔性电路板、背板玻璃。

需要说明的是，本申请实施例中所述的第二模块、校准模块，都可以由处理器等实体器件实现。

本申请实施例提供的一种显示设备，包括本申请实施例提供的所述的系统。所述的显示设备，例如可以是手机、pad、电脑、电视等显示设备。

关于上述校准，因为系统校准需要对每一幅显示的画面预先进行校准，工作量比较大。作为改善方案，系统校准可以只得到校准标准，而不预先进行校准。当手势触摸时，采集到手势的坐标再按照校准标准对应到操作者想操控的物体/页面/模型/等。这两种方案各有优劣，可以根据操作场景和实际需要选取合适的方案。

本申请实施例提供的系统，包括多技术融合，多sensor探测、优劣互补的硬件方案。第一，可以实现全范围、高精度的探测。第二，可以实现不受应用场景限制的探测。包括但不限于多个同类sensorbonding方案，不同技术sensor整合方案。

下面对于本申请实施例提供的传感器进行详细说明。

光学sensor得到含或不含深度信息的手势/体感轮廓影像，结合雷达/超声波sensor得到空间目标点集。雷达和超声波是发射波碰到物体后反射回来计算坐标的，测量手势时不同手指反射回来不同的电磁波，所以是点集。近距离操作时光学sensor只拍摄二维图片，雷达或超声波sensor计算手势反射信号对应点的距离、速度、移动方向等。二者叠加得到精确的手势数据。远距离操作时光学sensor拍摄和计算包含深度信息的三维手势坐标。下面举例说明：

方式一、前置摄像头+红外光敏sensor+雷达/超声波sensor，如图6所示，在显示设备的非显示区61的前置摄像头63两侧放置红外光敏sensor62和雷达/超声波sensor64，每个sensor可以绑定(bonding)或转印在印制电路板(printedcircuitboard，pcb)、柔性电路板(flexibleprintedcircuit，fpc)或彩膜(cf)基板(如图7所示)、阵列(array)基板(如图8所示)、背板玻璃(backplane，bpglass)(如图9所示)上。

参见图7，当设置在cf上时，例如，sensor75可以设置在盖板玻璃71上，盖板玻璃71下面是cf玻璃72，cf玻璃72和阵列基板玻璃74之间是液晶73。

参见图8，当设置在array基板侧时，例如，光敏sensor与pixel集成在一起，雷达/超声波sensor81设置在盖板玻璃82和bp玻璃83之间。

参见图9，当设置在bpglass上时，例如，光敏sensor91设置在盖板玻璃92和bp玻璃93之间。

如图10所示，关于sensor位置，可以放在非显示区上端、下端和/或两侧，每种sensor的个数可以是一个，也可以是不同位置的多个，来针对操作者站立的位置分别采用相应位置的sensor测量，以提高精度。首先是一个主sensor采集人的位置反馈给系统，然后系统下指令对应位置的sensor开启来采集数据。比如站的靠左，就用左边的sensor来测。

方式二、双视摄像头+雷达/超声波sensor。如图11所示，双视摄像头包括一个主摄像头63用于拍摄rgb图像和一个副摄像头65用来和主摄像头形成视差计算深度信息。主副摄像头可以是一样的也可以是不一样的，两个摄像头位置不同，拍的同一个物体的成像不同，类似人眼左右眼看到的景象不同，就形成视差，利用三角关系，可以推导出物体坐标。这属于现有技术，在此不进行赘述。深度信息就是z坐标。近距离操作时副摄像头不工作，只主摄像头工作拍摄二维图片，雷达或超声波sensor64计算手势反射信号对应点的距离、速度、移动方向等。二者叠加得到精确的手势数据。远距离操作时双视摄像头和sensor拍摄和计算包含深度信息的三维手势坐标。

需要说明的是，也可以在非显示区设置多个摄像头，和多个传感器，所述多个摄像头可以是同类型的摄像头，也可以是不同类型的摄像头，所述多个传感器可以是同类型的传感器，也可以是不同类型的传感器。

综上所述，本申请实施例提供的技术方案涉及实现立体视场内手势交互的显示设备和系统、方法。实现了多种技术的融合、优劣互补。多个sensor以及瞳孔追踪来开启对应方位的sensor，从而提高检测精度。并且，显示装置集成sensor，例如，bonding/转印/显示屏集成在cf、array、bp、背光板(backlightunit，blu)、pcb、fpc等基板上。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。