本发明涉及终端应用领域，尤其涉及一种智能终端及其非触控式操作方法。
技术背景
随着智能手机等智能终端以及互联网的发展，人们的生活方式已经发生了巨大变化；尤其是，获取信息的方式。相较于传统的纸质书籍或报纸渠道，人们更喜欢通过智能终端在网上获取第一手资讯。
目前，市面上的智能手机、平板电脑等智能终端，主要还是通电容屏幕或柔性屏幕进行人机交互。当用户的手指沾有水、油污时，提供交互支撑的电容屏幕，往往无法准确识别用户的意图(比如，无法顺利完成手机网页、电子书的翻页等)，从而导致不佳的用户体验。此外，过度使用电容屏幕或柔性屏幕，也会造成不可修复的损伤，加速智能手机的老化等。
技术实现要素：
为解决上述问题，本发明提供一种智能终端及其非触控式操作方法，其能够对智能终端执行非触控式操作，拥有更好的用户体验。
本发明提供一种智能终端的非触控式操作方法，包括：s1.连续或间歇采集用户的人脸图像，所述人脸图像包括人脸深度图像；s2.处理所述人脸图像，提取所述用户的眼球注视方向信息以及人脸朝向信息，并追踪所述用户眼球视点区域；s3.根据所述用户眼球视点区域，执行预设操作。
其中，所述人脸图像还可以包括rgb-d图像、rgb图像、红外图像中的一种或多种。
在一些实施例中，步骤s2通过人脸五官的几何特征，确定所述用户的眼球位置信息以提取眼球注视方向信息；或者通过人脸眼球角膜对红外光束的高反射率，确定所述用户的眼球位置信息以提取眼球注视方向信息。
在一些实施例中，步骤s2通过所述人脸深度图像，重构所述用户的三维人脸图像，提取所述人脸朝向信息。
在一些实施例中，所述步骤s3包括：根据所述用户眼球视点区域落在显示屏内或显示屏外，执行保持操作或息屏休眠操作。
若所述用户眼球视点区域落在显示屏外，计算所述用户眼球视点区域离开显示屏的时间t；当所述时间t大于或等于预设临界时间t1时，执行息屏休眠操作；当所述时间t小于预设临界时间t1时，保持显示屏当前的工作状态。在一些优选实施例中，通过追踪连续的n张所述用户眼球视点区域落在显示屏外的人脸图像，结合人脸图像采集装置的采集频率f，计算所述用户眼球视点区域落在显示屏外的时间t＝n/f。
在一些实施例中，所述步骤s3包括：若所述用户眼球视点区域落在显示屏内，计算所述用户眼球视点区域与显示屏的相交位置；根据所述相交位置与预设翻页区域的关系，执行翻页操作或保持操作。当所述相交位置落于所述预设翻页区域时，所述显示屏显示的网页或文字执行向上或向下翻页操作；当所述相交位置不在所述预设翻页区域时，保持显示屏当前的显示内容。
本发明还提供一种智能终端，包括：显示屏，用于显示信息以及提供交互；采集装置，用于采集用户的人脸图像，所述人脸图像包括人脸深度图像；处理器，用于处理所述人脸图像，提取所述用户的眼球注视方向信息以及人脸朝向信息，并追踪所述用户眼球视点区域；根据所述用户眼球视点区域，执行预设操作。
与现有技术相比，本发明的有益效果为：通过采集用户的人脸图像，可以提取所述用户的眼球注视方向信息以及人脸朝向信息，并追踪所述用户眼球视点区域，根据用户眼球视点区域，可以进一步进行非触控式的操作。其眼球视点区域综合了用户的眼球注视方向信息和人脸朝向信息，使得最终计算得到的眼球视点区域精准性高，更有利于非触控式操作的准确操作，拥有更好的用户体验。
附图说明
图1是根据本发明实施例的一种智能阅读示意图。
图2是根据本发明实施例的一种含智能阅读功能的移动终端结构示意图。
图3是根据本发明实施例的一种实现智能息屏的方法流程图。
图4是根据本发明实施例的一种实现智能翻页的方法流程图。
图5是根据本发明实施例的一种含智能阅读功能的智能手机结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。应当理解的是，所述实施例仅仅是本发明的一部分实施例，而不是全部实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应该属于本发明保护的范围。
需要说明的是，本发明实施例中所含盖的功能模块，可以根据需要，通过现有技术中的一种或多种编程语言实现。对于公知的编程原理和软件构成，下文虽然不作详细阐述，但应属于本发明技术方案的一部分。
图1是根据本发明实施例的一种智能阅读示意图。该实施例中，用户100通过智能移动终端110获取信息或阅读电子书或浏览网页。类似于传统的移动终端，用户可以通过显示屏浏览网页、阅读电子书或观看视频等；区别在于，智能移动终端110还包括至少一个前置rgb-d相机111以及辅助用户100浏览网页、阅读电子书的智能阅读应用。具体地，假设智能阅读应用处于开启状态，则智能移动终端通过前置rgb-d相机连续或间歇获取用户的人脸图像(包括人脸rgb图像、深度图像等)，并从所述人脸图像中提取用户的眼球特征信息，以确定用户眼球的注视方向信息以及人脸朝向信息，从而确定用户眼球视点区域、视点区域注视时间等。通过追踪用户眼球视点区域、视点区域注视时间，智能移动终端可以识别用户的意图，进而自主执行息屏休眠、翻页等操作。为了便于理解，一种实施方式中，当用户眼球视点区域离开显示屏时间超过预设临界时间t1时，智能移动终端执行息屏休眠操作；当用户眼球视点区域落于预设翻页区域时，智能移动终端执行翻页操作。可以理解的是，智能移动终端所执行的息屏休眠、翻页操作，实质由智能移动终端的处理器通过执行相关调用指令、程序、算法完成。
需要理解的是，一种实施方式中，智能阅读应用开发者可以基于智能移动终端所使用的操作系统及其相关api接口进行编译、开发，以实现智能移动终端的非接触式操控。在另一种等效的实施方式中，智能阅读应用开发者也可以直接对智能移动终端的底层操作系统进行编译、开发，以使智能移动终端携带智能阅读的功能，从而达到智能移动终端非接触式操控的目的。
图2是根据本发明实施例的一种含智能阅读功能的移动终端结构示意图。该智能移动终端一般包括处理器200以及与之相连接的显示屏210、麦克风220、rgb-d相机203、接口240、存储器250、电源260、音频装置270、mems传感器280、射频及基带处理器290，或者还包括环境光/接近传感器300等设备。需要理解的是，不同设备之间可以通过电路连接实现数据的交换或处理。此外，图2所示的智能移动终端的结构组合图仅为示意图，不能理解为对本发内容的限制，在其他等效实施例中，智能移动终端所包含的结构、设备可以更多或者更少。
处理器200用于对智能移动终端的整体控制、数据处理，包括开启/关闭相关设备采集数据、存储数据，调用、分析数据等；处理器200可以是控制/处理某单一设备的处理器，也可以是集成控制/处理多个设备的中央处理器cpu。
显示屏210用于信息的展示，以便用户获取期望的信息，包括图片、视频、文字、符号、数据等；此外，部分智能移动终端的显示屏还可以是具有触控输入功能的电容/电阻显示屏/oled(有机电致发光二极管)柔性屏，以便用户编辑、处理相关显示信息等人机交互操作。
麦克风220用于将用户/环境的声音信息转换为电信息，以便用户更好地与智能移动终端进行信息交互。
rgb-d相机230用于获取用户人脸的全部或部分图像信息，并传输至处理器中，以便处理器提取用户的眼球特征信息。该实施例中，rgb-d相机包括投影装置、深度图像采集装置、rgb图像采集装置等元器件。一种实施例中，投影装置向用户或用户所在的空间投射波长为850nm或者940nm的红外图案化光束或者可见图案化光束，比如散斑光束(散斑光图案)；深度图像采集装置捕捉落于用户人脸表面的光图案，并输送给处理器中；处理器通过三角测量等相关算法获取用户的人脸深度信息，重建用户的人脸三维图像；而rgb采集装置直接获取人脸的颜色图像。在一些等效实施例中，rgb-d相机也可以使用飞行时间深度相机(tof深度相机)及rgb相机代替。可以理解的，该tof深度相机的投影装置以特定频率/时间周期向用户或用户所在的空间发射激光束；深度图像采集装置获取用户或空间反射回来的激光束反馈给处理器；处理器通过计算激光束从发射到被深度图像采集装置捕获所需的时间差值来确定用户或空间的深度信息。在一些其他的实施例中，智能移动终端还可以包括双目结构光深度相机、光场相机、广角相机、长焦相机、变焦相机、鱼眼相机等部件中的任意一种或多种组合。
接口240用于实现智能移动终端内部或外部软、硬的连接端口，以进一步实现数据的传输、电力传输等功能，比如i/o接口、网络接口、usb接口、wifi接口等。
存储器250包括寄存器、ram、flash、硬盘等易失性或非易失性可读存储介质，用于暂时或永久性保存应用程序、数据、访问指针、地址等。具体地，存储器250存储的内容包括但不仅限于：预设的眼球视点区域数据信息251(用于判断用户眼球视点区域是否落于显示屏内的重要参数)以及预设眼球注视临界时间数据信息252(用于判断智能移动终端是否执行息屏休眠操作的临界时间参数)；在其他一些等效实施方式中，存储器还用于储存用户眼球到显示屏的最佳距离数据信息253(用于判断用户是否存在不良的阅读习惯，以提醒用户注意保护眼睛)。此外，存储器250还用于存储处理器200在执行某项任务时所产生的代码和数据。可以理解的是，存储器作为智能移动终端的一部分，也可以独立于移动终端存在，比如云端存储器，其所保存的数据可以通过某些特定的通讯协议或访问端口存储/获取。
电源260电力供应设备，用于保证智能移动终端内部/外部硬件、设备提供必要的电流或电压。音频装置270用于实现语音输出，如音响、喇叭、蜂鸣器等。
mems传感器280用于获取移动终端当前的状态信息，比如位置、方向，加速度、重力等信息，因此mems传感器可以包括但不仅限于：加速度计、重力计、陀螺仪等传感器。在一个实施例中，mems传感器280用于激活智能移动终端的某些应用。比如，当mems传感器感应到用户拿起智能移动终端时，自动唤醒休眠状态下的智能移动终端；进一步地，开启智能移动终端的前置rgb-d相机，采集用户的人脸图像信息反馈给处理器，以便处理器提取用户眼球特征信息及判断用户是否注视显示屏，进而确定是否点亮显示屏。
射频及系带处理器290用于实现智能移动终端的通讯功能，比如接收基站发射的电磁波信号，并解调为相关视频/语音信号，以实现移动终端之间的信息交换。
智能移动终端还包括环境光/接近传感器，用于感测用户与显示器之间的物理距离或环境光束的强度。一般地，在某一特定的距离区间[l1，l2]内，环境光/接近传感器接收的光束，其光强会随用户的移动而发生微小变化。环境光/接近传感器通过将光束强度的变化转换成电信号的变化，并传输至处理器200中，以便处理器200间接唤醒休眠的智能移动终端或开启智能移动终端的人脸识别系统。在一些实施例中，基于环境光/接近传感器所获得的光束强度信息，还可以实现显示器210亮度的自动调整，以便提供更为舒适的显示亮度；在一些其他应用中，还以可以根据该光束的强度信号，实现触控交互显示屏的息屏功能，以免造成显示屏的误触输入。
图3是根据本发明实施例的一种实现智能息屏的方法流程图。该实施例中，智能移动终端的息屏休眠操作，其具体流程包括：
步骤301，用户自主选择激活/打开智能阅读应用。在其他一些实施方式中，智能阅读应用处于默认开启状态。
步骤302，处理器驱动智能移动终端的前置相机，采集用户的人脸图像，人脸图像包括人脸深度图像，除此之外，还可以包括rgb-d图像、rgb图像、红外图像中的一种或多种，并反馈给处理器。本实施例中，优选采用rgb-d相机，需要理解的是，前置rgb-d相机采集到的人脸图像通常还包括复杂的背景图像。因此，处理器需要通过相关图像处理算法对rgb-d相机采集的图像进行预处理，以将用户的人脸图像从复杂的背景中提取出来。具体地，一种实施方式中，处理器可以通过对比算法，扫描所采集图像的每个像素点，并根据其灰度值(或深度值)的变化区分所述图像中人脸与背景，提取用户的人脸图像。
步骤303，处理器通过图像特征提取算法处理所述人脸图像，提取所述人脸图像中的眼球特征信息，获取用户眼球注视方向信息；同时获取人脸朝向信息。具体地，一种实施方式中，基于人脸五官的几何特征，比如人脸眼睛、眼角的特定几何形状，确定人脸图像中的眼球位置。在其他的实施方式中，处理器也可以通过相关图处理算法，寻找所述人脸红外光图案中的“亮点”位置(由于眼球角膜对红外光束反射率更高，因此图像采集装置所获取的红外光图案，其对应的眼球位置具有更高亮度)，进而确定用户的眼球位置以及眼球注视方向数据信息。此外，基于rgb-d相机采集的深度人脸图像，结合三角测量算法，处理器可以重构用户的三维人脸图像，进而确定用户人脸所在平面的法线向量，获取用户的人脸朝向信息。
步骤304，处理器基于所述用户的眼球注视方向数据信息以及人脸朝向信息，追踪用户眼球视点区域，判断用户人眼是否注视显示屏。一种实施方式中，处理器通过计算用户眼球注视方向(w1坐标系)、用户人脸朝向(w2坐标系)以及显示屏所在平面(w3坐标系)的法线方向三者之间的角度关系，确认用户是否注视显示屏。具体地，假设用户的人脸朝向与显示屏所在平面的法向量夹角为n，用户人脸所在坐标系的眼球注视方向与人脸朝向之间的向量夹角为l1，则转换至智能移动终端所在的坐标系或平面时，眼球相对于移动终端的实际注视方向与显示屏所在平面的向量夹角l满足：l＝n+l1。当所述向量夹角l满足0°-180°中任意夹角(这里的夹角指的是空间立体夹角)，均可认定非授权人眼球注视显示器。可以理解的，当所述向量夹角l＝0°时，为用户注视显示屏的最佳方案。现有技术一般仅用rgb相机获取人脸图像；所述人脸图像仅能提供一个二维平面信息，基于人眼虹膜对红外光束的高反射率特征，传统技术方案仅能确定一个相对所述二维人脸图像的眼球注视方法，缺少人脸朝向信息；因而缺少合适的机制/坐标系将用户眼球注视方向与显示屏之间建立准确的关联。rgb-d相机获取的人脸图像信息还包括深度信息，在对用户的人脸图像进行3d重构后，处理器可以通过显示屏、人脸、眼球所在坐标系之间的转换，准确获得相对于显示屏面的实际用户眼球的视点区域，进而提升处理器判断用户是否注视显示屏的精准度。
当用户注视显示屏时，执行步骤305，即保持当前显示屏的亮度；反之，执行步骤306。
步骤306，处理器通过相关控制指令，控制rgb-d相机，连续或间歇采集空间中人脸图像，并通过相关图像处理算法、特征提取算法，分析多张人脸图像中眼球注视方向位置的变化以及人脸朝向信息的变化，实现用户眼球视点区域的追踪；此外，针对用户眼球视点区域离开显示屏的情况，计算其视点区域离开的时间。为了便于理解，一种实施方式中，假设t时刻，rgb-d相机采集的用户人脸图像，其眼球视点区域开始离开显示屏，并且在其后rgb-d相机采集的n张人脸图像，其眼球视点区域仍旧不在屏幕的空间范围内；则处理器可以通过这n张人脸图像，准确计算出用户眼球视点区域离开显示屏的时间t。可以理解的，由于rgb-d相机的采集频率f恒定(假设f＝30帧/秒)，则用户眼球视点区域离开显示屏的时间t＝n/f。在其他的等效实施方式中，也可以通过周期控制rgb-d相机采集用户的人脸图像，实现用户眼球视点区域的跟踪以及用户眼球视点区域离开显示屏的时间计算，具体过程与rgb相机连续采集用户人脸图像的方案类似，此处不做重复赘述。
步骤307，预设临界时间t1，作为移动终端允许用户眼球视点区域离开显示屏的最大时间值；当用户眼球视点区域离开显示屏幕时间t小于临界时间t1时，处理器执行步骤s305，继续保持当前显示屏的亮度及工作状态；反之，执行步骤s308。
步骤s308，处理器通过相关控制程序关闭显示屏，以使得移动终端处于休眠待机状态，节约能源(电量)。
图4是根据本发明实施例的一种实现智能翻页的方法流程图。该实施例中，智能移动终端的翻页操作，其具体流程包括：
步骤401至步骤403，为智能移动终端获取用户人脸图像、获取用户眼球注视方向数据信息以及人脸朝向信息的过程，与图3实施例的步骤301至步骤303类似，此处不再做重复赘述。
步骤404，基于用户眼球注视方向数据(w1坐标系)、人脸朝向数据(w2坐标系)以及显示屏所在平面(w3坐标系)的法线方向数据，处理器可以进一步确定用户眼球视点区域信息。需要理解的是，所述视点区域信息指的是：置换到显示屏所在坐标系(w3坐标系)，用户眼球视点区域与显示屏的相交位置。可以理解的，由于智能移动终端在批量生产前，其前置rgb-d相机与显示屏的位置关系已经确定，即rgb-d相机所在w4坐标系与显示屏所在w3坐标系的关系已经确定；因此，处理器可以通过用户眼球注视方向数据以及显示屏所在平面法线向量计算出用户眼球视点区域与显示屏的相交位置信息。进一步地，预设特定的区域，保存于存储器中；处理器通过相关调用算法、比对算法，判断用户眼球视点区域是否落于预设的特定区域。当用户视点区域落于预设的特定区域时，处理器执行步骤405，即实现智能移动终端的自动翻页操作；反之，处理器执行步骤406。
步骤406，处理器通过相关操作指令控制rgb-d相机连续或间歇采集用户的人脸图像，以跟踪用户的眼球视点区域，具体过程类似于图3实施例的步骤304，此处不做重复赘述。当用户的眼球视点区域仍旧落于显示屏范围内，但视点区域不在预设特定翻页区域内时，处理器执行步骤407，即继续保持显示屏当前的工作状态及当前页面的显示；反之，执行步骤408至步骤410。
步骤408至步骤410，为处理器计算用户眼球视点区域离开显示屏时间，判断是否执行息屏休眠操作的过程，与图3实施例的步骤306至步骤308类似，此处不做重复赘述；区别在于，当用户眼球视点区域离开显示屏的时间t小于预设临界时间t1时，处理器通过相关控制指令、算法保持显示屏当前的工作状态及当前页面的显示。
图5是根据本发明实施例的一种含智能阅读功能的智能手机结构示意图。智能手机500包括前置投影装置520、前置图像采集装置(rgb-d相机)570。其中，投影装置520用于向目标空间投射红外图案化光束，图像采集装置570用于采集覆盖在目标空间/对象表面的红外光图案，智能手机还包括处理器(图中未示出)，处理器接收到红外光图案后用于计算出目标的深度图像，比如用户的人脸深度信息或轮廓信息或彩色信息。
在一些实施例中，智能手机还包括有红外泛光灯530，其可以发射出与投影装置520所发射红外图案化光束相同波长的红外光，在进行人脸图像采集过程中，可以通过将投影装置520与红外泛光灯530分时开关以分别获取用户的深度图像与红外图像。此时所获取的红外图像为纯红外图像，相对于深度图像而言，其含有的脸部特征信息更加明显。
在一些实施例中，可以利用基于tof(时间飞行法)技术的深度相机，此时投影装置520用于发射光脉冲，而图像采集装置570通过接收光脉冲，处理器用于记录脉冲发射以及接收所利用的时间，根据时间计算出用户的深度图像。此时图像采集装置570可以同时获取用户的深度图像与红外图像，并且二者之间没有任何视差。
智能手机还可以包括听筒540、环境光传感器550、接近传感器560等器件以实现更多的功能。比如在一些实施例中，考虑到红外光对人体的危害性，当人脸靠的过近时，可以通过接近传感器560对人脸的接近度进行检测，当太近时关闭投影模组520的投影或减小投影功率。在一些实施例中，可以结合人脸识别以及听筒实现自动通话，比如当装置为通信装置时，装置收到来电后，启动人脸识别应用同时打开所需要的深度相机与红外相机采集深度图像与红外图像，当识别通过后，接通通话并打开听筒等器件以实现通话。
智能手机还可以包括显示屏510，可以用来显示数据/图像/视频等内容也可以用来进行触摸交互。可以理解的，在智能阅读应中，当用户的眼球视点区域落在显示屏内，即注视显示屏时，智能手机显示屏510保持当前的显示状态；当用户的眼球视点区域离开显示屏，并超过预设临界时间t1时，智能手机执行息屏休眠操作。此外，当用户眼球视点区域落于预设特定翻页区域511或512时，智能手机执行翻页操作，反之保持当前显示页面。需要理解的是，当用户的眼球视点区域落于预设特定翻页区域511时，处理器执行“下”翻页操作；当用户的眼球视点区域落于预设特定翻页区域512是，处理器执行“上”翻页操作。
智能手机还包括存储器(图中未示出)，存储器用于存储如预设临界时间t1数据、预设特定翻页区域位置信息等数据信息，还可以存储应用程序、指令等。比如将前面所述智能阅读等相关应用，以软件程序的方式保持到存储器中，当应用程序需要时，处理器调用存储器中的指令并执行相关操作。可以理解的是，应用程序也可以被直接以指令代码形式写入到处理器中形成具体特定功能的处理器功能模块或相应的独立处理器，由此提高执行效率。另外，随着技术的不断发展，软、硬件之间的界限将逐渐消失，因此本发明中所述的方法即可以以软件形式也可以是以硬件形式配置在装置中。
区别于传统终端，本发明提供一种智能阅读应用及其智能终端，其有益效果是：提供前置rgb-d相机采集用户的人脸图像，并反馈给处理器；处理器通过特征提取算法获取用户的眼球特征信息，并提取用户的眼球注视方向信息、人脸朝向信息，进而追踪用户的眼球视点区域(即眼球注视显示屏位置信息)。进一步地，处理器通过比对算法，判断用户眼球视点区域是否落于显示屏内，针对用户眼球视点区域离开显示屏的情况，计算用户眼球视点区域离开显示屏的时间，确定是否执行息屏休眠操作；或者，处理器通过比对算法，判断用户眼球视点区域是否落于预设的特定翻页区域内，进而确定是否执行自动翻页操作。本发明的智能阅读应用及其智能终端有利于实现智能终端非接触翻页、息屏休眠操作或功能，有利于进一步提升用户的操控体验。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。