一种终端设备用户姿态检测系统的制作方法
【专利摘要】本发明涉及终端设备，尤其涉及移动终端设备对用户姿态进行检测系统，解决用户面对屏幕使用终端设备时姿态不正确造成身体伤害的问题。系统包括：摄像头、姿态传感器、信息处理模块、姿态传感数据输入接口、图像数据输入接口、姿态提醒模块触发接口、姿态提醒模块。所述信息处理模块运用终端设备绝对姿态数据和用户面部图像或视频的数据计算用户姿态参数，对姿态进行判断，当姿态不正确时通过姿态提醒模块向用户发出提示信号和/或矫正建议信号。运用本发明的系统和方法，通过对用户进行有效的提醒，可使用户一直维持比较正确的姿态，因此有益于用户身体健康。另一方面，保持正确的姿态可以使用户较长时间使用这些设备。
【专利说明】一种终端设备用户姿态检测系统
【技术领域】
[0001]本发明涉及终端设备，尤其涉及移动终端设备对用户姿态进行检测。
【背景技术】
[0002]手机、平板电脑、电子书以及笔记本电脑等移动终端设备已经在现代人的生活中非常普及。用户在使用这些设备时一般都以单手或双手手持这些设备，让设备的屏幕对着自己进行学习、阅读、娱乐等活动。随着大量的应用程序的出现，用户每天使用这些设备的时间越来越长。例如有的用户在地铁上用手机看小说，一般连续使用时间为几十分钟；在平板电脑或手机上看视屏，经常一看就是几个小时。随着4G业务的开通，移动互联网将提供更加丰富多彩的内容，这会让我们使用这些终端设备的时间更长。
[0003]虽然使用这些设备让我们很便捷地获得了各种信息、随时可以娱乐，但是，对这些设备的不正确使用方法也给用户带来了很多烦恼。比较典型的一个情形是，用户长时间手持这些设备后，手臂疲惫，设备越放越低，自然而然地头也越来越低。如果颈椎长期处于极度前屈的异常稳定状态，就会对颈椎造成伤害，容易造成颈肩部肌肉僵硬、痉挛，时间久了，就可能会导致颈椎曲度变直、颈椎间盘突出等病症。还有的人喜欢在地铁等拥挤的场所看手机、平板电脑或电子书，由于空间有限，这些设备与眼睛的距离很近。还有一些人习惯在休息的时候卧床阅读。这些不正确的姿态对用户的眼睛和颈椎造成了很大的伤害，而且这些伤害很多是不可逆的，需要服用药物、物理疗法乃至手术才能得到有效的治疗。
[0004]由于手机、平板电脑、电子书以及笔记本电脑等移动终端设备在日常生活中使用越来越多，不正确的使用方式对用户身体造成的伤害越来越明显。但是目前终端设备的功能没有避免该问题。开发有效的技术手段减少甚至消除这些不正确情形，可以有效解决设备使用过程中给用户健康造成的损失。
【发明内容】
[0005]本发明提出一种终端设备用户姿态检测系统和检测方法，解决用户面对屏幕使用终端设备时姿态不正确造成身体伤害的问题。
[0006]本发明终端设备用户姿态检测系统包括:
[0007]—个或多个面向用户的摄像头1，获得用户面部图像或视频；一个或多个姿态传感器2，获得终端设备绝对姿态数据(反映屏幕所在平面的水平倾角tl);信息处理模块3，包含姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c ;姿态提醒模块4，包含信息输出装置；所述信息输出装置为提示灯、显示屏、振动装置、音频装置中的一种或多种；所述信息处理模块3通过所述姿态传感数据接口 a获得所述终端设备绝对姿态数据；所述信息处理模块3通过所述图像数据接口 b获得所述用户面部图像或视频数据；所述信息处理模块3运用所述终端设备绝对姿态数据和所述用户面部图像或视频的数据计算用户姿态参数，对姿态进行判断，当姿态不正确时通过所述姿态提醒接口 c发出信号，触发所述姿态提醒模块4 ;所述姿态提醒模块4通过以下一种或多种形式向用户发出提示信号和/或矫正建议信号:提示灯开关、颜色变化、闪烁；显示屏上显示的文本、图形、图像或视频；音频装置发出声音；振动装置发出的振动。
[0008]所述信息处理模块3包括机器视觉处理模块31、姿态计算模块32、姿态判断模块33 ;所述机器视觉处理模块31处理摄像头得到的图像或视频，从中提取出用户相对姿态参数，包括距离和相对角度；所述姿态计算模块32根据终端设备姿态数据与用户相对姿态参数计算用户的绝对姿态参数；所述姿态判断模块33对相对和绝对姿态参数进行判断，当发现有一个或多个姿态参数不正确时，通过所述姿态提醒接口 c发出数据，触发所述姿态提醒模块4向用户发出提示信号和/或矫正建议信号。
[0009]运用本发明的系统，通过对用户进行有效的提醒，可使用户一直维持一个比较正确的姿态。这可以让用户不会因为使用这些电子设备对身体造成伤害，因此有益于用户。另一方面，保持正确的姿态，用户避免疲惫，可以较长时间使用这些设备，提高用户对设备生产者和应用程序的黏着度。
【专利附图】
【附图说明】
[0010]图1是终端设备用户姿态检测系统
[0011]图2是终端设备用户姿态检测系统的一个实施例
[0012]图3是终端设备用户姿态检测方法的流程图
[0013]图4是摄像头在终端设备面板上的位置和功能示意图
[0014]图5是姿态传感器在终端设备上的位置和功能示意图
[0015]图6是单目机器视觉方法面部位置的获取原理图
[0016]图7是有线连接远程信息处理的终端设备姿态检测系统实施例
[0017]图8是无线连接远程信息处理的终端设备姿态检测系统实施例
[0018]图9是数据传送网络连接远程信息处理的终端设备姿态检测系统实施例
【具体实施方式】
[0019]下面结合附图，对【具体实施方式】说明如下。
[0020]图1是终端设备用户姿态检测系统。本发明终端设备用户姿态检测系统包括:一个或多个面向用户的摄像头I，一个或多个姿态传感器2，信息处理模块3，姿态提醒模块4。
[0021]通过摄像头I获得用户面部图像或视频。通过设备上的一个或多个姿态传感器(例如采用重力传感器)获得终端设备绝对姿态数据(反映了屏幕所在平面的水平倾角)。
[0022]信息处理模块3，包含姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 C。姿态传感数据接口 a传递的数据包含终端设备姿态数据。图像数据接口 b传递的数据包含图像或视频数据。姿态提醒接口 c传递的数据包含报警数据和姿态矫正数据。报警数据是指用户姿态参数超出门限值时生成的，包含报警的方式、报警的强度、报警的时间长短等特征，这些数据是根据用户偏离正确姿态的程度和时间来确定的。姿态矫正数据是根据用户姿态参数和门限值之间的差，得到如何改变用户姿态以达到正确姿态的数据，包括距离、角度、及调整的方向等信息。信息处理模块3计算用户姿态参数，对姿态进行判断，当姿态不正确时触发姿态提醒模块4。
[0023]姿态提醒模块4包含信息输出装置(提示灯、显示屏、振动装置、音频装置中一个或多个)。姿态提醒模块4输出的信号是用户感官可识别的信号。姿态提醒模块4通过以下一种或多种形式向用户发出提示信号和/或矫正建议信号:提示灯开关、颜色变化、闪烁；显示屏上显示的文本、图形、图像或视频；音频装置发出声音；振动装置发出的振动。
[0024]图2是终端设备用户姿态检测系统的一种实施例。信息处理模块3还包括机器视觉处理模块31、姿态计算模块32、姿态判断模块33。机器视觉处理模块31处理摄像头得到的图像或视频，从中提取出用户相对设备的姿态参数，包括距离和相对角度。姿态计算模块32根据终端设备的绝对姿态参数与用户相对设备几何关系数据计算用户的绝对姿态参数。姿态判断模块33对用户的相对姿态参数和绝对姿态参数进行判断，当发现有一个或多个姿态参数不正确时，通过姿态提醒接口 c向姿态提醒模块4发出数据，触发所述姿态提醒模块4发出提示信号和/或矫正建议信号。
[0025]上文所述“姿态参数”包括“相对姿态参数”和“绝对姿态参数”。相对姿态参数指上文所述“用户相对姿态参数”，是指用户面部相对于显示屏的位置和角度参数；所谓绝对姿态参数，是指反映物体在空间中的姿态、与相对位置无关的参数，绝对姿态参数包括“终端设备绝对姿态参数”，例如显示屏和水平面之间的夹角tl，还包括“用户绝对姿态参数”，例如用户面部各特征点所在平面与水平面之间的夹角t4。
[0026]信息处理模块3采取本地信息处理时，计算可以在智能终端本地完成，即所述摄像头1、姿态传感器2、信息处理模块3、姿态提醒模块4都集成在一个终端设备内。整个头部姿态的获取及相关的校准过程都可以由本地的计算资源，如软件、固件或硬件来完成。此时，姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c都使用本地通信技术。
[0027]图3是终端设备用户姿态检测方法的流程图
[0028]第I步:屏幕姿态检测。姿态传感器采集终端屏幕所处空间状态，输出设备姿态数据。姿态计算模块使用姿态传感器输出的设备姿态数据计算设备绝对姿态参数tl。
[0029]关于显示模式。本发明的系统和方法在显示屏工作的状态下才有意义，作为本发明方法的优化的实施例，该发明在开始姿态检测之前先检测显示屏是否正常显示。如有显示，本功能开启。如无显示，则不开启检测过程及提示功能以节省电能。
[0030]第2步:用户姿态检测。摄像头采集用户图像，从图像中提取出用户的面部及面部的特征点，如眼睛、鼻子、嘴等，分析计算用户面部的相对姿态参数和绝对姿态参数。采用单目、双目或多目视觉的方法，测量出面部各器官中点与摄像头之间的距离，进一步计算出的几何关系，包括眼睛与屏幕的水平距离L1、垂直距离L2，面部中线(面部各器官中点的连线)的与终端设备屏幕所在平面的相对角度(如t2，t3)。姿态计算模块根据以上角度值，计算用户面部中线的绝对倾角t4。
[0031 ] 第3步:用户姿态分析。姿态判断模块将以上姿态参数L1、L2、t3、t4和门限值进行比较，判断用户姿态是否正确。
[0032]第4步:信号输出。当第3步用户姿态分析的结果中发现所述姿态参数中的一个或多个姿态参数超过门限值时，触发姿态提醒模块发出提示信息。
[0033]以上步骤循环进行。当第3步用户姿态分析结果中发现姿态参数均不超过门限值、或第4步完成后，直接回归第I步。所述每一次循环中还包含第5步:延迟。所述直接回归即延迟为O的情形。
[0034]判断模块在发现有超出门限的情况时，也可以先等待一段时间，在这段时间内如果持续出现该超出门限的情况才向提醒界面发出提示信息。即是指在第I?4步构成的循环过程中，所述一个或多个姿态参数超过门限值，且持续多次循环该均参数均超出门限值，所述第4步才触发姿态提醒模块发出提示信号和/或矫正建议信号。
[0035]检测周期。由于人体从正确姿态变为不正确姿态的过程比较缓慢，作为本发明方法的优化的实施例，摄像头可以只是每隔数十秒才进行一次拍摄，其它单元根据这次拍摄的结果做出相应的响应。实现的方法是使所述第5步中的延迟时间为数十秒。
[0036]当终端所运行的应用软件占据屏幕时，用户面向终端屏幕。将用户姿势检测及提醒功能开发成函数库，集成在操作系统或开发工具中的函数库中供一般应用程序开发者调用，这样可以降低一般应用程序开发者的开发难度，在更多的应用程序中为用户提供健康保证。
[0037]应用在移动智能终端(例如3G手机或LTE手机)时，智能终端的操作系统可以基于本发明的方法提供一种系统服务，作为一种后台运行的服务，该服务在显示屏被应用程序占用并显示内容时检查用户的姿态，在姿态不正确时直接发出提示。例如，智能终端的操作系统可以提供一个API (应用程序编程接口)，该API通过本发明的技术方案向应用程序提供用户的姿态，由应用程序发出姿态提醒。再例如，本发明也可以是智能终端上运行的一个普通应用程序或通用监控应用程序，该应用程序通过本发明的方法来决定是否发出姿态提醒。
[0038]在操作系统、应用程序中对本发明的功能进行设置，使得该功能只在某些应用中启用，也可以通过设置让该功能在某些应用中不被启用。如前台应用程序是接听、拨打电话、听收音机或其它音频内容时，由于此时用户不会长时间关注显示屏，此时不必要开启本功能。这种设置可以是用户手动设置，也可以是操作系统、应用程序进行默认设置。
[0039]图4是摄像头在终端设备面板上的位置和功能示意图，一个终端设备5使用时大致呈平板状，有一个或多个面向用户的摄像头。还要至少要包含一个面向用户的显示屏6，摄像头I的镜头所在平面和显示屏所在平面相平行、或具有其它稳定的位置关系，使用户在面向设备阅读或工作时，面向摄像头、处于摄像头的图像采集空间中。
[0040]图5是姿态传感器在终端设备上的位置和功能示意图。该终端设备5的硬件至少要包含一个面向用户的显示屏和一个能检测出显示屏所在平面倾角的姿态传感器2。该传感器安装在终端设备5上，与显示屏6具有固定的位置关系。通过该传感器输出的数据，可以得到终端设备5的屏幕6所在平面的倾角(tl)，即终端设备的屏幕所在平面和水平面之间的夹角，作为终端设备绝对姿态参数。
[0041]图6是单目机器视觉方法面部位置的获取原理图。在单目机器视觉原理基础上，这里举例说明一种面部位置的获取方法，采用所述单目检测方法，存在一个摄像头，取人面部中线两个容易识别的特征点A、B，摄像头镜头中心点C，用单目机器视觉的方法得到长度AC、BC ;长度AB使用典型值；再计算出各个姿态参数(L1、L2、t3、t4)。详细说明如下:
[0042]通过设备的前置摄像头获得的图像，采用计算机图形学的方法从这些图像中提取出用户面部的特征点，如眼睛、鼻子、嘴等。图中A、B分别为人面部两个容易识别的特征点，如两个眼睛中点位置、嘴巴中点位置。C点为设备前面板上的摄像头镜头中心点位置。DE所在平面为摄像头传感器所在的平面，D、E两点分别是A、B在传感器上的像。由于传感器与镜头的几何关系固定，因此可以由D、E在传感器上的位置及镜头与传感器的距离计算出角度t2，即BD与DE的夹角。通过单目机器视觉的方法，如几何相似法、几何光学法，可以得到AC、BC的长度。而AB的长度可以事先通过测量得到，或直接使用一些典型值。这样又可以用余弦定理计算出角度t3、以及C距A的水平距离LI和垂直距离L2。通过简单的平面几何推导可以得到角度t4=t3+tl-t2，即躯干直立时头部的倾角。
[0043] 将角度tl、t4、Ll和L2送到判断模块。当tl超出其门限Tl，或t4超出其门限T4，或LI超出其门限Ltl，或L2超出其门限Lt2时，提醒界面显示响应的提示信息。例如将正确姿态定义为:tl=t4 ^ 90度，Ll>30厘米，L2 ^ O,门限值可定为Tl=80度，Τ4=55度，Ltl=23厘米，Lt2=8厘米。以上门限值仅为举例，并不排除用其它最大或最小值方式确定门限值。
[0044]长度AB通过校准过程得到典型值。测量面部相对于设备的姿态是否正确，可以加一个校准过程，校准时，要求用户必须用正确的姿态，保持特定的L1、L2、t2、t3、t4值，例如头部正直，手机屏幕与眼睛几乎同高且正对眼睛，屏幕距离眼睛30厘米左右。摄像头将此时的面部信息进行分析，可以得到用户的特征信息，如两只眼睛、鼻子、下颌等比较容易识别的点的几何关系。这样前文所述识别过程中用到的AB长度参数就可以用单目机器视觉的方法得到了。
[0045]如果直接使用经验值来确定面部器官中点间距的典型值，可省略头部姿态测量的校准过程。
[0046]双目或多目机器视觉方法面部位置的获取。上述实施例的讨论是基于一个摄像头的方法，如果有两个或多个摄像头，这些摄像头对同一场景摄得的图像具有视差，通过对特征点之间视差的分析，可以得到A点和B点在空间中相对于摄像头中心点的位置坐标，从而可以算出LI和L2两个距离参数以及角度t3，进而算出角度t4。采用所述双目或多目检测方法，存在两个或多个摄像头，采用双目及多目机器视觉的方法不需要校准过程。
[0047]虚拟多摄像机进行面部位置的获取。可以将光学成像系统和单个摄像头结合，形成两个或多个虚拟摄像机，由单摄像机构成双目或多目视觉系统，获得虚拟的立体视觉。这样可以解决一般双目或多目系统中对多个摄像头的一致性要求。
[0048]使用3D相机进行面部位置的获取。随着技术的进步，现在已经出现的3D相机可以直接输出立体图形，只要从中提取出所需要的特征点，如前面实施例中的A点和B点，就可以算出LI和L2两个距离信息以及角度t2、t3，进而算出角度t4。
[0049]图7~9是远程信息处理的终端设备姿态检测系统实施例，终端设备5包含摄像头1、姿态传感器2、姿态提醒模块4，所述信息处理模块3在终端设备5的外部。例如，本地摄像头I将获得的图片或视频通过智能终端上的通信装置传输到应用服务提供者的服务器上进行分析与计算，最终服务器将是否发出提醒的指示发给智能终端。由于一般服务器的计算能力比智能终端本地的计算能力要强的多，因此这样能获得更好的性能。此时，姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c使用能支持较远距离传输的有线或无线通信装置来实现。这些通信装置包含图7~9中的有线连接装置7，无线连接装置81、82，以及数据传送网络9等。
[0050]图7是有线连接远程信息处理的终端设备姿态检测系统实施例，在终端设备用户姿态检测系统中还包括有线连接装置7 ;所述姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c通过所述有线连接装置7实现；所述有线连接装置7是电缆或光缆。[0051]图8是无线连接远程信息处理的终端设备姿态检测系统实施例，终端设备用户姿态检测系统中还包括无线连接装置81、82 ;所述姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c通过所述无线连接装置81、82实现；所述无线连接装置包括天线812、822和调制解调器811、821。
[0052]图9是数据传送网络连接远程信息处理的终端设备姿态检测系统实施例，终端设备用户姿态检测系统中还包括数据传送网络9。所述姿态传感数据接口 a、图像数据接口 b、姿态提醒接口 c通过所述数据传送网络9实现。所述数据传送网络9是局域网或互联网；所述数据传送网络中包含计算机网络、或交换机网络、或路由器网络。
【权利要求】
1.一种终端设备用户姿态检测系统，其特征在于，包括 一个或多个面向用户的摄像头，获得用户面部图像或视频； 一个或多个姿态传感器，获得终端设备的绝对姿态数据，所述终端设备的绝对姿态数据反映屏幕所在平面的水平倾角； 一个信息处理模块，包含姿态传感数据接口、图像数据接口、姿态提醒接口 ； 一个姿态提醒模块，包含信息输出装置； 所述信息处理模块通过所述姿态传感数据接口获得所述终端设备绝对姿态数据； 所述信息处理模块通过所述图像数据接口获得所述用户面部图像或视频的数据；所述信息处理模块运用所述终端设备绝对姿态数据和所述用户面部图像或视频的数据计算用户姿态参数，对姿态进行判断，当姿态不正确时通过所述姿态提醒接口发出信号，触发所述姿态提醒模块； 所述姿态提醒模块向用户发出感官可识别的信号，包括提示信号和/或矫正建议信号。
2.如权利要求1所述的终端设备用户姿态检测系统，其特征在于， 所述信息处理模块包括机器视觉处理模块、姿态计算模块、姿态判断模块； 所述机器视觉处理模块处理摄像头得到的图像或视频，从中提取出用户相对姿态参数； 所述姿态计算模块根据终端设备的绝对姿态参数与用户相对姿态参数据计算用户的绝对姿态参数； 所述姿态判断模块对用户的相对姿态参数和绝对姿态参数进行判断，当发现有一个或多个姿态参数不正确时，通过所述姿态提醒接口发出数据，触发所述姿态提醒模块向用户发出提示信号和/或矫正建议信号。
3.如权利要求1或2所述的终端设备用户姿态检测系统，其特征在于，所述信息输出装置为指示灯、显示屏、振动装置、音频装置中的一种或多种；所述感官可识别的信号包括以下一种或多种:提示灯开关、颜色变化、闪烁；显示屏上显示的文本、图形、图像或视频；音频装置发出声音；振动装置发出的振动。
4.如权利要求1或2所述的终端设备用户姿态检测系统，其特征在于，所述摄像头为3D相机。
5.如权利要求1或2所述的终端设备用户姿态检测系统，其特征在于，至少一个所述摄像头，形成两个或多个虚拟摄像机。
6.如权利要求1或2所述的终端设备用户姿态检测系统，其特征在于，所述终端设备中包括摄像头、姿态传感器、信息处理模块、姿态提醒模块。
7.如权利要求1或2所述的终端设备用户姿态检测系统，其特征在于，所述终端设备中包括摄像头、姿态传感器、姿态提醒模块；所述信息处理模块在终端设备之外。
8.如权利要求7所述的终端设备用户姿态检测系统，其特征在于，还包括有线连接装置；所述姿态传感数据接口、图像数据接口、姿态提醒接口通过所述有线连接装置实现；所述有线连接装置是电缆或光缆。
9.如权利要求7所述的终端设备用户姿态检测系统，其特征在于，还包括无线连接装置；所述姿态传感数据接口、图像数据接口、姿态提醒接口通过所述无线连接装置实现；所述无线连接装置包括天线和调制解调器。
10.如权利要求7所述的终端设备用户姿态检测系统，其特征在于，还包括数据传送网络；所述姿态传感数据接口、图像数据接口、姿态提醒接口通过所述数据传送网络实现；所述数据传送网络是局域网或互联网；所述数据传送网络中包含计算机网络、或交换机网络、或路由器网络。
【文档编号】G06F3/01GK103955272SQ201410153807
【公开日】2014年7月30日 申请日期:2014年4月16日 优先权日:2014年4月16日
【发明者】王立宁 申请人:北京尚德智产投资管理有限公司