根据用户状态信息更新应用的系统及方法与流程
本发明涉及计算机应用、人机交互领域，尤其涉及一种根据用户状态信息更新应用的系统及方法。
背景技术：
智能手机等移动设备以及电视、电脑等多媒体设备的广泛应用给人们生活带来了巨大的便利，同时也带来了一些问题。显示器件从传统的crt显示器到现在的led、qd等，屏幕像素越来越高，人们对手机的过度依赖或者不正当的使用方式给用户的健康产生了负面的影响。比如长时间近距离的观看手机、平板、电视等会产生近视或使近视加深，经常性地低头使用手机、平板等会引起劲椎病等健康问题。同时，使用过程中用户的眼睛到屏幕的距离不同，屏幕的最佳亮度也不同。现有技术中虽然有尝试解决这些问题的方案，但是只能确定用户距离的远近，不能准确判断用户使用时的状态信息，所以也无法解决根据用户状态信息更新应用的问题。
技术实现要素：
本发明为了解决现有技术中不能准确判断用户状态信息，以及无法根据用户状态信息更新应用的问题，提供一种根据用户状态信息更新应用的系统及方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种根据用户状态信息更新应用的系统，包括：至少一个深度获取装置，所述深度获取装置用于获取包含用户头部的深度图像；显示器，用于应用的显示；至少一个处理器，用于根据所述深度图像确定用户的状态信息，且基于所述状态信息更新应用。
优选地，所述系统还包括微电子机械系统，所述微电子机械系统包括加速度计、陀螺仪、磁力计中的至少一种，用于获取包括重力方向的信息。
优选地，所述系统还包括计时器，所述计时器至少包括一个计时单元，用于获取时间信息，所述时间信息是所述用户状态信息达到所述阈值信息的持续时间和/或用户持续使用的时间。
优选地，所述用户的状态信息包括用户头部的距离及方位，所述距离包括用户脸部部位与所述平面之间的距离，所述脸部部位包括双眼部位；所述方位指用户脸部朝向与重力方向的夹角或用户脸部朝向与用户颈部所在轴线之间的夹角。
优选地，所述阈值信息包括用户头部的距离阈值、用户头部的方位阈值、用户头部持续达到距离阈值和/或持续达到方位阈值的时间阈值以及用户持续使用时间的阈值。
优选地，所述更新应用包括对用户进行提醒、调整应用中的至少一种。
优选地，所述提醒包括当所述距离达到预设阈值时的防近视提醒和/或当用户头部方位达到预设阈值时进行颈锥过弯提醒。
优选地，所述调整应用包括高度、大小、亮度的调整。
本发明还包括一种根据用户状态信息更新应用的系统的方法，包括如下步骤：
s1：预先设置阈值信息；
s2：所述深度获取装置实时获取包含用户状态的深度图像；
s3：所述处理器根据所述深度图像确定所述用户的状态信息；基于所述状态信息与所述阈值信息确定需要更新的应用；
s4：所述显示器的应用更新。
优选地，所述步骤s2中还包括获取重力方向的信息，所述重力方向的信息由微电子机械系统提供。
优选地，所述步骤s2中还包括获取时间信息，所述时间信息由计时器提供。
优选地，所述时间信息是所述用户状态信息达到所述阈值信息的持续时间和/或用户持续使用的时间。
优选地，所述用户的状态信息包括用户头部的距离及方位，所述距离包括用户脸部部位与所述平面之间的距离，所述脸部部位包括双眼部位；所述方位指用户脸部朝向与重力方向的夹角或用户脸部朝向与用户颈部所在轴线之间的夹角。
优选地，所述阈值信息包括用户头部的距离阈值、用户头部的方位阈值、用户头部持续达到距离阈值和/或持续达到方位阈值的时间阈值以及用户持续使用时间的阈值。
优选地，所述更新应用包括对用户进行提醒、调整应用中的至少一种。
优选地，所述提醒包括当所述距离达到预设阈值时的防近视提醒和/或当用户头部方位达到预设阈值时进行颈锥过弯提醒。
优选地，所述调整应用包括高度、大小、亮度的调整。
本发明还包括一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行如上任一所述的方法。
本发明的有益效果为：提供一种根据用户状态信息更新应用的系统，通过获取用户的深度图像，根据所述深度图像确定用户的状态信息，同时结合时间信息更应应用。实现了对用户状态信息的准确判断，从而进一步根据用户状态更新应用，引导用户科学使用带显示器的设备，避免用户不当使用产生的健康问题。
附图说明
图1是本发明实施例1中根据用户状态信息更新应用的系统示意图。
图2为本发明实施例1中用户使用本发明系统的场景示意图。
图3是本发明实施例1中根据用户状态信息更新应用的的方法示意图。
具体实施方式
下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
实施例1
图1为本实施例根据用户状态信息更新应用的系统示意图。目前普遍存在的问题比如用户低头使用或者眼睛离手机过近等，使得产生一些影响用户健康的问题，本发明针对这一问题，提供一种根据用户状态信息更新应用的系统，包括：至少一个深度获取装置，所述深度获取装置用于获取包含用户头部的深度图像；显示器，用于应用的显示；至少一个处理器，用于根据所述深度图像确定用户的状态信息，且基于所述状态信息更新应用。所述深度获取装置与所述显示器在同一个平面上。
所述深度获取装置用于获取包含用户头部的深度图像，该深度图像中各个像素的值代表相应的空间点离深度获取装置的距离，换句话说，各像素的值即为该空间点在以深度获取装置所在的坐标系中的z值，x,y坐标可以通过针孔成像模型以及深度获取装置的内部参数来计算，因此通过深度获取装置就可以得到该深度获取装置坐标系下用户头部的三维点云数据。
这里的深度获取装置，即深度相机。目前深度相机主要有三种形式：基于双目视觉的深度相机、基于结构光的深度相机以及基于tof(时间飞行法)的深度相机。以下进行简要说明，无论哪种形式都可以被用在实施例中。
基于双目视觉的深度相机是利用双目视觉技术，利用处在不同视角的两个相机对同一空间进行拍照，两个相机拍摄出的图像中相同物体所在像素的差异与该物体所在的深度直接相关，因而通过图像处理技术通过计算像素偏差来获取深度信息。
基于结构光的深度相机通过向目标空间投射编码结构光图案，再通过相机采集目标空间含有结构光图案的图像，然后将该图像进行处理比如与参考结构光图像进行匹配计算等可以直接得到深度信息。
基于tof的深度相机通过向目标空间发射激光脉冲，激光脉冲经目标反射后被接收单元接收后并记录下激光脉冲的来回时间，通过该时间计算出目标的深度信息。
这三种方法中第一种一般采集彩色相机，因而受光照影响大，同时获取深度信息的计算量较大。后两种一般利用红外光，不受光照影响，同时计算量相对较小。目前双摄相机、利用vcsel芯片做为光源的结构光、tof相机都可以被嵌入到手机、电脑等设备中。深度相机的形式在本发明中不做限定。
所述显示器，用于应用的显示，本系统所说的显示器包括但不限于智能手机等移动设备以及电视、电脑等多媒体设备的显示器，现有技术中所有带有显示器的设备均属于本发明所说的显示器。显示器用于应用程序的显示，可以为led、液晶显示屏幕等。
所述处理器用于接收深度图像并做进一步的处理，在本发明中，处理器的作用至少包括以下两个方面：
一是根据深度图像确定用户头部的距离及方位等状态信息；
二是根据状态信息与预先设置的阈值信息中的距离阈值及方位阈值判断是否达到阈值。
在本实施例的变通实施例中，需要注意的是，系统中处理器也可以用于计算深度图像，即将深度获取装置中的深度计算单元集成到该处理器中；处理器可以不只一个分别负责相应的功能。
优选地，所述系统还包括计时器，所述计时器至少包括一个计时单元，用于获取时间信息，所述时间信息是所述用户状态信息达到所述阈值信息的持续时间和/或用户持续使用的时间。
优选地，所述系统还包括微电子机械系统(mems)，所述微电子机械系统包括加速度计、陀螺仪、磁力计中的至少一种，用于获取包括重力方向的信息。mems由于集合了集成电路与机械装置的优点，使得可以以极小的体积以及低功耗来实现机械功能，常用的有陀螺仪、加速度计、磁力计等等，考虑到这些mems常常被结合在一起使用，因此也将多个集成在一起，比如将三轴陀螺仪与三轴加速度计集成在一起形成惯性测量单元(imu)，用来测量系统的三个方向的姿态角及加速度。在一个实施例中，利用imu可以得到当前系统的重力方向向量
优选地，系统包括存储器，用于存放程序，所述程序由所述处理器执行。存储器可以为ram、rom、flash等等，可以为一个或多个存储单元组成，分别用来存储不同种类的数据。一般地，存储器用来存储操作系统、应用程序、程序临时数据等等。对于本系统中，存储器还用于存储深度获取装置在计算深度时需要用到的参数(镜头参数、参考图像等等)，该存储单元也可以被视作深度获取装置的一部分。
优选地，所述用户的状态信息包括用户头部的距离及方位，所述距离包括用户脸部部位与所述平面之间的距离，所述脸部部位包括双眼部位；所述方位指用户脸部朝向与重力方向的夹角或用户脸部朝向与用户颈部所在轴线之间的夹角。
优选地，所述阈值信息包括用户头部的距离阈值、用户头部的方位阈值、用户头部持续达到距离阈值和/或持续达到方位阈值的时间阈值以及用户持续使用时间的阈值。
优选地，所述更新应用包括对用户进行提醒、调整应用中的至少一种。
优选地，所述提醒包括当所述距离达到预设阈值时的防近视提醒和/或当用户头部方位达到预设阈值时进行颈锥过弯提醒。
优选地，所述调整应用包括高度、大小、亮度的调整。
图2为使用根据用户状态信息更新应用的系统的示意图。图中用户手持手机并正在使用，用户低头使用或者眼睛离手机过近等，使得产生一些影响用户健康的问题，手机设备上的深度获取装置就会对人头部(脸部)进行识别，并判断出低头的程度是否达到预设的阈值，当达到时进行相应的提醒，比如在当前应用中弹出窗口提醒系统作出相应的提醒，比如字幕提醒“低头太多，请注意颈锥健康！”。提醒的方式也可以有多种，比如通过记录低头的时间，当达到一定的时间阈值后，提醒将关闭当前应用，并提醒用户抬头或做一适量头部活动。另外，手机设备还可以识别出头部的距离，当距离低于预设的阈值时，进行提醒，或者对当前的应用进行调整，常见的调整如对显示屏幕的亮度，或者对字体、图片等大小进行调整等等。当用户使用时间持续达到一定时间后，也需要对用户进行提醒。预设的阈值需要预先设定，并保存在应用程序对应的存储中，一种优先的设定方式是考虑低头程度或距离对颈锥或眼睛的健康影响界限，将该界限做为相应的阈值。
在本实施例的变通实施例中，为了保护用户的眼睛，预先设置一定的距离阈值，比如20cm，通过计算眼睛与深度获取装置之间的距离，当距离小于该阈值时，进行防近视提醒。具体地，处理器接收到深度图像后，首先识别出用户头部，其次根据已有知识中用户眼睛相对于头部的位置来得到眼睛的三维坐标值，从而计算出距离。
在本实施例的变通实施例中，为了保护用户的颈锥，预先设置一定的倾斜阈值。衡量倾斜程度一般选取用户头部与躯干之间的夹角，即图2中向量
向量
在计算得到倾斜夹角后，判断该夹角是否小于阈值，在一个实施例中，当小于阈值时即在应用中进行提醒，比如弹出提醒窗口；在一个实施例中，当夹角小于阈值一段时间后进行提醒，或者直接始退出程序等，这个时间即为设置的阈值信息。
如图3所示，一种采用如上系统的方法，包括如下步骤：
s1：预先设置阈值信息；
所述阈值信息包括用户头部的距离阈值、用户头部的方位阈值、用户头部持续达到距离阈值和/或持续达到方位阈值的时间阈值以及用户持续使用时间的阈值。
持续使用时间的阈值包括设置一天内的累计时长，单次使用的累计时长，一周或者一月等固定时间使用的时长，例如单次使用的累计时长为50分钟，每次累计中间间隔至少10分钟，如果满50分钟后休息不足10分钟，则默认为没有休息，单次累计时间继续累计；如果不足10分钟由其他人使用该设备则是允许的，可以通过启动设备时增加用户的识别验证实现。如果没有到50分钟用户自行选择休息，休息时间不足10分钟，继续使用后会累计之前的使用时间；若足10分钟则不会累计之前的使用时间，重新开始计算单次使用的累计时间。
本实施例的变通实施例中阈值信息可以根据用户不同设置多套阈值信息，比如当成人使用时和儿童使用时的阈值信息不同；根据使用目的不同选取不同标准的阈值信息，查看学习资料时是必须看清楚资料内容需要达到一定的清晰程度，但当看电视节目时可以是另外的阈值标准。但是多套标准都是在符合人体健康的要求之内设置的，所以可以增加阈值的监控和判断系统。
在本实施例的变通实施例中，增加用户识别验证，除了用于中间更换用户的情况，还可以实现系统同时监控多个用户的使用情况；增加系统学习功能，记录用户的使用习惯对于阈值给出合适的建议；或者结合用户的身体健康状况给出合适的建议。
在本实施例的变通实施例中，可以增加对环境的判断，根据周围环境的不同，比如晚上光线和白天光线的差异，室内和户外光线的差异等，建议用户或者自动调整相应的阈值信息。
s2：所述深度获取装置实时获取包含用户状态的深度图像；
在一种实施例中，可以通过深度图像获取用户的人面部朝向的深度信息和颈椎的深度信息，由颈椎的深度信息可以得到颈椎侧面弯曲信息，由此判断人的状态信息：通过人面部到屏幕的距离判断用户距离是否达到距离阈值；通过颈椎弯曲信息判断用户的方位是否达到方位阈值。如果距离或者方位达到阈值，系统就会更新应用。
优选地，所述步骤s2中还包括获取重力方向的信息，所述重力方向的信息由微电子机械系统提供。由深度相机提供人面部的深度图像，可以获得人脸的朝向的法向量，微电子机械系统提供移动设备的重力方向向量，此重力方向向量和人体躯干的重力方向向量是一致的，所以得到两个向量之间的夹角可以转化成人的面部朝向与设备的方位，从而进一步判断方位是否达到方位阈值。
优选地，所述步骤s2中还包括获取时间信息，所述时间信息由计时器提供。所述时间信息是所述用户状态信息达到所述阈值信息的持续时间和/或用户持续使用的时间。增设计时器，可以设置用户距离或者方位持续超过阈值一定时间以后再更新应用，避免了频繁更新用户给用户带来不好的体验。比如用户使用过程中，面部和屏幕距离比较近达到设置的距离阈值，计时单元会对达到阈值的时间进行记录；同样的，当用户的头部方位达到设置的方位阈值时，计时单元会对达到阈值的时间进行记录；如果，用户同时达到距离阈值和方位阈值可以给出一个时间；当用户分别达到距离阈值和方位阈值时给出两个时间。系统进一步判断给出的时间是否达到预设的阈值时间，只要有一个时间超过阈值时间即更新应用。
在本实施例的变通实施例中，还可以分情况设置对应的时间阈值，比如有一种极端情况是用户平躺的时候使用电子设备，此时重力方向与人面部朝向的夹角是180°，这种情况下，系统作出方位判断后会立刻更新应用。此处所述的分情况设置还包括根据超过阈值的多少分为不同情况，超过阈值的范围越大所对应的时间阈值就会越小。
在本实施例的变通实施例中，所述阈值信息还包括距离过远的时候自动应用，调整包括但不限于调整字体变大，屏幕变亮；根据周围的环境变化时调整时亮度或对比度或清晰度；根据使用时间长度的增加，即便用户没有在距离和方位达到阈值也会自动更新显示器界面的显示。
s3：所述处理器根据所述深度图像确定所述用户的状态信息；基于所述状态信息与所述阈值信息确定需要更新的应用；
优选地，所述用户的状态信息包括用户头部的距离及方位，所述距离包括用户脸部部位与所述平面之间的距离，所述脸部部位包括双眼部位；所述方位指用户脸部朝向与重力方向的夹角或用户脸部朝向与用户颈部所在轴线之间的夹角。当累计时间达到用户头部持续达到距离阈值和/或方位阈值的时间阈值时，系统就需要更新应用。
s4：所述显示器的应用更新。
所述更新应用包括对用户进行提醒、调整应用中的至少一种。所述提醒包括当所述距离达到预设阈值时的防近视提醒和/或当用户头部方位达到预设阈值时进行颈锥过弯提醒。所述调整应用包括但不限于界面内容的高度、大小、亮度的调整，包括发出语音提醒或者弹出窗口提醒，还包括关于显示屏幕的画面只保留声音，甚至直接自动关闭设备。以上所述的更新应用的内容可以同时进行至少一个，其组合也不受限制。
在本实施例的变通实施例中，作为家长的用户可以查看系统的提醒记录、使用状况便于了解儿童的使用情况，或者提醒记录、使用状况会直接与家长手机绑定，直接发送使用通知。
在本实施例的变通实施例中，增加对人的整体状态的判断，比如人在行走时不适宜使用移动设备，比如人在看电视时进入睡眠等，通过不同的状态系统可以做出应用更新。
一种包含计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行以上任一所述的方法。计算机可读存储介质为现有技术中移动硬盘、光盘等类型，本发明不作具体限制。
本发明的系统和方法旨在用于监测用户使用带有显示器的设备时保持合理的距离和方位，并且使用合理的时间；也可以结合用户的身体状况及周围环境的状况给用户合理的使用建议，都是为了保护用户的健康。还可以与其他技术相结合比如虹膜识别等，在本发明的方法内，除了以上所述的方法和系统，其他任何与现有技术相结合以达到跟本发明类似或相同的目的，解决了类似或相同的问题都应该属于本发明所保护的范围。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！