页面滚动控制方法和装置、存储介质及电子设备与流程

文档序号:24066032发布日期:2021-02-26 13:03阅读:57来源:国知局
页面滚动控制方法和装置、存储介质及电子设备与流程

[0001]
本发明涉及移动终端显示技术领域,具体而言,涉及一种页面滚动控制方法和装置、终端及存储介质。


背景技术:

[0002]
随着互联网技术的发展,目前显示在移动终端上的网页、电子书、文档或短信等内容都比较大,通常无法一次性将上述内容(例如网页)在一个移动终端屏幕上完全显示,需要屏幕的页面内容上下滚动,才能完全显示上述内容。
[0003]
目前用户在使用移动终端过程中,通常依赖用户手动操作滚动条scrollview控件的上下滑动来实现移动终端的屏幕内容的移动。也就是通过手指触摸屏幕下拉或上拉来向上滚动或者向下滚动来操作移动终端的屏幕以控制用户要阅读的内容的滚动。在某些场景下(例如当移动终端用户在戴上棉手套时),此时移动终端用户将无法通过手指操作移动终端的屏幕,就无法控制scrollview控件的上下滚动。此外,在另外一些场景下,手动操作控制移动终端屏幕进行滚动阅读,例如看长文本时,用户需要频繁的在移动终端的屏幕上频繁滑动,容易造成手指疲劳,用户体验性也差。
[0004]
针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

[0005]
本发明实施例提供了一种页面滚动控制方法和装置、存储介质及电子设备,以至少解决相关技术提供的页面滚动控制方法存在页面滚动操作较为复杂的技术问题。
[0006]
根据本发明实施例的一个方面,提供了一种页面滚动控制方法,包括:在终端设备中显示目标页面的过程中,调用上述终端设备中的摄像头获取正在浏览上述目标页面的目标对象的头部图像;基于头部姿态估计算法对上述头部图像进行处理,得到第一处理结果;其中,上述第一处理结果用于指示上述目标对象的头部在当前姿态下的旋转向量;基于注视追踪算法对上述头部图像进行处理,得到第二处理结果;其中,上述第二处理结果包括:用于指示上述目标对象的瞳孔在眼部中的目标瞳孔位置;将上述第一处理结果和上述第二处理结果输入决策树模型,以确定上述目标对象的注视区域;根据上述注视区域控制上述目标页面进行自动滚动。
[0007]
根据本发明实施例的又一方面,还提供了一种页面滚动控制装置,包括:第一获取单元,用于在终端设备中显示目标页面的过程中,调用上述终端设备中的摄像头获取正在浏览上述目标页面的目标对象的头部图像;第一处理单元,用于基于头部姿态估计算法对上述头部图像进行处理,得到第一处理结果;其中,上述第一处理结果用于指示上述目标对象的头部在当前姿态下的旋转向量;第二处理单元,用于基于注视追踪算法对上述头部图像进行处理,得到第二处理结果;其中,上述第二处理结果包括:用于指示上述目标对象的瞳孔在眼部中的目标瞳孔位置;第一确定单元,用于将上述第一处理结果和上述第二处理结果输入决策树模型,以确定上述目标对象的注视区域;第一控制单元,用于根据上述注视
区域控制上述目标页面进行自动滚动。
[0008]
根据本发明实施例的又一方面,还提供了一种电子设备,上述电子设备包括:通信总线、存储器和处理器,其中:上述通信总线,用于实现上述处理器和上述存储器之间的通信连接;上述存储器,用于存储可执行指令;上述处理器,用于执行上述存储器中的页面滚动控制程序,以实现以下步骤:在终端设备中显示目标页面的过程中,调用上述终端设备中的摄像头获取正在浏览上述目标页面的目标对象的头部图像;基于头部姿态估计算法对上述头部图像进行处理,得到第一处理结果;其中,上述第一处理结果用于指示上述目标对象的头部在当前姿态下的旋转向量;基于注视追踪算法对上述头部图像进行处理,得到第二处理结果;其中,上述第二处理结果包括:用于指示上述目标对象的瞳孔在眼部中的目标瞳孔位置;将上述第一处理结果和上述第二处理结果输入决策树模型,以确定上述目标对象的注视区域;根据上述注视区域控制上述目标页面进行自动滚动。
[0009]
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述页面滚动控制方法。
[0010]
在本发明实施例中,通过在终端设备中显示目标页面的过程中,调用终端设备中的摄像头获取正在浏览目标页面的目标对象的头部图像;基于头部姿态估计算法对头部图像进行处理,得到第一处理结果;其中,第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量;基于注视追踪算法对头部图像进行处理,得到第二处理结果;其中,第二处理结果包括:用于指示目标对象的瞳孔在眼部中的目标瞳孔位置;将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域;根据注视区域控制目标页面进行自动滚动。基于目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
附图说明
[0011]
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0012]
图1是根据本发明实施例的一种可选的页面滚动控制方法的应用环境的示意图;
[0013]
图2是根据本发明实施例的一种可选的页面滚动控制方法的流程示意图;
[0014]
图3是根据本发明实施例的另一种可选的页面滚动控制方法的三维空间坐标系中头部姿态转动示意图;
[0015]
图4是根据本发明实施例的又一种可选的页面滚动控制方法的决策树算法处理流程示意图;
[0016]
图5是根据本发明实施例的又一种可选的页面滚动控制方法的流程示意图;
[0017]
图6是根据本发明实施例的另一种可选的页面滚动控制装置的结构示意图;
[0018]
图7是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
[0019]
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
[0020]
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]
图1中用户102与终端设备104之间可以进行人机交互。终端设备104中包含有存储器106,用于存储交互数据、处理器108,用于处理交互数据。终端设备104可以通过网络112与后台服务器114之间进行数据交互。后台服务器114中包含有数据库116,用于存储交互数据、处理引擎118,用于处理交互数据。上述页面滚动控制方法可以由终端设备104执行,也可以由后台服务器114执行。例如,以终端设备104执行为例,终端设备104获取用户102的注视区域,并根据该注视区域控制终端设备104中的显示器110显示的目标页面进行自动滚动。
[0022]
可选地,上述终端设备104可以但不限于为手机、平板电脑、笔记本电脑、pc机等终端,上述网络112可以包括但不限于无线网络或有线网络。其中,该无线网络包括:wifi及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述后台服务器114可以包括但不限于任何可以进行计算的硬件设备。
[0023]
本发明实施例提供一种页面滚动控制方法,如图2所示,该方法包括但不限于以下步骤:
[0024]
s202:在终端设备中显示目标页面的过程中,调用终端设备中的摄像头获取正在浏览目标页面的目标对象的头部图像;
[0025]
s204:基于头部姿态估计算法对头部图像进行处理,得到第一处理结果;其中,第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量;
[0026]
s206:基于注视追踪算法对头部图像进行处理,得到第二处理结果;其中,第二处理结果包括:用于指示目标对象的瞳孔在眼部中的目标瞳孔位置;
[0027]
s208:将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域。
[0028]
s210:根据注视区域控制目标页面进行自动滚动。
[0029]
在步骤s202中,实际应用时,上述终端设备可以包括但不限于以下至少之一:手机(如android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices,移动互联网设备)、pad、台式电脑、智能电视等。目标页面可以是终端设备中屏幕中的web网页,电子文档或邮件等,目标对象为当前操作终端设备的用户,目标对象的头部
图像包括二维图像或三维图像。
[0030]
在步骤s204中,实际应用时,头部姿态估计算法可以包括深度学习法或面部关键点投影法,在此不作限定,头部姿态估计主要是获得脸部朝向的角度信息。通常可以用旋转矩阵、旋转向量、四元数或欧拉角表示(这四个量也可以互相转换)。通常情况下,欧拉角可读性更好,使用更为广泛。人脸姿态信息用三个欧拉角(yaw,pitch,roll)表示。此外,头部姿态估计是在一个空间坐标系内识别头部的姿态方向参数,即,头部位置参数(x,y,z)和方向角度参数(yaw,pitch,roll)。如图3所示,图3为本发明实施例页面滚动控制方法的三维空间坐标系中头部姿态转动示意图,图中描述了目标对象头部姿态在三维空间坐标系上的三个旋转自由度上的方向参数,即水平转动欧拉角(yaw)301、竖直转动欧拉角(pitch)302、左右转动欧拉角(roll)303。一般而言,一个成年人的头部运动方向范围为:左右偏向角度范围为-40.9
°
至36.3
°
,竖直转动角度范围为-60.4
°
至69.6
°
,水平转动角度范围为-79.8
°
至75.3
°

[0031]
面部关键点投影算法中包括头部姿态估计(head pose estimation)算法,该算法主要根据目标对象在三维空间坐标系中多个点的坐标,以及该多个点的坐标对应投影到二维空间坐标系中的点集之间的变换关系矩阵进行求解,进而得到头部姿态的估算结果。
[0032]
第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量,可以为水平转动欧拉角(yaw)301的旋转向量、竖直转动欧拉角(pitch)302的旋转向量、左右转动欧拉角(roll)303旋转向量。
[0033]
在步骤s206中,实际应用时,注视追踪算法也被称为注视估计或者眼动跟踪,是利用电学、光学等各种检测手段获取目标对象的当前注视方向或注视点的技术,通过摄像机相机捕捉眼部图像,对眼球图像进行分析,从而对视线方向进行估计。本发明实施例可以采用但不限于瞳孔定位方法,瞳孔定位方法是基于人脸几何特征通过电荷耦合器件(charge coupled device,ccd)摄像机或互补金属氧化物半导体(complementary metal oxide semiconductor,cmos)摄像机采集的rgb图像,首先检测正面人脸特征点(脸部外轮廓、眼睛、眉毛、鼻子、嘴巴等)的位置,然后利用各个特征点之间的位置约束,定义头部姿态与特定特征点之间的几何关系,最终求解反三角函数得到头部姿态角度。并得出人脸面部所有特征点的坐标,包括眼睛的坐标。根据眼睛的坐标取得眼睛的rgb图像,通过灰度处理和二值化处理,得到包含瞳孔在内的眼部图像。利用几何方法计算瞳孔相对眼部的位置,估计出视线的方向。
[0034]
在步骤s208到s210中,实际应用时,决策树模型可以为随机森林(random forest,rf)算法,概念提取(concept learning system,cls)算法等,在此不作限定。通过分析第一结果和第二结果来判断出目标对象所要注视的区域,例如,当目标对象注视的区域为终端设备的下部时,也就是说目标对象对当前关注页面的阅读即将结束,终端屏幕的页面自动向上移动,可以自动转换到当前页面的下一页内容。
[0035]
基于本发明实施例中目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
[0036]
在一实施例中,利用将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域包括:通过决策树模型对第一处理结果及第二处理结果进行分析,得到分析结果;根据分析结果确定目标对象的注视区域,其中,注视区域用于指示目标对象的当前视线在终端设备的屏幕中的位置。在本实施例中,该分析结果可以是三个输出类别,屏幕中部、屏幕上部和屏幕下部,当输出类别为屏幕中部时,终端设备检测到用户位于终端设备屏幕上方的中间位置,终端设备屏幕中不进行滚屏;当输出类别为屏幕上部时,终端设备检测到用户位于终端设备屏幕上方的上部位置,此时终端设备控制其屏幕页面向下滚屏;当输出类别为屏幕下部时,终端设备检测到用户处于终端设备屏幕上方的下部位置,此时终端设备控制其屏幕页面向上滚屏。
[0037]
在一实施例中,根据注视区域控制目标页面进行自动滚动可以包括:在注视区域指示当前视线在屏幕中的位置为第一位置的情况下,控制目标页面中滚动控件执行向下滚动操作;在注视区域指示当前视线在屏幕中的位置为第二位置的情况下,控制目标页面中滚动控件不滚动;在注视区域指示当前视线在屏幕中的位置为第三位置的情况下,控制目标页面中滚动控件执行向上滚动操作;其中,第一位置高于第二位置,第二位置高于第三位置。在本实施例中,第一位置可以为终端设备的屏幕上部,第二位置可以为终端设备的屏幕中部,第三位置可以为终端设备的屏幕下部。通过设置不同位置能够灵活控制页面滚动方向,从而能够方便用户进行阅读。
[0038]
在一实施例中,根据分析结果确定目标对象的注视区域包括:在分析结果指示目标对象在眨眼的情况下,确定目标对象的当前视线在屏幕中的位置为第二位置;在分析结果指示目标对象并未眨眼,且目标对象的目标瞳孔位置的竖直坐标大于第一阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第一位置;在分析结果指示目标对象并未眨眼,目标对象的目标瞳孔位置的竖直坐标小于等于第一阈值,且目标对象的头部的竖直转动向量大于第二阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第一位置;在所述分析结果指示所述目标对象并未眨眼,且目标对象并未眨眼,且目标对象的目标瞳孔位置的竖直坐标小于第三阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第三位置;在所述分析结果指示所述目标对象并未眨眼,且目标对象的目标瞳孔位置的竖直坐标大于等于第三阈值,且目标对象的头部的竖直转动向量小于第四阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第三位置。
[0039]
在本实施例中,例如,第一阈值和第二阈值为正数,第三阈值和第四阈值为负值,也就是说当瞳孔的位置大于等于第一阈值时,目标瞳孔位置的坐标在y轴的正方向,此时目标对象的视线向上移动;当瞳孔的位置小于等于第三阈值时,目标瞳孔位置的坐标在y轴的负方向,此时目标对象的视线向下移动;当目标对象头部的竖直转动向量大于等于第二阈值时,目标对象处于头部向上移动状态;当目标对象头部的竖直转动向量小于等于第四阈值时,目标对象处于头部向下移动状态,这里目标对象可以为当前终端设备的用户。
[0040]
在本实施例中,通过决策树模型算法来确定目标对象的注视区域,例如,如图4所示,首先,步骤s402,判断目标对象是否眨眼,若是,则进入步骤s404,输出注视区域的位置为屏幕中部,也就是说当前屏幕页面不滚动,若否,则进入步骤s406,判断目标对象的瞳孔的竖直坐标是否大于预设值n,若是,则进入步骤s408,输出注视区域的位置为屏幕上部;若否则执行步骤s410,判断目标对象的头部pitch参数,即目标对象的竖直转动向量是否大于
预设值k,若是,则判断目标对象处于抬头状态,则步骤s412,输出注视区域的位置为屏幕上部;若否,转入步骤s414,判断目标对象的瞳孔的竖直坐标是否小于预设值m,若是,则进入步骤s416,输出注视区域的位置为屏幕下部;若否则执行步骤s418,判断目标对象的头部pitch参数,即目标对象的竖直转动向量是否小于预设值j,若是,则判断目标对象处于低头状态,则进入步骤s420,输出注视区域的位置为屏幕下部;若否,则进入步骤s422,输出注视区域的位置为屏幕中部。通过利用决策树模型来跟踪目标对象的头部姿态以及瞳孔位置的变化,能够简化用户进行屏幕滚动操作,方便用户进行阅读。
[0041]
在一实施例中,步骤s204可以包括如下步骤:从头部图像中获取包含多个关键点的脸部模型,确定出多个关键点在三维空间坐标系中的三维坐标;基于头部姿态估计算法,根据三维坐标确定出目标对象的头部的转动欧拉角,其中,转动欧拉角用于表示目标对象的头部的旋转向量。例如,设置具有n个关键点的3d脸部模型,n可以根据实际对准确度的需求进行定义。通常情况下,n的常用值可以为68。
[0042]
在一实施例中,基于头部姿态估计算法,根据三维坐标确定出目标对象的头部的转动欧拉角包括:将三维坐标转换为三个二维平面坐标;根据竖直方向维度的二维平面坐标确定出目标对象的头部的竖直转动欧拉角,其中,竖直转动欧拉角用于指示目标对象的头部的竖直转动向量,旋转向量包括竖直转动向量。如图3所示,竖直转动欧拉角(pitch)302的旋转向量,通过判断竖直转动向量可以判断目标对象是抬头或低头以及平视。
[0043]
在一实施例中,步骤s206可以包括如下步骤:从头部图像中获取包含多个关键点的眼部模型;利用眼部模型确定出目标对象的瞳孔所在的目标瞳孔位置;判断目标对象的眨眼状态;基于目标瞳孔位置和眨眼状态得到第二处理结果。在本实施例中,从头部图像中的多个关键点中获取包含多个关键点的眼部模型;例如,从头部图像中设置的68个关键点中选择20个关键点作为眼部模型的关键点,然后根据该眼部模型的关键点取得出目标对象所在的目标瞳孔位置,例如,以目标对象的眼睛中心点为轴心,建立二维平面坐标系,目标瞳孔位置可以为该平面坐标系中的任意一个点。在本实施例中,第二处理结果包含用户的眨眼状态信息和目标瞳孔的位置。
[0044]
在一实施例中,利用眼部模型确定出目标对象的瞳孔所在的目标瞳孔位置包括:获取眼部模型对应的rgb图像;对rgb图像进行图像处理,以得到包含目标对象的瞳孔的眼部图像;基于眼部图像确定瞳孔所在的目标瞳孔位置。在本实施例中,对眼部模型对象的rgb图像进行处理可以为进行图像的二值化处理,去除掉目标对象眼睛中眼白部分,即可以得到目标对象的瞳孔位置。
[0045]
通过上述实施例基于本发明实施例中目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
[0046]
在一应用实施例中,如图5所示,当目标对象进行页面滚动控制操作时,首先执行步骤s502,启动终端设备的前置摄像头采集用户的头部图像,然后基于该头部图像执行步骤s504进行头部姿态估计,以及步骤s506注视追踪算法估计,然后基于步骤s504和步骤s506的执行结果执行步骤s508,输入到决策树算法模型中进行处理,然后进行步骤s510,判
断目标对象的视线位置,当视线位置为屏幕上方时,则执行步骤s512,控制页面向下滚动,当视线位置为屏幕下方时,则执行步骤s514,控制页面向上滚动,当视线位置为屏幕中间时,则执行步骤s516,控制页面不发生滚动。
[0047]
其中,在步骤s504中,头部姿态估计算法可以包括如下步骤:
[0048]
1)首先设置出具有n个关键点的3d脸部模型,n可以目标对象对页面滚动操作的准确度类进行定义。例如采用常用值设置n为68。
[0049]
2)通过人脸检测技术以及面部关键点检测确定出上述3d脸部模型对应的2d人脸关键点。
[0050]
3)解析出目标对象的3d脸部模型的旋转向量即水平转动欧拉角(yaw)、竖直转动欧拉角(pitch)、左右转动欧拉角(roll)等三个维度方向的变化向量。
[0051]
4)将上述三个维度旋转向量转换为各自的欧拉角。
[0052]
5)获取目标对象头部的竖直转动欧拉角(pitch)。
[0053]
在步骤s506中,注视追踪算法可以包括如下步骤:
[0054]
a)首先根据步骤s504中3d脸部模型中的关键点计算出目标对象对应的2d人脸关键点在二维坐标系下的左右眼部坐标。
[0055]
b)获取到目标对象的左右眼部的rgb图像。
[0056]
c)将上述眼部rgb图像进行灰度化处理。
[0057]
d)将上述灰度化处理后的rgb图像进行二值化处理。
[0058]
e)根据目标对象的上下眼皮的关键点是否重合以及是否出现瞳孔的关键点来判断目标对象是否眨眼。
[0059]
f)计算出目标对象瞳孔关键点在上述二维坐标系下的位置。
[0060]
g)根据步骤f中的位置计算目标对象的瞳孔相对目标对象的眼部的竖直坐标。
[0061]
通过本发明实施例中目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
[0062]
基于前述实施例,本发明实施还提供了一种页面滚动控制装置。如图6所示,该装置包括:
[0063]
第一获取单元602,用于在终端设备中显示目标页面的过程中,调用终端设备中的摄像头获取正在浏览目标页面的目标对象的头部图像;
[0064]
第一处理单元604,用于基于头部姿态估计算法对头部图像进行处理,得到第一处理结果;其中,第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量;
[0065]
第二处理单元606,用于基于注视追踪算法对头部图像进行处理,得到第二处理结果;其中,第二处理结果包括:用于指示目标对象的瞳孔在眼部中的目标瞳孔位置;
[0066]
第一确定单元608,用于将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域;
[0067]
第一控制单元610,用于根据注视区域控制目标页面进行自动滚动。
[0068]
在一实施例中,第一确定单元608具体用于通过决策树模型对第一处理结果及第
二处理结果进行分析,得到分析结果;根据分析结果确定目标对象的注视区域,其中,注视区域用于指示目标对象的当前视线在终端设备的屏幕中的位置。
[0069]
在一实施例中,第一确定单元608具体用于在注视区域指示当前视线在屏幕中的位置为第一位置的情况下,控制目标页面中滚动控件执行向下滚动操作。在注视区域指示当前视线在屏幕中的位置为第二位置的情况下,控制目标页面中滚动控件不滚动;在注视区域指示当前视线在屏幕中的位置为第三位置的情况下,控制目标页面中滚动控件执行向上滚动操作;其中,第一位置高于第二位置,第二位置高于第三位置。
[0070]
在一实施例中,第一确定单元608具体用于在分析结果指示目标对象在眨眼的情况下,确定目标对象的当前视线在屏幕中的位置为第二位置;
[0071]
在分析结果指示目标对象并未眨眼,且目标对象的目标瞳孔位置的竖直坐标大于第一阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第一位置;
[0072]
在分析结果指示目标对象的目标瞳孔位置的竖直坐标小于等于第一阈值,且目标对象的头部的竖直转动向量大于第二阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第一位置;
[0073]
在分析结果指示目标对象并未眨眼,且目标对象的目标瞳孔位置的竖直坐标小于第三阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第三位置;
[0074]
在分析结果指示目标对象的目标瞳孔位置的竖直坐标大于等于第三阈值,且目标对象的头部的竖直转动向量小于第四阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第三位置;
[0075]
在分析结果指示目标对象的头部的竖直转动向量小于等于第二阈值,且大于等于第四阈值的情况下,确定目标对象的当前视线在屏幕中的位置为第二位置。
[0076]
在一实施例中,第一处理单元604,具体用于从头部图像中获取包含多个关键点的脸部模型,确定出多个关键点在三维空间坐标系中的三维坐标;基于头部姿态估计算法,根据三维坐标确定出目标对象的头部的转动欧拉角,其中,转动欧拉角用于表示目标对象的头部的旋转向量。
[0077]
在一实施例中,第一处理单元604,还具体用于将三维坐标转换为三个二维平面坐标;根据竖直方向维度的二维平面坐标确定出目标对象的头部的竖直转动欧拉角,其中,竖直转动欧拉角用于指示目标对象的头部的竖直转动向量,旋转向量包括竖直转动向量。
[0078]
在一实施例中,第二处理单元606,具体用于从头部图像中获取包含多个关键点的眼部模型;利用眼部模型确定出目标对象的瞳孔所在的目标瞳孔位置;判断目标对象的眨眼状态;基于目标瞳孔位置和眨眼状态得到第二处理结果。
[0079]
在一实施例中,第二处理单元606,具体获取眼部模型对应的rgb图像;对rgb图像进行图像处理,以得到包含目标对象的瞳孔的眼部图像;基于眼部图像确定瞳孔所在的目标瞳孔位置。
[0080]
通过本发明实施例中目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
[0081]
根据本发明实施例的又一个方面,还提供了一种用于实施上述页面滚动控制方法的电子设备。如图7所示,该电子设备包括存储器702和处理器704,该存储器702中存储有计算机程序,该处理器704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
[0082]
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0083]
可选地,在本实施例中,上述处理器704可以被设置为通过计算机程序执行以下步骤:
[0084]
s1,在终端设备中显示目标页面的过程中,调用终端设备中的摄像头获取正在浏览目标页面的目标对象的头部图像;
[0085]
s2,基于头部姿态估计算法对头部图像进行处理,得到第一处理结果;其中,第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量;
[0086]
s3,基于注视追踪算法对头部图像进行处理,得到第二处理结果;其中,第二处理结果包括:用于指示目标对象的瞳孔在眼部中的目标瞳孔位置;
[0087]
s4,将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域;
[0088]
s5,根据注视区域控制目标页面进行自动滚动。
[0089]
可选地,本领域普通技术人员可以理解,图7所示的结构仅为示意,电子装置电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图7其并不对上述电子装置电子设备的结构造成限定。例如,电子装置电子设备还可包括比图7中所示更多或者更少的组件(如网络接口等),或者具有与图7所示不同的配置。
[0090]
其中,存储器702可用于存储软件程序以及模块,如本发明实施例中的页面滚动控制方法和装置对应的程序指令/模块,处理器704通过运行存储在存储器702内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的页面滚动控制方法。存储器702可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器702可进一步包括相对于处理器704远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器702具体可以但不限于用于目标对象的头部图像等信息。作为一种示例,如图7所示,上述存储器702中可以但不限于包括上述页面滚动控制装置中的第一获取单元602、第一处理单元604、第二处理单元606、第一确定单元608及第一控制单元610。此外,还可以包括但不限于上述页面滚动控制装置中的其他模块单元,本示例中不再赘述。
[0091]
可选地,上述的传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置706包括一个网络适配器(network interface controller,nic),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置706为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
[0092]
此外,上述电子设备还包括:显示器708,用于显示页面的滚动状态;和连接总线710,用于连接上述电子设备中的各个模块部件。
[0093]
在其他实施例中,上述终端可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(p2p,peer to peer)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
[0094]
通过本发明实施例中目标对象的头部在当前姿态下的旋转向量,以及目标对象的瞳孔在眼部中的目标瞳孔位置来确定出目标对象的注视区域,通过该注视区域来控制目标页面进行自动滚动,可以代替手动操作滚动控件来灵活控制目标页面自动滚动,解决了相关技术中页面滚动控制方法存在页面滚动操作较为复杂的技术问题,进而达到灵活便捷控制页面滚动以及降低页面滚动操作复杂度的技术效果。
[0095]
基于上述实施例,本发明实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述一个或多个技术方案提供的页面滚动控制方法。
[0096]
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
[0097]
s1,在终端设备中显示目标页面的过程中,调用终端设备中的摄像头获取正在浏览目标页面的目标对象的头部图像;
[0098]
s2,基于头部姿态估计算法对头部图像进行处理,得到第一处理结果;其中,第一处理结果用于指示目标对象的头部在当前姿态下的旋转向量;
[0099]
s3,基于注视追踪算法对头部图像进行处理,得到第二处理结果;其中,第二处理结果包括:用于指示目标对象的瞳孔在眼部中的目标瞳孔位置;
[0100]
s4,将第一处理结果和第二处理结果输入决策树模型,以确定目标对象的注视区域;
[0101]
s5,根据注视区域控制目标页面进行自动滚动。
[0102]
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
[0103]
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0104]
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0105]
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0106]
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方
式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0107]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0108]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0109]
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1