阅读控制方法及相关设备与流程

文档序号:18703307发布日期:2019-09-17 23:15阅读:147来源:国知局
阅读控制方法及相关设备与流程

本发明涉及智能控制领域,具体涉及了一种阅读控制方法及相关设备。



背景技术:

随着移动互联网技术的不断发展,移动终端普及率不断提升,科技的发展逐渐改变用户的阅读习惯,传统书本阅读方式也逐渐改变为电子阅读方式

传统书本阅读方式的用户常常用笔记录一些精彩片段、章节或读书心得,但是,当阅读方式转变为电子阅读之后,电子书阅读通过电子设备实现,往往由于电子书文件格式的原因,难以在阅读时记录,只能通过在阅读时切换至其他笔记应用记录,整个阅读流程长,操作复杂繁琐,用户体验度低下。



技术实现要素:

本申请实施例提供了一种阅读控制方法及相关设备,以期可以达到通过眼球追踪实现在电子书阅读时生成读书笔记并存储,实现无需触碰电子书便能对电子书阅读进行控制,简化电子书阅读操作,提高用户体验度。

第一方面,本申请实施例提供一种阅读控制方法,所述方法应用于电子设备,所述电子设备包括:摄像模组,所述方法包括:

获取所述电子设备的当前页面对应的段落坐标数据表和边距;

接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;

依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;

判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件。

第二方面,本申请实施例提供一种电子设备,所述电子设备包括:摄像模组和处理器,其中:

所述摄像模组,用于采集第一图像数据和第二图像数据;

所述处理器,用于获取所述电子设备的当前页面对应的段落坐标数据表和边距;接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件。

第三方面,本申请实施例提供一种阅读控制装置,应用于电子设备,所述电子设备包括:摄像模组,所述装置包括:

获取单元,用于获取所述电子设备的当前页面对应的段落坐标数据表和边距;

计算单元,用于接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;

确定单元,用于依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;

判断单元,用于判断所述第一段落范围是否包含所述第二视线坐标;

存储单元,用于当所述第一段落范围包含所述第二视线坐标时,将所述第一段落对应的段落内容存储至设定软件存储单元将所述段落内容与所述分析内容存储至设定软件。

第四方面,本申请实施例提供一种电子设备,包括摄像模组、音频模组、应用处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述应用处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出,本申请通过获取所述电子设备的当前页面对应的段落坐标数据表和边距;接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件,通过眼球追踪实现了在阅读电子书的同时无需切换应用程序即可生成读书笔记,同时具有无需直接触碰电子设备即可对电子书阅读进行控制,简化电子书阅读流程,提高了用户体验度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a是本申请实施例公开的一种电子设备的结构示意图。

图1b是本申请实施例提供的一种阅读控制方法的流程示意图。

图2a是本申请实施例中提供的第一种确定关注段落的方法的流程示意图。

图2b是本申请实施例中提供的第二种确定关注段落的方法的流程示意图。

图2c是本申请实施例中提供的第三种确定关注段落的方法的流程示意图。

图2d是本申请实施例中提供的一种确定音频内容的方法的流程示意图。

图3是本申请实施例中提供的一种电子设备的结构示意图。

图4是本申请实施例中所涉及的图片的音频推送装置400的功能单元组成框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)等等。当然在其他应用中,上述电子设备还可以为网络侧设备,例如基站、接入点等网络侧设备。为方便描述,上面提到的设备统称为电子设备。

通过实施本申请实施例中描述的阅读控制方法、装置和计算机可读介质,阅读控制可以通过眼球追踪实现,眼球追踪是通过摄像设备采集包含眼球的图像,通过对图像进行分析研究眼球运动信息的获取、建模和模拟,其中,眼球追踪技术包括:根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征。

请参阅图1a,图1a是本申请实施例公开的一种电子设备的结构示意图,电子设备100包括存储和处理电路110,以及与所述存储和处理电路110连接的传感器170,其中:

电子设备100可以包括控制电路,该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件,例如互联网浏览应用程序,互联网协议语音(voiceoverinternetprotocol,voip)电话呼叫应用程序,电子邮件应用程序,媒体播放应用程序,操作系统功能等。这些软件可以用于执行一些控制操作,例如,基于照相机的图像采集,基于环境光传感器的环境光测量,基于接近传感器的接近传感器测量,基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能,基于触摸传感器的触摸事件检测,与在多个(例如分层的)显示屏上显示信息相关联的功能,与执行无线通信功能相关联的操作,与收集和产生音频信号相关联的操作,与收集和处理按钮按压事件数据相关联的控制操作,以及电子设备100中的其它功能等,本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出,即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170包括物质传感器,还可以包括环境光传感器,基于光和电容的接近传感器,指纹识别模组,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,物质传感器用于采集皮肤电容量,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,摄像头,和其它传感器等,摄像头可以为前置摄像头或者后置摄像头,指纹识别模组可集成于显示屏下方,用于采集指纹图像,指纹识别模组可以为以下至少一种:光学指纹识别模组、或者超声波指纹识别模组等等,在此不作限定。上述前置摄像头可以设置前面显示屏的下方,上述后置摄像头可以设置在后面显示屏的下方。当然上述前置摄像头或后置摄像头也可以不和显示屏集成设置,当然在实际应用中,上述前置摄像头或后置摄像头还可以为升降结构,本申请具体实施方式并不限制上述前置摄像头或后置摄像头的具体结构。

输入-输出电路150还可以包括一个或多个显示屏,当为多个显示屏时,例如2个显示屏时,一个显示屏可以设置在电子设备的前面,另一个显示屏可以设置在电子设备的后面,例如显示屏130。显示屏130可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即,显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器,麦克风,蜂鸣器,音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(nearfieldcommunication,nfc)的电路。例如,通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池,电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作,并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

基于上述图1a所描述的电子设备,可以用于实现如下功能:

所述电子设备的摄像模组,用于采集第一图像数据和第二图像数据;

所述电子设备的存储和处理电路110,用于获取所述电子设备的当前页面对应的段落坐标数据表和边距;接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件。

在一种可选的技术方案中,

存储和处理电路110,具体用于从所述段落坐标数据表中获取多组段落坐标数据,其中,所述多组段落坐标数据中任一组段落坐标数据包括:第一段落坐标与第二段落坐标,所述第一段落坐标与所述第二段落坐标一一对应;依据所述多组段落坐标数据、所述边距确定多个段落范围,依据所述第一视线坐标确定所述多个段落范围内包含所述第一视线坐标的第一段落范围。

在一种可选的技术方案中,

存储和处理电路110,具体用于获取所述第一段落对应的段落内容;将所述段落内容作为预设的语义分析模型的输入,得到所述段落内容对应的分析内容,其中,所述分析内容包括:关键字集或关键字解释集或语句集中的一个或任意组合;将所述段落内容、所述分析内容存储至设定软件。

在一种可选的技术方案中,

存储和处理电路110,具体用于接收所述摄像模组在所述预设时间内采集的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标;对所述多个待定视线坐标与所述视线坐标执行坐标差运算得到多个待定坐标差,计算所述多个待定坐标差的均方差;判断所述均方差是否大于预设的均方差阈值,如所述均方差大于所述均方差阈值,依据所述多个视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述多个视线坐标对应的关注段落,获取所述关注段落的段落内容。

在一种可选的技术方案中,

存储和处理电路110,具体用于接收所述摄像模组在所述预设时间内返回的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标;从所述多个待定视线坐标中获取第一待定视线坐标,依据所述第一待定视线坐标、所述多组段落坐标数据、所述边距确定第一待定段落范围,对所述第一待定段落范围与所述多个待定视线坐标执行匹配操作,确定所述第一待定段落范围中包含的待定视线坐标的数量;判断所述数量是否大于预设的数量阈值,如所述数量大于所述数量阈值,获取所述第一待定段落范围的段落内容。

存储和处理电路110,还用于接收所述音频模组返回的音频数据;将所述音频数据作为预先训练好的语音解析模型的输入,得到所述音频数据对应的音频内容;将所述音频内容作为预先训练好的关键字提取模型,得到所述音频内容对应的内容关键字;获取所述电子设备对应的当前页面,提取所述当前页面的页面内容,对所述内容关键字与所述页面内容进行匹配,如所述内容关键字与所述页面内容匹配成功,将所述音频内容存储至所述设定软件。

请参阅图1b,图1b是本申请实施例提供的一种阅读控制方法的流程示意图,如图所示,应用于如图1a所示的电子设备,所述电子设备包括物质传感器,本音频推送方法包括:

步骤101、获取所述电子设备的当前页面对应的段落坐标数据表和边距。

可选的,启动获取指令,所述获取指令用于获取该电子设备的当前页面对应的段落坐标数据表,该段落坐标数据表包括:多组段落坐标数据,其中,多组段落坐标数据中任一组段落坐标数据包括:第一段落坐标与第二段落坐标,第一段落坐标与第二段落坐标一一对应,第一段落坐标用于确定段落起始位置,第二段落坐标用于确定段落结束位置。

上述终端启动获取指令的方式可以有多种,例如在一种可选的实施例中,可以通过一个特定的按钮来确定是否启动获取指令。当然在另一种可选的实施例中,可以通过满足设定触发条件时,启动获取指令,该触发条件可以是一个特定的操作来确定是否启动获取指令,该特定的操作包括但不限于,特定的手势、或者生物识别验证,该生物识别验证包括但不限于:人脸识别验证、指纹识别验证、静脉识别验证等等。本申请具体实施方式并不限制上述启动获取指令的方案。

步骤102、接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标。

可选的,获取预设时间段,启动摄像模组采集图像数据,接收该预设时间段内摄像模组采集的第一图像数据和第二图像数据,从该第一图像数据和该第二图像数据执行眼部图像获取操作,得到第一眼部图像和第二眼部图像,其中,眼部图像获取操作具体包括:对图像数据进行预处理,预处理包括:图像二值化、归一化、平滑滤波、小波变换等等,在此不作限定,得到处理后的图像数据,将预处理后的图像数据作为训练好的的特征提取模型的输入。得到预处理后的图像数据对应的特征,依据特征确定图像数据中的眼部位置,其中,依据特征确定图像数据中的眼部位置包括:依据特征确定图像数据中亮度最大的位置、依据特征确定图像中包含的圆形的位置等等,在此不作限定,依据裁剪该眼部位置对应的眼部图像,对该眼部图像执行眼球追踪计算,眼球追踪计算用于依据眼部图像计算该眼部图像对应的视线坐标。

进一步地,对该第一眼部图像、第二眼部图像执行眼球追踪计算,得到第一眼部图像对应的第一视线坐标、第二眼部图像对应的第二视线坐标。

步骤103、依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围。

可选的,从段落坐标数据表中获取多组段落坐标数据,其中,该多组段落坐标数据中任一组段落坐标数据包括:第一段落坐标与第二段落坐标,所述第一段落坐标与所述第二段落坐标一一对应;依据该做足段落坐标、边距确定多个段落范围,将第一视线坐标依次与该多个段落范围执行匹配操作,确定包含该第一视线坐标的第一段落范围,其中,将第一视线坐标依次与该多个段落范围执行匹配操作具体包括:获取该多个段落范围内的第一待定段落范围,判断该第一待定段落范围是否包含该第一视线坐标,如该第一待定段落范围不包含该第一视线坐标,获取第二待定段落范围,判断该第二待定段落范围是否包含该第一视线坐标,如该第一待定段落范围包含该第一视线坐标,确定该第一待定段落范围为第一段落范围。

步骤104、判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件。

可选的,确定第一段落范围后,获取第二视线坐标,判断第一段落范围是否包含该第二实现坐标,如该第一段落范围包含该第二视线坐标,确定该第一段落范围对应的段落为关注段落,获取关注段落的段落内容,获取预设的语义分析模型,将该段落内容作为该语义分析模型的输入,得到该段落内容对应的分析内容,其中,该分析内容包括:关键字集或关键字解释集或语句集中的一个或任意组合。

可选的,接收摄像模组在预设时间内采集的多个图像数据,从多个图像数据中获取多个眼部图像,计算多个眼部图像对应的多个待定视线坐标;对多个待定视线坐标与视线坐标执行坐标差运算得到多个待定坐标差,计算多个待定坐标差的均方差;判断所述均方差是否大于预设的均方差阈值,如所述均方差大于所述均方差阈值,依据多个视线坐标、边距、段落坐标数据表执行匹配计算,确定多个视线坐标对应的关注段落,获取关注段落的段落内容,获取预设的语义分析模型,将该段落内容作为该语义分析模型的输入,得到该段落内容对应的分析内容,其中,该分析内容包括:关键字集或关键字解释集或语句集中的一个或任意组合。

可选的,接收摄像模组在预设时间内返回的多个图像数据,从多个图像数据中获取多个眼部图像,计算多个眼部图像对应的多个待定视线坐标;从多个待定视线坐标中获取第一待定视线坐标,依据第一待定视线坐标、多组段落坐标数据、边距确定第一待定段落范围,对第一待定段落范围与多个待定视线坐标执行匹配操作,确定第一待定段落范围中包含的待定视线坐标的数量;判断数量是否大于预设的数量阈值,如数量大于所述数量阈值,获取第一待定段落范围的段落内容,获取预设的语义分析模型,将该段落内容作为该语义分析模型的输入,得到该段落内容对应的分析内容,其中,该分析内容包括:关键字集或关键字解释集或语句集中的一个或任意组合。

进一步地,将该段落内容、该分析内容存储至设定软件中,其中,该设定软件可以包括:记事本应用、备忘录应用等等,在此不作限定。

参阅图2a,图2a提供了第一种确定关注段落的方法,如图2a所示的确定关注段落的方法采用如图1a所示的电子设备执行,该方法如图2a所示,包括如下步骤:

步骤201a、依据所述多组段落坐标数据、所述边距确定多个段落范围。

可选的,从段落坐标数据表中获取多组段落坐标数据,其中,该多组段落坐标数据中任一组段落坐标数据包括:第一段落坐标与第二段落坐标,所述第一段落坐标与所述第二段落坐标一一对应;依据该做足段落坐标、边距确定多个段落范围。

步骤202a、依据所述第一视线坐标确定所述多个段落范围内包含所述第一视线坐标的第一段落范围。

可选的,将第一视线坐标依次与该多个段落范围执行匹配操作,确定包含该第一视线坐标的第一段落范围,其中,将第一视线坐标依次与该多个段落范围执行匹配操作具体包括:获取该多个段落范围内的第一待定段落范围,判断该第一待定段落范围是否包含该第一视线坐标,如该第一待定段落范围不包含该第一视线坐标,获取第二待定段落范围,判断该第二待定段落范围是否包含该第一视线坐标,如该第一待定段落范围包含该第一视线坐标,确定该第一待定段落范围为第一段落范围。

步骤203a、判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,确定所述第一段落范围对应的段落为关注段落。

参阅图2b,图2b提供了第二种确定关注段落的方法,如图2b所示的确定关注段落的方法采用如图1a所示的电子设备执行,该方法如图2b所示,包括如下步骤:

步骤201b、接收所述摄像模组在所述预设时间内采集的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标。

可选的,启动摄像模组,控制摄像模组在预设时间内采集多个图像数据,接收该多个图像数据,对该多个图像数据执行眼部图像获取操作,得到多个眼部图像,对该多个眼部图像执行眼球追踪计算,得到多个待定视线坐标。

步骤202b、对所述多个待定视线坐标与所述视线坐标执行坐标差运算得到多个待定坐标差,计算所述多个待定坐标差的均方差。

可选的,获取多个待定视线坐标中的第一待定视线坐标作为基准坐标,依次对该多个待定视线坐标与该基准坐标执行坐标差计算操作,得到多个坐标差,其中,对任一待定视线坐标与该基准坐标执行坐标差计算操作具体包括:获取坐标差计算公式,依据坐标差计算公式依次计算该第i个待定视线坐标与基准坐标的坐标差,其中,基准坐标表示为(x,y),第i个待定视线坐标表示为(xi,yi),坐标差为di,其中,0<i≤n,坐标差计算公式可以包括:

di=(x-xi)2+(y-yi)2

进一步地,得到多个坐标差,依据该多个坐标差执行均方差计算操作,得到该多个坐标差对应的均方差。

步骤203b、判断所述均方差是否大于预设的均方差阈值,如所述均方差大于所述均方差阈值,依据所述多个视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述多个视线坐标对应的关注段落,获取所述关注段落的段落内容。

可选的,获取预设的均方差阈值,判断该均方差是否大于该均方差阈值,如该均方差大于该均方差阈值,获取基准坐标,确定该基准坐标对应的段落为关注段落,获取该关注段落的段落内容。

参阅图2c,图2c提供了第三种确定关注段落的方法,如图2c所示的另一种确定关注段落方法采用如图1a所示的电子设备执行,该方法如图2c所示,包括如下步骤:

步骤201c、接收所述摄像模组在所述预设时间内返回的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标。

可选的,启动摄像模组,控制摄像模组在预设时间内采集多个图像数据,接收该多个图像数据,对该多个图像数据执行眼部图像获取操作,得到多个眼部图像,对该多个眼部图像执行眼球追踪计算,得到多个待定视线坐标。

步骤202c、从所述多个待定视线坐标中获取第一待定视线坐标,依据所述第一待定视线坐标、所述多组段落坐标数据、所述边距确定第一待定段落范围,对所述第一待定段落范围与所述多个待定视线坐标执行匹配操作,确定所述第一待定段落范围中包含的待定视线坐标的数量。

步骤203c、判断所述数量是否大于预设的数量阈值,如所述数量大于所述数量阈值,获取所述第一待定段落范围对应的段落为关注段落。

可选的,获取预设的数量阈值,判断该数量是否大于该阈值,如该数量大于该数量阈值,确定第一待定段落范围对应的段落为关注段落,获取该第一待定段落范围的段落内容。

参阅图2d,图2d提供了一种确定音频内容的方法,如图2d所示的确定音频内容的方法采用如图1a所示的电子设备执行,该方法如图2d所示,包括如下步骤:

步骤201d、接收所述音频模组返回的音频数据,将所述音频数据作为预先训练好的语音解析模型的输入,得到所述音频数据对应的音频内容。

步骤202d、将所述音频内容作为预先训练好的关键字提取模型,得到所述音频内容对应的内容关键字。

可选的,获取预设的关键字提取模型,将该音频内容作为该关键字提取模型的输入,得到该音频内容对应的内容关键字。

步骤203d、获取所述电子设备对应的当前页面,提取所述当前页面的页面内容,对所述内容关键字与所述页面内容进行匹配,如所述内容关键字与所述页面内容匹配成功,将所述音频内容存储至所述设定软件。

如图3所示,图3提供了一种电子设备,该所述电子设备包括摄像模组301、处理器302和存储器303,其中

所述摄像模组301,用于采集第一图像数据和第二图像数据;

所述处理器302,用于获取所述电子设备的当前页面对应的段落坐标数据表和边距;接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;判断所述第一段落范围是否包含所述第二视线坐标,如所述第一段落范围包含所述第二视线坐标,将所述第一段落对应的段落内容存储至设定软件。

在一种可选的实施方案中,处理器302,具体用于:从所述段落坐标数据表中获取多组段落坐标数据,其中,所述多组段落坐标数据中任一组段落坐标数据包括:第一段落坐标与第二段落坐标,所述第一段落坐标与所述第二段落坐标一一对应;依据所述多组段落坐标数据、所述边距确定多个段落范围,依据所述第一视线坐标确定所述多个段落范围内包含所述第一视线坐标的第一段落范围。

在一种可选的实施方案中,处理器302,具体用于:获取所述第一段落对应的段落内容;将所述段落内容作为预设的语义分析模型的输入,得到所述段落内容对应的分析内容,其中,所述分析内容包括:关键字集或关键字解释集或语句集中的一个或任意组合;将所述段落内容、所述分析内容存储至设定软件。

在一种可选的实施方案中,处理器302,具体用于:接收所述摄像模组在所述预设时间内采集的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标;对所述多个待定视线坐标与所述视线坐标执行坐标差运算得到多个待定坐标差,计算所述多个待定坐标差的均方差;判断所述均方差是否大于预设的均方差阈值,如所述均方差大于所述均方差阈值,依据所述多个视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述多个视线坐标对应的关注段落,获取所述关注段落的段落内容。

在一种可选的实施方案中,处理器302,具体用于:接收所述摄像模组在所述预设时间内返回的多个图像数据,从所述多个图像数据中获取多个眼部图像,计算所述多个眼部图像对应的多个待定视线坐标;从所述多个待定视线坐标中获取第一待定视线坐标,依据所述第一待定视线坐标、所述多组段落坐标数据、所述边距确定第一待定段落范围,对所述第一待定段落范围与所述多个待定视线坐标执行匹配操作,确定所述第一待定段落范围中包含的待定视线坐标的数量;判断所述数量是否大于预设的数量阈值,如所述数量大于所述数量阈值,获取所述第一待定段落范围的段落内容。

在一种可选的实施方案中,处理器302,具体用于:接收所述音频模组返回的音频数据;将所述音频数据作为预先训练好的语音解析模型的输入,得到所述音频数据对应的音频内容;将所述音频内容作为预先训练好的关键字提取模型,得到所述音频内容对应的内容关键字;获取所述电子设备对应的当前页面,提取所述当前页面的页面内容,对所述内容关键字与所述页面内容进行匹配,如所述内容关键字与所述页面内容匹配成功,将所述音频内容存储至所述设定软件。

图4是本申请实施例中所涉及的图片的阅读控制装置400的功能单元组成框图。该图片的阅读控制装置400,应用于电子设备,所述电子设备包括物质传感器,所述装置400包括:获取单元401、计算单元402、确定单元403、判断单元404和存储单元405,其中,

获取单元401,用于获取所述电子设备的当前页面对应的段落坐标数据表和边距;

计算单元402,用于接收预设时间内所述摄像模组采集的第一图像数据和第二图像数据,从所述第一图像数据和所述第二图像数据中获取第一眼部图像和第二眼部图像,依据所述第一眼部图像和所述第二眼部图像执行眼球追踪计算,得到第一视线坐标与第二视线坐标;

确定单元403,用于依据所述第一视线坐标、所述边距、所述段落坐标数据表执行匹配计算,确定所述第一视线坐标对应的第一段落范围;

判断单元404,用于判断所述第一段落范围是否包含所述第二视线坐标;

存储单元405,用于当所述第一段落范围包含所述第二视线坐标时,将所述第一段落对应的段落内容存储至设定软件存储单元将所述段落内容与所述分析内容存储至设定软件。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-onlymemory,简称:rom)、随机存取器(英文:randomaccessmemory,简称:ram)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1