图像跟踪方法及装置与流程

本发明涉及图像跟踪领域，具体而言，涉及一种图像跟踪方法及装置。

背景技术

目前，随着各种读物及书籍的日益发展，尤其是少年儿童教育的迫切需要，对各种书的技术要求也越来越高。在已知技术中，现有的书包括儿童读物主要是在纸上印刷文字或/和图画后装订成书。需要阅读时，翻开书本，但对于少年儿童或是需要看图识字的少儿，更需要有人帮助阅读，目前的产品多为点读笔或者自动全文播报，但是上使用点读笔操作麻烦，自动全文播报针对性差，无法知晓儿童的关注焦点，使得学习枯燥，效果差，使用不便。

技术实现要素：

为了克服现有技术中的上述不足，本发明的目的在于提供一种图像跟踪方法及装置，使用方便，无需任何操作即可自动分析儿童正在阅读的书本内容，并对其进行自动语音播报，大大提高了学习效果，趣味性强，利于学前启蒙教育。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种图像跟踪方法，应用于图像跟踪系统，所述图像跟踪系统包括智能手环、图像跟踪器、智能书本以及与所述智能手环和所述图像跟踪器通信连接的语音播报终端，其中，所述图像跟踪器设置在所述智能书本的监测区域中，所述智能书本中的每一页上设置有射频芯片，所述智能手环与所述射频芯片进行信号交互，所述方法包括：

所述智能手环实时探测所述智能书本当前页上射频芯片的射频信号，并将所述射频信号发送给所述语音播报终端；

所述图像跟踪器实时跟踪拍摄阅读者的眼球图像，并将所述眼球图像发送给所述语音播报终端；

所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

可选地，所述语音播报终端中存储有所述智能书本每页的书本页标识和对应的书本内容，所述语音播报终端基于所述射频信号和所踪眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤，包括：

所述语音播报终端对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识；

基于所述书本页标识查找所述智能书本当前页的书本内容，并实时对所述眼球图像进行图像分析，获取所述阅读者的眼球注视位置；

根据所述眼球注视位置在所述当前页中提取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

可选地，所述实时对所述眼球图像进行图像分析，获取所述阅读者的眼球注视位置的步骤，包括：

实时对所述眼球图像中阅读者的眼球瞳孔在所述当前页上的坐标位置，以获得所述阅读者的眼球注视位置。

可选地，所述根据所述眼球注视位置在所述当前页中提取所述阅读者正在阅读的书本内容的步骤，包括：

以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径或眼球观察行数和眼球观察字数得到阅读区域；

从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容。

可选地，所述按照预设规则将所述正在阅读的书本内容进行语音播报的步骤，包括：

分析所述正在阅读的书本内容的内容类型；

按照所述内容类型对应的语音播报方式将所述正在阅读的书本内容进行语音播报。

可选地，在所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：

所述智能手环实时获取阅读者的运动信息，并将所述运动信息发送给所述语音播报终端；

所述语音播报终端根据所述运动信息判断所述阅读者是否处于活动状态；

在判定所述阅读者处于活动状态时，停止播报所述书本内容。

可选地，在所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：

所述智能手环实时获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报终端；

所述语音播报终端根据所述语音信息判断所述阅读者是否处于交谈状态；

在判定所述阅读者处于交谈状态时，停止播报所述书本内容。

可选地，在所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报的步骤之后，所述方法还包括：

智能手环实时获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报终端；

所述语音播报终端根据所述阅读者的语音信息和所述正在阅读的书本内容生成对应的交互语音，并将所述交互语音进行语音播报。

第二方面，本发明实施例还提供一种图像跟踪方法，应用于语音播报终端，所述语音播报终端与智能手环、图像跟踪器通信连接，其中，所述图像跟踪器设置在智能书本的监测区域中，所述智能手环与所述智能书本中的每一页上设置的射频芯片进行信号交互，所述方法包括：

接收所述智能手环实时探测的所述智能书本当前页上射频芯片的射频信号；

接收所述图像跟踪器实时跟踪拍摄的阅读者的眼球图像；

基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

第三方面，本发明实施例还提供一种图像跟踪装置，应用于语音播报终端。所述语音播报终端与智能手环、图像跟踪器通信连接，其中，所述图像跟踪器设置在智能书本的监测区域中，所述智能手环与所述智能书本中的每一页上设置的射频芯片进行信号交互，所述装置包括：

第一接收模块，用于接收所述智能手环实时探测的所述智能书本当前页上射频芯片的射频信号；

第二接收模块，用于接收所述图像跟踪器实时跟踪拍摄的阅读者的眼球图像；

语音播报模块，用于基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

相对于现有技术而言，本发明具有以下有益效果：

本发明实施例提供的图像跟踪方法及装置，通过智能手环实时探测智能书本当前页上射频芯片的射频信号，并将所述射频信号发送给语音播报终端，同时通过图像跟踪器实时跟踪拍摄阅读者的眼球图像，并将所述眼球图像发送给所述语音播报终端。所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。由此，本申请提供的图像跟踪方法及装置使用方便，无需任何操作即可自动分析儿童正在阅读的书本内容，并对其进行自动语音播报，大大提高了学习效果，趣味性强，利于学前启蒙教育。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明实施例提供的图像跟踪系统的交互示意图；

图2为本发明实施例提供的图像跟踪方法的一种流程示意图；

图3为本发明实施例提供的图像跟踪方法的另一种流程示意图；

图4为本发明实施例提供的用于实现上述图像跟踪方法的语音播报终端的方框示意图。

图标：10-图像跟踪系统；100-智能手环；200-图像跟踪器；300-语音播报终端；310-存储器；320-处理器；330-图像跟踪装置；331-第一接收模块；332-第二接收模块；333-语音播报模块；400-智能书本；450-射频芯片。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本发明实施例提供的图像跟踪系统10的交互示意图，该图像跟踪系统10可包括智能手环100、图像跟踪器200、智能书本400以及与所述智能手环100和所述图像跟踪器200通信连接的语音播报终端300。其中，所述图像跟踪器200设置在所述智能书本400的监测区域中，所述智能书本400中的每一页上设置有射频芯片450，所述智能手环100与所述射频芯片450进行信号交互。

在本发明实施例中，所述智能手环100可以为两边设置有表带的智能手环100，以实现固定。所述智能手环100中可以设置有麦克风模块、加速度传感器和射频检测模块，所述射频检测模块可以用于检测所述射频芯片450发出的射频信号，所述麦克风可以用于获取阅读者发出的语音信息，所述加速度传感器可以用于获取阅读者的运动信息。当然，以上仅为示例，在更多的实施方式中，所述智能手环100还可以设置更多的模块组件。

请参阅图2，为本发明实施例提供的图像跟踪方法的一种流程示意图，所述方法由图1中所示的图像跟踪系统10执行。所应说明的是，本发明实施例提供的图像跟踪方法不以图2及以下所述的具体顺序为限制。所述方法的具体流程如下：

步骤s110，智能手环100实时探测智能书本400当前页上射频芯片450的射频信号，并将所述射频信号发送给语音播报终端300。

在本发明实施例中，所述射频芯片450可用于发射相应的射频信号，所述智能书本400上每一页上的射频芯片450发出的射频信号可用于表征该页的标识，也即页码。

本实施例中，当阅读者(儿童)翻开所述智能书本400上时，由于智能书本400一般都是从右往左翻开的，在一种实施方式中，所述智能书本400左边的书页都设置有所述射频芯片450，而该智能手环100戴在阅读者的左手上，由此，所述智能手环100只需要实时探测智能书本400当前页上射频芯片450的射频信号，并将所述射频信号发送给语音播报终端300，后续便可以判断当前智能书本400翻到的页码。

步骤s120，图像跟踪器200实时跟踪拍摄阅读者的眼球图像，并将所述眼球图像发送给所述语音播报终端300。

在本发明实施例中，所述图像跟踪器200可以用于跟踪阅读者眼球的动作，从而实施拍摄眼球图像。在一种实施方式中，所述图像跟踪器200可包括红外光源和眼球跟踪摄像头，可用来捕捉阅读者的眼球图像信息，以获取用户的眼球动作，如移动、凝视、旋转、瞳孔放大等。其中，眼球跟踪摄像头为红外摄像头，可以是一个可感知红外波长的可见光源摄像头。红外光源可以是一个或者多个红外发光二极管或者红外激光二极管，用于照亮用户的眼球，以方便捕捉用户的眼球的瞳孔位置。

步骤s130，所述语音播报终端300基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

作为一种实施方式，所述语音播报终端300可对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识，接着，基于所述书本页标识查找所述智能书本400当前页的书本内容，并实时对所述眼球图像进行图像分析，获取所述阅读者的眼球注视位置。而后，根据所述眼球注视位置在所述当前页中提取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

可选地，所述语音播报终端300可实时对所述眼球图像中阅读者的眼球瞳孔在所述当前页上的坐标位置，以获得所述阅读者的眼球注视位置。接着，以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径(例如3cm)或眼球观察行数(例如3行)和眼球观察字数(例如20字)得到阅读区域，从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容。其中，所述预设的眼球观察半径或眼球观察行数和眼球观察字数可以根据实际需求预先进行设置，在此不作限制。

接着，所述语音播报终端300在准备播报前分析所述正在阅读的书本内容的内容类型，然后按照所述内容类型对应的语音播报方式将所述正在阅读的书本内容进行语音播报。例如，若正在阅读的书本内容的内容类型为文本类型，则直接语音播报对应的文本类型即可。又例如，若正在阅读的书本内容为一副图像，则可以语音播报该图像所要表达的信息。

由此，本实施例提供的图像跟踪方法，无需任何操作即可自动分析儿童正在阅读的书本内容，并对其进行自动语音播报，大大提高了学习效果，趣味性强，利于学前启蒙教育。

可选地，在上述语音播报过程中，所述智能手环100还可以实时获取阅读者的运动信息，例如可通过加速度传感器获取阅读者的运动信息，并将所述运动信息发送给所述语音播报终端300。所述语音播报终端300根据所述运动信息判断所述阅读者是否处于活动状态，在判定所述阅读者处于活动状态时，停止播报所述书本内容。由此，可以避免阅读者在做其它事情时错过本次阅读学习。

可选地，在上述语音播报过程中，所述智能手环100还可以实时获取所述阅读者的语音信息，例如可通过麦克风模块获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报终端300。所述语音播报终端300根据所述语音信息判断所述阅读者是否处于交谈状态，在判定所述阅读者处于交谈状态时，停止播报所述书本内容。由此，可以避免阅读者在交谈时错过本次阅读学习。

可选地，在上述语音播报过程中，阅读者还可以与书本内容进行互动，详细地，智能手环100还可以实时获取所述阅读者的语音信息，并将所述语音信息发送给所述语音播报终端300。所述语音播报终端300根据所述阅读者的语音信息和所述正在阅读的书本内容生成对应的交互语音，并将所述交互语音进行语音播报。例如，若正在阅读的书本内容为“窗前明月光，疑似地上霜”，阅读者的语音消息为“这句话是什么意思？”，那么交互语音可以为“意思是，月亮很亮，透过窗户照射在地上，让人以为是霜”。由此，可以便于阅读者在学习过程中与书本内容进行交互，从而进一步提高学习效果，趣味性强，利于学前启蒙教育。

进一步地，请参阅图3，本发明实施例还提供一种图像跟踪方法，与上面实施例不同的是，本图像跟踪方法由语音播报终端300执行，可以理解的是，接下来要描述的图像跟踪方法中涉及的步骤在上面实施例中已经描述过，具体各个步骤的详尽内容可参照上面的实施例描述，下面仅对语音播报终端300执行步骤进行简要说明。

步骤s210，接收所述智能手环100实时探测的所述智能书本400当前页上射频芯片450的射频信号。

步骤s220，接收所述图像跟踪器200实时跟踪拍摄的阅读者的眼球图像。

步骤s230，基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

进一步地，请参阅图4，是本发明实施例提供的用于实现上述图像跟踪方法的语音播报终端300的示意图。本实施例中，所述语音播报终端300包括图像跟踪装置330、存储器310以及处理器320。本发明实施例中，图像跟踪装置330包括至少一个可以软件或固件(firmware)的形式存储于所述存储器310中或固化在所述语音播报终端300的操作系统(operatingsystem，os)中的软件功能模块。所述处理器320用于执行所述存储器310中存储的可执行软件模块，例如，所述图像跟踪装置330所包括的软件功能模块及计算机程序等。本实施例中，所述图像跟踪装置330也可以集成于所述操作系统中，作为所述操作系统的一部分。具体地，所述图像跟踪装置330可以包括：

第一接收模块331，用于接收所述智能手环100实时探测的所述智能书本400当前页上射频芯片450的射频信号。

第二接收模块332，用于接收所述图像跟踪器200实时跟踪拍摄的阅读者的眼球图像。

语音播报模块333，用于基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。

进一步地，对应于图3中的图像跟踪方法，本发明实施例还提供了一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器320运行时执行上述图像跟踪方法的步骤。

具体地，该可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述图像跟踪方法，从而解决目前儿童学习枯燥，效果差，使用不便的问题，能够大大提高了学习效果，趣味性强，利于学前启蒙教育。

综上所述，本发明实施例提供的图像跟踪方法及装置，通过智能手环实时探测智能书本当前页上射频芯片的射频信号，并将所述射频信号发送给语音播报终端，同时通过图像跟踪器实时跟踪拍摄阅读者的眼球图像，并将所述眼球图像发送给所述语音播报终端。所述语音播报终端基于所述射频信号和所述眼球图像获取所述阅读者正在阅读的书本内容，并按照预设规则将所述正在阅读的书本内容进行语音播报。由此，本申请提供的图像跟踪方法及装置使用方便，无需任何操作即可自动分析儿童正在阅读的书本内容，并对其进行自动语音播报，大大提高了学习效果，趣味性强，利于学前启蒙教育。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。