一种基于手势协助定位学习的方法和系统与流程

本发明涉及智能学习产品领域，尤指一种基于手势协助定位学习的方法和系统。

背景技术：

学习对于学生而言是至关重要的，然而，学生在学习过程中往往会遇到各种各样的疑惑不解，在这个快节奏的生活环境下，家长没有充足的时间辅导孩子，学校的老师往往需要教育很多学生，没有足够的精力注意到每个学生的学习进度和学习情况，即使课外辅导班有一对一的辅导老师进行辅导教学，但是价格昂贵，给家长带来了较大的经济压力，从而，使得越来越多的学生无法及时解决学习上碰到的问题，引起学习成绩下降。

目前，市面上有许多的电子设备用于学习，例如平板电脑，手机，学习机等等，能够一定程度上解决学生学习过程中遇到的疑难问题。一种方式是，利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的电子设备上进行查询和查看；(二)脱离不了平板电脑，手机等电子设备，学生会以学习为由借机玩平板电脑，手机，耽误学习；(三)通过手指触摸进行协助定位问题区域，不能智能、方便的切换定位范围，无论是对题目中某一语句进行学习，还是对整个题目进行学习，都需要使用手指针对问题所在的位置进行移动，并由摄像头进行拍摄移动轨迹实现定位得到提问区域图像，一旦题目冗长时，需要长时间移动手指进行协助定位，操作时间花费长，学习体验差。(四)根据语音+书本拍摄进行问题定位切换，需要分别对语音和书本图像进行分析，cpu处理工作量大，导致解析获取问题内容的效率也大大降低，进而影响学生的学习效率。

技术实现要素：

本发明的目的是提供一种基于手势协助定位学习的方法和系统，实现不仅脱离了手机，平板电脑等电子设备，避免出现学生以学习为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，智能切换对书上指定的区域的不同问题定位范围，从而得到不同的问题内容，不需要语言结合的方式就能迅速、高效的协助学生进行快速方便的提问学习。

本发明提供的技术方案如下：

本发明提供一种基于手势协助定位学习的方法，包括步骤：

拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

向学生告知问题答案。

进一步的，所述对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围具体包括步骤：

将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；

当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。

进一步的，所述根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案具体包括步骤：

对所述提问区域图像进行图像识别处理，获得学生使用手指在书本上所指定的区域的手指位置坐标，以及所述提问区域图像对应的学习内容；

当所述定位范围为行列定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的行列问题内容，并获取对应于所述行列问题内容的问题答案；

当所述定位范围为整体定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的整体问题内容，并获取对应于所述整体问题内容的问题答案。

进一步的，所述拍摄获取目标图片之前包括步骤：

判断智能学习设备是否获取到拍摄开启触发信号；若是，开启设于所述智能学习设备处的摄像头开始工作。

进一步的，所述目标图片所述向学生告知问题答案之后包括步骤：

当获取的目标图片中手指部位图像识别得到的手指姿态与连拍手指姿态相符时，拍摄获取预设时长的手部视频；

对所述手部视频进行分帧处理得到n帧手部图片帧；

按照时间先后顺序依次对n帧手部图片帧进行图像处理，获得手部移动轨迹；

将所述手部移动轨迹与轨迹映射关系表匹配，根据匹配结果获取对应的学习资料，并向学生显示所述学习资料。

本发明还提供一种基于手势协助定位学习的系统，包括：

拍摄模块，用于拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

图像识别模块，与所述拍摄模块连接，用于对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

处理模块，与所述拍摄模块连接，用于根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

告知模块，与所述处理模块连接，向学生告知问题答案。

进一步的，所述图像识别模块包括：

手势识别单元，将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

定位范围获取单元，与所述手势识别单元连接，当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。

进一步的，所述处理模块包括：

提问区域图像识别单元，与所述定位范围获取单元连接，对所述提问区域图像进行图像识别处理，获得学生使用手指在书本上所指定的区域的手指位置坐标，以及所述提问区域图像对应的学习内容；

问题内容获取单元，分别与所述定位范围获取单元和所述提问区域图像识别单元连接，当所述定位范围为行列定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的行列问题内容；当所述定位范围为整体定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的整体问题内容；

问题答案获取单元，与所述问题内容获取单元连接，当所述问题内容获取单元获取到所述行列问题内容时，获取对应于所述行列问题内容的问题答案；当所述问题内容获取单元获取到所述整体问题内容时，获取对应于所述整体问题内容的问题答案。

进一步的，还包括：

判断模块，判断智能学习设备是否获取到拍摄开启触发信号；

控制模块，与所述判断模块连接，当所述判断模块的判断结果为是时，开启设于所述智能学习设备处的摄像头开始工作。

进一步的，还包括：

所述拍摄模块，与所述图像识别模块连接，用于当获取的目标图片中手指部位图像识别得到的手指姿态与连拍手指姿态相符时，拍摄获取预设时长的手部视频；

图像处理模块，与所述拍摄模块连接，对所述手部视频进行分帧处理得到n帧手部图片帧；对手部图片帧进行图像处理获得手部移动轨迹；

学习资料获取模块，与所述图像处理模块连接，将所述手部移动轨迹与轨迹映射关系表匹配，根据匹配结果获取对应的学习资料，并向学生显示所述学习资料。

本发明实现脱离手机，平板电脑等电子设备学习，避免以学习为由借机玩而耽误学习。通过手势智能切换定位范围以对书上指定区域进行定位得到不同的问题内容，不需语言结合就能迅速、高效的协助学生进行快速方便的提问学习，提升学习效率和体验。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于手势协助定位学习的方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明基于手势协助定位学习的方法一个实施例的流程图；

图2是本发明基于手势协助定位学习的方法另一个实施例的流程图；

图3是本发明基于手势协助定位学习的方法另一个实施例的流程图；

图4是本发明基于手势协助定位学习的方法另一个实施例食指定位示意图；

图5是本发明基于手势协助定位学习的方法另一个实施例大拇指定位示意图；

图6是本发明基于手势协助定位学习的系统的另一个实施例的结构示意图。

附图标号说明：拍摄模块10，图像识别模块20，处理模块30，告知模块40。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种基于手势协助定位学习的方法，包括：

s100拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

具体的，学生并不限定于在校读书的学生，不论何种身份只要需要学习的人均属于本发明提案所述的学生。本技术方案可通过摄像头开启拍照模式进行拍摄获取目标图片，每个目标图片均包括手部部位的手指部位图像和学生使用手指在书本上所指定的区域的提问区域图像，也就是说，获取的目标图片中包括学生的任意一个或多个手指指向书本上所指定的区域以根据手指姿态进行协助问题定位。

学生在使用普通书写笔进行学习的过程中，如果遇到不懂的问题，可以根据自身的喜好和需求选择将笔放下后，使用手指作为定位标记物协助智能学习设备进行定位提问，也可以仍让将普通的书写笔握在手上，使用手指作为定位标记物协助智能学习设备进行定位提问，只要不妨碍摄像头拍摄获取包括学生的手指部位图像以及提问区域图像的目标图片即可。

本发明中的摄像头可安装在智能学习设备上，智能学习设备包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能学习设备放置于或者安装在学生进行学习的书桌附近，使智能学习设备能够通过安装在安装于智能学习设备处的摄像头拍摄到在书桌上的书本，拍摄获取到学生的手指部位图像以及提问区域图像。即，学生在学习时，若有遇到不清楚或者不懂的问题时，学生可以使用自己的手指指向书本上想要询问的区域拍摄得到包括学生的手指部位图像以及提问区域图像的目标图片。

为了降低计算量，减少对计算资源的占用，具体实施时，获取单帧的目标图片，而不是现有方法采集的视频流，进行后续具体分析、处理。相较于视频流，对于单帧的目标图片进行后续分析、处理时只要对单独一帧图片进行分析、检测、识别，如此，可以有效地减少计算量、降低计算成本，提高识别速度。

s200对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

具体的，智能学习设备中可集成有可识别手指部位图像的图像识别模块。也可以是智能学习设备将自身拍摄获取到的手指部位图像上传至远端的与自身连接的服务器，通过服务器现有的图像识别模块识别手指部位图像。对当前时刻的手指部位图像进行分析识别得到当前时刻对应的手指姿态，即计算获取学生的每个手指相对于书本的书本坐标系的空间坐标，从而根据空间坐标进行计算得到当前时刻对应的手指姿态。比较常见的是通过手指成像在相机坐标系中的手指位置坐标，以及书本成像在相机坐标系中的书本位置坐标，根据手指位置坐标和书本位置坐标能够进行转换计算得到每个手指相对于书本的位置和方向，从而得到手指姿态。获得手指姿态后，将手指姿态与预先生成的手势映射关系表进行匹配，根据手指姿态与其中的各个预设手指姿态进行比较，当符合其中任何一个预设手指姿态时，根据匹配得到预设手指姿态查找到对应的定位范围。根据识别得到的手指姿态查找手势映射关系表，获取相匹配的定位范围，其中，每个预设手指姿态和定位范围一一对应。

s300根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

具体的，根据手指姿态与手势映射关系表匹配得到对应的定位范围后，通过提问区域图像识别手指指在书本上的区域位置，从而对书本上所指定的区域位置根据获取的定位范围进行提取其中的文字、图像等等得到问题内容，然后获取对应于问题内容的问题答案。

s400向学生告知问题答案。

具体的，当获取到问题答案后告知学生，以便学生及时根据问题答案进行学习解决问题。智能学习设备上可以集成设有显示模块(如显示屏，人机交互界面)，投影模块(如投影灯)和语音播放模块(如扬声器、喇叭)中的任意一种或者多种。

本实施例中，在学生学习过程中，遇到不会做的题目时，学生用手指指着这道题目，智能学习设备的摄像头会采集包括手指和该手指对应指向的题目，针对学生使用手指在书本上指定的题目(即问题内容)，获取并反馈题目所对应的题目答案(即问题答案)。由于使用了手指从而使得学生在书本上进行定位得到问题内容时，不需要学生在学习过程中使用学习机专用笔，相对于现有技术中根据语音+书本拍摄进行问题定位切换，即不需要用户口头说对书本上的第几行第几列进行定位，对书本上第几道题目进行定位，直接根据手势的切换就能进行协助切换定位范围进行问题定位获取不同的问题内容。此外，因为一般的书本上是不会表明段落序号的，学生需要清楚具体是“第几段，第几行”后通过语音协助定位，因此语音协助定位的方式大大降低了学生的提问学习体验，直接由手指协助定位，将定位提取问题内容的工作完全交给图像识别模块和处理模块，效率高的同时，大大的提升了使用体验。根据手指姿态的不同进行切换问题定位范围，识别手指在书本上所指定的区域的提问区域图像对应的问题内容，不需要学生使用学习机专用笔或者手指在书本上所指定的区域连续不断的移动定位，操作方便，大大降低了学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率。

基于前述实施例，如图2所示，本实施例中：

s100拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

s210将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

具体的，收集手指部位图像样本数据，手指部位图像样本数据包括不同状态下的手指部位图像，提问区域图像数据样本包括不同状态下的提问区域图像，利用手指部位图像样本数据进行训练，以得到能够区分到底是语句提问姿态还是题目提问姿态的手指姿态识别分类模型。

在一个实施方式中，为了能够全面地考虑到多种不同的手部姿态状况，上述手部姿态具体可以包括：握拳即五个手指均收缩靠向掌心，手指伸展(大拇指伸展，食指伸展，中指伸展，无名指伸展和小拇指伸展的任意一种或多种)，手指伸展即手指张开远离掌心。如此，具体实施时，可以通过基于深度学习的检测算法对多种包含不同的手部姿态的图像进行学习。

优选的，根据手指部位图像样本数据和精度要求，对上述训练好的手指姿态识别分类模型进行调整优化，以获得更准确的手指姿态识别分类模型。

s220当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；

具体的，将手指部位图像输入预训练得到的手指姿态识别分类模型中，识别手指部位图像对应的手指姿态与手势映射关系表匹配得到的手指姿态为语句提问姿态时，学生使用手势协助定位的类型是行列定位范围。示例性的，假设书本上的内容阅读排布方向为行排布方向(从左往右的水平方向)，列排布方向(从上往下的竖直方向)。假设语句提问姿态为中指伸展，其余手指收缩，如果对拍摄的目标图片识别出手指姿态a为只有大拇指伸展，其余手指收缩，且大拇指的伸展方向与行排布方向平行时，手势映射关系表中手指姿态a对应的是行定位范围。如果手指姿态a为大拇指伸展，且大拇指的伸展方向与列排布方向平行时，手势映射关系表中手指姿态a对应的是列定位范围。如果手指姿态a为大拇指伸展，且大拇指的伸展方向与列排布方向和行排布方向均有一定夹角时，手势映射关系表中手指姿态a对应的是行和列定位范围。

s230当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。

具体的，将手指部位图像输入预训练得到的手指姿态识别分类模型中，识别手指部位图像对应的手指姿态与手势映射关系表匹配得到的手指姿态为题目提问姿态时，学生使用手势协助定位的类型是整体定位范围。示例性的，假设题目提问姿态为中指伸展，其余手指收缩，如果对拍摄的目标图片识别出手指姿态b为只有中指伸展，其余手指收缩，则无论中指的伸展方向是怎样的，无论书本上的内容阅读排布方向是怎样的，只要是中指伸展指向书本上所指定的区域时，则对中指指向书本上的完整的区域进行定位即为整体定位范围。例如，书本上的内容是题目1，题目2，题目3和题目4，当学生使用中指伸展指向书本上的题目1所在区域时，不论题目1有几行几列，整体定位范围就是对题目1的内容进行定位。

本实施例中，在学生学习过程中，遇到不会做的题目时，学生首先将自身的手部放置于设有摄像头的智能学习设备的摄像头有效拍摄范围内，由摄像头进行拍摄获取包括学生的手指部位图像，以及学生使用手指在书本上所指定的提问区域图像的目标图片，智能学习设备对获取目标图片中的手指部位图像进行手指姿态的识别，从而根据识别出来的手指姿态得到对应定位范围，达到手指姿态的不同切换不同的定位范围的目的，不需要像现有技术那样通过手指在书本上需要提问学习的区域连续移动获取不同位置的位置坐标确定提问区域，直接根据手指姿态协助对书本上所指定的提问区域图像进行分析得到对应的问题内容，从而大大减小学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率，操作方便。

本发明基于摄像头实现手指姿态的智能识别，并利用手势映射关系表调用对应的定位范围，进行协助定位获取问题内容，手指姿态识别技术容许不需要额外的工具就可以快速、高效、准确的协助定位得到问题内容，从而提升获取问题答案的效率，提升学习效率。

基于前述实施例，如图3所示，本实施例中：

s100拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

s200对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

s310对所述提问区域图像进行图像识别处理，获得学生使用手指在书本上所指定的区域的手指位置坐标，以及所述提问区域图像对应的学习内容；

具体的，由于书本上各个内容都在自身的书本坐标系上对应有位置坐标，因此，可以分析处理得到学生使用手指在书本上所指定的区域的手指位置坐标。对摄像头的拍摄范围下的书本进行扫描，生成书本当前页面对应的页面内容，由于书本的封页页面往往会有书本的各种书本信息(书名，作者名，类型，出版社和版本等等)，因此，先扫描获取待学习书本的书本信息，然后，根据摄像头扫描获取待学习书本当前页面的页码，从而根据书本信息和页码进行查找得到对应的提问区域图像对应的学习内容。示例性的，提问区域图像为学生的手指指在人教版三年级语文书的第30页，获取人教版三年级语文书的第30页的学习内容。

s320当所述定位范围为行列定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的行列问题内容，并获取对应于所述行列问题内容的问题答案；

具体的，书本上文字、图片内容都在自身的书本坐标系上对应有内容位置坐标。获取到行列定位范围后，根据手指位置坐标得到坐标值匹配的内容位置坐标，从而根据内容位置坐标查找出书本上对应的文字、图片得到行列问题内容。示例性的，如图4所示，为新人教版小学5五年级数学上册第4页的内容，食指在书本上面指向的是练习一第一题的第四小题，假设手指姿态c为食指伸展，其余四指收缩，手指姿态c对应的是行列定位范围时，根据食指的手指位置坐标分析得到食指在书本上面指向的是练习一第一题的第四小题，则将练习一第一题的第四小题作为行列问题内容，然后查询第四小题对应的问题答案。

s330当所述定位范围为整体定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的整体问题内容，并获取对应于所述整体问题内容的问题答案。

具体的，书本上文字、图片内容都在自身的书本坐标系上对应有内容位置坐标。获取到整体定位范围后，根据手指位置坐标得到坐标值匹配的内容位置坐标，从而根据内容位置坐标查找出书本上包括内容位置坐标的文字、图片得到整体问题内容。示例性的，如图5所示，为新人教版小学5五年级数学上册第4页的内容，大拇指在书本上面指向的是练习一第一题的第四小题，假设手指姿态c为大拇指伸展，其余四指收缩，手指姿态c对应的是整体定位范围时，不论大拇指是否与书本的列排布方向或者行排布方向之间平行还是有一定的夹角，只要大拇指的手指位置坐标分析得到大拇指在书本上面指向的是练习一第一题的第四小题，则将包括第四小题的第一题整个题目(即第一小题至第四小题)作为整体问题内容，然后查询第一题中各个小题对应的问题答案。

本技术方案获得手指姿态后，将手指姿态与预先生成的手势映射关系表进行匹配，根据手指姿态查找到对应的定位范围，对书本上所指定的区域的学习内容根据获取的定位范围对应进行提取得到问题内容，相对于语音和书本图像进行分析得到问题内容，由于一般的书本上是不会表明段落序号的，因此通过口述“第几段，第几行”进行问题内容的语言协助定位方式大大降低了学生的提问学习体验，本实施例直接由手指姿态不同切换得到不同的定位范围来实现协助定位，将定位提取问题内容的工作完全交给图像识别模块和处理模块，效率高的同时，大大的提升了使用体验。

基于前述实施例，本实施例中：

s010判断智能学习设备是否获取到拍摄开启触发信号；若是，开启设于所述智能学习设备处的摄像头开始工作。

s100拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

s200对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

s300根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

s400向学生告知问题答案。

具体的，触发信号包括按键触发信号，语音触发信号，红外触发信号，指纹触发信号，和开机预设时长触发信号，手势触发信号中的任意一种或者多种。示例性的，在智能学习设备上设置拍摄开关控制按键，而拍摄开关控制按键与智能学习设备的电源开关控制按键是独立的，则当学生在拍摄开关控制按键打开时，摄像头开始工作。或者，在智能学习设备上设置红外感测仪，红外感测仪与摄像头远离设置，便于红外感测仪的红外探测范围与摄像头的拍摄范围不重合，则当学生需要使用手指在摄像头下方指向书本进行定位提问时，先在红外感测仪的红外探测范围感测到学生手部后再传递感测到学生手部的信号至摄像头，使得摄像头开始工作。触发信号根据学生需求和习惯进行设置，其他的触发情况组合在此不再一一赘述。

基于前述实施例，本实施例中：

s100拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

s200对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

s300根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

s400向学生告知问题答案；

s500当获取的目标图片中手指部位图像识别得到的手指姿态与连拍手指姿态相符时，拍摄获取预设时长的手部视频；

具体的，在向学生告知了问题内容对应的问题答案后，继续反复执行步骤s100-s400，直至某一次拍摄获取的目标图片识别得到手指姿态与连拍手指姿态相符的时候，控制摄像头停止拍摄模式即单拍模式，开始录像模式进行拍摄获取手部视频。示例性的，假设连拍手指姿态为握拳时，当手指姿态为五指均靠近掌心即握拳时，控制摄像头停止拍摄模式即单拍模式，开始录像模式进行拍摄获取手部视频。

s600对所述手部视频进行分帧处理得到n帧手部图片帧；

具体的，对手部视频进行分帧处理得到n帧手部图片帧，其中，分割时，根据时间先后顺序重叠分割，即假设手部视频的采集时间为2018年9月5日13:30：00-2018年9月5日13:30:30，则这相隔30s的手部视频以1s的时间间隔进行分割得到30帧手部图片帧。视频进行分割的技术是现有技术，任何分帧处理视频得到图片帧的均属于本发明保护范围内，在此不再详细说明。

s700对手部图片帧进行图像处理获得手部移动轨迹；

具体的，对获取的n帧手部图片帧进行灰度处理，提取每帧手部图片帧对应的手部深度图像，由于深度图像不受光源照射方向及物体表面的发射特性的影响，同时也不存在阴影，可以更准确地表现采集手部特征信息。根据手部特征信息匹配处理等识别手部区域并确定手部区域的位置，然后利用运动跟踪技术在后续的深度图像中跟踪手部，从而得到手部移动轨迹。

s800将所述手部移动轨迹与轨迹映射关系表匹配，根据匹配结果获取对应的学习资料，并向学生显示所述学习资料。

具体的，轨迹映射关系表包括预设手部移动轨迹与学习类型的对应关系。与当得到手部移动轨迹后，将获取的手部移动轨迹与轨迹映射关系表进行比较，当手部移动轨迹符合任意一个预设轨迹时，根据匹配得到的预设轨迹查找获取与预设轨迹对应的学习资料，并向学生显示所述学习资料。示例性的，当手部移动轨迹符合“预设的向左(或上)滑动手势”时，获取上述实施例中获取的问题内容的类型相似的学习资料，例如，对于物理学科而言，当学生学习完放置于智能学习设备的摄像头下的电磁题型m后，学生基于自身的需求如对电磁相关的题型掌握度不够时，进行向左(或上)滑动，从而获取与电磁题型m相似的电磁题型n的题目，并将电磁题型n的题目显示给学生，使得学生进一步的对电磁题型进行训练学习。

示例性的，当手部移动轨迹符合“预设的向右(或下)滑动手势”时，获取上述实施例中获取的问题内容的类型关联的学习资料，例如，对于语文学科而言，当学生学习完放置于智能学习设备的摄像头下的李白的诗词x后，学生基于自身的需求如文学素养不够时，进行向左(或上)滑动，从而获取与李白的诗词x相关联的李白的诗词y，并将李白的诗词y显示给学生，使得学生进一步的对李白的诗词进行学习提高文学素养。

本技术方案通过对手部运动的跟踪得到手部移动轨迹，具有不局限于电子产品的触摸屏幕、手部移动范围大、灵活性强、支持根据多种手部移动轨迹显示不同的学习资料进行强化学习的特点，从而提升学生的学习成绩。

根据本发明提供的一种实施例，如图6所示，一种基于手势协助定位学习的系统包括：

拍摄模块10，用于拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

具体的，学生并不限定于在校读书的学生，不论何种身份只要需要学习的人均属于本发明提案所述的学生。本技术方案可通过摄像头开启拍照模式进行拍摄获取目标图片，每个目标图片均包括手部部位的手指部位图像和学生使用手指在书本上所指定的区域的提问区域图像，也就是说，获取的目标图片中包括学生的任意一个或多个手指指向书本上所指定的区域以根据手指姿态进行协助问题定位。

学生在使用普通书写笔进行学习的过程中，如果遇到不懂的问题，可以根据自身的喜好和需求选择将笔放下后，使用手指作为定位标记物协助智能学习设备进行定位提问，也可以仍让将普通的书写笔握在手上，使用手指作为定位标记物协助智能学习设备进行定位提问，只要不妨碍摄像头拍摄获取包括学生的手指部位图像以及提问区域图像的目标图片即可。

本发明中的摄像头可安装在智能学习设备上，智能学习设备包括智能台灯、智能吊灯、智能壁灯等等，可将这种智能学习设备放置于或者安装在学生进行学习的书桌附近，使智能学习设备能够通过安装在安装于智能学习设备处的摄像头拍摄到在书桌上的书本，拍摄获取到学生的手指部位图像以及提问区域图像。即，学生在学习时，若有遇到不清楚或者不懂的问题时，学生可以使用自己的手指指向书本上想要询问的区域拍摄得到包括学生的手指部位图像以及提问区域图像的目标图片。

为了降低计算量，减少对计算资源的占用，具体实施时，获取单帧的目标图片，而不是现有方法采集的视频流，进行后续具体分析、处理。相较于视频流，对于单帧的目标图片进行后续分析、处理时只要对单独一帧图片进行分析、检测、识别，如此，可以有效地减少计算量、降低计算成本，提高识别速度。

图像识别模块20，与所述拍摄模块10连接，用于对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

具体的，智能学习设备中可集成有可识别手指部位图像的图像识别模块20。也可以是智能学习设备将自身拍摄获取到的手指部位图像上传至远端的与自身连接的服务器，通过服务器现有的图像识别模块20识别手指部位图像。

对当前时刻的手指部位图像进行分析识别得到当前时刻对应的手指姿态，即计算获取学生的每个手指相对于书本的书本坐标系的空间坐标，从而根据空间坐标进行计算得到当前时刻对应的手指姿态。比较常见的是通过手指成像在相机坐标系中的手指位置坐标，以及书本成像在相机坐标系中的书本位置坐标，根据手指位置坐标和书本位置坐标能够进行转换计算得到每个手指相对于书本的位置和方向，从而得到手指姿态。获得手指姿态后，将手指姿态与预先生成的手势映射关系表进行匹配，根据手指姿态与其中的各个预设手指姿态进行比较，当符合其中任何一个预设手指姿态时，根据匹配得到预设手指姿态查找到对应的定位范围。根据识别得到的手指姿态查找手势映射关系表，获取相匹配的定位范围，其中，每个预设手指姿态和定位范围一一对应。

处理模块30，与所述拍摄模块10连接，用于根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

具体的，根据手指姿态与手势映射关系表匹配得到对应的定位范围后，通过提问区域图像识别手指指在书本上的区域位置，从而对书本上所指定的区域位置根据获取的定位范围进行提取其中的文字、图像等等得到问题内容，然后获取对应于问题内容的问题答案。

告知模块40，与所述处理模块30连接，向学生告知问题答案。

具体的，当获取到问题答案后告知学生，以便学生及时根据问题答案进行学习解决问题。智能学习设备上可以集成设有显示模块(如显示屏，人机交互界面)，投影模块(如投影灯)和语音播放模块(如扬声器、喇叭)中的任意一种或者多种。

本实施例中，在学生学习过程中，遇到不会做的题目时，学生用手指指着这道题目，智能学习设备的摄像头会采集包括手指和该手指对应指向的题目，针对学生使用手指在书本上指定的题目(即问题内容)，获取并反馈题目所对应的题目答案(即问题答案)。由于使用了手指从而使得学生在书本上进行定位得到问题内容时，不需要学生在学习过程中使用学习机专用笔，相对于现有技术中根据语音+书本拍摄进行问题定位切换，即不需要用户口头说对书本上的第几行第几列进行定位，对书本上第几道题目进行定位，直接根据手势的切换就能进行协助切换定位范围进行问题定位获取不同的问题内容。此外，因为一般的书本上是不会表明段落序号的，学生需要清楚具体是“第几段，第几行”后通过语音协助定位，因此语音协助定位的方式大大降低了学生的提问学习体验，直接由手指协助定位，将定位提取问题内容的工作完全交给图像识别模块20和处理模块30，效率高的同时，大大的提升了使用体验。根据手指姿态的不同进行切换问题定位范围，识别手指在书本上所指定的区域的提问区域图像对应的问题内容，不需要学生使用学习机专用笔或者手指在书本上所指定的区域连续不断的移动定位，操作方便，大大降低了学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率。

基于前述实施例，本实施例中，所述图像识别模块20包括：

手势识别单元，将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

具体的，收集手指部位图像样本数据，手指部位图像样本数据包括不同状态下的手指部位图像，提问区域图像数据样本包括不同状态下的提问区域图像，利用手指部位图像样本数据进行训练，以得到能够区分到底是语句提问姿态还是题目提问姿态的手指姿态识别分类模型。

在一个实施方式中，为了能够全面地考虑到多种不同的手部姿态状况，上述手部姿态具体可以包括：握拳即五个手指均收缩靠向掌心，手指伸展(大拇指伸展，食指伸展，中指伸展，无名指伸展和小拇指伸展的任意一种或多种)，手指伸展即手指张开远离掌心。如此，具体实施时，可以通过基于深度学习的检测算法对多种包含不同的手部姿态的图像进行学习。

优选的，根据手指部位图像样本数据和精度要求，对上述训练好的手指姿态识别分类模型进行调整优化，以获得更准确的手指姿态识别分类模型。

定位范围获取单元，与所述手势识别单元连接，当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。

具体的，将手指部位图像输入预训练得到的手指姿态识别分类模型中，识别手指部位图像对应的手指姿态与手势映射关系表匹配得到的手指姿态为语句提问姿态时，学生使用手势协助定位的类型是行列定位范围。示例性的，假设书本上的内容阅读排布方向为行排布方向(从左往右的水平方向)，列排布方向(从上往下的竖直方向)。假设语句提问姿态为中指伸展，其余手指收缩，如果对拍摄的目标图片识别出手指姿态a为只有大拇指伸展，其余手指收缩，且大拇指的伸展方向与行排布方向平行时，手势映射关系表中手指姿态a对应的是行定位范围。如果手指姿态a为大拇指伸展，且大拇指的伸展方向与列排布方向平行时，手势映射关系表中手指姿态a对应的是列定位范围。如果手指姿态a为大拇指伸展，且大拇指的伸展方向与列排布方向和行排布方向均有一定夹角时，手势映射关系表中手指姿态a对应的是行和列定位范围。

将手指部位图像输入预训练得到的手指姿态识别分类模型中，识别手指部位图像对应的手指姿态与手势映射关系表匹配得到的手指姿态为题目提问姿态时，学生使用手势协助定位的类型是整体定位范围。示例性的，假设题目提问姿态为中指伸展，其余手指收缩，如果对拍摄的目标图片识别出手指姿态b为只有中指伸展，其余手指收缩，则无论中指的伸展方向是怎样的，无论书本上的内容阅读排布方向是怎样的，只要是中指伸展指向书本上所指定的区域时，则对中指指向书本上的完整的区域进行定位即为整体定位范围。例如，书本上的内容是题目1，题目2，题目3和题目4，当学生使用中指伸展指向书本上的题目1所在区域时，不论题目1有几行几列，整体定位范围就是对题目1的内容进行定位。

本实施例中，在学生学习过程中，遇到不会做的题目时，学生首先将自身的手部放置于设有摄像头的智能学习设备的摄像头有效拍摄范围内，由摄像头进行拍摄获取包括学生的手指部位图像，以及学生使用手指在书本上所指定的提问区域图像的目标图片，智能学习设备对获取目标图片中的手指部位图像进行手指姿态的识别，从而根据识别出来的手指姿态得到对应定位范围，达到手指姿态的不同切换不同的定位范围的目的，不需要像现有技术那样通过手指在书本上需要提问学习的区域连续移动获取不同位置的位置坐标确定提问区域，直接根据手指姿态协助对书本上所指定的提问区域图像进行分析得到对应的问题内容，从而大大减小学生的学习时间的浪费现象，从而使得学生能够有更多的精力进行学习，提升学习效率，操作方便。

本发明基于摄像头实现手指姿态的智能识别，并利用手势映射关系表调用对应的定位范围，进行协助定位获取问题内容，手指姿态识别技术容许不需要额外的工具就可以快速、高效、准确的协助定位得到问题内容，从而提升获取问题答案的效率，提升学习效率。

基于前述实施例，本实施例中，所述处理模块30包括：

提问区域图像识别单元，与所述定位范围获取单元连接，对所述提问区域图像进行图像识别处理，获得学生使用手指在书本上所指定的区域的手指位置坐标，以及所述提问区域图像对应的学习内容；

具体的，由于书本上各个内容都在自身的书本坐标系上对应有位置坐标，因此，可以分析处理得到学生使用手指在书本上所指定的区域的手指位置坐标。对摄像头的拍摄范围下的书本进行扫描，生成书本当前页面对应的页面内容，由于书本的封页页面往往会有书本的各种书本信息(书名，作者名，类型，出版社和版本等等)，因此，先扫描获取待学习书本的书本信息，然后，根据摄像头扫描获取待学习书本当前页面的页码，从而根据书本信息和页码进行查找得到对应的提问区域图像对应的学习内容。示例性的，提问区域图像为学生的手指指在人教版三年级语文书的第30页，获取人教版三年级语文书的第30页的学习内容。

问题内容获取单元，分别与所述定位范围获取单元和所述提问区域图像识别单元连接，当所述定位范围为行列定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的行列问题内容；当所述定位范围为整体定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的整体问题内容；

具体的，书本上文字、图片内容都在自身的书本坐标系上对应有内容位置坐标。获取到行列定位范围后，根据手指位置坐标得到坐标值匹配的内容位置坐标，从而根据内容位置坐标查找出书本上对应的文字、图片得到行列问题内容。示例性的，如图4所示，为新人教版小学5五年级数学上册第4页的内容，食指在书本上面指向的是练习一第一题的第四小题，假设手指姿态c为食指伸展，其余四指收缩，手指姿态c对应的是行列定位范围时，根据食指的手指位置坐标分析得到食指在书本上面指向的是练习一第一题的第四小题，则将练习一第一题的第四小题作为行列问题内容，然后查询第四小题对应的问题答案。

获取到整体定位范围后，根据手指位置坐标得到坐标值匹配的内容位置坐标，从而根据内容位置坐标查找出书本上包括内容位置坐标的文字、图片得到整体问题内容。示例性的，如图5所示，为新人教版小学5五年级数学上册第4页的内容，大拇指在书本上面指向的是练习一第一题的第四小题，假设手指姿态c为大拇指伸展，其余四指收缩，手指姿态c对应的是整体定位范围时，不论大拇指是否与书本的列排布方向或者行排布方向之间平行还是有一定的夹角，只要大拇指的手指位置坐标分析得到大拇指在书本上面指向的是练习一第一题的第四小题，则将包括第四小题的第一题整个题目(即第一小题至第四小题)作为整体问题内容，然后查询第一题中各个小题对应的问题答案。

问题答案获取单元，与所述问题内容获取单元连接，当所述问题内容获取单元获取到所述行列问题内容时，获取对应于所述行列问题内容的问题答案；当所述问题内容获取单元获取到所述整体问题内容时，获取对应于所述整体问题内容的问题答案。

本技术方案获得手指姿态后，将手指姿态与预先生成的手势映射关系表进行匹配，根据手指姿态查找到对应的定位范围，对书本上所指定的区域的学习内容根据获取的定位范围对应进行提取得到问题内容，相对于语音和书本图像进行分析得到问题内容，由于一般的书本上是不会表明段落序号的，因此通过口述“第几段，第几行”进行问题内容的语言协助定位方式大大降低了学生的提问学习体验，本实施例直接由手指姿态不同切换得到不同的定位范围来实现协助定位，将定位提取问题内容的工作完全交给图像识别模块和处理模块，效率高的同时，大大的提升了使用体验。

基于前述实施例，本实施例中，还包括：

判断模块，判断智能学习设备是否获取到拍摄开启触发信号；

控制模块，与所述判断模块连接，当所述判断模块的判断结果为是时，开启设于所述智能学习设备处的摄像头开始工作。

具体的，触发信号包括按键触发信号，语音触发信号，红外触发信号，指纹触发信号，和开机预设时长触发信号，手势触发信号中的任意一种或者多种。示例性的，在智能学习设备上设置拍摄开关控制按键，而拍摄开关控制按键与智能学习设备的电源开关控制按键是独立的，则当学生在拍摄开关控制按键打开时，摄像头开始工作。或者，在智能学习设备上设置红外感测仪，红外感测仪与摄像头远离设置，便于红外感测仪的红外探测范围与摄像头的拍摄范围不重合，则当学生需要使用手指在摄像头下方指向书本进行定位提问时，先在红外感测仪的红外探测范围感测到学生手部后再传递感测到学生手部的信号至摄像头，使得摄像头开始工作。触发信号根据学生需求和习惯进行设置，其他的触发情况组合在此不再一一赘述。

基于前述实施例，本实施例中，还包括：

所述拍摄模块10，与所述图像识别模块20连接，用于当获取的目标图片中手指部位图像识别得到的手指姿态与连拍手指姿态相符时，拍摄获取预设时长的手部视频；

具体的，在向学生告知了问题内容对应的问题答案后，由拍摄模块10，图像识别模块20和处理模块30工作，并分析出某一次拍摄获取的目标图片识别得到手指姿态与连拍手指姿态相符的时候，控制摄像头停止拍摄模式即单拍模式，开始录像模式进行拍摄获取手部视频。示例性的，假设连拍手指姿态为握拳时，当手指姿态为五指均靠近掌心即握拳时，控制摄像头停止拍摄模式即单拍模式，开始录像模式进行拍摄获取手部视频。

图像处理模块30，与所述拍摄模块10连接，对所述手部视频进行分帧处理得到n帧手部图片帧；对手部图片帧进行图像处理获得手部移动轨迹；

具体的，对手部视频进行分帧处理得到n帧手部图片帧，其中，分割时，根据时间先后顺序重叠分割，即假设手部视频的采集时间为2018年9月5日13:30：00-2018年9月5日13:30:30，则这相隔30s的手部视频以1s的时间间隔进行分割得到30帧手部图片帧。对获取的n帧手部图片帧进行灰度处理，提取每帧手部图片帧对应的手部深度图像，由于深度图像不受光源照射方向及物体表面的发射特性的影响，同时也不存在阴影，可以更准确地表现采集手部特征信息。根据手部特征信息匹配处理等识别手部区域并确定手部区域的位置，然后利用运动跟踪技术在后续的深度图像中跟踪手部，从而得到手部移动轨迹。视频进行分割的技术是现有技术，任何分帧处理视频得到图片帧的均属于本发明保护范围内，在此不再详细说明。

学习资料获取模块，与所述图像处理模块30连接，将所述手部移动轨迹与轨迹映射关系表匹配，根据匹配结果获取对应的学习资料，并向学生显示所述学习资料。

轨迹映射关系表包括预设手部移动轨迹与学习类型的对应关系。与当得到手部移动轨迹后，将获取的手部移动轨迹与轨迹映射关系表进行比较，当手部移动轨迹符合任意一个预设轨迹时，根据匹配得到的预设轨迹查找获取与预设轨迹对应的学习资料，并向学生显示所述学习资料。示例性的，当手部移动轨迹符合“预设的向左(或上)滑动手势”时，获取上述实施例中获取的问题内容的类型相似的学习资料，例如，对于物理学科而言，当学生学习完放置于智能学习设备的摄像头下的电磁题型m后，学生基于自身的需求如对电磁相关的题型掌握度不够时，进行向左(或上)滑动，从而获取与电磁题型m相似的电磁题型n的题目，并将电磁题型n的题目显示给学生，使得学生进一步的对电磁题型进行训练学习。

示例性的，当手部移动轨迹符合“预设的向右(或下)滑动手势”时，获取上述实施例中获取的问题内容的类型关联的学习资料，例如，对于语文学科而言，当学生学习完放置于智能学习设备的摄像头下的李白的诗词x后，学生基于自身的需求如文学素养不够时，进行向左(或上)滑动，从而获取与李白的诗词x相关联的李白的诗词y，并将李白的诗词y显示给学生，使得学生进一步的对李白的诗词进行学习提高文学素养。

本技术方案通过对手部运动的跟踪得到手部移动轨迹，具有不局限于电子产品的触摸屏幕、手部移动范围大、灵活性强、支持根据多种手部移动轨迹显示不同的学习资料进行强化学习的特点，从而提升学生的学习成绩。

上述系统实施例中，拍摄模块10，告知模块40设于智能学习设备，图像识别模块20和处理模块30可以设于智能学习设备，也可以设于与智能学习设备远程连接的服务器处，也可以只设于与智能学习设备远程连接的服务器处。设置方式不做限定，只要实现本发明技术构思的均属于本发明保护范围内。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。