基于图像识别的点读位置标记方法、系统及智能学习桌与流程

本发明涉及一种基于图像识别的点读位置标记方法、系统及智能学习桌，属于辅助学习的方法及系统技术领域。

背景技术：

目前虽然有点读绘本，学生能够通过点读笔对相应的点读区域进行点读，但对于普通的纸质书本，学生在学习时遇到不认识的字、不懂的成语、不会读的单词、不会计算的数学题等，无法快速查阅，通常只能求助老师或家长。在现有技术中，也有通过图像识别的方式对普通书本进行图像识别，再通过定位技术对需要识别的文本进行定位，从而对定位的文本进行光学字符识别（opticalcharacterrecognition）。而在定位时通常是使用手指或其他指示物指向需要辅助阅读或讲解的文本，图像识别手指或其他指示物位置对该文本选定。例如中国专利文献cn109445588a公开的一种基于图像识别追踪技术的点读指点件点击判断方法，该方法中通过图像识别技术对点读指点件进行水平追踪和高度追踪，追踪点读指点件在页面坐标系上的坐标，当点读指点件前端一个点或多个点进入触发区域的坐标范围时，判断点读指点件进入了该触发区域。但这种方式定位误差率较大，使用中无法对文本进行精准定位。中国专利文献cn110633027a也公开的一种点读实现方法、系统、计算机设备和存储介质，该方法首先对书本进行图像获取，再通过红外识别的方式对手指进行定位，以避免通过图像识别手指位置的不精确性，但红外定位受到温度影响，其识别的精确性本身就不高。

技术实现要素：

因此，本发明的目的在于提供一种能够实现较为准确定位的基于图像识别的点读位置标记方法、系统及智能学习桌。

为了实现上述目的，本发明的一种基于图像识别的点读位置标记方法，包括以下步骤：

通过投影装置向阅读页面上投射标记图像；

通过图像采集装置采集阅读页面的图像以及标记图像。

所述投影装置向阅读页面上投射的标记图像可调。

所述投影装置包括投影仪、幻灯片装置或激光投射装置。

还包括以下步骤：

对位置指示件划定的轨迹进行识别；

通过投影装置对识别的轨迹进行对应的影像投射形成标记图像。

采集位置指示件的操作影像并进行影像分析从而识别所述轨迹。

所述位置指示件包括空间定位跟踪模块，通过所述空间定位跟踪模块捕获操作位置指示件时形成的所述轨迹。

所述位置指示件包括压力触发模块。

在位置指示件划出轨迹的过程中，投影装置实时将与已经划出的轨迹相对应的图像投影至阅读页面上。

所述阅读页面为投影显示的页面。

本发明还提供一种基于图像识别的点读位置标记系统，用于实现如前所述的基于图像识别的点读位置标记方法，包括投影装置以及图像采集装置。

本发明还提供一种智能学习桌，包括如前所述的基于图像识别的点读位置标记系统。

采用上述技术方案，本发明的基于图像识别的点读位置标记方法、系统方法及学习桌，首先通过投影装置向阅读页面上投射标记图像，标记图像显示在阅读物的阅读页面上，能够直观地对需要点读的区域进行位置标记，那么通过图像采集装置对阅读页面进行图像采集时，不仅能获得阅读页面上的文字、字母、图案等信息，也同时采集到了标记图像所在位置，从而便于后续通过图像识别技术对标记图像所指引的位置进行识别后发音或者讲解、搜索等其他操作；由于通过投影装置进行标记图像的投影，因此不会在阅读页面上形成任何痕迹，并且能够对任意阅读页面进行点读；而且不会出现现有技术中的识别错误率高的缺陷。

附图说明

图1为本发明的基于图像识别的点读位置标记方法流程框图。

图2为本发明的一种实施方式中的基于图像识别的点读位置标记方法流程框图。

图3为本发明的另一种实施方式中的基于图像识别的点读位置标记方法流程框图。

图4为本发明的一种实施方式中投影装置以及图像采集装置的工作状态的示意图。

图5为投影装置以及图像采集装置的另一角度示意图。

图6为图像采集装置采集的图像的示意图。

图7为本发明的一种实施方式中的基于图像识别的点读位置标记系统的框图。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

本发明的一种基于图像识别的点读位置标记方法，如图1所示，包括以下步骤：首先通过投影装置向阅读页面上投射标记图像，标记图像显示在阅读页面上，能够直观地对需要点读的区域进行位置标记；再通过图像采集装置对阅读页面进行图像采集，则不仅能获得阅读页面上的文字、字母、图案等信息，也同时采集到了标记图像所在位置，从而便于后续通过图像识别技术对标记图像所指引的位置进行识别。因此，需要强调的是，本发明中所述的“点读”并不仅仅表示将所选位置的文字、字母或数字进行发音阅读，还可以对识别出的文字、字母、数字或图案进行搜索、讲解等其他操作。

被投影到阅读页面上的标记图像可以根据实际需要选定形状，例如方形、圆形或椭圆形等的中空框形或填充框形，从而能够将点读区域的文字、字母、图案等框在其中，进一步还可以调整形状的大小，以适应不同的点读区域大小，当然也可以将选定形状设定为点状，直线状或波浪线状，标记图像的颜色也可以根据实际情况进行选择，以明显区别于阅读页面上的色彩，使后续的识别更加精确。所述投影装置可以为幻灯片装置，包括投影灯以及投影胶片，投影灯的出射光透过投影胶片后投射至阅读页面上，投影胶片上的图案则显现在阅读物的阅读页面上形成所述标记图像。所述投影胶片可以更换，以更换不同形状、大小、颜色的标记图像。当然，所述投影装置也可以为投影仪，所述投影仪连接于输入装置，从而能够向投影仪更加灵活自由地输入其需要投射出的标记图像信息。除此之外，投影装置也可以为激光笔等激光投射装置，所述激光笔可以发出点状、线状或框状的激光图案，学生可以手持激光笔照射阅读页面从而形成亮斑作为标记图像。

在本发明的一种实施方式中，如图2所示，设置位置指示件，通过位置指示件划定轨迹，轨迹可以为点、线段或框的轨迹，中央处理器识别出位置指示件划定轨迹后，将轨迹的信息发送至投影仪进行投影，从而使投影仪能够将对应的轨迹影像投射至阅读页面上形成所述标记图像。

所述位置指示件包括手持部、端部以及空间定位跟踪模块，所述空间定位跟踪模块与中央处理器相连，用于实时采集所述端部在现实坐标系中的坐标并将采集到的坐标数据发送至中央处理器。所述中央处理器用于接收所述空间定位跟踪模块发送的所述端部在现实坐标系中的坐标数据从而形成轨迹信息，以及用于将轨迹信息发送至投影仪进行投影。

如图7所示，在所述位置指示件的端部还设置有压力触发模块，当位置指示件的端部受到压力作用时，压力触发模块被触发，从而作为中央处理器采集端部坐标数据的起点，当端部受到的压力消失时，则作为中央处理器采集端部坐标数据的终点。因此，在使用时学生可以手持所述位置指示件，通过端部在阅读页面上需要点读的区域划出选框，划选框的过程中压力触发模块被触发，从而使中央处理器能够准确采集该过程中位置指示件的端部移动的轨迹信息。

当然，在另一实施方式中，如图3所示，除了通过空间定位跟踪模块采集位置指示件划出的轨迹之外，还可以通过采集位置指示件的操作影像并进行影像分析从而识别所述轨迹，也就是说，使用时学生通过位置指示件的端部在阅读页面上对需要点读的区域划出选框、点或者线段，通过图像采集装置实时采集划选框、点或者线段的过程，并通过图像识别技术识别出端部的轨迹，再通过投影装置将该轨迹对应的图像投射至阅读页面上形成标记图像。

图像采集装置与投影装置可以设置于阅读页面的上方并相互靠近设置，图像采集装置的摄像头1以及投影装置的投影镜头2对正阅读页面3，如图4-6所示，使用位置指示件在阅读页面3上划出椭圆形框将“语文”二字框在其中。考虑到不同的阅读物具有不同的厚度，因此位置指示件的端部在现实坐标系中的坐标数据并不使用其高程坐标，仅使用其在x、y平面的坐标（图6中表示x轴、y轴的虚线并不存在于采集的图像中，仅对x、y坐标系进行示意）。图像采集装置采集到的图像对应于现实坐标系，位置指示件的端部在现实坐标系中的坐标数据则能够对应于图像采集装置采集到的图像中。因此，中央处理器能够获得椭圆形框的轨迹，通过投影装置投射出与椭圆形框相对应的标记图像4，然后图像采集装置则能够将阅读页面3以及标记图像4一并拍摄。

本发明的基于图像识别的点读位置标记方法的适用并不局限于普通的纸质阅读物，还适用于基于光电原理的显示屏或通过投影仪进行投影所显示形成的阅读页面。也就是说，学生可以使用投影仪在桌面或投影幕布上对阅读页面进行投影，针对该投影形成的阅读页面，也能够使用本发明的基于图像识别的点读位置标记方法。那么，投影仪不仅对阅读页面进行投影，还对后续的标记图像进行投影，最终的投影图像被图像采集装置所采集。

在位置指示件进行划出轨迹的过程中，投影装置可以实时将与已经划出的轨迹相对应的图像投影至阅读页面上，从而使学生能够在划轨迹的过程中实时看到已划出的轨迹投影，因此，即便投影的轨迹方位出现误差，学生也能够适当调整位置指示件的位置使轨迹最终形成在其需要划出的位置上。

上述的实施方式均是通过位置指示件在阅读物的阅读页面上划出轨迹以选定点读区域，在本发明的另一种实施方式中，还可以首先获取阅读页面的图像并予以显示，例如通过图像采集装置采集阅读页面的图像数据，并通过显示器实时将阅读页面的图像数据显示出来，学生可以观察显示器中显示的图像，并通过操作鼠标等输入装置在图像上划出轨迹以选定点读区域，中央处理器则可以直接对点读区域进行识别。

本发明还提供一种基于图像识别的点读位置标记系统，用于实现如前所述的基于图像识别的点读位置标记方法。如图7所示，所述基于图像识别的点读位置标记系统包括所述中央处理器、投影装置、图像采集装置以及位置指示件，所述位置指示件能够实现其端部的定位功能，如vr手柄装置。

本发明还提供一种智能学习桌，包括如前所述的基于图像识别的点读位置标记系统。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。