一种基于图像识别的书面文档互动系统和方法与流程

本发明涉及人机互动领域，具体为一种基于图像识别的书面文档互动系统和方法。

背景技术：

在多媒体广泛应用的时代，书面文档仍然有大量的应用场景，书面文档互动性较差，多媒体文档互动性较强，但其互动操作往往需要依赖长时间使用显示屏，对视力影响较大，特别不利于儿童的眼部健康；

为此提供一种基于图像识别的书面文档互动系统和方法。

技术实现要素：

本发明的目的在于提供一种基于图像识别的书面文档互动系统和方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于图像识别的书面文档互动系统，包括书面文档、互动内容范围标记标识、选定互动指令操作对象标记标识、互动指令标记标识、互动指令参数标记标识、成像装置、处理器及存储器；

所述处理器包括图像识别单元与控制单元。

优选的，所述图像识别单元用于通过成像装置对监控图像中的书面文档和标记标识进行识别，所述控制单元用于将识别出的书面文档或标记标识转化为互动操作的对象、指令或参数，或进行互动操作，该系统可以自己进行互动操作或对设备发送指令、语句或程序来执行互动操作，所述存储器用于存储所述各标记标识，或存储将书面文档或标记标识转化互动操作的对象、指令、参数的转化规则。

优选的，该系统仅通过识别标记标识上计算机容易识别的部分图文信息来对标记标识进行识别。

优选的，该系统设定了一个互动指令或参数识别区域，系统仅对处于互动指令或参数识别区域内的互动指令标记标识或互动指令参数标记标识进行识别或转化，该系统设定的互动指令或参数识别区域有可供图像识别技术识别的标识，图像识别单元通过图像识别技术确定互动指令或参数识别区域的范围。

一种基于图像识别的书面文档互动方法，包括以下步骤：

s1：预设交互操作标记操作及其标记标识识别处理库，为了更好方便的描述互动操作过程，将交互操作标记操作进一步细分为交互内容范围标记操作、交互指令操作对象标记操作、交互指令标记操作、交互指令参数输入标记操作，在实际操作中，根据交互操作的复杂程度，这四种操作可以彼此独立，也可以自由组合，操作组合后，与之相应的标记标识、标记操作办法以及标记标识识别处理库可以继续保持独立也可以组合为一体，包括以下步骤：

a：预设交互内容范围标记操作及其标记标识识别处理库；

b：预设交互指令操作对象标记操作及其标记标识识别处理库；

c：预设交互指令标记操作及其标记标识识别处理库；

d：预设交互指令参数输入标记操作及其标记标识识别处理库；

s2：标记互动内容范围；

s3：标记互动指令的操作对象；

s4：给出互动指令和参数的标记标识；

s5：识别互动的对象、指令和参数；

s6；执行互动指令。

优选的，在s2中，可以利用标记标识对某一互动内容范围进行编码或命名，在s5中，识别到有编码或命名的互动内容范围标记标识时，在s5所述识别出与之对应的s2中标记的参与互动的内容范围并进行截图时，首先识别此处参与互动内容范围的编码或命名，再检索此编码或命名是否已经存储有截图或对截图的识别结果，如果没有截图或对截图的识别结果，则识别出与之对应的s2中标记的参与互动的内容范围并进行截图并保存截图，如果已经存在截图或对截图的识别结果，则直接调用截图或对截图的识别结果，做为对此处参与互动内容范围的截图或对截图的识别结果。

优选的，在s5中，监测是否有对互动的对象、指令和参数进行识别的指令，如果有则进行下一步，如果没有则继续监测，互动指令标记标识与选定互动指令操作对象标记标识之间存在对应关系，互动指令标记标识仅对与之对应的选定互动指令操作对象标记标识标记的操作对象发生作用。

优选的，在成像设备监控的范围内，选择了一个区域做为互动指令或参数识别区域，在s5所述识别出与之对应的s4中给出的互动指令或参数的标记标识中，仅对互动指令识别区中出现的互动指令或参数的标记标识进行识别。

优选的，针对同一互动内容范围的所述互动内容范围标记标识、选定互动指令操作对象的标记标识、互动指令标记标识、互动指令参数输入标记标识并不需要用不同标识来表示。

优选的，为书面文档提供编码或命名，其他人可以通过检索编码或名称访问该书面文档的电子档或其允许被查询的互动过程或结果，或再建立云端数据库，存储不同人对同一内容的书面文档的互动过程或结果，供大家分享，书面文档的制作者可以在制作书面文档时，预先配置互动内容范围以及与之配套的选定互动指令操作对象标记标识、互动指令标记标识、互动指令输入参数标记标识，以及与之配套的多媒体的互动结果，从而实现书面文档与多媒体的结合。

与现有技术相比，本发明的有益效果是：本发明以较低的成本实现对书面文档的互动操作，无需长时间使用显示屏，可以增加书面文档的互动性，对视力影响较小，能够保护眼部健康。

附图说明

图1为本发明的系统框图；

图2为本发明的处理器框图；

图3为本发明的整体流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图3，本发明提供一种技术方案：一种基于图像识别的书面文档互动系统，包括书面文档、互动内容范围标记标识、选定互动指令操作对象标记标识、互动指令标记标识、互动指令参数标记标识、成像装置、处理器及存储器，所述处理器包括图像识别单元与控制单元；

综上所述：将书面文档展示于展示区域或介质，然后根据将要进行的互动操作，利用与互动操作相对应的互动内容范围标记标识、选定互动指令操作对象标记标识、互动指令标记标识及互动指令参数标记标识对书面文档进行标记，处理器中的图像识别单元通过成像装置对监控图像中的书面文档需要互动的部分及标记标识进行识别，然后利用控制单元将识别出的书面文档需要互动的部分及标记标识转化为互动操作的对象、指令及参数，或进行互动操作，系统可以自己进行互动操作或对设备发送指令、语句或程序来执行互动操作，所述存储器用于存储所述各标记标识，或存储将书面文档与标记标识转化互动操作的对象、指令及参数的转化规则。

一种基于图像识别的书面文档互动方法，包括以下步骤：

s1：预设交互操作标记操作及其标记标识识别处理库，为了更好方便的描述互动操作过程，将交互操作标记操作进一步细分为交互内容范围标记操作、交互指令操作对象标记操作、交互指令标记操作、交互指令参数输入标记操作，在实际操作中，根据交互操作的复杂程度，这四种操作可以彼此独立，也可以其中任意两两或任意三三组合，也可以四种操作组合在一起，操作组合后，与之相应的标记标识、标记操作办法以及标记标识识别处理库可以继续保持独立也可以组合为一体，包括以下步骤：

a：预设交互内容范围标记操作及其标记标识识别处理库，预先选择线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识物或其他可以通过计算机视觉识别的要素中的一种或几种形式制定互动内容范围标记标识以及标记互动内容范围的方法，所述互动内容范围是指书面文档中在某一次互动中做为一个整体成为互动指令的操作对象的内容的总和，所述互动内容范围标记标识是指用来标记某一个互动内容范围的标识，所述标记互动内容范围的方法是指如何在书面文档上利用互动内容范围标记标识对某一个互动内容范围进行标记的方法。存储所制定的一个或多个互动内容范围标记标识，存储各互动内容范围标记标识所对应的互动内容范围截图处理信息模块，存储互动内容范围标记标识与互动内容范围截图处理信息模块之间的对应关系；

b：预设交互指令操作对象标记操作及其标记标识识别处理库，预先选择线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识物或其他可以通过计算机视觉识别的要素中的一种或几种形式制定选定互动指令操作对象的标记标识以及标记选定互动指令操作对象的方法，所述选定互动指令操作对象是指在书面文档中将任一个互动内容范围标记为在后续步骤中做为互动指令的操作对象，所述选定互动指令操作对象标记标识是指用来标记任一个被选定的互动指令操作对象的标识，标记选定互动指令操作对象的方法是指如何在书面文档上利用选定互动指令操作对象标记标识对任一个选定的互动指令操作对象进行标记的方法，存储所制定的一个或多个选定互动指令操作对象的标记标识，存储各选定互动指令操作对象的标记标识所对应的选定互动指令操作对象的识别处理信息模块，存储选定互动指令操作对象的标记标识与选定互动指令操作对象的识别处理信息模块之间的对应关系；

c：预设交互指令标记操作及其标记标识识别处理库，预先选择线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识物或其他可以通过计算机视觉识别的要素中的一种或几种形式制定互动指令标记标识以及标记互动指令的方法，所述互动指令标记标识是指用来标记任一个期望在后续步骤中被执行的互动指令的标识，标记互动指令的方法是指如何利用互动指令标记标识对任一个期望在后续步骤中被执行的互动指令进行标记的方法，存储所制定的一个或多个互动指令标记标识，存储各互动指令标记标识所对应的互动指令识别处理信息模块，存储互动指令的标记标识与互动指令识别处理信息模块之间的对应关系；

d：预设交互指令参数输入标记操作及其标记标识识别处理库，如果互动指令不需要参数，则不需要预设交互指令参数输入标记操作及其标记标识识别处理库，针对有参数的互动指令，预先选择线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识物、音频、视频或其他可以通过计算机视觉识别的要素中的一种或几种形式制定互动指令参数输入标记标识以及标记、输入互动指令参数的方法，所述互动指令参数输入是指为任一需要输入参数的互动指令输入参数，所述互动指令参数输入标记标识是指用来标记为互动指令输入的参数的标识，标记、输入互动指令参数的方法是指为互动指令输入参数或对输入参数进行标识的方法，所述为互动指令输入参数是指通过线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识、音频、视频或其他可以通过计算机视觉识别的要素中的一种或几种形式为互动指令提供参数内容，所述对输入参数进行标识是指线条、底纹、底色、文字、符号、数字、二维码、条码、图片、图形、图表、二维或三维标识物或其他可以通过计算机视觉识别的要素中的一种或几种形式将为互动指令输入的参数标记出来，存储所制定的一个或多个互动指令参数输入标记标识，存储各互动指令参数输入标记标识所对应的互动指令参数输入识别处理信息模块，存储选定互动指令参数输入的标记标识与互动指令参数输入识别处理信息模块之间的对应关系；

s2：标记互动内容范围，利用书写、绘制、打印、印刷、粘贴、放置、显示或其他可以展示标记标识的方式，对书面文档中任一处可能参与互动的互动内容，用互动范围标记标识按照标记互动内容范围的方法，标记出其互动内容的范围，一份文档中可以标记一处或多处互动内容范围，任一处互动内容范围可以是文档的全部或部分，任一处互动内容范围可以与其他互动内容范围有交集，同一个书面文档上的互动内容范围可以调整变化，在标记任一处互动内容范围时，可以利用标记标识对该互动内容范围进行编码或命名；

s3：标记互动指令的操作对象，在书面文档中利用书写、绘制、打印、印刷、粘贴、放置、显示或其他可以展示标记标识的方式，从s2标记的互动内容范围中，选择一处或多处期望在后续步骤中做为互动指令操作对象的互动内容范围，用选定互动指令操作对象的标记标识按照标记选定互动指令操作对象的方法，将其标记为互动指令的操作对象，标记的互动指令的操作对象的数量可以少于标记的互动内容范围的数量，在标记互动指令的操作对象时，对于存在多个操作对象的，按照期望的操作顺序对操作对象进行编码并在标记标识予以表示；

s4：给出互动指令和参数的标记标识，在成像装置监控的范围内，利用书写、绘制、打印、印刷、粘贴、放置、播放、显示或其他可以展示标记标识的方式，用互动指令标记标识按照标记互动指令的方法，标记出需要在后续步骤执行的互动指令，针对有参数的互动指令，用互动指令参数输入标记标识按照标记、输入互动指令参数的方法，输入或标记互动指令的参数；

s5：识别互动的对象、指令和参数，确保书面文档放置于成像设备的监控范围内，监测是否有对互动的对象、指令或参数进行识别的指令，如果有则进行下一步，如果没有则继续监测，对成像装置监控的范围进行拍照、扫描或录制，识别出每一个在s3中选定的互动指令操作对象，并识别出与之对应的s2中标记的参与互动的内容范围并进行截图，所述识别出与之对应的s2中标记的参与互动的内容范围并进行截图,首先识别此处参与互动内容范围是否有编码或命名，如果没有则继续，如果有编码或命名则检索此编码或命名是否已经存储有截图或对截图的识别结果，如果没有截图或对截图的识别结果，则识别出与之对应的s2中标记的参与互动的内容范围并进行截图并保存截图，如果已经存在截图或对截图的识别结果，则直接调用截图或对截图的识别结果，做为对此处参与互动内容范围的截图或对截图的识别结果；并识别出与任一所述在s3中选定的互动指令操作对象对应的s4中给出的互动指令标记标识，并转换为互动指令，对有参数的互动指令，识别出互动指令参数输入标记标识并将其所标记的参数内容转化为与之对应的互动指令的参数；

s6；执行互动指令，对每一个s4中所述的互动的对象执行其所对应的互动指令和参数，有多个s4所述的互动的对象需要执行互动指令时，按照预设的排序规则顺序执行，对每一个s4所述的互动的对象执行其所对应的互动指令和参数时，可以存储任一次执行的操作对象、指令或结果，按照预设的排序规则顺序执行时，按照所述对操作对象进行编码而获得编码的顺序对各操作对象进行操作，按照各互动指令的操作对象在书面文档中的“左、右、上、下”位置关系，为书面文档设定多操作对象的排序规则，互动指令包括识别文字或数字、保存文字或数字或图片、朗读、翻译、播放对应的音频、播放对应的视频、打开对应的链接、打开对应的文件、拼接一个或多个互动内容范围的内容、增加批注、增加标签、增加书签、增加视频、增加音频、增加图片、增加图表、增加链接、增加文件、搜索、设置密级、增加名称、增加编号或其他计算机可以执行的互动操作，系统可以记录操作者执行的任一个互动指令的执行对象、指令、参数或结果，系统允许操作者本人或其他人检索或分享系统存储的操作者的任一个互动指令的执行对象、指令、参数或结果。

针对同一互动内容范围的所述互动内容范围标记标识、选定互动指令操作对象的标记标识、互动指令标记标识、互动指令参数输入标记标识并不需要用不同标识来表示。

互动指令标记标识与选定互动指令操作对象标记标识之间存在对应关系，互动指令标记标识仅对与之对应的选定互动指令操作对象标记标识标记的操作对象发生作用，在成像设备监控的范围内，选择了一个区域做为互动指令识别区，在s5所述识别出与之对应的s4中给出的互动指令或参数的标记标识中，仅对互动指令识别区中出现的互动指令或参数的标记标识进行识别。

为书面文档提供编码或命名，其他人可以通过检索编码或名称访问该书面文档的电子档或其允许被查询的互动过程或结果，或在建立云端数据库，存储不同人对同一内容的书面文档的互动过程或结果，供大家分享，书面文档的制作者可以在制作书面文档时，预先配置互动内容范围以及与之配套的选定互动指令操作对象标记标识、互动指令标记标识、互动指令输入参数标记标识，以及与之配套的多媒体的互动结果，从而实现书面文档与多媒体的结合。

本发明以较低的成本实现对书面文档的互动操作，无需长时间使用显示屏，可以增加书面文档的互动性，对视力影响较小，能够保护眼部健康。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。