基于点阵的点读书写的方法及系统与流程

本发明涉及数据处理技术领域，尤其涉及一种基于点阵的点读书写的方法及系统。

背景技术：

点读笔和点读机是市面上常见的智能阅读和学习的工具。点读笔是通过在纸质印刷物上印上一层点阵图案背景或者二位浅码，选择要点读的某一页，随便点击该页上的图案，文字，数字等,点读笔就识别二维浅码就能发出对应的发音。而点读机是将纸质印刷物放在机器平板上，用专用的笔对纸张特定的文字和图案内容进行点击，机器会发出相应的发音。在制作发音文件时，给发音文件预先设置好所对应文字内容的“经纬位置”。

点读笔和点读机，是通过点击的动作将指令发送到点读机或点读笔本身的内部处理模块，再通过笔尖对纸面上位置坐标来找到相应的语音文件进行向外播放。此种方式体现了“哪里不会，哪里需要，点哪里”的学习方法。

此种单纯的点击动作，从而获得知识和信息的反馈的单项传输方式，并不能够满足智能化学习的需要，并且，很多时候，并不能获得学习者哪有需要，哪里不会或出错的信息，从而并不能够给到针对性的有效反馈。

技术实现要素：

本发明的目的是针对现有技术中存在的缺陷，提供一种基于点阵的点读书写方法及系统，以解决现有技术中存在的问题。

为解决上述问题，第一方面，本发明提供了一种基于点阵的点读书写的方法，所述方法包括：

终端接收采集装置发送的数据包；所述数据包包括采集装置在点阵文档的轨迹信息；

对所述数据包进行解析，得到轨迹信息；

当所述轨迹信息为采集装置在点阵文档的坐标时，确定所述坐标对应的第一控件信息；所述第一控件信息与第一操作相关联；

根据所述第一控件信息，执行所述第一操作；

当所述轨迹信息为采集装置在点阵文档的轨迹信息时，确定所述轨迹信息对应的第二控件信息；所述第二控件信息包括数据类型；

根据所述数据类型，解析所述轨迹信息；

根据解析结果，显示解析后的所述轨迹信息。

在一种可能的实现方式中，所述方法之前还包括：

终端接收所述点阵文档对应的电子文档。

在一种可能的实现方式中，所述第一操作具体为资源文件的路径或指令；所述根据所述第一控件信息，执行所述第一操作具体包括：

当所述第一操作为资源文件的路径时，根据所述第一控件信息，调取所述资源文件的路径对应的资源文件；

或者，当所述第一操作为指令时，根据所述第一控件信息，执行所述指令。

在一种可能的实现方式中，所述第二控件信息还包括规则属性信息，所述规则属性信息包括标准值和算法参数，所述方法之后还包括：

当所述规则属性信息为标准值时，将解析后的所述轨迹信息与标准值进行匹配，得到匹配结果；或者，

当所述规则属性信息为算法参数时，利用所述算法参数，评价解析后的所述轨迹信息。

在一种可能的实现方式中，所述采集装置在点阵文档的坐标包括纸张编号和笔尖的坐标；所述当所述轨迹信息为采集装置在点阵文档的坐标时，确定所述坐标对应的第一控件信息，具体包括：

根据所述纸张的编号，确定文档文件的页码；

根据所述文档文件的页码和所述笔尖的坐标，确定第一控件信息；所述第一控件信息包括第一控件的大小和位置。

在一种可能的实现方式中，所述轨迹信息包括纸张编号；所述当所述轨迹信息为采集装置在点阵文档的轨迹信息时，确定所述轨迹信息对应的第二控件信息具体包括：

根据所述纸张编号，确定文档文件的页码；

根据所述文档文件的页码和所述轨迹信息，确定第二控件信息；

根据所述第二控件信息对应的数据类型，解析所述轨迹信息。

第二方面，本发明提供了一种基于点阵的点读书写的系统，所述系统包括：

接收单元，所述接收单元用于接收采集装置发送的数据包；所述数据包包括采集装置在点阵文档的轨迹信息；

解析单元，所述解析单元用于对所述数据包进行解析，得到轨迹信息；

确定单元，所述确定单元用于当所述轨迹信息为采集装置在点阵文档的坐标时，确定所述坐标对应的第一控件信息；所述第一控件信息与第一操作相关联；

执行单元，所述执行单元用于根据所述第一控件信息，执行所述第一操作；

所述确定单元还用于，当所述轨迹信息为采集装置在点阵文档的轨迹信息时，确定所述轨迹信息对应的第二控件信息；所述第二控件信息包括数据类型；

所述解析单元还用于，根据所述数据类型，解析所述轨迹信息；

显示单元，所述显示单元用于根据解析结果，显示解析后的所述轨迹信息。

第三方面，本发明提供了一种设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行第一方面任一所述的方法。

第四方面，本发明提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一所述的方法。

第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的方法。

通过应用本发明提供的基于点阵的点读书写的方法及装置，可以针对学习者，给出学习过程的反馈，并且可以对学习过程进行评价和指导。

附图说明

图1为本发明实施例一提供的基于点阵的点读书写方法流程图；

图2为本发明实施例提供的点阵区域的示意图；

图3为本发明实施例二提供的基于点阵的点读书写的系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的基于点阵的点读书写方法流程图。该方法应用在具有点阵纸张中。本发明技术方案执行主体为具有处理能力的终端设备，包括：台式电脑、笔记本电脑、平板电脑、智能手机等。如图1所示，具体包括如下步骤：

步骤101，接收采集装置发送的数据包；数据包包括采集装置在点阵文档的轨迹信息。

其中，在执行步骤101之前，先要生成点阵纸张，下面对点阵纸张的生成进行说明。

具体的，采集装置为具有点阵识别功能的点阵数码笔，内置有压力传感器、处理器、摄像头、存储器和通讯模块等。

当压力传感器接收到压力信号后，启动摄像头，摄像头为高速摄像头，可以以每秒100张的速度对笔尖所经过的点阵进行拍照，记录笔尖在书写过程中的x,y坐标值，得到点阵图像数据，从而实现笔迹的精确采集。处理器会记录笔尖运动的时间戳，从而实现每个笔迹的书写顺序和书写速度。同时点阵数码笔内置的压力传感器，会记录笔尖下压的力度，从而转化为书写笔画的轻重和粗细呈现。即：基于微米级的x，y坐标采录汉字书写结构和笔画精确位置；基于时间戳的坐标点采录汉字书写的笔画顺序和速度；基于笔尖压力传感器采录汉字笔画书写的轻重粗细，得到压感数据。处理器将压感数据、点阵图像数据和采集装置的媒体访问控制（mediaaccesscontrol，mac）地址编号添加时间戳后生成数据包，通过通信模块的数据接口发送给终端设备。

以写一个汉字“山”为例。

汉字“山”的第一笔：中竖的落笔pendown和抬笔penup，以及坐标点coordinate信息：包括笔的序列号（即笔的mac地址编号），类型，时间戳，点的序号，坐标x，坐标y，纸的编号，压力值信息等。其中，坐标x和坐标y以及纸的编号，即为点阵图像数据，压力值信息即为压感数据。

通过数据接口向终端设备发送数据有两种方式，一种是实时发送，采集装置内置的处理器实时将图像数据解析为数字信号，并与压力传感器发送的压感数据、以及时间轴和时间戳实时编码成标准传输数据包，将数据包的包头添加采集装置的mac地址编号，然后数据接口实时将传输数据包通过有线或无线方式传输到终端设备。另外一种是非实时发送，处理器实时将图像数据解析为数字信号，并与压力传感器发送的压感数据以及时间轴和时间戳实时编码成标准传输数据包，将数据包的包头添加采集装置的mac地址编号，然后存储在存储器中，在设定时间或者其他非实时方式由数据接口将存储器中存储的传输数据包向终端设备传输。

其中，数据接口为有线数据接口或无线数据接口；有线数据接口具体为usb接口，miniusb接口、microusb接口、并口、串口；无线数据接口具体为蓝牙接口、红外接口、wifi接口、2.4-5.0ghz波段接口或者无线通信接口。

点阵区域具体包括：具有点阵图案的书写纸、具有点阵图案的白板、显示点阵图案的电子显示屏。

点阵区域由若干个点组成，按照特殊算法规则排列组成，如图2所示。例如，每36个点，排列组合成一个点阵。两点之间的平均距离为0.3mm。每个点阵的大小为1.8mm×1.8mm。点阵通过特殊的编码方式，代表着特殊的坐标位置信息。

其中，普通的电子文件（可能印有文字、图片、表格等内容信息），在zbform表单数据采集平台上，经过专用的点阵铺设接口，为电子档文件追加铺上一层点阵背景图案，然后打印或印刷出来。这样数码笔书写在这样的纸张上，就能够捕捉点阵的相关信息，从而获得精准的位置信息，而且每页纸铺设的点阵信息是不同的，其纸张的编号不同，从而可以实现页码甚至不同读物间的切换和定位。

步骤102，对数据包进行解析，得到轨迹信息。

在一个示例中，终端对数据包进行解析后，可以得到点阵数码笔在点阵文件的坐标，该坐标包括纸张的编号和笔尖所在纸张的坐标。

在另一个示例中，终端对数据包进行解析后，可以得到点阵数码笔在点阵文档的轨迹信息。此时，点阵数码笔笔尖的书写压力和笔尖移动的时间戳，经内部芯片解析后，得到笔尖的轨迹信息。

其中，在上述两个示例中，数据包还可以包括笔尖的压力值和数码笔的编号。由此，通过点阵的应用，提高了点阵区域设置的精度。

步骤103，当轨迹信息为采集装置在点阵文档的坐标时，确定坐标对应的第一控件信息；第一控件信息与第一操作相关联。

具体的，在点阵文件中，包括多个控件，多个控件设置在点阵文件的多个区域，每个控件具有其控件信息，控件信息包括控件的大小和坐标位置，命名、区域的类型以及规则属性，该规则属性可以持续扩展。并且，每个第一控件与相应的操作或者资源文件的路径相关联。

在一个示例中，第一控件信息与第一操作相关联，第一操作可以是指令。指令可以是动作，比如关闭或者开启某个功能，例如启动计数或启动计算笔画数或者打印指令；指令也可以是切换笔迹颜色，笔迹线条的粗细；该指令还可以是向操作系统发送某个指令，比如发送邮件，分享图片等。本申请对此并不限定。

在另一个示例中，第一操作可以是资源文件的路径，资源文件包括但不限于文档、音频、视频等，第一控件信息在定义时，即包括了资源文件对应的路径，当确定轨迹信息对应的第一控件信息为资源文件的路径时，终端自动调取并运行资源文件，从而实现点触后发声，播放视频等效果。

第一控件信息关联的第一操作如下：

计数（通过计算笔画数或点击次数，返回数值）

计时（通过点击或划线，来返回当前的精准时间戳）

链接（通过点击该区域，返回一个互联网上的超文本链接地址，从而调出多媒体等资源，例如声音、视频、图片、网页等）

指令（通过点击该区域，返回一个特定的指令，例如打印指令ctrl+p）

步骤104，根据第一控件信息，执行第一操作。

具体的，根据第一信息中的坐标信息在点阵纸张上的页码和笔尖的坐标信息，确定其对应的第一控件信息，然后根据第一控件信息，执行与第一控件信息关联的第一操作，比如上述的计数、计时、打印、播放声音或视频等。

在一个示例中，当在点读时，如果在做跟读类题目时，当点阵数码笔在点阵纸张上点击时，终端设备接收包括纸张页码和笔尖坐标的数据包，对数据包进行解析后，根据解析得到的点阵文档的页码，在终端上显示电子文档相应的页码，并且根据笔尖的坐标信息，确定在显示的页码上的对应的控件信息，当该控件信息为音频文件的路径时，终端设备在显示电子文档的同时，播放该音频文件。

步骤105，当轨迹信息为采集装置在点阵文档的轨迹信息时，确定轨迹信息对应的第二控件信息。

具体的，当为在点阵文件的轨迹信息时，确定轨迹信息对应的第二控件信息后，对第二控件信息进行识别。

其中，对第二控件信息中数据类型，对轨迹信息进行识别，随后可以在终端显示该轨迹信息。

其中，数据类型包括但不限于数值类型、字符类型、数字字母组合类型、勾选类型、日期时间类型。

【数值类型】

自然数（1...9）

自然数（1...9、0）

正数（0...9、小数点）

实数（0...9、小数点、负号、正号）

【字符类型】

字母（a...z，a...z）

大写字母（a...z）

小些字母（a...z）

文本（a...z，a...z，汉字）

汉字（汉字）

【数字字母组合类型】

数字字母组合（0...9，a...z，a...z）

数字+特定字符（例如身份证x）

【勾选类型】

勾选（对勾，叉）

实数+勾选（对勾，叉，0...9，小数点，正负号）

【日期时间类型】

日期型（年月日）

时间型（时分秒，时分）

日期时间型（年月日时分（秒））

进一步的，该第二控件信息还包括规则属性信息。

步骤106，根据数据类型，解析轨迹信息。

具体的，可以根据数据类型，解析轨迹信息，比如根据轨迹信息，解析出的轨迹信息可以为“hello,iambaby”。

步骤107，根据解析结果，显示解析后的轨迹信息。

在一个示例中，当在做连线类题目时，当点阵数码笔在点阵纸张上连线时，该连线的轨迹信息会被发送到终端设备。终端设备根据连线的轨迹信息，确定该点阵文件对应的电子文档的具体页码，并显示该电子文档具体的页面，随后，根据轨迹信息的范围，确定对应的控件信息后，对该控件内的轨迹信息进行识别，并在终端设备显示解析后的轨迹信息。

在另一个示例中，当在做填空类题目时，当点阵笔在点阵纸张上填空时，在填空的地方填写进的内容的轨迹信息，会被发送到终端设备，终端设备根据轨迹信息，定位到电子文档的具体页码，并解析出具体的内容，比如“hello,iambaby”，然后在终端设备上的电子文档的具体页码上，显示解析出的内容。

进一步的，当在做选择类题目时，当点阵数码笔在点阵纸张上勾选时，终端设备上的电子文档中的相应位置，也会进行勾选。

进一步的，当将该方法应用在民政部门时，该点阵纸张可以是婚姻登记表的电子文档，将该电子文档在zbform表单数据采集平台上的专用的点阵铺设接口上，进行点阵铺设，生成点阵纸张，随后通过点阵数码笔在该纸张上书写，工作人员的终端设备会同步显示书写的轨迹，并进行显示，从而提高了工作效率。

进一步的，第二控件信息还包括规则属性信息，规则属性信息包括标准值和算法参数，方法之后还包括：

当规则属性信息为标准值时，将解析后的轨迹信息与标准值进行匹配，得到匹配结果；或者，

当规则属性信息为算法参数时，利用算法参数，评价解析后的轨迹信息。

具体的，该步骤为书写笔迹的后处理过程，书写的笔迹在特定的“控件”内，该控件可以指定特定的算法模型位置匹配，当数码笔在书写时，采集到数字化的同步笔迹，进而在某个特定的操作或机制下出发该控件所对应的算法逻辑，从而实现书写笔迹的后处理，包括书写的笔迹与标准设定的结果匹配度校验（例如笔迹吻合度、运笔的方向、运笔的顺序、运笔的笔迹数量等）；书写的笔迹经过手写识别后与标准的设定是否一致（例如字母文字词语的听写，作业练习的正确性等）。

具体的，在将轨迹信息与预设的标准值进行匹配，比如，连线的一端对应的是a，另一端对应的是c，而模板中连线的一端对应的是a，另一端对应的是b，则说明不匹配，则给出评价结果。

示例而非限定，评价结果可以是得分，比如0分，也可以是语音提示，比如“完全不匹配”，还可以是文字提示，比如“不合格”等，本申请对评价结果的表现形式并不限定。

通过应用本发明提供的基于点阵的点读书写的方法，可以针对学习者，给出学习过程的反馈，并且可以对学习过程进行评价和指导。

图3为本发明实施例二提供的基于点阵的点读书写的系统结构示意图。该系统可以应用在实施例一的方法中，如图3所示，该基于点阵的点读书写的系统包括：接收单元201、解析单元202、确定单元203、执行单元204、显示单元205。

接收单元201用于接收采集装置发送的数据包；数据包包括采集装置在点阵文档的轨迹信息；

解析单元202用于对数据包进行解析，得到轨迹信息；

确定单元203用于当轨迹信息为采集装置在点阵文档的坐标时，确定坐标对应的第一控件信息；第一控件信息与第一操作相关联；

执行单元204用于根据第一控件信息，执行第一操作；

确定单元203还用于，当轨迹信息为采集装置在点阵文档的轨迹信息时，确定轨迹信息对应的第二控件信息；第二控件信息包括数据类型；

解析单元202还用于，根据数据类型，解析轨迹信息；

显示单元205用于根据解析结果，显示解析后的轨迹信息。

通过应用本发明提供的基于点阵的点读书写的系统，可以针对学习者，给出学习过程的反馈，并且可以对学习过程进行评价和指导。

本发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例提供的方法。

本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。

本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。