一种点阵笔系统以及解码方法与流程

1.本发明涉及点阵笔技术领域，特别是涉及一种点阵笔系统、解码方法、电子设备及计算机可读存储介质。


背景技术：

2.现有点阵笔通过摄像头采集提前铺在纸张上的微图点码，并通过一定算法提取码点的坐标信息来还原书写笔迹。在纸张上印刷的微图点码含有坐标、页码等信息，区别于纸张上的文字、图片等内容，然后利用带有摄像头的笔来点选纸张上的不同位置，并对微图点码进行读取、解析，可以得到与相关文字、图片等内容对应的标记信息。点阵笔一般包括红外发光管、微型摄像头、图像处理单元、通信单元等。点阵笔的应用大体上有两种，一种用于点读（一般称之为点读笔），一种用于笔的书写轨迹记录。
3.用于笔的书写轨迹记录的点阵笔（以下简称点阵笔），需要对笔头位置下的微图点码进行连续快速拍照，并且要求快速处理微图点码图像，然后对点码进行解码，以取得笔头所在位置的相关信息，包括页码、坐标等信息。
4.现有的点阵笔，需要在笔中内置图像处理器，实现对点码图像的处理，以及解码，其处理速度要求比较高，一般采用数百兆赫兹的处理器，这样推高了笔的成本和功耗。


技术实现要素：

5.为解决上述问题，本发明实施例的目的在于提供一种点阵笔系统以及解码方法，以解决现有点阵笔成本和功耗高的问题。
6.一种点阵笔系统，包括：点阵笔，与服务器无线通信连接，用于读取点码图像，并生成与所述点码图像的点码坐标相关的数据帧，将所述数据帧传输到所述服务器；服务器，与终端设备无线通信连接，用于对所述数据帧进行解码得到解码信息，并将所述解码信息传输到所述终端设备上进行显示。
7.优选的，所述点阵笔，包括：处理器，分别与微动开关和点码坐标抽取单元连接，用于当笔芯与所述微动开关接触时，处理器发出指令使点码坐标抽取单元对采集的点码图像进行处理得到点码的坐标；摄像头，与所述点码坐标抽取单元连接，用于采集点码图像。
8.优选的，所述点阵笔，还包括：无线传输单元，与所述处理器连接，用于将所述数据帧传输给所述服务器。
9.本发明还提供了一种解码方法，包括：步骤1：获取点码图像；步骤2：对所述点码图像进行预处理得到预处理后的点码图像；步骤3：对所述预处理后的点码图像进行坐标抽取得到点码坐标；
步骤4：将所述点码坐标、点阵笔id号和操作模式信息码打包成数据帧；步骤5：利用服务器对所述数据帧进行解析得到解码信息。
10.优选的，所述步骤5：利用服务器对所述数据帧进行解析得到解码信息，包括：步骤5.1：读取数据帧包头并将所述数据帧加入到点阵笔id号所对应的解码队列；步骤5.2：采用所述解码队列对所述数据帧进行解码得到解码信息。
11.优选的，所述在步骤5.2：采用所述解码队列对所述数据帧进行解码得到解码信息之后，还包括：步骤5.3：当解析出的操作模式信息码为读模式时，服务器将所述解码信息发送到终端设备上进行显示；步骤5.4：当解析出的操作模式信息码为写模式时，服务器将所述解码信息存储到与所述点阵笔id号对应的存储空间保存。
12.本发明还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述的一种解码方法中的步骤。
13.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种解码方法中的步骤。
14.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明涉及一种点阵笔系统、解码方法、电子设备及计算机可读存储介质，其中，该点阵笔系统包括：点阵笔，与服务器无线通信连接，用于读取点码图像，并将所述点码图像传输到所述服务器；服务器，与终端设备无线通信连接，用于对所述点码图像进行解码得到解码信息，并将所述解码信息传输到所述终端设备上进行显示。本发明通过将数据帧传输到服务器中进行解码，可以大大降低点阵笔的成本以及功耗。
15.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明提供的一种点阵笔系统原理图；图2为本发明提供的点阵笔结构示意图；图3为本发明提供的点阵笔端的工作流程图；图4为本发明提供的服务器的解码流程图。
18.符号说明：1、服务器；2、终端设备；3、点阵笔。
具体实施方式
19.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
20.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
21.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
22.本发明的目的在于提供一种点阵笔系统以及解码方法，旨在解决现有点阵笔成本高的问题。
23.请参阅图1，一种点阵笔系统，由点阵笔3、服务器1和终端设备2组成，它们通过无线网络相连。服务器1可以设置在云端或边缘端。多支点阵笔3分配有不同的id号，点阵笔3在读取点码图像，并且将点码图像数字化后，生成id号+操作模式+点码坐标帧，通过无线传输到服务器1中进行解码。点码图像的坐标抽取是指，识别点码图像中点码的位置，生成由各个点码坐标组成的数字帧。
24.具体的，点阵笔3，与服务器1无线通信连接，用于读取点码图像，并生成与所述点码图像的点码坐标相关的数据帧，将所述数据帧传输到所述服务器1；服务器1，与终端设备2无线通信连接，用于对所述数据帧进行解码得到解码信息，并将所述解码信息传输到所述终端设备2上进行显示。
25.请参阅图2，本发明的点阵笔3，包括：处理器、微动开关、点码坐标抽取单元、无线传输单元、摄像头和ui单元。
26.处理器，分别与微动开关和点码坐标抽取单元连接，用于当笔芯与所述微动开关接触时，处理器发出指令使点码坐标抽取单元对采集的点码图像进行处理得到点码的坐标；摄像头，与所述点码坐标抽取单元连接，用于采集点码图像。无线传输单元，与所述处理器连接，用于将所述数据帧传输给所述服务器1。进一步的，本发明的点阵笔3上还设置有按键、透镜及其红外led。按键用于控制处理器的打开或者关闭。红外led，用于当光线太暗时对摄像机进行补光。ui单元指user interface单元，用户接口，统指显示器、喇叭、按键等人机交互接口，在本发明中，可根据实际的需求，添加不同的用户接口。
27.本发明还提供了一种解码方法，包括：步骤1：获取点码图像；步骤2：对所述点码图像进行预处理得到预处理后的点码图像；请参阅图3，本发明的点码图像预处理过程是利用点阵笔完成的，其工作流程如
下：1、图像预处理，预处理采用对图像平滑滤波，去除随机噪声的影响。
28.2、点阵码坐标抽取，本发明采用边缘检测的方法，找出各个点码的轮廓，然后求取各个轮廓的重心，作为该点码的坐标值。取得点码的坐标值，不限于上述方法，例如因为点码图像中的点码一般为圆点或方形，具有规则对称性，因此可以用轮廓所占x, y坐标的极大极小值的均值来表示点码的坐标。
29.3、打包数据帧，处理器再将点阵笔的id号，以及操作模式信息码等内容加入，生成信息包头，连同生成点码坐标集合，形成一帧数据帧，再通过无线通信模块发送出去。
30.上述三个步骤，在本发明点阵笔系统中，由笔上的芯片完成，这里有两种实现方法，一是采用专门的硬件来实现，例如采用专门的芯片或逻辑可编程芯片；另一种方法为在处理器中用算法实现。实现的方法相对比较简单，不占用过多的系统资源，所以笔中的硬件会比较简单，图2为本发明点阵笔的一个实施例，点码坐标抽取单元即是用来实现以上两个步骤的。目的是获取图像帧各个点码的坐标值，形成一个坐标值集合。对于本发明采用的图像帧大小，可以低至25k字节，每个帧的点码数量不超过80，则经过点码数字化单元以后，生成的坐标值集合为不超过160字节，其中x, y坐标各用一个字节表示。笔的id号可以用3个字节，再一个字节的模式。总共为164字节，也可以有其他的数据集合，例如没有操作模式，点码坐标的数量也根据点码数量而有所不同。
31.mode字节，可以用来表示使用者的点阵笔使用方式，例如可以有读出模式和写入模式，如果为读出模式，则服务器会返回笔尖位置处词语或句子的读音、释意等，返回的语音或文字可以在终端上回放，这个终端可以是手机、电脑或者集成在笔本身上，根据需要设置。如果是写入模式，则会将使用者的书写轨迹保存在用户id号（即点阵笔的id号）所对应的存储区域，等待后续的处理，例如归类总结或者进行评价分析等等。
32.需要说明的是，本发明实施例中生成的数据帧如下：idmode点码坐标集合步骤3：对所述预处理后的点码图像进行坐标抽取得到点码坐标；步骤4：将所述点码坐标、点阵笔id号和操作模式信息码打包成数据帧；步骤5：利用服务器对所述数据帧进行解析得到解码信息。
33.进一步的，所述步骤5包括：步骤5.1：读取数据帧包头并将所述数据帧加入到点阵笔id号所对应的解码队列；步骤5.2：采用所述解码队列对所述数据帧进行解码得到解码信息。
34.在本发明实施例中，在步骤5.2之后，还包括：步骤5.3：当解析出的操作模式信息码为读模式时，服务器将所述解码信息发送到终端设备上进行显示；步骤5.4：当解析出的操作模式信息码为写模式时，服务器将所述解码信息存储到与所述点阵笔id号对应的存储空间保存。
35.下面结合具体的实施例对本发明的解码过程做进一步的说明：服务器接收到数据帧后，从中恢复出数据帧原始数据，先查找对应id号的解码线程，如果没有找到，则新建一个解码线程，用于解码与该id号对应的点码帧，如果找到了对应id号的解码线程，则将该数据帧送入解码队列。解码过程如图4所示。读取数据帧包头，就
是取得数据帧id号，将数据帧加入该id号所对应的解码队列。点阵码包括定位码和信息码，其中定位码是用来界定信息码位置，所以解码时首先要识别定位码。定位码为了便于识别，一般都较规则地排列成直线或具有特殊的形状，例如十字形等。采用图像处理算法，可以取得定位码的信息，定位码中具有方向信息，例如相对于水平方向的旋转角度等，为了准确地计算出信息码位置，先要对数据帧作旋转、拉伸等处理，一般采用仿射变换来实现。对一帧点码数据进行解码，必须要获取一个完整的解码单元，经过仿射变换后，由于所获取点码的排列可能不在一个点码单元之内，而是由相邻的两个点码单元各一半的组合，所以需要重建点码单元。重建点码单元后，可以提出该点码帧中的信息码的所有信息，一般包括坐标、页码以及其他界定信息（例如哪本教材等）。最后，根据包头信息对该点码信息作相应处理。
36.具体地，如果mode表示为读模式，则服务器会根据解码的信息码内容，找到与笔尖所指位置处的对应的内容，将该内容通过无线方式发送出来，送到指定的终端进行回放，该终端可以是手机、电脑或笔上的回放装置。如果mode表示为写模式，则服务器会将坐标轨迹点存储到与该id号对应的存储空间保存，以待后续的处理，例如归类总结或者进行评价分析等等。例如，在一本教材上，可以在生词处进入读模式，实现远程设备的点读操作，此外，可以切换点阵笔进入轨迹记录模式，在教材的练习题处答题，还可以对教材的难点或重点部位进行批注，而这些批注均可以在服务器中被收集整理。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明通过将数据帧传输到服务器中进行解码，不仅可以大大降低点阵笔的成本以及功耗，还可以实现点阵笔点读功能和轨迹输入二合一。
38.本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种解码方法中实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
39.此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种解码方法中实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
40.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。