一种基于点阵图像的轨迹还原方法与流程

文档序号:15518729发布日期:2018-09-25 18:54阅读:339来源:国知局

本发明涉及数据处理领域,尤其涉及一种基于点阵图像的轨迹还原方法。



背景技术:

随着信息技术的飞速发展,人们日益普遍地使用计算机来生产、处理、交换和传播各种形式的信息。信息技术逐渐改变着人们的生活习惯。传统的利用纸张和笔进行书写的方式无法进行信息化处理,因此无法满足人们的需要。

现有技术中一般通过数码笔实现笔迹的数字化存储。然而现有技术中的数码笔识别精度低,且再现的笔迹线宽一致,那么在信息记录过程中,无法通过简易的手段对重点内容进行标注,进一步的,现有的数码笔只能对书写结果进行再现,而不能对笔迹的书写过程进行再现,那么在教学过程中,老师就无法得知学生的书写笔顺,无法对学生进行指导。



技术实现要素:

本发明的目的是针对现有技术的缺陷,提供一种基于点阵图像的轨迹还原方法,通过对点阵图像数据的采集和识别得到书写轨迹,识别精度高,并且能够根据书写压力,生成粗细不同的书写轨迹,通过简单的改变压力就能够实现重点内容的标注,进一步的,还能够结合时间信息实现书写过程的等速还原再现,可以显示其书写的笔顺等信息,数据处理速度快,数据传输安全性强,大大提高了用户体验度。

有鉴于此,本发明实施例提供了一种基于点阵图像的轨迹还原方法,包括:

识别装置接收用户输入的书写压力;

判断所述书写压力是否到达预设压力阈值;

当所述书写压力到达所述预设压力阈值时,根据所述书写压力生成图像采集指令;

所述识别装置采集所经过的点阵区域的图像数据,并记录所述图像数据的采集时间和所述书写压力;

建立所述图像数据、所述书写压力和所述采集时间的关联关系;

对所述图像数据进行二值化处理,得到第一点阵图像;

根据预设规则,在所述第一点阵图像中截取第二点阵图像;

对所述第二点阵图像进行点阵编码识别,得到所述图像数据对应的坐标信息;

根据所述图像数据的坐标信息,以及所述图像数据相关联的书写压力、采集时间生成数据包,发送给上位机;

所述上位机对所述数据包进行解析,得到坐标信息和相对应的所述书写压力、采集时间;

根据所述书写压力获取相对应的线宽值;

根据所述坐标信息和相对应的所述线宽值、采集时间生成所述识别装置的运动轨迹。

优选的,所述对所述图像数据进行二值化处理,得到第一点阵图像具体包括:

将所述图像数据中每个像素的像素值与所述预设像素值进行对比;

根据所述对比结果对所述图像数据中的每个像素进行赋值;

根据所述每个像素的赋值得到所述第一点阵图像。

优选的,所述根据所述对比结果对所述图像数据中的每个像素进行赋值具体包括:

当所述图像数据中像素的像素值大于预设像素值时,将所述像素赋值为255;

当所述图像数据中像素的像素值小于预设像素值时,将所述像素赋值为0。

优选的,所述对所述第二点阵图像进行点阵编码识别,得到所述图像数据对应的坐标信息具体包括:

对所述第二点阵图像进行点阵识别处理,得到多个点阵点;

计算相邻点阵点之间的距离,并对所述计算得到的相邻点阵点之间的距离进行处理,得到间距距离;

选取所述相邻点阵点之间的距离在预设阈值范围内的点阵点作为特征点阵组;

将所述特征点阵组中的点阵点进行连线,并确定所述连线方向;

选取所述第二点阵图像的中心点,根据所述间距距离和所述连线的方向生成网格;

根据所述点阵点偏移所述网格中心点的方向得到所述第二点阵图像中的编码信息;

将所述编码信息与码本列表中的代码值进行匹配并计算匹配度;

当所述匹配度到达预设匹配阈值时,根据匹配得到代码值生成目标点的坐标信息。

进一步优选的,在所述根据匹配得到代码值生成目标点的坐标信息之后,所述方法还包括:

获取所述目标点的多个邻近点的代码值;

根据所述多个邻近点的代码值更新所述码本列表。

优选的,在所述上位机对所述数据包进行解析之前,所述方法还包括:

建立书写压力和线宽值之间的关联关系,并根据所述关联关系生成压力-线宽曲线。

进一步优选的,所述根据所述书写压力获取相对应的线宽值具体为:

根据所述书写压力和所述成压力-线宽曲线得到所述书写压力相对应的线宽值。

优选的,在所述判断所述书写压力是否到达预设压力阈值之后,所述方法还包括:

当没有到达时,所述识别装置生成提示信息。

优选的,所述点阵区域具体为具有点阵阵列的书写纸或电子白板。

本发明实施例提供的一种基于点阵图像的轨迹还原方法,通过对点阵图像数据的采集和识别得到书写轨迹,识别精度高,并且能够根据书写压力,生成粗细不同的书写轨迹,通过简单的改变压力就能够实现重点内容的标注,进一步的,还能够结合时间信息实现书写过程的等速还原再现,可以显示其书写的笔顺等信息,数据处理速度快,数据传输安全性强,大大提高了用户体验度。

附图说明

图1为本发明实施例提供的一种基于点阵图像的轨迹还原方法流程图;

图2为本发明实施例提供的一种点阵区域示意图;

图3为本发明实施例提供的点阵编码识别方法流程图;

图4为本发明实施例提供的一种网格示意图;

图5为本发明实施例提供的一种编码单元示意图。

具体实施方式

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

本发明实施例提供的基于点阵图像的轨迹还原方法,是基于识别装置实现的,通过用户在书写时书写压力的不同,生成粗细不同的笔迹,使用户在书写过程中即可完成对重点内容的标注,替代了现有的在书写完成后通过加粗或其他复杂方法对重点内容进行标注的方法,节省了大量的时间,使用方便,并且还能够结合时间信息实现书写过程的等速还原再现,可以显示其书写的笔顺等信息。

图1为本发明实施例提供的一种基于点阵图像的轨迹还原方法流程图,如图1所示,包括:

步骤101,识别装置接收用户输入的书写压力;

识别装置是具有图像采集、识别和处理功能的设备,用户采用识别装置在点阵区域进行书写,识别装置通过内置的压力感应模块对用户的书写压力进行采集。

其中,点阵区域可以为具有点阵阵列的书写纸或电子白板。图2为本发明实施例提供的一种点阵区域的示意图,如图2所示,点阵阵列由一些非常细小的点,按照特殊算法规则排列组成。点阵通过特殊的编码方式代表着特殊的坐标信息,点阵的作用是提供给识别装置一个坐标参数信息,保证识别装置在点阵纸上运动时,能够准确的记录运动轨迹。本领域技术人员可以根据识别装置的精度、处理能力对点阵阵列中点的大小以及点阵间距进行设计。

本发明所采用的识别装置能够根据用户在书写时书写压力的不同,生成粗细不同的笔迹,因此在用户书写之前,所述方法还包括识别装置接收用户输入的压力校准指令,比如用户可以通过识别装置的按键输入压力校准指令;识别装置根据压力校准指令获取校正压力,并根据校正压力生成压力采集提示信息,压力采集提示信息中可以包括多个校正压力,比如该识别装置所能接受的压力最大值或最小值等,压力采集提示信息可以通过识别装置的显示屏进行显示,也可以通过语音模块进行播报;用户根据压力采集提示信息对识别装置施加压力,识别装置采集用户输入的实际压力;如果实际压力到达校正压力时,生成校正成功提示信息。如果在预设采集时间内,实际压力没有到达校正压力时,生成重新校正提示信息。通过压力校正,用户可以感受识别装置的压力感应范围,从而了解在书写时应该使用多大的压力。

步骤102,判断书写压力是否到达预设压力阈值;

其中,预设压力阈值是根据人的正常书写力度设计的,是在识别装置出厂前预先储存的。

在书写时,只有当书写压力到达预设压力阈值,才能启动识别装置内置的摄像头、存储器和处理器进行工作,因此识别装置要判断采集到的书写压力是否到达预设压力阈值,当书写压力没有到达预设压力阈值时,不能启动识别装置内置的摄像头、存储器和处理器进行工作,具体执行步骤103;当书写压力到达预设压力阈值时,将启动识别装置内置的摄像头、存储器和处理器,具体执行步骤104。

步骤103,识别装置生成提示信息;

当书写压力没有到达预设压力阈值时,识别装置会生成提示信息,提示用户当前书写力度不够,请加大书写力度,该提示信息可以通过识别装置的显示屏进行显示,也可以通过语音模块进行播报。

步骤104,根据书写压力生成图像采集指令;

当书写压力到达预设压力阈值时,识别装置会根据用户书写时的压力值生成图像采集指令,启动识别装置内置的摄像头、存储器和处理器进行工作。

步骤105,识别装置采集所经过的点阵区域的图像数据,并记录图像数据的采集时间和书写压力;

具体的,利用识别装置的摄像头采集识别装置经过的点阵区域的图像数据。在本例中,摄像头每秒可采集70帧的图像数据,图像数据的尺寸是根据摄像头大小相关的,图像数据的尺寸优选为200×200像素。在书写过程中,识别装置在点阵区域形成运动轨迹,同时识别装置的摄像头对运动轨迹相对应的图像数据进行连续采集,从而会得到多帧图像数据,在书写时用户遇到重点内容或需要特殊注意的内容时,可以增加压力,就可以在后续笔迹还原时得到加粗的笔迹。

步骤106,建立图像数据、书写压力和采集时间的关联关系;

每采集到一帧图像数据之后,就会建立该图像数据和书写压力、采集时间之间的关联关系,以便后续过程中根据书写压力还原笔迹的粗细,以及对书写过程的等速还原再现。

步骤107,对图像数据进行二值化处理,得到第一点阵图像;

具体的,在像素值范围0-255内选择一个适当的像素值作为预设像素值,遍历整个图像的所有像素,将图像数据中每个像素的像素值与预设像素值进行对比,根据对比结果对图像数据中的每个像素进行赋值:大于预设像素值时,赋值为255,小于预设像素值时,赋值为0;将赋值为0的像素设定为黑色,将赋值为255的像素设定为白色,从而根据像素赋值对应的颜色生成第一点阵图像,这样无点阵的区域就变为白色,有点阵的区域就变为黑色,点阵由多个黑色像素点组成,点阵之间界限分明,除点阵的黑色像素外其它都是白色像素,进而去掉背景干扰,取前景图像。

步骤108,根据预设规则,在第一点阵图像中截取第二点阵图像;

在一个具体的例子中,识别装置采集的原始图像较大,用于编码的图像不需要这么大,假如原始图像为200×200像素,而实际所需的图像大小为160×160像素,以10个像素为步长,则有5×5个160×160像素的第二点阵图像可供选择。

其中,本领域技术人员可以根据识别装置的处理能力和精度对预设步长和第二点阵图像的尺寸进行设定。

步骤109,对第二点阵图像进行点阵编码识别,得到图像数据对应的坐标信息;

图3为本发明实施例提供的点阵编码识别方法流程图,所述点阵编码识别方法具体包括如下步骤:

步骤201,对第二点阵图像进行点阵识别处理,得到多个点阵点;

图像中的像素具有第一预设数量的邻域,比如4邻域或8邻域。对每个第二点阵图像进行点阵识别处理,具体的,识别第二点阵图像中每个像素,当像素的第一预设数量的邻域为黑色时,将像素标记为点阵点,从而得到第二点阵图像中的点阵点。其中,第一预设数量可以设置为8,也就是说,每个像素有8个领域,识别到黑色像素并且其8领域都是黑色,则此像素点可作为点阵点。

在此之后,所述方法还包括:对每个第二点阵图像中的点阵点数量进行加和,得到每个第二点阵图像中的点阵点数量。点阵图像的识别对点阵点的数量有一定的要求,点阵数量要在预设数量阈值范围内,比如至少需要120个点阵,不得多于140个点阵,则去掉截取到的点阵数量小于120个和大于140个的第二点阵图像,选取点阵数量在预设阈值范围内的第二点阵图像。其中,预设数量阈值范围是预先设定的,当某一第二点阵图像中识别到的点阵点数量小于预设数量阈值的下限说明截取到的该第二点阵图像画质不好,不能进行后续编码的识别;当某一第二点阵图像中识别到的点阵点数量大于预设阈值的上限说明截取到的该第二点阵图像画质可能存在很多噪点,从而增加了图像中点阵的数量,因此点阵点数量大于预设数量阈值的第二点阵图像也不能进行后续编码的识别,因此点阵点数量在预设数量阈值范围内的第二点阵图像说明此第二点阵图像的采集识别效果佳,可以作为备选的编码识别图像,然后再选择最接近第一点阵图像中心的第二点阵图像作为可识别矩阵,进行后续编码信息的识别。

在图像采集的过程中,由于补光效果或其他外界因素的影响,可能影响图像的采集效果,从而对点阵识别造成影响,造成识别到的点阵数量低于预设阈值范围的下限,因此在选取点阵点的数量在预设阈值范围内的第二点阵图像之前,方法还包括对第二点阵图像中的点阵点的数量进行排序,如果点阵点的数量最大值小于预设阈值范围的下限时,也就是说识别到的点阵点最多的第二点阵图像都不在预设阈值范围内,说明在图像数据采集时或者在图像数据进行二值化处理时可能存在不确定因素影响了图像数据的整体效果,在这种情况下识别装置自动将第二预设数量的邻域为黑色的像素标记为点阵点,从而增加识别到的点阵点数量,进行后续编码的识别,也就是说,在点阵识别过程中,如果点阵数量最多的第二点阵图像中的点阵数量小于预设阈值范围的下限,则重新识别点阵点,将第二预设数量的邻域为黑色的像素标记为点阵点,比如补充7邻域或6邻域都是黑色的像素点为点阵点,然后再选取最接近图像中心的第二点阵图像作为可识别矩阵。

需要说明的是,本领域技术人员可以根据需要对第二预设数量进行设定和调整,直到第二点阵图像中的点阵数量在预设阈值范围内。

步骤202,计算相邻点阵点之间的距离,并对计算得到的相邻点阵点之间的距离进行处理,得到间距距离;

具体的,遍历所选取的作为可识别矩阵的第二点阵图像中的每个点阵点,取相邻点阵点的距离,在得到的距离中去掉预设数量的最大值和最小值,从而去掉可能存在识别误差点阵点之间的距离,剩下的距离计算平均值,将该平均值作为间距距离,作为后续网格生成过程中的网格间距。

其中,在得到的距离中去掉最大值和最小值的预设数量可以根据计算得到的相邻点阵点之间距离的分布情况而定。在一个具体的例子中,可以将计算得到的相邻点阵点之间距离按照距离之差进行划分,距离之差小于一定值的划分为一组,从而将上述距离划分为多组,那么没有分到各组中的距离,即为分离出的几个最大值和最小值。

步骤203,选取相邻点阵点之间的距离在预设阈值范围内的点阵点作为特征点阵组;

其中,预设阈值是根据上述得到的间距距离和预设规则来设定的。

具体的,对相邻点阵点之间的距离小于间距距离的距离进行分组划分,距离之差小于一定值的划分为一组,从而得到多组距离,每组距离之间的差值在一定范围内,在多组距离之间选取距离最小的一组,将该组距离之间对应的点阵点作为特征点阵组,每组特征点阵组包括两个特征点阵点。

步骤204,将特征点阵组中的点阵点进行连线,并确定连线方向;

具体的,将得到的多组特征点阵组中的点阵点进行连线,每组特征点阵组中的点阵点的连线确定一个方向,多组特征点阵组中的点阵点的连线能确定多个方向,由于点阵点是按照特定规律排列的,因此这些方向要么平行要么垂直。

步骤205,选取第二点阵图像的中心点,根据间距距离和连线的方向生成网格;

具体的,获取作为可识别矩阵的第二点阵图像的中心点,并以此为中心,以间距距离为间距,沿多组特征点阵组中点阵点的连线方向和垂直连线方向生成多条网格线,网格线相交生成虚拟网格,具体如图4所示。

步骤206,根据点阵点偏移网格中心点的方向得到第二点阵图像中的编码信息;

将每一个网格看作一个编码单元,在一个具体的例子中,如图5所示,提供了一种编码方式,将一个编码单元分成4个象限,根据点阵点偏移网格中心点的不同偏振方向赋二进制值,例如00、01、10、11表示四个方向,从而得到点阵点对应的编码值,进而得到整个第二点阵图像的编码信息。需要说明的是,本领域技术人员可根据需要对点偏移网格中心点的方向和距离,对编码方式进行设定。

为加快处理速度,根据点阵点偏移网格中心点的方向得到第二点阵图像中的编码信息具体包括:在第二点阵图像中随机选取预设矩阵的点阵点,根据预设矩阵中点阵点偏移网格中心点的方向得到相对应的编码信息。在一个具体的例子中,如图4所示,得到的第二点阵图像中包括8×8个点阵点,在8×8个点阵点随机选取6×6个点阵点,然后再根据这6×6个点阵点偏移网格中心点的方向进行编码,进而得到编码信息。

为保证最终得到位置坐标的准确性,在选取预设矩阵的点阵点之后,计算选取的矩阵中心与第二点阵图像中心的偏移距离,具体的,第二点阵图像的点阵点颜色较深,其它地方颜色都很浅,可根据像素值得到每个点阵点的坐标,将6×6个点阵点的坐标与8×8个点阵点坐标进行匹配,坐标完全一致就是匹配成功,从而得到随机选取的矩阵中心与第二点阵图像中心的偏移距离,根据随机选取的矩阵中心与第二点阵图像中心的偏移距离对最终得到的位置坐标进行校正。

步骤207,将编码信息与码本列表中的代码值进行匹配并计算匹配度;

其中,码本列表中储存着代码值,代码值由多个编码组成。

将识别到的第二点阵图像的编码信息与码本列表中的代码值进行匹配,并计算匹配度。

步骤208,当匹配度到达预设匹配阈值时,根据匹配得到代码值生成目标点的坐标信息;

具体的,当匹配度到达预设匹配阈值时,比如95%,就认为匹配成功,就将匹配的码本列表中的代码值转化成物理坐标,将物理坐标转化成目标点的应用坐标,其中,物理坐标由一个64位的x值和一个64位的y值组成,在整个点阵序列中具有唯一性。应用坐标是指根据物理坐标通过特定规则和算法转化得到,由一个64位字符类型的地址值、16位x值、16位的y值组成,通过地址和x、y就能定位到具体的某一页中的某一点。

为了得到笔尖的位置坐标,方法还包括对坐标信息进行校正,即在应用坐标的基础上加上偏移坐标,得到笔尖的坐标信息,其中偏移坐标是在笔使用之前得到的,具体的,获取图像中心点位置与笔尖位置的偏移量,然后将偏移量参数存入笔的flash中,在用户使用时,通过图像处理与计算得到图像中心点坐标后,从flash中读取偏移量,从而得到笔尖的坐标信息。

在匹配识别成功之后,方法还包括:获取目标点的多个邻近点的代码值;根据多个邻近点的代码值更新码本列表,也就是说每次识别成功后,码本列表都会更新,从而进行下一次的匹配。

步骤110,根据图像数据的坐标信息,以及图像数据相关联的书写压力、采集时间生成数据包,发送给上位机;

具体的,书写过程中每采集到一帧图像数据处理后就会得到对应的一个目标点的坐标信息、书写压力和采集时间,根据坐标信息、书写压力和采集时间生成数据包,实时上传给上位机。

为保证数据传输安全,在数据传输时对数据包进行加密,通过数据接口将加密后的数据包发送给上位机。

其中,上位机是指具有处理、显示功能的设备,具体可以为智能手机、pad或电脑等。数据接口为有线数据接口或无线数据接口;有线数据接口具体为usb接口,miniusb接口、microusb接口、并口、串口;无线数据接口具体为蓝牙接口、红外接口、wifi接口、2.4-5.0ghz波段接口或者无线通信接口。

在数据传输时,需要判断识别装置是否处于联机状态;当识别装置处于联机状态,通过数据接口将数据包发送给上位机;当识别装置处于脱机状态,将数据包储存在本地,当识别装置再次联机时,将本地储存的数据上传至上位机。

步骤111,上位机对数据包进行解析,得到坐标信息和相对应的书写压力、采集时间;

本发明所采用的识别装置能够根据用户在书写时书写压力的不同,生成粗细不同的笔迹,因此在上位机解析数据包之前,所述方法还包括:建立书写压力和线宽值之间的关联关系,并根据关联关系生成压力-线宽曲线,储存在上位机中,在优选的实施例中,可以根据用户年龄的不同设置不同的压力-线宽曲线,比如对于儿童或小学生来说,书写时压力较小,对于成年人来说,书写时压力较大,用户在购买时可以根据年龄选择相对应的书写压力的识别装置,从而能够根据用户书写的压力,生成相对应线宽粗细的笔迹。

步骤112,根据书写压力获取相对应的线宽值;根据坐标信息和相对应的线宽值、采集时间生成识别装置的运动轨迹。

在书写过程中,识别装置实时发送每一帧图像对应的数据包,上位机对数据包解析得到每一帧图像相对应的坐标信息和相对应的采集时间、线宽值,根据坐标信息和相对应的线宽值、采集时间生成识别装置的运动轨迹,对识别装置的运动轨迹进行等速实时再现。对于用户在书写过程中用力书写以示重点的部分会自动加粗显示,使用户在书写过程中即可完成对重点内容的标注,替代了现有的在书写完成后通过加粗或其他复杂方法对重点内容进行标注的方法,节省了大量的时间,使用方便;且通过运动轨迹可以显示识别装置的整个书写过程的先后顺序,而不仅仅是对书写结果的再现。

当然,数据包的上传可以是随着用户的书写实时触发的,也可以是根据预设时间触发的,比如每天晚上10点进行上传,还可以是用户手动触发的,在用户书写完毕之后,触发数据包的上传。具体的,根据目标点的书写压力和压力-线宽曲线,得到相对应的线宽值。上位机计算相邻两个目标点之间的采集时间的时间间隔,并根据采集时间的时间间隔,根据时间间隔和坐标信息、线宽值生成识别装置的运动轨迹,对识别装置的运动轨迹进行等速再现,此外,在生成的运动轨迹中还可以赋予轨迹第一点的图像采集时间和最后一点的图像采集时间,从而在轨迹再现时能够显示书写时的时间信息,便于轨迹的查找。

在一个具体的例子中,学生在使用识别装置进行书写答题之后,将坐标信息和采集时间发送给教师的终端,在教师的终端上可以显示学生的书写笔顺,以及各题答题时间,便于教师对学生的指导以及对问题难易程度的统计。此外,学生在记录老师讲解的内容时,可以通过加大书写力度标识出重点内容,便于对重点内容的查看。

本发明实施例提供的一种基于点阵图像的轨迹还原方法,通过对点阵图像数据的采集和识别得到书写轨迹,识别精度高,并且能够根据书写压力,生成粗细不同的书写轨迹,通过简单的改变压力就能够实现重点内容的标注,进一步的,还能够结合时间信息实现书写过程的等速还原再现,可以显示其书写的笔顺等信息,数据处理速度快,数据传输安全性强,大大提高了用户体验度。

专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ra基于点阵图像的轨迹还原方法)、内存、只读存储器(ro基于点阵图像的轨迹还原方法)、电可编程ro基于点阵图像的轨迹还原方法、电可擦除可编程ro基于点阵图像的轨迹还原方法、寄存器、硬盘、可移动磁盘、cd-ro基于点阵图像的轨迹还原方法、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1