用于检测手写问题的系统的制作方法

用于检测手写问题的系统
1.本技术要求2020年5月4日提交的欧洲专利申请ep20305430.9的权利要求1-7的部分优先权，此内容以引用的方式并入本文中。
技术领域
2.本公开涉及用于检测手写问题的系统的领域。


背景技术：

3.当前，存在用于检测特定手写问题的若干系统或方法。在这些手写问题中，可发现诵读困难、学习困难、字母拼写困难等。
4.当前，用于检测手写问题的方法是基于要求用户在专用于检测手写问题的移动终端上进行书写的触笔的使用。此类方法例如公开在文件us6304667中。在此文件中，用户在例如电子平板计算机等移动终端上进行书写。平板计算机包括嵌入式压力传感器，所述嵌入式压力传感器能够在用户正书写时计算触笔对电子平板计算机的压力。此外，所述方法使用失真字母数据库，将由用户书写的字母与所述失真字母数据库进行比较。此方法允许检测手写问题，例如诵读困难。然而，用于检测问题的材料是非常具体的，并且不允许容易地检测大量人的手写问题。


技术实现要素：

5.本公开的一个目的是改进所述情形。
6.提出用于检测手写问题的系统，其包括：
[0007]-手写仪器，其包含在第一端部与第二端部之间纵向延伸的主体，第一端部具有能够在支撑件上进行书写的书写尖端，手写仪器进一步包含至少一个运动传感器，所述运动传感器被配置成在用户正使用手写仪器时获取关于用户的手写的数据，
[0008]-一个计算单元，其与运动传感器通信且被配置成通过经训练以检测用户是否具有手写问题的人工智能来分析所获取数据。
[0009]
此系统能够运用常规手写仪器检测手写问题。本文中所公开的系统易于使用，这是因为不需要例如专用平板计算机和触笔等另外电子组件。
[0010]
可单独地或与其它特征组合地实施以下特征：
[0011]
运动传感器和计算单元嵌入在手写仪器的第二末端中。
[0012]
所述系统进一步包括检测装置，检测装置包括运动传感器和计算单元，检测装置安装在手写仪器的第二末端上。
[0013]
所述系统可接着与任何已经存在的手写仪器一起使用。
[0014]
运动传感器嵌入在手写仪器中，手写仪器进一步包含短程无线电通信接口，所述短程无线电通信接口被配置成经由移动装置的通信接口将由运动传感器获取的原始数据传达到包括计算单元的移动装置。
[0015]
运动传感器包括两个三轴加速度计。
[0016]
因此，用于检测手写问题的运动传感器不消耗大量电力。
[0017]
手写仪器包括两个运动传感器，所述两个运动传感器是一个三轴加速度计和一个三轴陀螺仪。
[0018]
其增加所获取运动数据的精度。
[0019]
在实例中，三轴陀螺仪包括唤醒输入端，所述唤醒输入端适合于在通过三轴加速度计检测到移动时从计算单元接收唤醒信号，三轴陀螺仪被配置成用于在接收到唤醒信号时切换到激活状态。
[0020]
此配置允许根据所实施的两个运动传感器减少系统所需的电力消耗。
[0021]
所述系统进一步包括嵌入在例如钢笔或铅笔等手写仪器中的压力传感器，计算单元被配置成进一步接收由压力传感器获取的数据。
[0022]
所述系统接着能够基于不同种类的数据而检测手写问题：运动数据、压力数据等。
[0023]
所述系统进一步包括笔划传感器，所述笔划传感器被配置成在用户正使用手写仪器时获取笔划数据，人工智能运用笔划数据进行训练以确定手写问题。
[0024]
人工智能接着能够确定用户何时正在支撑件上实际使用手写仪器，并且将对应于手写仪器的实际使用的数据与在手写仪器刚好被举在空中时获取的数据区分开。在实例中，人工智能进一步被配置成将由运动传感器获取的原始数据转录到描绘在移动装置上的手写字符中。
[0025]
在实例中，笔划传感器是运动传感器。
[0026]
在实例中，笔划传感器是压力传感器，或接触传感器，或振动传感器。
[0027]
在实例中，系统不使用另一嵌入式传感器。系统保持紧凑和低电力消耗。
[0028]
本文中所公开的系统可在一种用于检测手写问题的方法中使用，所述方法包括：
[0029]-借助于包括至少一个运动传感器的手写仪器在用户正使用手写仪器时获取运动数据，
[0030]-通过经训练以检测手写问题的人工智能来分析运动数据。
[0031]
可单独地或与其它特征组合地实施以下特征：
[0032]
人工智能是神经网络。
[0033]
在实例中，神经网络是深度神经网络。
[0034]
所述方法进一步包括先前学习步骤，所述先前学习步骤包括：
[0035]-从使用手写仪器的多个人获取多个运动数据，
[0036]-标记所获取数据，
[0037]-在标记时使用端到端监督学习来训练神经网络，直到所述神经网络收敛，
[0038]-存储神经网络。
[0039]
神经网络可接着借助于端到端分类进行训练。这提高了结果的精度。
[0040]
所获取数据被分类为以下类别中的至少一个：
[0041]-手写仪器上的抓握类型，
[0042]-施加在手写仪器上的压力，
[0043]-手写仪器在书写、绘画或着色当中的使用，
[0044]-书写的流畅性，
[0045]-诵读困难，
[0046]-书写困难，
[0047]-错误导入(wrong ductus)。
[0048]
如本文中所描述的系统可因此检测大量不同和特定的手写问题。
[0049]
所述方法进一步包括通过笔划传感器获取振动数据，所述方法进一步包括先前学习步骤，所述先前学习步骤包括：
[0050]-从使用手写仪器的多个人获取多个运动数据和振动数据，
[0051]-处理振动数据以获得笔划时戳标记，
[0052]-在处理时使用监督学习来训练神经网络，直到所述神经网络收敛，
[0053]-存储神经网络。
[0054]
神经网络可接着通过笔划的分段和分类来进行训练。所述神经网络的大小接着小于根据端到端分类进行训练的神经网络。
[0055]
从笔划时戳提取的特征包括：
[0056]-总笔划持续时间，
[0057]-总空中笔划持续时间，
[0058]-平均笔划持续时间，
[0059]-平均和峰值笔划速度，
[0060]-在手写仪器的使用期间的停顿次数，
[0061]-弹道指数，其对应于手写流畅性的指标，所述指标衡量由加速度中过零点的数目与速度中过零点的数目之间的比率定义的移动的平滑度，
[0062]-在笔划期间加速度中过零点的数目，
[0063]-在笔划期间速度中过零点的数目。
[0064]
对笔划时戳的特征的分类是通过手工算法或习得模型进行。
[0065]
两种方法可接着用于提取特征。
[0066]
在实例中，笔划时戳和运动数据的所提取特征被分类为以下类别中的至少一个：
[0067]-手写仪器上的抓握类型，
[0068]-施加在手写仪器上的压力，
[0069]-手写仪器在书写、绘画或着色当中的使用，
[0070]-书写的流畅性，
[0071]-诵读困难，
[0072]-书写困难，
[0073]-错误导入。
[0074]
神经网络进一步运用正确地拼写的字母和数字的数据库进行训练，笔划序列和笔划序列中的笔划的方向与数据库的每一字母和数字相关联，并且其中基于在手写仪器的使用期间获取的运动和振动数据，神经网络确定用户是否正确地拼写字母和数字。
[0075]
所述系统接着适用于检测大量不同的手写问题，具有高精度、少量组件且易于使用。
附图说明
[0076]
将在以下详细描述和附图中示出其它特征、细节和优点，在图中：
[0077]
图1
[0078]
[图1]示出根据第一实施例的用于检测手写问题的系统的说明。
[0079]
图2
[0080]
[图2]示出图1中所说明的系统的框图。
[0081]
图3
[0082]
[图3]示出根据第二实施例的用于检测手写问题的系统的说明。
[0083]
图4
[0084]
[图4]示出图3中所说明的系统的框图。
[0085]
图5
[0086]
[图5]示出根据第三实施例的用于检测手写问题的系统的说明。
[0087]
图6
[0088]
[图5]示出根据第四实施例的用于检测手写问题的系统的说明。
[0089]
图7
[0090]
[图7]示出根据图1和2的替代实施例的用于检测手写问题的系统的说明。
[0091]
图8
[0092]
[图8]示出说明使用本文中所公开的系统的方法中的神经网络的训练阶段的框图。
[0093]
图9
[0094]
[图8]示出说明使用本文中所公开的系统的方法中的神经网络的训练阶段的框图。
[0095]
图10a到10c
[0096]
[图10a到10c]说明经训练神经网络的收集阶段、训练阶段和推断阶段的框图。
具体实施方式
[0097]
附图和以下详细描述基本上含有一些确切的元件。其可用于增强对本公开的理解。
[0098]
现在参考图1到7，说明用于检测手写问题的系统1的实施例。相同附图标记用于描述系统的相同元件。
[0099]
在实施例中，可根据本公开检测到的手写问题可为诵读困难、书写困难或字符再现困难。
[0100]
图1和2大体上说明根据第一实施例的系统1。系统1包括手写仪器2。手写仪器2可为钢笔、铅笔、画笔或允许用户运用其在支撑件上进行书写或绘画的任何元件。支撑件可为纸、画布或用户可在其上进行书写或绘画的任何表面。支撑件还可为着色簿。支撑件可为非电子表面。
[0101]
手写仪器2包括在第一端部4与第二端部5之间纵向延伸的主体3。第一端部4包括能够在支撑件上进行书写的书写尖端6。尖端6可递送墨水或颜色。
[0102]
手写仪器2进一步包含至少一个运动传感器7。在一个实施例中，运动传感器7可为三轴加速度计或三轴陀螺仪。
[0103]
在图1到7上的所说明实施例中，手写仪器2包含两个运动传感器7。在实施例中，手
写仪器2包括两个三轴加速度计。在实施例中，手写仪器2包括一个三轴加速度计和一个三轴陀螺仪。
[0104]
至少一个运动传感器7能够在用户正使用手写仪器2时获取关于用户的手写的数据。这些数据被传达到计算单元8，所述计算单元被配置成分析数据且检测用户的最终手写问题。计算单元8可包括用以存储由运动传感器7获取的数据的易失性存储器以及用以存储实现对手写问题的检测的模型的非易失性存储器。
[0105]
手写仪器2还可包括允许运动传感器7与计算单元8之间的数据通信的短程无线电通信接口9。在实施例中，短程无线电通信接口使用wi-fi、或nbiot网络。在实施例中，短程无线电通信接口还可使用2g、3g、4g或5g网络通信。
[0106]
手写仪器2进一步包含在用户正使用手写仪器时将电力提供到至少运动传感器7的电池10。电池9还可在计算单元包含在书写仪器2中时将电力提供到计算单元8。
[0107]
更具体地，在图3和4的实施例中，手写仪器2包括至少一个运动传感器7、短程无线电通信接口9和电池10。系统1进一步包括不同于手写仪器2的移动装置11。移动装置11可为电子平板计算机、手机或计算机。移动装置11包括计算单元8。移动装置11进一步包括实现计算单元8与手写仪器2之间的通信的短程无线电通信接口12。
[0108]
在此实施例中，移动装置的计算装置8接收由运动传感器7获取的原始数据且分析由运动传感器7获取的原始数据以检测最终手写问题。
[0109]
在图5和6所说明的实施例中，运动传感器7、计算单元8、短程无线电通信接口9和电池10不嵌入在手写仪器2中。在此实施例中，电子件可包括在不同于手写仪器2的检测装置13中。检测装置13可安装在手写仪器2的第二端部5上。
[0110]
在此实施例中，检测装置13包括经设计以安装在手写仪器2的第二端部5上的主体14以及能够插入在手写仪器2的主体3中的突出尖端15。在实例中，一个运动传感器7可设置在突出尖端15上，并且另一运动传感器7可设置在检测装置13的主体14中。通过此方式，两个运动传感器7能够在用户的手写期间获取不同数据。
[0111]
在实施例中，运动传感器7设置在检测装置13的主体14中。通过此方式，检测装置13可安装在任何类型的手写仪器2上，而不需要手写仪器2的中空主体3。
[0112]
在图7上所说明的实施例中，至少一个运动传感器7、计算单元8、短程无线电通信接口9和电池10直接嵌入在手写仪器2中。
[0113]
在实施例中，一个运动传感器7可设置成接近手写仪器2的第一端部4，而另一运动传感器7可设置在手写仪器2的第二端部5上。
[0114]
在实施例中，手写仪器2还可包括能够获取数据的压力传感器。这些数据可被传输到计算单元，所述计算单元分析这些数据和由至少一个运动传感器7获取的数据。
[0115]
压力传感器可嵌入在手写仪器2中或检测装置13中。
[0116]
在上文所描述的所有实施例中，计算单元8接收从至少一个运动传感器7和从压力传感器(如果适用)获取的数据以分析所述数据且检测手写问题。
[0117]
更具体地，计算单元8可存储能够分析由运动传感器7获取的数据的人工智能模型。人工智能可包括经训练神经网络。
[0118]
在图8上所说明的实施例中，神经网络根据使用中间特征提取的方法进行训练。
[0119]
更特别地，在步骤s1处，运动传感器7在手写仪器2的使用期间获取数据。
[0120]
在步骤s2处，神经网络接收在步骤s1处所获取的数据的原始信号。在步骤s3处，神经网络还接收样本标记。这些标记对应于信号是否对应于笔划。更准确地，神经网络能够确定信号是否对应于支撑件上的笔划。神经网络接着能够确定笔划时戳。
[0121]
更特别地，这意味着神经网络能够针对每一笔划时戳确定用户在手写仪器2的使用期间是否已在支撑件上实际写下了笔划。
[0122]
在步骤s4处，计算单元8执行笔划特征提取以在步骤s5处获得中间特征。
[0123]
这些中间特征包括但不限于：
[0124]-总笔划持续时间，
[0125]-总空中笔划持续时间，
[0126]-平均笔划持续时间，
[0127]-平均和峰值笔划速度，
[0128]-在手写仪器的使用期间的停顿次数，
[0129]-弹道指数，其对应于手写流畅性的指标，所述指标衡量由加速度中过零点的数目与速度中过零点的数目之间的比率定义的移动的平滑度，
[0130]-在笔划期间加速度中过零点的数目，
[0131]-在笔划期间速度中过零点的数目。
[0132]
根据这些中间特征，神经网络能够推导出关于手写问题的指示。
[0133]
在步骤s6处，算法能够推导出关于手写问题的指示。
[0134]
此算法可为例如第二神经网络等习得模型，或手工算法。
[0135]
在使用例如神经网络等习得模型的实施例中，模型在监督分类任务上进行训练，其中输入是具有标记的笔划特征，并且输出是手写问题。
[0136]
在使用手工算法的实施例中，手工算法可计算关于笔划特征的统计数据，并且将所述统计数据与科学文献中发现的阈值进行比较，以便检测手写问题。
[0137]
最后，在步骤s7处，系统能够检测手写问题。这些手写问题包含但不限于：
[0138]-诵读困难，
[0139]-书写困难，
[0140]-手写仪器的错误抓握，
[0141]-不良字符书写。
[0142]
在图9上所说明的实施例中，神经网络根据端到端分类的方法进行训练。
[0143]
根据此实施例，在步骤s10处，通过运动传感器7获取数据。
[0144]
在步骤s11中进行分类。为了确实学习分类任务，神经网络接收由运动传感器7获取的数据的原始信号，以及全局标记(步骤s12)。全局标记对应于将由神经网络检测到的手写问题，所述书写问题可为但不限于：
[0145]-诵读困难，
[0146]-书写困难，
[0147]-手写仪器的错误抓握，
[0148]-不良字符书写。
[0149]
在步骤s13中，神经网络递送结果。
[0150]
存储参考图8和9描述的经训练神经网络。
[0151]
神经网络可存储在计算单元8中。
[0152]
图10a到10c更具体地说明参考图8所描述的实施例。
[0153]
为了将笔划分段(图8的步骤s2)，神经网络可确定支撑件上的笔划的时戳。
[0154]
此信息可由笔划传感器16检测到。笔划传感器16有利地嵌入在手写仪器中或安装在手写仪器上的检测装置13中。
[0155]
在实施例中，笔划传感器16可为压力传感器、接触传感器或振动传感器。接着，在步骤s3处，神经网络接收由笔划传感器16收集的数据。
[0156]
在图10a到10c所说明的实施例中，笔划传感器16是运动传感器7。更具体地，运动传感器7是三轴加速度计。
[0157]
图10a说明在神经网络的训练阶段期间使用的数据的收集，所述训练阶段说明在图10b。最后，图10c说明手写仪器的用户对神经网络的推断。
[0158]
为了使用运动传感器7作为笔划传感器16，加速度计首先需要被设置成使得其取样率至少比将检测的振动的最大频率高两倍。
[0159]
在实例中，加速度计是高度敏感的。为了允许加速度计对振动的检测，加速度计可通过具有极少阻尼的刚性接触来结合到手写仪器2的书写尖端6。
[0160]
在实施例中，有可能通过使用呈现具有已知空间频率的粗糙表面的支撑件来增强振动检测的精度。
[0161]
在表示收集阶段的图10a中，加速度计被设置成具有取样率f2。在用户正使用手写仪器2时，加速度计在步骤s20处获取数据。在步骤s21处，这些数据可通过短程无线电发送到记录装置。
[0162]
在实施例中，在收集阶段期间，如果手写仪器2还包括三轴陀螺仪作为另一运动传感器7，则三轴陀螺仪还可获取在步骤s21处发送到记录装置的数据。
[0163]
图10b说明神经网络的训练阶段。
[0164]
在步骤s22处，提供发送到记录装置的数据。数据在步骤s23a处经分析以确定标记(步骤s23b)。举例来说，标记包括当在数据中检测到振动时检测到的笔划时戳，以及笔划速度。有利地使用振动中所含有的加速度数据和高频率来确定笔划速度。
[0165]
步骤s24包括对数据的下取样。特别地，在前述步骤期间，加速度计的频率被设置成高于针对推断阶段设置的频率。此外，基于三轴加速度计和三轴陀螺仪进行振动分析。然而，陀螺仪的恒定使用导致高能量消耗。
[0166]
下取样步骤s24包括参数的降级。将加速度计的频率f2减少到小于f2的频率f1，并且仅根据三轴检测进行训练。
[0167]
在步骤s25处，神经网络经训练以能够执行笔划分段，如参考图8，步骤s2所描述。
[0168]
图10c说明推断阶段。在此阶段中，神经网络经训练以借助于笔划分段检测手写问题。
[0169]
在步骤s26处，鉴于检测最终手写问题，用户正使用手写仪器2。
[0170]
将手写仪器中的加速度计设置成频率f1，并且有利地，根据三轴获取数据。
[0171]
在步骤s27处，向经训练神经网络馈送所获取数据。在步骤s28处，神经网络能够递送笔划时戳和速度。
[0172]
最后，在步骤s29处，神经网络能够执行中间笔划特征提取和分类。步骤s29实际上
对应于已参考图8描述的步骤s4到s7。
[0173]
在实施例中，可在神经网络的存储之后运用由手写笔2的用户获取的数据连续地训练神经网络。
[0174]
在实施例中，神经网络还可经训练以检测用户的错误导入。导入对应于字母和数字拼写。
[0175]
更具体地，神经网络能够确定笔划序列是否对应于字母或数字。
[0176]
为此目的，还可向神经网络馈送字母和数字的大数据库。每一字母和数字可与笔划序列相关联。笔划序列可有利地对应于在拼写字母和数字时在收集阶段期间由加速度计获取的加速度信号。
[0177]
将由神经网络确定的标记可为每一字母和数字的笔划序列的方向和次序。
[0178]
在图8的步骤s5中，中间特征可接着还包括笔划的时间序列及其方向。
[0179]
在步骤s7中，神经网络能够确定用户是否正确地拼写字母和数字。