运动数据识别方法、装置、电子设备及存储介质与流程

1.本发明涉及可穿戴设备技术领域，尤其涉及一种运动数据识别方法、装置、电子设备及存储介质。


背景技术：

2.近年来，可穿戴设备因其丰富的功能及便携等优势，已经得到了广泛的普及，人们对可穿戴设备的智能化要求也越来越高。特别地，针对具有运动数据检测功能的可穿戴设备，由于其能够检测到佩戴者的运动情况，便于人们随时了解自身的运动状况，因此引起了更加广泛的关注。
3.相关技术中，穿戴设备仅能够对佩戴者的简单运动进行检测和识别，例如走路、跑步等，但是，健身运动是复杂多样的，如何准确的识别佩戴者的运动信息，已成为了重要的研究方向之一。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的第一个目的在于提出一种运动数据识别方法，以实现对运动数据的类型和运动类型出现次数的准确识别。
6.本发明的第二个目的在于提出一种运动数据识别装置。
7.本发明的第三个目的在于提出一种可穿戴设备。
8.本发明的第四个目的在于提出一种计算机设备。
9.本发明的第五个目的在于提出一种非临时性计算机可读存储介质。
10.为达上述目的，本发明第一方面实施例提出了一种运动类型识别方法，包括：采集需要进行分类识别的多个运动数据；将多个运动数据输入至运动类型识别模型中进行分类识别，以获取运动类型识别模型输出的一组输出信息，其中，输出信息包括运动类型识别模型进行分类识别后输出的类型标签；对输出信息进行信息片段的划分中，划分出的每个信息片段至少包括一个类型标签，并对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息；根据第一解码信息，获取多个运动数据所涉及的运动类型和每个运动类型对应的运动次数。
11.根据本技术的一个实施例，对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息，包括：针对每个信息片段，获取信息片段内携带相同类型标签且连续的字符组，并通过字符组中的一个字符在解码时表征字符组；将剩余字符和字符组的表征字符按照字符在信息片段中的位置进行拼接，形成信息片段对应的第二解码信息；对第二解码信息进行拼接，得到第一解码信息。
12.根据本技术的一个实施例，对第二解码信息进行拼接，得到第一解码信息，包括：按照信息片段在输出信息中位置顺序，对每个信息片段对应的第二解码信息进行拼接，得到第一解码信息。
13.根据本技术的一个实施例，获取多个运动数据所涉及的运动类型和每个运动类型对应的运动次数，包括：获取第一解码信息中字符的取值，根据字符的取值，确定多个运动数据所涉及的运动类型；统计第一解码信息中相同取值的字符个数，其中，相同取值的字符个数为相同取值所表征的运动类型的出现次数。
14.根据本技术的一个实施例，对输出信息进行信息片段的划分，包括：对输出信息中的间隔标识进行识别；提取相邻的间隔标识之间的字符，形成一个信息片段。
15.根据本技术的一个实施例，间隔标识包括空白字符。
16.根据本技术的一个实施例，运动数据至少包括加速度数据和角速度数据。
17.本技术实施例的运动数据识别方法，通过运动类型识别模型对多个运动数据进行类型识别，并且能够获取到运动类型对应的运动次数，有效提高了对运动数据的识别准确性和通用性。
18.为达上述目的，本发明第二方面实施例提出了一种运动数据识别装置，包括：采集模块，用于采集需要进行分类识别的多个运动数据；第一获取模块，用于将多个运动数据输入至运动类型识别模型中进行分类识别，以获取运动类型识别模型输出的一组输出信息，其中，输出信息包括运动类型识别模型进行分类识别后输出的类型标签；解码模块，用于对输出信息进行信息片段的划分，其中，划分出的信息片段至少包括一个类型标签，并对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息；第二获取模块，用于根据第一解码信息，取多个运动数据所涉及的运动类型和每个运动类型对应的运动次数。
19.根据本技术的一个实施例，解码模块，进一步用于：针对每个信息片段，获取信息片段内携带相同类型标签且连续的字符组，并通过字符组中的一个字符在解码时表征字符组；将剩余字符和字符组的表征字符按照字符在信息片段中的位置进行拼接，形成信息片段对应的第二解码信息；对第二解码信息进行拼接，得到第一解码信息。
20.根据本技术的一个实施例，解码模块，进一步用于：按照信息片段在输出信息中位置顺序，对每个信息片段对应的第二解码信息进行拼接，得到第一解码信息。
21.根据本技术的一个实施例，第二获取模块，进一步用于：获取第一解码信息中字符的取值，根据字符的取值，确定多个运动数据所涉及的运动类型；统计第一解码信息中相同取值的字符个数，其中，相同取值的字符个数为相同取值所表征的运动类型的出现次数。
22.根据本技术的一个实施例，解码模块，进一步用于：对输出信息中的间隔标识进行识别；提取相邻的间隔标识之间的字符，形成一个信息片段。
23.根据本技术的一个实施例，间隔标识包括空白字符。
24.根据本技术的一个实施例，运动数据至少包括加速度数据和角速度数据。
25.为达上述目的，本发明第三方面实施例提出了一种可穿戴设备，包括上述第二方面所述的运动数据识别装置。
26.为了实现上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上述第一方面所述的运动数据识别方法。
27.为了实现上述目的，本发明第五方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的运动数据识别方法。
cassification)损失函数的运动类型识别模型，具体地，运动类型识别模型可采用结构为cnn或者cnn与rnn结合的神经网络模型，并采用联结主义时间分类ctc函数作为损失函数。由此，通过利用联结主义时间分类ctc损失函数，使标注范围得到了宽松，只需对一整段运动进行整体标注，标注包括一整段运动的开始时间、结束时间、运动类型和运动次数，无需对每个动作进行细化，而且，对于标注的时间也无需完全对齐，即，标注的开始时间可以稍早与实际的开始，标注的结束时间可以稍晚于实际的结束时间，从而大大降低了模型训练过程中样本集标注的难度。
47.举例来说，运动类型识别模型采用cnn结构或者cnn与rnn结合的神经网络结构，即，可由卷积结构直接提取特征，也可在卷积提取特征的基础上用rnn进一步提取时序特征。进一步地，还可在神经网络之后再连接2～3层卷积充当分类层。假设现有运动类别为20类，例如跳绳、开合跳等，通过运动类型识别模型获取的各类的类型标签可标记为i，i∈[1,20]，i为正整数。也就是说，在将多个运动数据输入运动类型识别模型中，以通过类型是被模型对多个运动数据进行分类识别，可获得一组通过类型标签表达识别结果的输出信息。
[0048]
还需要说明的是，运动类型识别模型可采用离线推理方式和在线推理方式中的任一种。采用离线推理时，可将对一段时间内采集到的多个运动数据整体输入至运动类型识别模型中，其中，一段时间内采集到的多个运动数据呈6
×
t维度，通过运动类型识别模型的分类识别，可得到长度为t/a的一维输出，其中，t为时间，a为下采样倍数。采用在线推理时，每次输入的数据长度s，步进为a，其中，s为感受野的大小，a为下采样倍数，每次能够获得长度为1的输出信息，将每次的输出信息按照顺序排列则可得到长度为t/a的一维输出。
[0049]
步骤103，对输出信息进行信息片段的划分，其中，划分出的信息片段至少包括一个类型标签,并对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息。
[0050]
需要说明的是，由于本技术采用的运动类型识别模型是对多个运动数据的类型标识进行输出，在运动数据较多时，通过对输出信息进行信息片段划分，进而同时对多个信息片段进行分析，可以有效提高对输出信息的解码效率，有效提高运动数据类型识别的速度和效率。
[0051]
由于是对一整段运动的识别，因此，输出信息中可包括多个运动片段，每个运动片段的长度可能相同也可能不同，所属的运动类型(即，所具有的类型标签)可能相同也可能不同，而多个运动片段之间可能存在运动间隙，由此，本技术可利用运动间隙，对输出信息进行片段划分，即，将一整段运动划分成多个运动动作，进而可对每个运动动作进行解码分析。应当理解的是，一个运动动作可包括一个独立的动作，也可包括具有连贯性的多个动作。
[0052]
需要说明的是，一个运动动作可以连续执行多次，形成一类运动，当该组运动对应的运动数据输入到运动类型识别模型中识别时，往往识别结果中会存在重复连续的类型标签。但是实际上该重复连续的类型标签并非标准进行了重复连续的该类运动，仅是说明连续执行了该类运动的同一个动作。因此，本技术中对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息，即将实质上为同一个运动多次动作进行了归并，能够避免将运动中的连续同样的动作进行重复计数，提高了计数的准确性。
[0053]
步骤104，根据第一解码信息，获取多个运动数据所涉及的运动类型和每个运动类型对应的运动次数。
[0054]
在获取到运动数据对应的的第一解码信息后，可以对第一解码信息进行解析，从中提取出所携带的类型标签，这样就可以确定出运动数据所涉及的运动类型。进一步地，还可以对同一个类型标签进行统计，进而可以确定出每个运动类型对应的运动类型。
[0055]
由此，本技术实施例的运动数据识别方法，通过运动类型识别模型对多个运动数据进行解析，能够根据运动数据确定其所属的运动类型，有效提高了对运动数据类型识别的准确性和通用性。同时，采用联结主义时间分类ctc作损失函数，大大降低了样本标注的难度，有效提高运动类型识别模型的泛化能力，并且能够统计运动类型在整个运动过程中出现的次数，增加运动识别的识别功能的同时，而且提高了用户体验度。
[0056]
作为一个可行实施例，对输出信息进行信息片段的划分包括：对输出信息中的间隔标识进行识别，提取相邻的间隔标识之间的字符，形成一个信息片段。
[0057]
其中，间隔标识包括空白字符，例如“0”。
[0058]
需要说明的是，空白字符的作用是分割开两个相同的动作，例如，用户做开合跳运动时，可能出现：(1)用户使用三秒完成一个开合跳动作；(2)用户使用一秒完成一个开合跳动作结束后休息1s后再做使用一秒完成下一个开合跳动作，此时，为了防止将(2)的动作误认为是(1)的慢动作，运动类型识别模型的输出信息中通过添加空白字符来将相同的多个动作进行间隔，举例来说，若假设开合跳的类型标签为1，且每秒输出1个字符，则(1)的输出信息可表达为111，以表示在三秒内完成的是同一个开合跳动作，而(2)的输出信息可表达为101，以表示在三秒内完成了两次开合跳动作。由此，根据间隔标识可以确定前后相同的两个类型标签为两次动作，有效避免将连续的多个动作误判为一个动作的慢动作，大大提高动作计数的准确性。
[0059]
应当理解的是，空白字符也可被用作于分割任意相邻的两个动作，例如，在俯卧撑动作后衔接开合跳，此时可假设开合跳的类型标签为1，俯卧撑的类型标签为2，输出结果可为201，由此，采用间隔标识可以将一次动作与前后动作进行分割，便于对动作进行计数。
[0060]
其中，对信息片段中相同且连续出现的类型标签进行归并，以生成输出信息对应的第一解码信息，如图2所示，具体包括：
[0061]
步骤201：针对每个信息片段，获取信息片段内携带相同类型标签且连续的字符组，并通过字符组中的一个字符在解码时表征字符组。
[0062]
针对每个信息片段，对该信息片段中的每个字符进行识别，提取每个字符的取值。其中，不同的取值表征不同的类型标签，举例来说，在第一个信息片段内携带的字符取值有i＝1和i＝2，则说明第一个信息片段对应的多个运动数据涉及两种运动类型，若第二个信息片段内携带的字符取值有i＝2和i＝3，则说明第二个信息片段对应的多个目标数据运动数据涉及两种运动类型。
[0063]
在利用运动类型识别模型获取到输出信息后，虽然利用间隔标识将一维的输出信息划分成多个片段，但是，此时的信息片段可仍然包含间隔标识，通过对每个字符进行识别，可仅提取片段中所携带的类型标签，即，剔除片段内部的间隔标识，以降低后续类型识别的数据处理量。
[0064]
进一步地，可在对信息片段中的每个类型标签进行识别时，还进一步判断当前类型标签与前一类型标签是否相同，如果是，则采用当前类型标签或前一类型标签表征当前类型和前一类型标签，即，前一类型标签和当前类型标签被表征为一个类型标签，如果否，
则保留前一类型标签和当前类型标签两个表类型标签。
[0065]
举例来说，如图3所示，连续三个类型相同的类型标签“111”的字符组可利用“1”对其进行表征，连续两个类型相同的类型标签“22”的字符组可利用“2”对其进行表征，单个类型标签“1”由于前后均无与其相连且相同的类型标签，则利用其表征其自身。
[0066]
应当理解的是，由于利用一个字符进行表征的操作发生在信息片段内，即，多个字符虽然时序相连，但实质上属于一个动作的组成部分，因此，通过一个字符对其进行表征能够有效减少一个动作中的冗余数据，即，采用一个字符表征一个动作。
[0067]
步骤202，将剩余字符和字符组的表征字符按照字符在信息片段中的位置进行拼接，形成信息片段对应的第二解码信息。
[0068]
也就是说，如图3所示，对于一个信息片段内的多个类型标识分别利用一个字符表征后，将多个用于表征的字符进行拼接，以获取属于该信息片段对应的第二解码信息。
[0069]
步骤203，对第二解码信息进行拼接，得到第一解码信息。
[0070]
应当理解的是，对于原始输入至运动类型识别模型的多个运动数据而言，其具有多个信息片段，在前述对每个信息片段进行解码后，可选地，为了避免多次统计，还需要将多个信息片段的第二解码信息进行拼接，以获取与多个运动数据对应的第一解码信息。
[0071]
其中，由于被间隔标识隔开的两个相同的动作不属于同一信息片段，因此，不会误将相邻的相同动作一同表征，即，拼接后的每个字符各标识一个动作。
[0072]
作为一种可能实现的方式，按照信息片段在输出信息中位置顺序，对每个信息片段对应的第二解码信息，得到输出信息对应的第一解码信息，如图3所示，对多个第二解码信息“1”、“2”、“1”“1”进行顺序片接后，可以得到第一解码信息“1211”。作为一种可能实现的方式，根据第一解码信息，以获取多个运动数据所涉及的运动类型和运动次数，如图4所示，具体包括：
[0073]
步骤301，获取第一解码信息中字符的取值，根据字符的取值，确定多个运动数据所涉及的运动类型。
[0074]
在获取到第一解码信息后，可以对第一解码信息中携带的每个字符进行识别，以获取每个字符的取值，其中，不同的取值表征不同的运动类型，详见上述实施例中的记载。在获取到每个字符的取值后，就可以确定出每个运动数据所涉及的运动类型。
[0075]
步骤302，统计第一解码信息中相同取值的字符个数，其中，相同取值的字符个数为相同取值所表征的运动类型的出现次数。
[0076]
可选的，统计第一解码信息中携带的同一取值的字符的个数，也就是统计同一类型标签所表征的运动类型的出现次数。
[0077]
也就是说，由于通过解码操作，提取出由多个类型标识表达的同一动作，并利用该动作的类型标识继续对该动作进行表征，从而使得仅通过统计第一解码信息中的类型标识，即可实现对多个运动数据反应的运动类型和次数的统计。
[0078]
举例来说，如图3所示，对该输出信息解码后可知，其表示用户进行了一次第一类型标识的运动后进行了一次第二类型标识的运动，然后连续进行了两次第一类型标识的运动。如图4所示，则表达的是开合跳—休息—俯卧撑—休息—开合跳的数据。
[0079]
综上所述，本技术实施例的运动数据识别方法，通过运动类型识别模型对多个运动数据进行解析，能够根据运动数据确定其所属的运动类型，有效提高了对运动数据类型
识别的准确性和通用性。同时，采用联结主义时间分类ctc作损失函数，大大降低了样本标注的难度，有效提高运动类型识别模型的泛化能力，并且能够统计运动类型在整个运动过程中出现的次数，增加运动识别的识别功能的同时，而且提高了用户体验度。
[0080]
为了实现上述实施例，本发明还提出一种运动数据识别装置。
[0081]
图5为本技术实施例的运动数据识别装置的方框示意图。如图5所示，本技术实施例的运动数据识别装置10，包括：采集模块11、第一获取模块12、解码模块13和第二获取模块14。
[0082]
其中，采集模块11用于采集需要进行分类识别的多个运动数据。
[0083]
第一获取模块12用于将多个运动数据输入至运动类型识别模型中进行分类识别，以获取运动类型识别模型输出的一组输出信息，其中，输出信息包括运动类型识别模型进行分类识别后输出的类型标签。
[0084]
解码模块13用于对输出信息进行信息片段的划分，其中，划分出的信息片段至少包括一个类型标签，并对信息片段中相同且连续出现的类型标签进行归并，以生成第一解码信息。
[0085]
第二获取模块14用于根据第一解码信息，获取多个运动数据所涉及的运动类型和每个运动类型对应的运动次数。
[0086]
进一步地，解码模块13，进一步用于：针对每个信息片段，获取信息片段内携带相同类型标签且连续的字符组，并通过字符组中的一个字符在解码时表征所述字符组，将剩余字符和字符组的表征字符按照字符在信息片段中的位置进行拼接，形成信息片段对应的第二解码信息；对第二解码信息进行拼接，得到第一解码信息。
[0087]
进一步地，解码模块13，进一步用于：按照信息片段在所述输出信息中位置顺序，对每个信息片段对应的第二解码信息进行拼接，得到第一解码信息。
[0088]
进一步地，第二获取模块14，进一步用于：获取第一解码信息中字符的取值，根据字符的取值，确定多个运动数据所涉及的运动类型，统计第一解码信息中相同取值的字符个数，其中，相同取值的字符个数为相同取值所表征的运动类型的出现次数。
[0089]
进一步地，解码模块13，进一步用于：对输出信息中的间隔标识进行识别，提取相邻的所述间隔标识之间的字符，形成一个所述信息片段。
[0090]
进一步地，所述间隔标识包括空白字符。
[0091]
进一步地，所述运动数据至少包括加速度数据和角速度数据。
[0092]
需要说明的是，前述对运动数据识别方法实施例的解释说明也适用于该实施例的运动数据识别装置，此处不再赘述。
[0093]
综上所述，本技术实施例的运动数据识别装置，通过运动类型识别模型对多个运动数据进行解析，能够根据运动数据确定其所属的运动类型，有效提高了对运动数据类型识别的准确性和通用性。同时，采用联结主义时间分类ctc作损失函数，大大降低了样本标注的难度，有效提高运动类型识别模型的泛化能力，并且能够统计运动类型在整个运动过程中出现的次数，增加运动识别的识别功能的同时，而且提高了用户体验度。
[0094]
为了实现上述实施例，本技术还提出了一种可穿戴设备100，如图6所示，包括运动数据识别装置10，实现前述的运动数据识别方法。
[0095]
为了实现上述实施例，本技术还提出了一种电子设备200，如图7所示，包括存储器
21、处理器22及存储在存储器21上并可在处理器22上运行的计算机程序，处理器执行程序时，实现前述的运动数据识别方法。
[0096]
为了实现上述实施例，本技术还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的运动数据识别方法。
[0097]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0098]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0099]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0100]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0101]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0102]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步
骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0103]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0104]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。