噪声波形除去装置及方法、模型训练装置及方法、生成模型以及可穿戴设备与流程

噪声波形除去装置及方法、模型训练装置及方法、生成模型以及可穿戴设备
1.本技术主张以日本特愿2020-157821号(申请日为2020年9月18日)为基础的优先权，通过参考将其内容引用到本说明书中。
技术领域
2.本公开涉及噪声波形除去装置、模型训练装置、噪声波形除去方法、模型训练方法、生成模型以及可穿戴设备。


背景技术：

3.为了探测跑步、步行等运动中的用户的运动状态，利用加速度传感器、陀螺仪传感器等惯性传感器。用户将内置这样的惯性传感器的智能手机、智能手表、万步计(注册商标)等可穿戴设备等携带，确认基于表示由该设备取得的运动状态的运动波形数据而解析的运动状态。
4.另一方面，在携带这样的可穿戴设备时，用户有时会将可穿戴设备装入手包等随身包。
5.在该情况下，可穿戴设备不仅探测用户的步行所引起的着地冲击，有可能还会探测与随身包的接触、与随身包内的其他随身物的接触等所引起的非着地冲击。
6.在该情况下，由可穿戴设备探测的运动波形数据不仅包含由作为所期望数据的着地冲击带来的波形，还包含噪声即基于非着地冲击的波形，可穿戴设备会不能根据由惯性传感器取得的运动波形数据来正确判定用户的运动状态。


技术实现要素：

7.鉴于上述课题，本公开提供用于从包含噪声的运动波形数据除去噪声的技术。
8.本发明一个方式提供一种噪声波形除去装置，其特征在于，具有：取得部，其取得有噪声运动波形数据；滤波贡献率决定部，其利用训练完毕生成模型，基于所述有噪声运动波形数据来决定滤波贡献率；和噪声除去部，其基于所决定的所述滤波贡献率和所述有噪声运动波形数据来生成无噪声运动波形数据。
9.本发明的另一方式提供一种模型训练装置，其特征在于，具有：训练数据存放部，其存放包含训练用有噪声运动波形数据和训练用无噪声运动波形数据的训练数据；和模型训练部，其遵循gan(generative adversarial network)训练基于所述训练用有噪声运动波形数据来决定滤波贡献率的生成模型、和识别基于所述滤波贡献率以及所述训练用有噪声运动波形数据而生成的伪无噪声运动波形数据和所述训练数据的识别模型。
10.本发明的另一方式提供一种噪声波形除去方法，其特征在于，具有如下步骤：1个以上处理器取得有噪声运动波形数据；所述1个以上处理器利用训练完毕生成模型，基于所述有噪声运动波形数据来决定滤波贡献率；和所述1个以上处理器基于所决定的所述滤波贡献率和所述有噪声运动波形数据来生成无噪声运动波形数据。
11.本发明的另一方式提供一种模型训练方法，其特征在于，具有如下步骤：1个以上处理器存放包含训练用有噪声运动波形数据和训练用无噪声运动波形数据的训练数据；所述1个以上处理器遵循gan(generative adversarial network)训练基于所述训练用有噪声运动波形数据来决定滤波贡献率的生成模型、和识别基于所述滤波贡献率以及所述训练用有噪声运动波形数据而生成的伪无噪声运动波形数据和所述训练数据的识别模型。
12.本发明的另一方式提供一种生成模型，根据有噪声运动波形数据来决定滤波贡献率，所述生成模型的特征在于，所述生成模型基于训练用有噪声运动波形数据来决定滤波贡献率，遵循利用了识别基于所述滤波贡献率和所述训练用有噪声运动波形数据而生成的伪无噪声运动波形数据和训练数据的识别模型的gan(generative adversarial network)，来训练所述生成模型。
13.本发明的另一方式提供一种可穿戴设备，其特征在于，具有：惯性传感器；和上述的噪声波形除去装置。
14.发明的效果
15.根据本公开，能从包含噪声的运动波形数据除去噪声。
附图说明
16.图1是表示本公开的一实施例的噪声波形除去装置以及模型训练装置的概略图。
17.图2是表示本公开的一实施例的有噪声运动波形以及无噪声运动波形的图。
18.图3是表示本公开的一实施例的噪声波形除去装置的硬件结构的框图。
19.图4是表示本公开的一实施例的模型训练装置的硬件结构的框图。
20.图5是表示本公开的一实施例的噪声波形除去处理的概略图。
21.图6是表示本公开的一实施例的噪声波形除去装置的功能结构的框图。
22.图7是表示本公开的一实施例的噪声波形除去处理的流程图。
23.图8是表示本公开的一实施例的模型训练装置的功能结构的框图。
24.图9是表示本公开的一实施例的模型训练处理的概略图。
25.图10是表示本公开的其他实施例的模型训练处理的概略图。
26.图11是表示本公开的一实施例的模型训练处理的流程图。
具体实施方式
27.在以下的实施例中，公开了：噪声波形除去装置，其利用训练完毕生成模型来生成从包含源自于非着地冲击的噪声的有噪声运动波形数据中除去了噪声的无噪声运动波形数据；和模型训练装置，其利用识别模型，遵循gan(generative adversarial network，生成对抗网络)来训练该生成模型。
28.[本公开的概要]
[0029]
若对后述的实施例进行概略，则如图1所示那样，噪声波形除去装置100将包含源自于非着地冲击的噪声的有噪声运动波形数据输入到训练完毕生成模型，从训练完毕生成模型取得滤波贡献率。噪声波形除去装置100遵循滤波贡献率来执行滤波，从有噪声运动波形数据除去噪声，生成无噪声运动波形数据。例如，若由探测运动波形的可穿戴设备探测到图2的(a)所示那样的源自于手包冲击的有噪声运动波形数据，噪声波形除去装置100就如
图2的(b)所示那样，对应于从训练完毕生成模型输出的滤波贡献率来执行滤波，生成除去了该噪声的无噪声运动波形数据。
[0030]
由模型训练装置200遵循gan来训练该生成模型。即，模型训练装置200从训练数据数据库50取得由训练用有噪声运动波形数据与训练用无噪声运动波形数据的配对构成的训练数据或正解数据，遵循gan来训练生成模型和与该生成模型对应的识别模型。生成模型根据训练用有噪声运动波形数据来生成滤波贡献率，模型训练装置200对应于输出的滤波贡献率来对训练用有噪声运动波形数据执行滤波，取得伪无噪声运动波形数据。
[0031]
识别模型若取得伪无噪声运动波形数据、训练用有噪声运动波形数据以及训练用无噪声运动波形数据的任一者作为输入数据，就识别输入数据是由生成模型生成的伪数据还是训练数据，进而识别输入数据是否包含噪声。模型训练装置100遵循gan来训练识别模型，以使其输出正确的识别结果，训练生成模型，以使其输出错误的识别结果。
[0032]
根据本公开，与通常的gan的学习不同，取代直接生成输出波形，而是生成各时刻的低通滤波的应用强度。由于与输出波形本身的多样性相比，低通滤波的应用强度的多样性更低，因此能通过少数的训练数据来训练生成模型。另外，通过将生成模型的输出不是设为无噪声运动波形数据而是设为滤波贡献率，能避免gan所固有的模式崩塌(mode collapse)的问题，即，能避免不管输入数据如何生成模型都输出误导识别模型的特定的数据这的问题。
[0033]
[硬件结构]
[0034]
在此，噪声波形除去装置100例如可以搭载于可穿戴设备，具有图3所示那样的硬件结构。即，噪声波形除去装置100具有cpu(central processing unit，中央处理器)101、存储器装置102、辅助存储装置103、传感器104、通信装置105以及操作单元106。
[0035]
将包含实现噪声波形除去装置100中的后述的各种功能以及处理的程序或命令的各种计算机程序安装在辅助存储装置103，存储器装置102在有噪声波形除去装置100的启动指示的情况下，从辅助存储装置103将程序、数据读出并存放。辅助存储装置103以及存储器装置102实现为存放程序或命令的非临时的计算机可读存储介质。作为处理器发挥功能的cpu101遵循存放于存储器装置102的程序、执行程序所需的参数等各种数据，基于从传感器104取得的传感器数据来执行噪声波形除去装置100的各种功能以及处理。传感器104可以是加速度传感器、陀螺仪传感器等，探测与用户的移动关联的各种数据。通信装置105将传感器数据发送到智能手机、智能手表等其他信息终端。操作单元106可以是用于搭载噪声波形除去装置100的可穿戴设备的电源接通/断开的开关、表示电源接通/断开状态的灯、设定按钮、显示面板等。
[0036]
另一方面，模型训练装置200例如可以是个人计算机、服务器等计算装置，具有经由总线b相互连接的驱动装置201、辅助存储装置202、存储器装置203、cpu204、接口装置205以及通信装置206。
[0037]
包含实现模型训练装置200中的后述的各种功能以及处理的程序或命令的各种计算机程序，也可以通过cd-rom(compact disk-read only memory，光盘只读存储器)等记录介质207提供。若将存储程序的记录介质207放置于驱动装置201，就将程序从记录介质207经由驱动装置201安装到辅助存储装置202。但程序的安装不一定非要通过记录介质207进行，也可以经由网络等从任意外部装置下载。辅助存储装置202存放所安装的程序，并存放
需要的文件、数据等。存储器装置203在有程序的启动指示的情况下，从辅助存储装置202将程序、数据读出并存放。辅助存储装置202以及存储器装置203，实现为存放程序或命令的非临时的计算机可读存储介质。作为处理器发挥功能的cpu204遵循存放于存储器装置203的程序、执行程序所需的参数等各种数据来执行模型训练装置200的各种功能以及处理。接口装置205是键盘、鼠标等输入装置、显示器等输出装置等，用作与用户的用户界面。通信装置206执行用于与外部装置进行通信的各种通信处理。
[0038]
但噪声波形除去装置100以及模型训练装置200并不限定于上述的硬件结构，例如也可以通过实现噪声波形除去装置100以及模型训练装置200的功能以及处理的1者以上的1个以上电路等其他任意硬件结构实现。
[0039]
[噪声波形除去装置]
[0040]
接下来，参考图5以及6来说明本公开的一实施例的噪声波形除去装置100。图5是表示本公开的一实施例的噪声波形除去处理的概略图。
[0041]
如图5所示那样，根据噪声波形除去装置100，若由惯性传感器(例如加速度传感器、陀螺仪传感器等)探测到包含源自于着地冲击的波形部分、和源自于与将可穿戴设备装入的手包的接触所引起的非着地冲击的波形部分的有噪声运动波形数据，就将有噪声运动波形数据输入到训练完毕生成模型，并对波形整体应用低通滤波。在本实施例中，作为滤波手法而应用低通滤波，但本公开并不限定于此，还可以利用适于除去对象的噪声的其他任何合适的类型的滤波。
[0042]
本公开的生成模型为了从非着地冲击所引起的有噪声运动波形数据的采样数据中除去噪声，预测表示在该时刻应对有噪声运动波形数据应用何种程度低通滤波的低通滤波贡献率。
[0043]
噪声波形除去装置100，对进行过低通滤波的有噪声运动波形数据乘以低通滤波贡献率r来导出第1中间运动波形数据，进而对有噪声运动波形数据乘以(1-r)来导出第2中间运动波形数据。然后，噪声波形除去装置100取第1中间运动波形数据与第2中间运动波形数据之和，来取得除去了源自于图示那样的手包冲击的噪声的无噪声运动波形数据。
[0044]
图6是表示本公开的一实施例的噪声波形除去装置100的功能结构的框图。如图6所示那样，噪声波形除去装置100具有测定数据取得部110、低通滤波贡献率决定部120以及噪声除去部130。
[0045]
测定数据取得部110取得有噪声运动波形数据。具体地，测定数据取得部110从由用户携带的惯性传感器(例如加速度传感器、陀螺仪传感器等)探测用户的运动波形数据、即有噪声运动波形数据，并将其提供到低通滤波贡献率决定部120以及噪声除去部130。例如，运动波形数据由加速度数据以及/或者角速度数据构成。
[0046]
低通滤波贡献率决定部120利用训练完毕生成模型，基于有噪声运动波形数据来决定低通滤波贡献率。具体地，低通滤波贡献率决定部120将根据给定的采样率提取的有噪声运动波形数据输入到训练完毕生成模型，来决定为了从该有噪声运动波形数据中除去源自于非着地冲击的噪声所要应用的低通滤波的低通滤波贡献率r(0≤r≤1)。
[0047]
低通滤波贡献率r是表示低通滤波的应用的程度或强弱的值，r越接近于1，就对有噪声运动波形数据应用越强的低通滤波，r越接近于0，就对有噪声运动波形数据应用越弱的低通滤波。例如，对源自于作为非所期望波形的非着地冲击的波形部分，分配接近于1的r
以使得应用更强的低通滤波。另一方面，对源自于作为所期望波形的着地冲击的波形部分，分配接近于0的r以使得维持该波形部分。
[0048]
噪声除去部130基于决定的低通滤波贡献率和有噪声运动波形数据来生成无噪声运动波形数据。具体地，噪声除去部130遵循由低通滤波贡献率决定部120决定的低通滤波贡献率来对有噪声运动波形数据执行低通滤波，对与非着地冲击对应的波形部分更强力地进行滤波，生成维持了与着地冲击对应的波形部分的伪无噪声运动波形数据。即，由噪声除去部130输出的无噪声运动波形数据，能与从有噪声运动波形数据除去了源自于用户的着地冲击以外的冲击而由惯性传感器检测到的噪声的运动波形数据对应。
[0049]
在一实施例中，噪声除去部130也可以通过对进行过低通滤波的有噪声运动波形数据应用低通滤波贡献率r来生成第1中间运动波形数据，通过对有噪声运动波形数据应用(1-r)来生成第2中间运动波形数据，将第1中间运动波形数据和第2中间运动波形数据合成，来生成伪无噪声运动波形数据。即，如图5所示那样，噪声除去部130对从测定数据取得部110取得的有噪声运动波形数据整体执行低通滤波，取得进行过图示那样的低通滤波的有噪声运动波形数据。然后，噪声除去部130将从训练完毕生成模型取得的低通滤波贡献率r和进行过低通滤波的有噪声运动波形数据相乘，来取得第1中间运动波形数据。另外，噪声除去部130将未进行低通滤波的有噪声运动波形数据和(1-r)相乘，取得第2中间运动波形数据。然后，噪声除去部130取第1中间运动波形数据与第2中间运动波形数据之和，能取得与非着地冲击对应的波形部分、即对噪声进行过低通滤波的伪无噪声运动波形数据。另外，本实施例叙述的伪无噪声运动波形数据的取得的方式并不限定于上述的方法，例如也可以变更低通滤波器的尺寸，或将低通滤波贡献率r的系数设定为0≤r≤1之间以外的范围等来改变算出方法。例如，也可以将低通滤波的寄与率r
′
的系数设为0＜r≤1，在低通滤波贡献率决定部120中决定寄与率r
′
，基于有噪声运动数据、寄与率r
′
和对整体实施低通滤波的情况的低通滤波强度，来取得伪无噪声运动波形数据。
[0050]
[噪声波形除去处理]
[0051]
接下来，参考图7来说明本公开的一实施例的噪声波形除去处理。该噪声波形除去处理通过上述的噪声波形除去装置100实现，例如可以通过处理器执行程序或命令来实现。图7是表示本公开的一实施例的噪声波形除去处理的流程图。
[0052]
如图7所示那样，在步骤s101，噪声波形除去装置100取得有噪声运动波形数据。具体地，噪声波形除去装置100从搭载于用户所携带的可穿戴设备的加速度传感器、陀螺仪传感器等惯性传感器取得运动波形数据。该运动波形数据不仅包含与着地冲击对应的波形部分，还包含源自于与搭载惯性传感器的可穿戴设备与收纳该可穿戴设备的手包的接触的非着地冲击所对应的波形部分。运动波形数据可以包含由加速度传感器探测的与空间上的3个轴相关的运动波形数据。
[0053]
在步骤s102，噪声波形除去装置100提取处理对象维度的有噪声运动波形数据。例如，在有噪声运动波形数据由与空间上的3个轴的各轴相关的运动波形数据构成的情况下，噪声波形除去装置100可以对各轴执行以后的步骤s102～s106。
[0054]
在步骤s103，噪声波形除去装置100对所提取的有噪声运动波形数据应用低通滤波。具体地，噪声波形除去装置100，对有噪声运动波形数据的波形整体执行低通滤波。
[0055]
在步骤s104，噪声波形除去装置100对训练完毕生成模型输入基准时刻的有噪声
运动波形数据，决定该基准时刻的低通滤波贡献率r(0≤r≤1)。例如，r越接近于1，对该波形部分越强地应用低通滤波，r越接近于0，对该波形部分越弱地应用低通滤波。
[0056]
在步骤s105，噪声波形除去装置100对进行过低通滤波的有噪声运动波形数据乘以r，取得第1中间运动波形数据。另外，噪声波形除去装置100对有噪声运动波形数据上乘以(1-r)，取得第2中间运动波形数据。然后，噪声波形除去装置100将第1中间运动波形数据和第2中间运动波形数据合成，来取得维持源自于着地冲击的波形部分、且将源自于非着地冲击的波形部分滤波掉的无噪声运动波形数据。
[0057]
在步骤s106，噪声波形除去装置100判断是否对处理对象的全部维度进行过处理。在对全部维度进行过处理的情况下(s106“是”)，该噪声波形除去处理结束，在有未处理的维度的情况下(s106“否”)，噪声波形除去装置100重复步骤s102～s106。
[0058]
[模型训练装置]
[0059]
接下来，参考图8～10，来说明本公开的一实施例的模型训练装置200。模型训练装置200对提供到上述的噪声波形除去装置100的生成模型进行训练。具体地，模型训练装置200遵循gan来训练根据有噪声运动波形数据决定低通滤波贡献率的生成模型。即，模型训练装置200与生成模型对应地取得来自生成模型的输出数据和训练数据的任一者，作为输入数据，准备识别输入数据是输出数据或训练数据的哪一者的识别模型。然后，模型训练装置200遵循gan来训练识别模型，以使其输出正确的识别结果，训练生成模型，以使得识别模型输出错误的识别结果。在本实施例中，作为滤波手法而应用低通滤波，但本公开并不限定于此，也可以利用适于除去对象的噪声的其他任何合适的类型的滤波。
[0060]
图8是表示本公开的一实施例的模型训练装置200的功能结构的框图。如图8所示那样，模型训练装置200具有训练数据存放部210以及模型训练部220。
[0061]
训练数据存放部210，存放包含训练用有噪声运动波形数据和训练用无噪声运动波形数据的训练数据。该训练数据也可以称作正解数据。例如，用户将收容到手包中的可穿戴设备、和不是收容于手包等中而是装备于用户的可穿戴设备一起携带来进行步行、慢跑等运动，通过从2个可穿戴设备同时收集运动波形数据，从前者的可穿戴设备的惯性传感器取得训练用有噪声运动波形数据，从后者的可穿戴设备的惯性传感器取得训练用无噪声运动波形数据。
[0062]
模型训练部220遵循gan来训练：基于训练用有噪声运动波形数据来决定低通滤波贡献率的生成模型、和识别基于低通滤波贡献率以及训练用有噪声运动波形数据而生成的伪无噪声运动波形数据和训练数据的识别模型。
[0063]
具体地，如图9所示那样，模型训练部220将训练用有噪声运动波形数据输入到训练对象的生成模型，取得低通滤波贡献率r。例如生成模型可以通过神经网络实现。模型训练部220对训练用有噪声运动波形数据的整体执行低通滤波，基于所取得的低通滤波贡献率r和进行过低通滤波的训练用有噪声运动波形数据来取得伪无噪声运动波形数据。例如，模型训练部220，可以通过对进行过低通滤波的训练用有噪声运动波形数据应用低通滤波贡献率r来生成第1中间运动波形数据，通过对训练用有噪声运动波形数据应用(1-r)来生成第2中间运动波形数据，将第1中间运动波形数据和第2中间运动波形数据合成，生成伪无噪声运动波形数据。
[0064]
然后，模型训练部220，对训练对象的识别模型进行训练，该识别模型取得从生成
模型输出的伪无噪声运动波形数据、训练用有噪声运动波形数据以及训练用无噪声运动波形数据的任一者作为输入数据，识别输入数据是伪数据(false)还是训练数据(real)，并且识别输入数据是有噪声(noise)还是无噪声(normal)。
[0065]
具体地，在识别模型取得伪无噪声运动波形数据作为输入数据的情况下，模型训练部220训练识别模型，使其输出输入数据是伪数据(false)的识别结果。
[0066]
另外，在识别模型取得训练用有噪声运动波形数据作为输入数据的情况下，模型训练部220训练识别模型，使其输出输入数据是训练数据(real)且为有噪声(noise)的识别结果。
[0067]
另外，在识别模型取得训练用无噪声运动波形数据作为输入数据的情况下，模型训练部220训练识别模型，使其输出输入数据是训练数据(real)且是无噪声(normal)的识别结果。
[0068]
另外，实际上，识别结果并不需要是real/false以及noise/normal的布尔值，也可以是表示置信度的实数值。
[0069]
另一方面，模型训练部220训练生成模型，以使得由识别模型输出伪无噪声运动波形数据是训练数据(real)且是无噪声(normal)的识别结果。即，训练生成模型，以使得识别模型输出错误的识别结果。
[0070]
例如，在生成模型以及识别模型由神经网络构成的情况下，模型训练部220可以遵循误差逆传播法更新识别模型的参数，以使得识别模型输出正确的识别结果，并遵循误差逆传播法更新生成模型的参数，以使得识别模型输出错误的识别结果。
[0071]
然后，可以直到满足结束条件为止，模型训练部220重复上述的模型训练处理。作为结束条件，例如可以是对准备的全部训练数据全都执行了模型训练处理等。
[0072]
根据本实施例，与通常的gan的学习不同，取代直接生成输出波形，生成各时刻的低通滤波的应用强度。由于与输出波形本身的样性相比，低通滤波的应用强度的多样性更低，因此能通过比较少的训练数据来训练生成模型，通过将生成模型的输出不是设为无噪声运动波形数据，而是设为低通滤波贡献率，能避免gan所固有的模式崩塌的问题，即，能避免不管输入数据如何都持续输出误导识别模型的特定的数据的问题。
[0073]
在一实施例中，模型训练部220也可以基于识别模型的识别结果和各时刻的低通滤波贡献率的总和来训练生成模型以及识别模型。具体地，如图10所示那样，模型训练部220若对根据给定的采样率采样的训练用有噪声运动波形数据取得与各样本对应的低通滤波贡献率，就将所取得的低通滤波贡献率进行合计，算出低通滤波贡献率的总和。模型训练部220也可以训练生成模型以及识别模型，以使得低通滤波贡献率的总和tr变小。根据本实施例，对于不受噪声的影响的波形部分，能抑制低通滤波的影响。
[0074]
[模型训练处理]
[0075]
接下来，参考图11来说明本公开的一实施例的模型训练处理。该模型训练处理通过上述的模型训练装置200实现，例如可以通过处理器执行程序或命令来实现。图11是表示本公开的一实施例的模型训练处理的流程图。
[0076]
如图11所示那样，在步骤s201，模型训练装置200对训练用有噪声运动波形数据的波形整体执行低通滤波。
[0077]
在步骤s202，模型训练装置200将训练用有噪声运动波形数据输入到训练对象的
生成模型，取得低通滤波贡献率。
[0078]
在步骤s203，模型训练装置200对训练用有噪声运动波形数据上乘以低通滤波贡献率，生成伪无噪声运动波形数据。
[0079]
在步骤s204，模型训练装置200将伪无噪声运动波形数据和训练数据的任一者作为输入数据输入到训练对象的识别模型，取得输入数据是否是伪数据或训练数据的识别结果。
[0080]
在步骤s205，模型训练装置200训练识别模型，以使得识别模型输出正确的识别结果，训练生成模型，以使得识别模型输出错误的识别结果。具体地，在生成模型以及识别模型通过神经网络实现的情况下，模型训练装置200更新识别模型的参数，以使得识别模型输出正确的识别结果，更新生成模型的参数，以使得识别模型输出错误的识别结果。
[0081]
在步骤s206，模型训练装置200判断是否满足结束条件。例如，结束条件可以是对给定数的训练数据进行过处理。在不满足结束条件的情况下(s206“否”)，模型训练装置200对下一训练数据重复步骤s201～s206。另一方面，在满足结束条件的情况下(s206“是”)，模型训练装置200将该处理结束，将所取得的生成模型作为训练完毕生成模型提供到噪声波形除去装置100。
[0082]
以上详述了本发明的实施例，但本发明并不限定于上述的特定的实施方式，能在记载于权利要求书的本发明的要旨的范围内进行种种变形、变更。