人体动作的识别方法、神经网络的训练方法及相关装置、设备与流程

[0001]
本申请涉及人工智能技术领域，特别涉及一种尤其涉及一种人体动作的识别方法、神经网络的训练方法及相关装置、设备。


背景技术：

[0002]
无线信号不仅可以用于传输数据，还可以用于感知环境。在室内环境下，无线发射设备产生的无线电波(本申请中也称无线信号)经过直射、反射、散射等多条路径传播，在无线接收设备处形成多径叠加信号，无线接收设备可以接收该多径传播叠加信号。多径叠加信号受其传播物理空间的影响，携带反映信号传播的物理空间的信息，既包括人的因素(是否有人以及人的位置、特征、姿势、动作等)，也包括其他外物的因素。
[0003]
通过分析接收信号的信号特征，去“解码”传播过程中的环境信息，可识别出环境中人体动作。如何基于无线信号的信号特征更加准确地识别出人体动作是亟需解决的技术问题。


技术实现要素：

[0004]
本申请提供一种人体动作的识别方法、无线信号的处理方法神经网络的训练方法及相关装置、设备，能够实现基于无线信号的信号特征识别出人体动作，进而监控环境中发生的人体动作。
[0005]
第一方面，提供了一种人体动作的识别方法，包括：
[0006]
执行设备获取待识别图像，其中，该待识别图像是在时间和信道的维度上对m帧无线信号的信号特征进行编码得到的图像，该m帧无线信号是第一无线接收设备接收到的由第一无线发射设备发射的无线信号，第一无线接收设备和第一无线发射设备之间的距离大于第一阈值，m为大于1的整数；进而，将待识别图像输入到目标人体动作识别模型，得到该待识别图像对应的人体动作的类型。
[0007]
可选地，目标人体动作识别模型是训练后得到的神经网络，用于识别输入图像的人体动作的类别。
[0008]
应理解，执行设备可以是第一无线接收设备，也可以是第一无线发射设备，还可以是手机、平板电脑、个人数字助理等终端，云端、服务器等。其中，第一无线接收设备或第一无线发射设备可以是具有接收无线信号和提取无线信号的信号特征功能的设备，比如灯、冰箱、洗衣机、衣柜、热水器、窗帘、锁、无线路由器等智能家居设备。
[0009]
上述方法通过将m帧无线信号的信号特征转换为图像，以利用神经网络模型来识别人体动作分类，实现简单、准确。
[0010]
可选地，在本申请实施例的场景a中，上述目标人体动作识别模型可以是人体摔倒识别模型，人体摔倒识别模型可识别的人体动作的类型可以包括摔倒和非摔倒，也可以包括在多个区域中的一个区域中摔倒、在多个区域中的一个区域未摔倒和不在多区域中的一个区域等。执行设备还可以在检测到发生摔倒事件时，向监护人的终端发送用于指示该人
体摔倒识别模型的识别结果的提示信息。
[0011]
可选地，在本申请实施例的场景b中，上述目标人体动作识别模型可以是入侵者识别模型，入侵者识别模型可识别的人体动作的类型可以包括有人闯入和无人闯入，也可以包括闯入多个区域中的一个区域、未闯入多个区域中的一个区域等。执行设备还可以在检测到发生摔倒事件时，向房主或业主的终端发送用于指示该人体摔倒识别模型的识别结果的提示信息。
[0012]
可选地，在本申请实施例的场景c中，上述目标人体动作识别模型可以是动作识别模型，动作识别模型可识别的人体动作的类型可以包括多个人体动作或多个人体动作的分类等。执行设备还可以在检测到目标人体动作或目标人体动作的类别后，根据多个人体动作与多个操作的对应关系，执行目标人体动作对应的操作，或者，根据多个人体动作的分类与多个操作的对应关系，执行目标人体动作的类别对应的操作。
[0013]
可选地，第一无线接收设备可以通过网卡提取m帧无线信号的信号特征，该信号特征可以包括但不限于csi幅值、csi相位和rssi等中的至少一种。
[0014]
在本身实施例的一种可能的实现中，信号特征包括信道状态信息(channel state information，csi)；csi包括csi幅值和csi相位，待识别图像包括第一图像和第二图像，其中，m帧无线信号中任意一帧无线信号包括n个信道，第一图像中第i行第j列的像素值表示第j帧无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值；第二图像中第i行第j列的像素值表示第j帧无线信号在以第一次序排列的n个信道中的第i个信道上的csi相位，i、j、n为正整数，i≤n，j≤m。
[0015]
在本身实施例的一种可能的实现中，待识别图像包括第三图像和第四图像，其中，第三图像中第i行第j列的像素值表示第j帧无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值；第四图像中第i行第j列的像素值表示第j帧无线信号在以第二次序排列的n个信道中的第i个信道上的csi相位，第一次序不同于第二次序。
[0016]
上述方法，输入目标人体动作模型的待识别图像包括以两种次序的信道编码得到的图像，可以提取出更丰富的特征信息，可以进一步提高识别的准确性。
[0017]
可选地，以第一次序排列的n个信道的频率递增，以第二次序排列的n个信道的频率非递增。
[0018]
可选地，以第一次序排列的n个信道的频率递减，以第二次序排列的n个信道的频率非递减。
[0019]
可选地，在以第一次序排列的n个信道中任意两个相邻的信道在以第二次序排列的n个信道中不相邻。
[0020]
在本身实施例的一种可能的实现中，信号特征包括信号强度指示(received signal strength indication，rssi)，待识别图像还包括第五图像，第五图像中第j列的像素值表示第j帧无线信号的rssi。
[0021]
上述方法，由于rssi是所有子载波的幅值的叠加，考虑到无线信号的总体幅值，并以其作为输入数据用于人体动作的识别，提高准确性。
[0022]
在本身实施例的一种可能的实现中，执行设备与第一无线接收设备为同一设备，执行设备获取待识别图像的一种实现可以是：执行设备接收由第一无线发射设备发射的m帧无线信号；提取m帧无线信号中每一帧无线信号的信号特征；在时间和信道维度上对m帧
无线信号的信号特征进行编码，得到待识别图像。
[0023]
在本申请实施例的一种可能的实现中，执行设备获取待识别图像的另一种实现方式可以是：执行设备接收由第一无线接收设备发送的m帧无线信号的信号特征；在时间和信道维度上对m帧无线信号的信号特征进行编码，得到待识别图像。
[0024]
在本身实施例的一种可能的实现中，将待识别图像输入到人体动作识别模型，得到识别结果之前，该方法还可以包括：执行设备根据无线发射设备无线接收设备的组合与人体动作识别模型的对应关系，查找第一无线发射设备和第一无线接收设备的组合对应的目标人体动作识别模型。
[0025]
在本身实施例的一种可能的实现中，执行设备与训练设备为同一设备，该方法还可以包括：
[0026]
采集训练样本，训练样本包括样本图像和样本图像对应的人体动作的类别，样本图像是由m帧第一无线信号的信号特征在时间和信道维度上编码得到的，m帧第一无线信号是由在第一无线接收设备和第一无线发射设备之间发生第一人体动作时第一无线接收设备接收到的由第一无线发射设备发射的无线信号，第一人体动作属于样本图像对应的人体动作的类别；
[0027]
根据样本图像和样本图像对应的人体动作的类别训练神经网络，得到目标人体动作识别模型，其中，样本图像为训练输入，样本图像对应的人体动作的类别为训练标签。
[0028]
在本申请实施例的一种可能的实现中，样本图像包括第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像中的至少一个，其中，第一样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值；第二样本图像中第i行第j列的像素值表示第j帧第一第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi相位；第三样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值；第四样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi相位；第五图像中第j列的像素值表示第j帧第一无线信号的rssi；第一次序不同于第二次序，第一无线信号包括n个信道，i、j、n为正整数，i≤n，j≤m。
[0029]
第二方面，本申请实施例还提供了一种无线信号的处理的方法，该方法包括：无线接收设备接收由无线发射设备发射的m帧无线信号，提取m帧无线信号中每一帧无线信号的信号特征，然后，在时间和信道维度上对m帧无线信号的信号特征进行编码，得到待识别图像。
[0030]
可选地，无线接收设备还可以将待识别图像发送至执行设备，以使执行设备根据待识别图像识别人体动作的类别。
[0031]
其中，关于待识别图像和执行设备识别人体动作的类别的实现可以参见上述第一方面中关于待识别图像的相关描述，此处不再赘述。
[0032]
无线接收设备可以是具有无线信号接收功能的电子设备，比如灯比如灯、冰箱、洗衣机、衣柜、热水器、窗帘、锁、无线路由器等智能家居设备。
[0033]
第三方面，本申请实施例还提供了一种神经网络的训练方法，该方法包括：训练设备接收由第一无线接收设备发送的m帧第一无线信号的信号特征，其中，m帧第一无线信号是由在第一无线接收设备和第一无线发射设备之间发生第一人体动作时第一无线接收设
备接收到的由所述第一无线发射设备发射的无线信号，m为大于1的整数；进而，训练设备在时间和信道维度上对所述m帧第一无线信号的信号特征进行编码，得到样本图像；进一步地，训练设备根据样本图像和样本图像对应的人体动作的类别训练神经网络，得到目标人体动作识别模型，其中，样本图像为训练输入，样本图像对应的人体动作的类别为训练标签，第一人体动作属于该样本图像对应的人体动作的类别。
[0034]
应理解，训练设备可以是第一无线发射设备，也可以是第一无线接收设备，也可以是手机、平板电脑、个人数字助理等终端，云端、服务器等，还可以与执行设备为同一设备，此处不作限定。
[0035]
上述方法通过上述神经网络的训练方法，通过将采集的m帧无线信号的信号特征编码为样本图像，通过样本图像训练神经网络得到的目标人体动作识别模型，以实现基于无线信号的人体动作的识别，更加准确。
[0036]
应理解，在另一种可能的实现中，训练设备也可以获取训练样本，该训练样本，包括上述样本图像和样本图像对应的人体动作的类别。此时，训练设备不必执行接收m帧第一无线信号的信号特征和编码的操作。
[0037]
可选地，在本申请实施例的场景a中，上述第一人体动作可以是摔倒的动作或未摔倒的动作，上述训练得到的目标人体动作识别模型具体可以是人体摔倒识别模型，该模型可以识别人体动作的类型包括摔倒和非摔倒；在另一种实现中，上述第一人体动作可以是在多个区域中的一个区域内的摔倒动作、在多个区域中的一个区域内的未摔倒动作或不在多个区域中的一个区域内的任意动作，上述训练得到的目标人体动作识别模型具体可以是人体摔倒识别模型，该模型可以识别的人体动作的分类可以包括在多个区域中的一个区域中摔倒、在多个区域中的一个区域未摔倒和不在多区域中的一个区域等。
[0038]
可选地，在本申请实施例的场景b中，上述第一人体动作可以是有人闯入的动作或无人闯入的动作，上述训练得到的目标人体动作识别模型具体可以是入侵者识别模型，该模型可以识别人体动作的类型可以包括有人闯入和无人闯入。在另一种实现中，上述第一人体动作也可以是闯入多个区域中的一个区域的动作或未闯入多个区域中的一个区域的动作等，该模型可以识别的人体动作的分类可以包括闯入多个区域中的一个区域、未闯入多个区域中的一个区域等。
[0039]
可选地，在本申请实施例的场景c中，上述第一人体动作可以是任意一种人体动作，上述训练得到的目标人体动作识别模型具体可以是动作识别模型，该模型可以以识别人体动作的类型可以包括多种人体动作或多个人体动作的类别等。
[0040]
应理解，训练设备可以是第一无线发射设备，也可以是第一无线接收设备，也可以是手机、平板电脑、个人数字助理等终端，云端、服务器等，还可以与执行设备为同一设备，此处不作限定。
[0041]
在本申请实施例的一种可能的实现中，训练设备采集训练样本的一种实现可以是：训练设备接收由第一无线接收设备发送的m帧第一无线信号的信号特征；在时间和信道维度上对m帧第一无线信号的信号特征进行编码，得到样本图像。
[0042]
在本申请实施例的一种可能的实现中，信号特征包括信道状态信息(channel state information，csi)；csi包括csi幅值和csi相位，m帧第一无线信号中任意一帧第一无线信号包括n个信道，训练设备在时间和信道维度上对m帧第一无线信号的信号特征进行
编码，得到样本图像，可以包括：
[0043]
训练设备将第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值编码为第一样本图像中第i行第j列的像素值；以及，训练设备将第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi相位编码为第二样本图像中第i行第j列的像素值；i、j为正整数，i≤n，j≤m，样本图像包括第一样本图像和第二样本图像。
[0044]
在本申请实施例的一种可能的实现中，训练设备在时间和信道维度上对m帧第一无线信号的信号特征进行编码，得到样本图像，还可以包括：
[0045]
训练设备将第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值编码为第三样本图像中第i行第j列的像素值；以及，训练设备将第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi相位编码为第四样本图像中第i行第j列的像素值，i、j为正整数，i≤n，j≤m，样本图像包括第三样本图像和第四样本图像，第一次序不同于第二次序。
[0046]
上述方法，训练使用的样本图像包括不同次序的信道编码得到的多个图像，为模型的训练提供差异化的输入数据，降低模型的训练难度，使得训练得到的目标人体动作识别模型可以更好地提取更丰富的特征信息，进一步提高识别的准确性。
[0047]
在本申请实施例的一种可能的实现中，信号特征包括信号强度指示(received signal strength indication，rssi)，训练设备在时间和信道维度上对m帧第一无线信号的信号特征进行编码，得到样本图像，还可以包括：训练设备将第j帧第一无线信号的rssi编码为第五样本图像中第j列的像素值，样本图像还包括第五样本图像。
[0048]
上述方法，由于rssi是所有子载波的幅值的叠加，考虑到无线信号的总体幅值，并以其作为输入数据用于人体动作的识别，提高准确性。
[0049]
可选地，以第一次序排列的n个信道的频率递增，以第二次序排列的n个信道的频率非递增。
[0050]
可选地，以第一次序排列的n个信道的频率递减，以第二次序排列的n个信道的频率非递减。
[0051]
可选地，在以第一次序排列的n个信道中任意两个相邻的信道在以第二次序排列的n个信道中不相邻。
[0052]
第四方面，本申请实施例还提供了一种人体动作的识别装置，包括：
[0053]
获取单元，用于获取待识别图像，其中，所述待识别图像是在时间和信道的维度上对m帧无线信号的信号特征进行编码得到的图像，所述m帧无线信号是第一无线接收设备接收到的由第一无线发射设备发射的无线信号，所述第一无线接收设备和所述第一无线发射设备之间的距离大于第一阈值，m为大于1的整数；
[0054]
识别单元，用于将所述待识别图像输入到目标人体动作识别模型，所述待识别图像对应的人体动作的类型。
[0055]
可选地，该装置还可以包括用于实现第一方面所述方法的功能单元，具体可以参见上述第一方面相关描述，此处不再赘述。
[0056]
第五方面，本申请实施例还提供了一种无线信号的处理装置，包括：
[0057]
接收单元，用于接收由无线发射设备发射的m帧无线信号；
[0058]
提取单元，用于提取所述m帧无线信号中每一帧无线信号的信号特征；
[0059]
编码单元，用于在时间和信道维度上对所述m帧无线信号的信号特征进行编码，得到待识别图像。
[0060]
可选地，该无线信号的处理装置还可以包括发送单元，用于将所述待识别图像发送至执行设备，以使所述执行设备根据所述待识别图像识别人体动作的类别。
[0061]
可选地，该装置还可以包括用于实现第二方面所述方法的功能单元，具体可以参见上述第二方面相关描述，此处不再赘述。
[0062]
第六方面，本申请实施例还提供了一种神经网络的训练装置，其特征在于，所述方法包括：
[0063]
接收单元，用于接收由所述第一无线接收设备发送的m帧第一无线信号的信号特征，其中，所述m帧第一无线信号是由在所述第一无线接收设备和所述第一无线发射设备之间发生第一人体动作时所述第一无线接收设备接收到的由所述第一无线发射设备发射的无线信号，m为大于1的整数；
[0064]
编码单元，用于在时间和信道维度上对所述m帧第一无线信号的信号特征进行编码，得到样本图像；
[0065]
训练单元，用于根据所述样本图像和所述样本图像对应的人体动作的类别训练神经网络，得到所述目标人体动作识别模型，其中，所述样本图像为训练输入，所述样本图像对应的人体动作的类别为训练标签，所述第一人体动作属于所述样本图像对应的人体动作的类别。
[0066]
可选地，该装置还可以包括用于实现第二方面所述方法的功能单元，具体可以参见上述第二方面相关描述，此处不再赘述。
[0067]
第七方面，本申请实施例还提供了一种人体动作的识别装置，包括处理器和存储器，所述存储器用于存储程序，所述处理器执行所述存储器存储的程序，当所述存储器存储的程序被执行时，使得所述处理器实现如第一方面所示的任一种方法。
[0068]
第八方面，本申请实施例还提供了一种无线信号的处理装置，包括处理器、无线通信模块和存储器，所述存储器用于存储程序，所述无线通信模块用于接收无线发射设备发送的无线信号和提取所述m帧无线信号的信号特征，，所述处理器执行所述存储器存储的程序，当所述存储器存储的程序被执行时，使得所述处理器实现如第二方面所示的任一种方法。
[0069]
第九方面，本申请实施例还提供了一种神经网络的训练装置，包括处理器和存储器，所述存储器用于存储程序，所述处理器执行所述存储器存储的程序，当所述存储器存储的程序被执行时，使得所述处理器实现如第三方面所示的任一种方法。
[0070]
第十方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读介质用于存储程序代码，所述程序代码包括用于执行如第一方面所示的任一种方法。
[0071]
第十一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读介质用于存储程序代码，所述程序代码包括用于执行如第二方面所示的任一种方法。
[0072]
第十二方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读介质用于存储程序代码，所述程序代码包括用于执行如第三方面所示的任一种方法。
[0073]
第十三方面，本申请实施例还提供了提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的方法。
[0074]
第十四方面，本申请实施例还提供了提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第二方面中的方法。
[0075]
第十五方面，本申请实施例还提供了提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如上述第三方面中的任一种方法。
[0076]
第十六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面、第二方面或第三方面中的方法。
[0077]
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面、第二方面或第三方面中的方法。
[0078]
第十七方面，提供一种电子设备，该电子设备包括上述第四方面至第六方面中的任意一个方面中的人体动作的识别装置。
[0079]
第十八方面，提供一种电子设备，该电子设备包括上述第五方面至第七方面中的任意一个方面中的无线信号的处理装置。
[0080]
第十九方面，提供一种电子设备，该电子设备包括上述第六方面至第八方面中的任意一个方面中的神经网络的训练装置。
附图说明
[0081]
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
[0082]
图1是本申请实施例提供的一种无线感知系统的示意性说明图；
[0083]
图2a是本申请实施例提供的用于人体摔倒的识别中的一种无线发射设备和无线接收设备分布方式的示意性说明图；
[0084]
图2b本申请实施例提供的一种人体摔倒的识别方法的流程示意图；
[0085]
图2c是本申请实施例提供的用于人体摔倒的识别中的另一种无线发射设备和无线接收设备分布方式的示意性说明图；
[0086]
图2d是本申请实施例提供的一种人体摔倒的识别方法的示意性说明图；
[0087]
图3a是本申请实施例提供的用于入侵者闯入的识别方法中的一种无线发射设备和无线接收设备分布方式的示意性说明图；
[0088]
图3b本申请实施例提供的一种入侵者闯入的识别方法的流程示意图；
[0089]
图4是本申请实施例提供的一种系统架构图；
[0090]
图5是本申请实施例提供的根据cnn模型进行人体动作识别的示意图；
[0091]
图6是本申请实施例提供的一种芯片硬件结构示意图；
[0092]
图7a是本申请实施例提供的一种神经网络的训练方法的示意性流程图；
[0093]
图7b是本申请实施例提供的训练设备获取训练样本的一种实现方法的流程示意图；
[0094]
图7c是本申请实施例提供的训练设备获取训练样本的另一种实现方法的流程示意图；
[0095]
图7d是本申请实施例提供的第一样本图像和第二样本图像的示例图；
[0096]
图7e是本申请实施例提供的第三样本图像和第四样本图像的示例图；
[0097]
图7f是本申请实施例提供的第五样本图像的示例图；
[0098]
图7g是本申请实施例提供的一种卷积神经网络的架构的示例的示例图；
[0099]
图8a是本申请实施例提供的一种人体动作的识方法的流程示意图；
[0100]
图8b是本申请实施例提供的另一种人体动作的识方法的流程示意图；
[0101]
图8c是本申请实施例提供的又一种人体动作的识方法的流程示意图；
[0102]
图9是本申请实施例提供的一种神经网络的训练装置的的示意性框图；
[0103]
图10是本申请实施例提供的一种人体动作的识别装置的的示意性框图；
[0104]
图11是本申请实施例提供的一种无线信号的处理装置的的示意性框图；
[0105]
图12是本申请实施例提供的一种神经网络的训练装置的的示意性框图；
[0106]
图13是本申请实施例提供的又一种人体动作的识别装置的的示意性框图；
[0107]
图14是本申请实施例提供的又一种无线信号的处理装置的的示意性框图。
具体实施方式
[0108]
下面将结合附图，对本申请中的技术方案进行描述。
[0109]
在介绍本申请实施例之前，首先介绍本申请实施例中涉及的基于无线信号的动作识别原理。
[0110]
请参阅图1所示的无线感知系统的示意性说明图，该无线感知系统包括至少一个无线发射设备和至少一个无线接收设备，无线发射设备和无线接收设备分别设置房间内不同的位置。无线发射设备(tx)向周围发射无线信号，该无线信号主要通过三种路径传播到接收设备(rx)，第一种是视距直达(line-of-sight，los)路径，即无线信号在被无线发射设备发射后，没有经过任何障碍物的反射，直接到达无线接收设备；第二种是静态物体反射路径，即经过环境中障碍物(如天花板、地面、桌子等室内静态物体)的反射之后到达无线接收设备；第三种是动态物体反射路径，即经过人体、动物等动态物体反射之后到达无线接收设备。在该三种路径经中，前两种传播路径相对稳定；然而，第三种传播路径下，由于人体的位置和动作的不同，会导致无线信号的传播路径的不同，进而导致无线接收设备接收到的经过人体反射的无线信号的rssi和csi等信号特征的不同。因此，通过分析接收到的无线信号的rssi和csi等信号特征的变化就可以识别出人体动作。
[0111]
下面将结合附图，对本申请中的技术方案进行描述。
[0112]
本申请实施例提供的人体动作识别方法能够应用在动作监测、室内安防、自动控制或其它需要进行人体动作识别的场景。具体而言，本申请实施例的人体动作识别方法能够应用在人体摔倒检测的场景、室内安防和人体动作控制的场景等中，下面分别对人体摔倒检测的场景室内安防和人体动作控制的场景进行简单的介绍。
[0113]
场景a(人体摔倒检测)：
[0114]
通常，当老人独自在家或独自居住，或者小孩独自在家时，为老人/小孩安全着想，可以在房间中设置无线发射设备和无线接收设备，如图2a所示。如图2b所示为本申请实施例提供的一种人体摔倒的识别方法的流程示意图，通过如下部分或全部步骤实现人体摔倒检测：
[0115]
(a1)采集训练样本
[0116]
s202：无线接收设备可以接收人体在摔倒时由无线发射器发射的m帧无线信号s1，
通过网卡(具体为网卡上的csi、rssi的读取接口)获取到该m帧无线信号s1的信号特征，比如rssi和/或csi等，m为大于1的正整数。
[0117]
s204：在时间和信道的维度上对接收到的m帧无线信号s1的信号特征进行编码，得到标签为“摔倒”的样本图像。
[0118]
s206：无线接收设备可以接收人体在做除摔倒动作之外的其他动作时由无线发射器发射的m帧无线信号s2，通过网卡获取到该m帧无线信号s2的信号特征，比如rssi和/或csi等。
[0119]
s208：对该m帧无线信号s2的信号特征进行编码，得到标签为“非摔倒”的样本图像。
[0120]
应理解，上述s104或108可以由无线接收设备或训练设备执行，上述s202-s204中的步骤与s106-s108中的步骤可以不分先后。上述s101-s108仅仅是一种本申请实施例的一种实现。通过多次采集可获取到多个包含标签的样本图像，得到训练样本集。
[0121]
还应理解，为满足用户对于人体摔倒识别的精确度的要求，得到识别粒度更精细的人体摔倒识别模型，可以对样本图像标注不同粒度的标签。在本申请实施例的另一种实现中，为了可以识别出在那个房间摔倒，标签还可以是“在a房间摔倒”、“在b房间摔倒”、“在c房间摔倒”和“未摔倒”等，无线发射设备可以采集得到上述标签分别对应的样本图像。
[0122]
假设无线信号s1、s2的包括n个信道，n为正整数，则得到的样本图像可以是大小为m
×
n的图像；进一步地，若信号特征包括rssi、csi幅值和csi相位，该样本图像可以包括3张大小为m
×
n的图像，需要利用包括3个通道的神经网络(如卷积神经网络)进行训练；更进一步地，若对信号特征为csi幅值和csi相位的图像中的信道的进行重新排序，可以得到再得到2张图像，此时需要利用包括5个通道的卷积神经网络进行训练。
[0123]
其中，无线接收设备可以是房间内的具有接收无线信号和提取无线信号的信号特征功能的灯、冰箱、洗衣机、衣柜、热水器、窗帘、锁、无线路由器等智能家居设备。无线发射设备可以是具有无线信号发射功能的智能家居设备，如wifi路由器等。在下一次无线信号的发射和接收过程中，上述无线发射设备也可以作为无线接收设备，上述无线接收设备也可以作为无线发射设备。
[0124]
为满足用户对于人体摔倒识别的精确度的要求，可以采用不同的标签的粒度，比如，为了可以识别出在那个房间摔倒，人体动作的分类(即标签)可以包括在a房间摔倒、在a房间未摔倒、在b房间摔倒、在b房间未摔倒、在c房间摔倒、在c房间未摔倒等，无线采集设备可以采集对应上述各个标签的样本图像。
[0125]
(a2)训练人体摔倒识别模型
[0126]
s210：训练设备通过采集到的图像样本训练得到人体摔倒识别模型。
[0127]
在得到训练样本集之后，训练设备可以利用训练样本集对初始化的神经网络进行训练，得到人体摔倒识别模型。其中，训练设备可以是无线接收设备本身；训练设备也可以是无线发射设备，如wifi路由器等；也可以是手机、平板电脑、个人数字助理(personal digital assistant，pda)等终端；还可以是服务器或云端等。在训练设备不为无线接收设备的情况下，无线接收设备可以将采集到的的m帧无线信号的信号特征发送至训练设备，由训练设备对其进行编码得到样本图像；或者，由无线接收设备对采集到m帧无线信号的信号特征编进行编码，得到样本图像。还应理解，无线接收设备可以接收用户针对样本图像输入
的标签，无线接收设备还可以向训练设备发送样本图像对应的标签；或者，训练设备在接收到样本图像或m帧无线信号的信号特征后，可以接收用户针对接收到的样本图像或m帧无线信号的信号特征输入的标签，以实现对样本图像标注标签。
[0128]
(a3)在线识别人体摔倒
[0129]
s212：无线接收设备实时接收由无线发射器发射的m帧无线信号，并提取该m帧无线信号s6的信号特征。
[0130]
s214：无线接收设备可以将该m帧无线信号的信号特征发送给执行设备。
[0131]
s216：执行设备可以在时间和信道的维度上对接收到的信号特征进行编码，得到待识别图像。
[0132]
s218：执行设备将该识别图像输入到人体摔倒识别模型，人体摔倒识别模型对输入的待识别图像进行处理，得到识别结果。
[0133]
无线接收设备对m帧无线信号的信号特征的编码得到待识别图像，此时无线接收设备可以将待识别图像发送至执行设备。其中，执行设备可以同训练设备为同一或不同设备，执行设备可以是无线接收设备本身；也可以是无线发射设备，如wifi路由器等；也可以是手机、平板电脑、个人数字助理(personal digital assistant，pda)等终端；还可以是服务器或云端等。
[0134]
应理解，执行设备还可以向终端，比如老人或小孩的监护人的手机发送该识别结果；也可以在该识别结果为摔倒时，执行设备向监护人的手机、平板电脑等终端发送该识别结果，以使监护人可以知晓老人或小孩的摔倒状况，及时采取急救措施；还可以呼叫“120”，向急救中心发送求救信息等。
[0135]
在另一种人体摔倒识别的场景中，不同的区域可以分别设置一个无线接收设备，如图2c所示，a房间、b房间、c房间等不同的区域分别设置一个无线接收设备，a房间的灯具201、b房间的热水器202以及c房间的冰箱203。应理解，设置于第一区域的第一无线接收设备(例如灯具201)用于检测该第一区域(a房间)内的人体摔倒事件，第一无线接收设备为任意一个无线接收设备。可以设置一个或多个无线发射设备，本申请实施例中，一个无线发射设备为例来说明，例如在c房间内设置一个wifi路由器204。
[0136]
对于不同无线发射设备和无线接收设备的组合方式来说，由于各个无线发射设备和无线接收设备所处的位置的不同，其无线信号的传输路径不同，因此，针对每一对无线发射设备和无线接收设备(即一个无线发射设备和一个无线接收设备的组合)需要训练一个人体摔倒识别模型，也就是说一对无线发射设备和无线接收设备对应一个人体摔倒识别模型。
[0137]
例如，a房间的灯具201采集在a房间发生人体摔倒时的m帧无线信号，并提取到该m帧无线信号的信号特征；进而在时间和信道的维度上对接收到的m帧无线信号的信号特征进行编码，得到标签为“在a房间摔倒”的样本图像。同理，a房间的灯具201采集人体在a房间但未发生人体摔倒时的m帧无线信号，通过对该m帧无线信号进行提取和编码，得到标签为“在a房间未摔倒”的样本图像，以及a房间的灯具201采集人体不在a房间但的m帧无线信号，通过对该m帧无线信号进行提取和编码，得到标签为“不在a房间”的样本图像。进一步地，训练设备通过上述得到的标签为“在a房间摔倒”的样本图像、“在a房间未摔倒”的样本图像和“不在a房间”的样本图像对初始化的神经网络(如卷积神经网络)进行训练，得到第一人体
摔倒识别模型，其中，训练设备，可以是灯具201、wifi路由器204、手机或平板电脑、服务器等。
[0138]
同理，b房间的热水器202采集wifi路由器203发射的无线信号，得到标签分别为“在b房间的摔倒”、“在b房间未摔倒”和“不再b房间”的样本图像，进而基于热水器202得到的样本图像，对初始化的卷积神经网络进行训练，得到第二人体摔倒识别模型。同理，c房间的冰箱203可以采集wifi路由器203发射的无线信号，得到标签分别为“在c房间的摔倒”、“在c房间未摔倒”和“不在c房间”的样本图像，进而基于冰箱203得到的样本图像，对初始化的卷积神经网络进行训练，得到第三人体摔倒识别模型。关于热水器202和冰箱203采集无线信号，得到样本图像的具体实现可以参见上述灯具201采集无线信号得到样本图像的具体实现中的相关描述，此处不再赘述。
[0139]
训练设备在得到上述第一人体摔倒识别模型、第二人体摔倒识别模型、第三人体摔倒识别模型后，可以将训练好的模型发送至执行设备。进而，执行设备可以利用接收到的模型识别房间监控房间内是否发生人体摔倒事件。例如，第一无线接收设备实时接收第一无线发射设备发射的m帧无线信号，进而，第一无线接收设备可以提取m帧无线信号中的信号特征，进而将提取得到的信号特征、第一无线发射设备的标识和第二无线接收设备的标识发送至执行设备；执行设备可以在时间和信道的维度上对接收到的信号特征进行编码，得到待识别图像；进而，根据第一无线发射设备与第一无线接收设备的组合与人体摔倒识别模型的对应关系，确定第一无线发射设备和第一无线接收设备的组合对应的人体摔倒识别模型，将该待识别图像输入到该第一无线发射设备和第一无线接收设备的组合对应的人体摔倒识别模型，得到该待识别图像的识别结果。如图2d所示，灯具201接收到wifi路由器204发射的m帧无线信号的信号特征所编码得到的图像可以被输入到第一人体摔倒识别模型，进而，得到识别结果“在a房间摔倒”、“在a房间未摔倒”或“不在a房间”中的一种。同理，可以分别通过热水器204、冰箱203可以采集的无线信号，识别到b房间和c房间的摔倒事件。
[0140]
在本身实施例的另一种实现中，执行设备可以是无线接收设备本身，此时，无线接收设备可以存储该无线接收对应的一个或多个人体摔倒识别模型。应理解，当无线发射设备为多个时，一个无线接收设备可以与多个无线发射设备组合，此时，一个无线接收设备可以对应多个无线发射设备。
[0141]
例如，a房间的灯具201接收wifi路由器204发射的m帧无线信号，灯具201提取该m帧无线信号的信号特征，灯具201对该信号特征进行编码得到待识别图像，进而，灯具201将待识别图像输入到第一人体摔倒模型，得到识别结果。在识别结果为摔倒时，灯具201可以向用户的终端发送提示信息，以告知用户a房间有人摔倒。
[0142]
本申请实施例中，通过将多帧无线信号的信号特征编码为图像，进而，可以利用神经网络进行训练，得到人体摔倒识别模型，进而基于多帧无线信号识别是否有人摔倒，提高识别结果的准确性。
[0143]
场景b(室内安防)：
[0144]
通常，为室内安全考虑，用户需要监控家中是否有人闯入，此时，可以在房间中设置一个或多个无线发射设备、一个或多个无线接收设备，如图3a所示一种无线发射设备和无线接收设备的布置方式的示意性说明图。如图3b所示的入侵者检测的方法，具体通过如下部分或全部步骤可以实现入侵者检测：
[0145]
(b1)采集训练样本；
[0146]
s302：无线接收设备可以接收在有人闯入房中时由无线发射设备发射的m帧无线信号s3，进而通过网卡(具体为网卡上的csi、rssi的读取接口)获取到该m帧无线信号s3的信号特征，比如rssi和/或csi等，m为大于1的正整数。有人闯入房中的动作可以是有人打开门，或有人从门口进入的动作等。
[0147]
s304：在时间和信道的维度上对m帧无线信号s3的信号特征进行编码，得到标签为“有人闯入”的样本图像。
[0148]
s306：无线接收设备可以接收在没有人闯入房中(即除有人闯入房中的动作之外的其他动作或无动作，例如房内有人但未发生有人打开门的动作，或，房内的没有人且没有发生人打开门动作等)时由无线发射设备发射的m帧无线信号s4。有人闯入房中的动作可以是有人打开门，或有人从门口进入的动作等。
[0149]
s308：在时间和信道的维度上对m帧无线信号s4的信号特征进行编码，得到标签为“无人闯入”的样本图像。
[0150]
应理解，通过多次采集可获取到多个包含标签的样本图像，得到训练样本集。为提高识别的准确度，可以将无线发射设备和无线接收设备，一个设置于室内门口处或室外门口处，一个设置于室内。
[0151]
还应理解，上述标签为“有人闯入”的样本图像和标签为“无人闯入”的样本图像还可以包括其他的采集方式，例如，无线接收设备也可以采集到门口有人出现时接收到的m帧无线信号，得到标签为“有人闯入”的样本图像；无线接收设备也可以采集门口无人的情况下在其他位置发生人体动作或无人体动作时的m帧无线信号，得到标签为“无人闯入”的样本图像。
[0152]
同上述无线信号s1、s2类似，包括n个信道的无线信号s3、s4的信号特征可以分别编码得到1张大小为m
×
n的图像、3张大小为m
×
n的图像、5张大小为m
×
n的图像或其他张图片，具体参见上述场景一中相关描述，此处不再赘述。
[0153]
同上述场景一中类似，无线接收设备可以是房间内的具有接收无线信号和提取无线信号的信号特征功能智能家居设备。无线发射设备可以是具有无线信号发射功能的智能家居设备等，具体可参见上述场景一中相关描述，此处不再赘述。
[0154]
为满足用户对于室内闯入识别的精确度的要求，可以采用不同的标签的粒度，比如，为了可以识别出人体闯入的房间，人体动作的分类(即标签)可以包括闯入a房间、闯入b房间、闯入c房间、无人闯入室内等，无线采集设备可以采集对应上述各个标签的样本图像。
[0155]
(b2)训练入侵者识别模型；
[0156]
s310：训练设备通过采集到的图像样本训练得到入侵者识别模型。
[0157]
在得到训练样本集之后，训练设备可以利用训练样本集对初始化的神经网络进行训练，得到入侵者识别模型。其中，关于训练设备、训练设备如何标注图像样本的标签等的具体实现同场景一中类似，具体可以参见上述场景一中步骤(b)中相关描述，本申请实施例不再赘述。
[0158]
(b3)在线检测
[0159]
s312：无线接收设备可以实时接收由无线发射器发射的m帧无线信号，并提取该m帧无线信号的信号特征。
[0160]
s314：无线接收设备可以将该m帧无线信号的信号特征发送给执行设备。
[0161]
s316：执行设备可以在时间和信道的维度上对接收到的信号特征进行编码，得到待识别图像。
[0162]
s318：执行设备将该识别图像输入到入侵者识别模型，入侵者识别模型对输入的待识别图像进行处理，得到识别结果。
[0163]
关于执行设备的具体实现同场景一中类似，具体可以参见上述场景一中步骤(c)中相关描述，本申请实施例不再赘述。
[0164]
在本申请实施例的另一种实现中，同上述场景一相似，上述s216还可以由无线接收设备执行，具体本申请实施例不再赘述。应理解，执行设备还可以向终端，比如业主的手机发送该识别结果；也可以在该识别结果为“有人闯入”时，执行设备向业主的手机、平板电脑等终端发送该识别结果，以使业主可以室内安全情况，及时采取急救措施；还可以呼叫“110”，向公安部门发送报警信息等。
[0165]
本申请实施例中，通过将多帧无线信号的信号特征编码为图像，进而，可以利用神经网络进行训练，得到入侵者识别模型，进而基于多帧无线信号识别是否有人闯入房内，提高识别结果的准确性。
[0166]
场景c(人体动作控制)
[0167]
为满足用户个性化需求，可以通过人体动作来实现对手机、平板电脑、pda、智能手表、vr/ar设备等终端，电视、热水器、冰箱、灯、锁、窗帘等智能家居设备的控制。
[0168]
用户可以设计人体动作，以及设定该人体动作对应的操作。在本申请实施例的一种实现(1)中，上述操作可以是针对一个设备的操作，以操作作用的设备，为手机为例来说明，如下表1所示的一种人体动作与操作的对应关系：
[0169]
序号人体动作操作1张开双臂打开音乐播放器2举双手挂断电话3举单手接听电话4鼓掌2秒钟后拍照
………………
[0170]
表1
[0171]
在具体的应用场景中，当手机检测到当前发生的人体动作后，可以通过如表1所述的人体动作与操作的对应关系，确定该当前发生的人体动作对应的目标操作，进而，手机执行目标操作。
[0172]
本申请实施例以表1为例来说明，在本申请实施例的其他实现中，还可以设置其他的人体动作与操作的对应关系，多个操作也可以分别作用于多个设备，本申请实施例不作限定。
[0173]
为实现上述功能，首先需要识别人体动作，采集训练样本，并通过训练样本训练得到动作识别模型，该动作识别模型可以识别人体动作的类别，该人体动作的类别可以包括多种人体动作。
[0174]
(c1)采集训练样本
[0175]
s402：无线接收器可以接收在发生第一人体动作时由无线发射器发射的m帧无线
信号s5，通过网卡(具体为网卡上的csi、rssi的读取接口)获取到该m帧无线信号s5的信号特征，比如rssi和/或csi等，m为大于1的正整数。其中，无线接收设备和无线发射设备可以分布于房间中任意两个不同的位置，例如，场景a中图2a和图2c中的分布方式，具体可以参见上述场景a中相关描述，此处不再赘述。
[0176]
s404：在时间和信道的维度上对接收到的m帧无线信号s5的信号特征进行编码，得到标签为“第一人体动作”的样本图像。
[0177]
可以理解，通过上述采集的方法，可以得到标签为各种人体动作的样本图像。上述多种训练样本组成样本训练集。其中，第一人体动作为多种人体动作中的任意一种。
[0178]
在本申请实施例的另一种实现中，还可以根据位置进一步对人体动作进行分类，此时，人体动作的类别可以包括还可以包括在第一位置发生的人体动作a、在第一位置发生的人体动作b、在第二位置发生的人体动作a、在第二位置发生的人体动作b等。本申请实施例以人体动作的分类为多个人体动作为例来说明。
[0179]
(c2)训练动作识别模型；
[0180]
s406：训练设备通过采集到的图像样本训练得到动作识别模型。
[0181]
在得到训练样本集之后，训练设备可以利用训练样本集对初始化的神经网络进行训练，得到动作识别模型。其中，关于训练设备、训练设备如何标注图像样本的标签等的具体实现同场景一中类似，具体可以参见上述场景a中步骤(a2)中相关描述，本申请实施例不再赘述。
[0182]
(c3)在线检测
[0183]
s408：无线接收设备可以实时接收由无线发射器发射的m帧无线信号，并提取该m帧无线信号的信号特征。
[0184]
s410：无线接收设备可以将该m帧无线信号的信号特征发送给执行设备。
[0185]
s412：执行设备可以在时间和信道的维度上对接收到的信号特征进行编码，得到待识别图像。
[0186]
s414：执行设备将该识别图像输入到动作识别模型，动作识别模型对输入的待识别图像进行处理，得到识别结果。该识别结果指示人体动作的类别。
[0187]
关于执行设备的具体实现同场景一中类似，具体可以参见上述场景a中步骤(a3)中相关描述，本申请实施例不再赘述。
[0188]
在本申请实施例的另一种实现中，同上述场景一相似，上述s412还可以由无线接收设备执行，此时，无线接收设备可以向执行设备发送待识别图像，具体本申请实施例不再赘述。
[0189]
应理解，执行设备在得到识别结果，即待识别图像对应的人体动作或人体动作的类别后，本申请实施例中也称目标人体动作，可以根据人体动作与操作的对应关系，进而执行或实现该目标人体动作对应的操作。
[0190]
例如，执行设备为手机，当目标人体动作为“张开双臂”，根据表1所示的人体动作与操作的对应关系，此时手机可以打开音乐播放器。
[0191]
再例如，执行设备为手机，当目标人体动作对应的操作为开启热水器时，手机通过客户端可以向热水器发送开启指令，以使热水器在接收开启指令后，开启热水器。此时，手机、平板电脑等终端可以包括管理家庭中智能家居设备的功能，例如，对同一wifi下的设备
进行控制和管理。
[0192]
需要说明的是，场景a、场景b、场景c的具体实现还可以参见下述模型的训练方法的实施例和人体动作识别方法的实施例中相关描述，此处不再赘述。
[0193]
需要说明的是，虽然本申请各个场景中都是用了m帧无线信号、样本图像、训练样本集、初始化的神经网络、待识别图像等，应理解，在不同的场景中，上述m帧无线信号、初始化的神经网络、待识别图像的含义相互独立。
[0194]
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
[0195]
(1)基于无线信号的人体动作识别
[0196]
请参阅图1所示的无线感知系统的示意性说明图，该无线感知系统包括至少一个无线发射设备和至少一个无线接收设备，无线发射设备和无线接收设备
[0197]
由无线发射设备发射的无线信号在经过人体、动物等动态物体反射之后到达无线接收设备的情况下，由于人体的位置和动作的不同，会导致无线信号的传播路径的不同，进而导致无线接收设备接收到的经过人体反射的无线信号的rssi和csi等信号特征的不同。因此，通过分析接收到的无线信号的rssi和csi等信号特征的变化就可以识别出人体动作。
[0198]
本申请实施例中，通过在信道和时间维度上将多帧无线信号的信号特征编码成的图像，进而利用图像处理、机器学习、计算机图形学等相关方法，识别到图像数据对应的人体动作或人体动作的类别。
[0199]
(2)神经网络
[0200]
神经网络可以是由神经单元组成的，神经单元可以是指以x
s
和截距1为输入的运算单元，该运算单元的输出可以为：
[0201][0202]
其中，s＝1、2、
……
n，n为大于1的自然数，ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
[0203]
(3)深度神经网络
[0204]
深度神经网络(deep neural network，dnn)，也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从dnn按不同层的位置划分，dnn内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然dnn看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：其中，是输入向量，是输出向量，b是偏移向量，w是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量经过如此简单的操作得到输出向量由于dnn层数多，则系数w和偏
移向量b的数量也就很多了。这些参数在dnn中的定义如下所述：以系数w为例：假设在一个三层的dnn中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为上标3代表系数w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第l-1层的第k个神经元到第l层的第j个神经元的系数定义为需要注意的是，输入层是没有w参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量w形成的权重矩阵)。
[0205]
(4)卷积神经网络
[0206]
卷积神经网络(cnn，convolutional neuron network)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
[0207]
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
[0208]
(5)损失函数
[0209]
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
[0210]
(6)反向传播算法
[0211]
卷积神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正卷积神经网络中参数的大小，使得卷积神经网络的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新卷积神经网
络中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的卷积神经网络的参数，例如权重矩阵。
[0212]
(7)像素值
[0213]
图像的像素值可以是一个红绿蓝(rgb)颜色值，像素值可以是表示颜色的长整数。例如，像素值为256*red+100*green+76blue，其中，blue代表蓝色分量，green代表绿色分量，red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。对于灰度图像来说，像素值可以是灰度值。
[0214]
本申请实施例中，待识别图像的像素值与m帧无线信号的信号特征有关，样本图像的像素值与采集得到该样本图像的m帧无线信号的信号特征有关。例如，待识别图像中第i行第j列的像素值可以包括经过归一化处理或未处理的第j帧无线信号在以特定次序排列的n个信道中的第i个信道上的csi幅值、csi相位、rssi等中的一个或多个。
[0215]
下面介绍本申请实施例提供的系统架构。参见附图4，本发明实施例提供了一种系统架构100。如所述系统架构100所示，该系统架构可以包括一个或多个无线发射设备110、一个或多无线接收设备120、训练设备130和执行设备140，其中：
[0216]
无线发射设备110是具有无线信号发射能力的设备，其与无线接收设备120建立通信连接，用于向无线接收设备发送无线信号。无线接收设备120可以接收无线发射设备110发射的多帧无线信号，并提取出每一帧无线信号的信号特征，该信号特征可以包括rssi和/或csi。在一种实现中，无线接收设备120可以包括网卡，通过网卡提取每一帧无线信号的rssi、csi相位和csi幅值。
[0217]
无线发射设备110或无线接收设备120可以是灯、冰箱、洗衣机、衣柜、热水器、窗帘、锁、电视、无线路由器等具备短距离无线通信功能的智能家居设备，也可以是固定位置的手机、平板电脑、台式电脑等终端。无线发射设备110和无线接收设备120可以通过蓝牙、wifi、irda、zigbee、uwb等进行通信。例如，无线发射设备110为wifi路由器、无线接收设备120为智能电视，两者通过wifi进行通信。
[0218]
在本申请实施例的一种实现中，无线接收设备120可以将提取到的信号特征发送至训练设备130或执行设备140。此时，训练设备130可以在时间和信道的维度上对接收到的多帧无线信号的信号特征进行编码，得到本申请各个实施例中的样本图像。应理解，无线接收设备120可以接收用户针对多帧无线信号输入的标签，无线接收设备120还可以向训练设备130发送多帧无线信号对应的标签，即为样本图像的标签；或者，训练设备130多帧无线信号的信号特征后，可以接收用户针对多帧无线信号的信号特征输入的标签，以对样本图像标注标签。
[0219]
同理，执行设备140在接收到无线发射设备110发送的多帧无线信号的信号特征后，可以在时间和信道的维度上对接收到的多帧无线信号的信号特征进行编码，得到本申请各个实施例中的待识别图像。
[0220]
在本申请实施例的另一种实现中，无线接收设备120可以在时间和信道的维度上对多帧帧无线信号的信号特征进行编码，得到本申请中待识别图像或样本图像。进而，无线接收设备120将得到的样本图像发送至数据库150或训练设备130，或将得到的待识别图像发送至执行设备140。应理解，无线接收设备120可以接收用户针对样本图像输入的标签，无线接收设备120还可以向训练设备130发送样本图像对应的标签；或者，训练设备130接收到
样本图像后，可以接收用户针对样本图像输入的标签，以实现对样本图像标注标签。
[0221]
可选地，用户可以手动给定标签数据，该手动给定可以通过无线接收设备120或训练设备的i/o接口提供的界面进行操作。
[0222]
训练设备130或执行设备140可以是无线接收设备120本身，也可以是无线发射设备110，如wifi路由器等，也可以是手机、平板电脑、个人数字助理(personal digital assistant，pda)等终端，还可以是服务器或云端等。
[0223]
一个样本图像和该样本图像的人体动作的类别组成一个训练样本，多个训练样本组成本申请实施例中的训练样本集(也成训练数据)。在得到训练样本集之后，训练设备130可以利用训练样本集对初始化的神经网络131进行训练，得到人体动作识别模型132。该人体动作识别模型132可以应用于不同的系统或设备中，如应用于图4所示的执行设备140，执行设备140可以将待识别图像输入到目标人体动作识别模型中，得到识别结果。该识别结果指示了得到该待识别图像的多帧无线信号的传输路径上发生的人体动作的类别。
[0224]
如附图4所示，执行设备140可以配置有i/o接口143，用于与外部设备，比如无线接收设备120进行数据交互，无线接收设备120可以将从无线发射设备110接收到的多帧无线信号的信号特征或多帧无线信号的信号特征编码得到的待识别图像发送至执行设备140。又例如，执行设备140可以将对待识别图像的识别结果发送给用户设备170，以告知用户的待识别图像的识别结果。
[0225]
可选地，执行设备140可以包括图像编码模块141，图像编码模块141可以对在时间和信道维度上对多帧无线信号的信号特征进行编码，得到待识别图像。
[0226]
在执行设备140对多帧无线信号的信号特征进行编码，或者在执行设备140的计算模块142执行计算等相关的处理过程中，执行设备140可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
[0227]
最后，i/o接口143将处理结果，如上述得到的识别结果发送给其他设备或根据识别结果执行对应的操作。
[0228]
值得说明的是，训练设备130可以针对不同的目标或称不同的任务，基于不同的训练样本生成相应的人体动作识别模型132，该相应的人体动作识别模型134即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
[0229]
可以理解，无线接收设备120可以将训练样本存入数据库160，训练设备130基于数据库160中维护的训练数据训练得到人体动作识别模型132。下面将以实施例一更详细地描述训练设备120如何基于训练样本得到目标人体动作识别模型132。该目标人体动作识别模型132能够用于实现本申请实施例二提供的人体动作的识别方法。
[0230]
值得注意的是，附图4仅是本发明实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在附图1中，数据存储系统150相对执行设备140是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备140中。
[0231]
本申请实施例提供的人体动作识别方法和装置还可以用于扩充数据库160中的训练数据，如图4所示执行设备140的i/o接口143可以将经执行设备处理过的图像(如待识别图像)和用户输入的人体动作的类别一起作为训练数据对发送给数据库160，以使得数据库
160维护的训练数据更加丰富，从而为训练设备130的训练工作提供更丰富的训练数据。
[0232]
在本申请一些实施例中，无线接收设备120也可以作为执行设备140。在本申请的一些实施例中训练设备130和执行设备140可以是同一设备。具体可参见本申请神经网络的训练方法的实施例(即实施例一)和人体动作识别方法的实施例(即为实施例二)中相关描述，此处不再赘述。
[0233]
如前文的基础概念介绍所述，卷积神经网络是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，cnn是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。
[0234]
如图5所示，卷积神经网络(cnn)200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)，以及神经网络层230。
[0235]
卷积层/池化层220：
[0236]
卷积层：
[0237]
如图5所示卷积层/池化层220可以包括如示例221-226层，举例来说：在一种实现中，221层为卷积层，222层为池化层，223层为卷积层，224层为池化层，225为卷积层，226为池化层；在另一种实现方式中，221、222为卷积层，223为池化层，224、225为卷积层，226为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
[0238]
下面将以卷积层221为例，介绍一层卷积层的内部工作原理。
[0239]
卷积层221可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素
……
这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关，需要注意的是，权重矩阵的纵深维度(depth dimension)和输入图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和一个单一的权重矩阵进行卷积会产生一个单一纵深维度的卷积化输出，但是大多数情况下不使用单一权重矩阵，而是应用多个尺寸(行
×
列)相同的权重矩阵，即多个同型矩阵。每个权重矩阵的输出被堆叠起来形成卷积图像的纵深维度，这里的维度可以理解为由上面所述的“多个”来决定。不同的权重矩阵可以用来提取图像中不同的特征，例如一个权重矩阵用来提取图像边缘信息，另一个权重矩阵用来提取图像的特定颜色，又一个权重矩阵用来对图像中不需要的噪点进行模糊化等。该多个权重矩阵尺寸(行
×
列)相同，经过该多个尺寸相同的权重矩阵提取后的特征图的尺寸也相同，再将提取到的多个尺寸相同的特征图合并形成卷积运算的输出。
[0240]
这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络200进行正确的预测。
[0241]
当卷积神经网络200有多个卷积层的时候，初始的卷积层(例如221)往往提取较多
的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络200深度的加深，越往后的卷积层(例如226)提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。
[0242]
池化层：
[0243]
由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在如图5中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
[0244]
神经网络层230：
[0245]
在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层220只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或其他相关信息)，卷积神经网络200需要利用神经网络层230来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层230中可以包括多层隐含层(如图5所示的231、232至23n)以及输出层240，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等
……
[0246]
在神经网络层230中的多层隐含层之后，也就是整个卷积神经网络200的最后层为输出层240，该输出层240具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个卷积神经网络200的前向传播(如图5由210至240方向的传播为前向传播)完成，反向传播(如图5由240至210方向的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少卷积神经网络200的损失，及卷积神经网络200通过输出层输出的结果和理想结果之间的误差。
[0247]
需要说明的是，如图5所示的卷积神经网络200仅作为一种卷积神经网络的示例，在具体的应用中，卷积神经网络还可以以其他网络模型的形式存在。
[0248]
下面介绍本申请实施例提供的一种芯片硬件结构。
[0249]
图6为本发明实施例提供的一种芯片硬件结构，该芯片包括神经网络处理器30。该芯片可以被设置在如图4所示的执行设备140中，用以完成计算模块142的计算工作。该芯片也可以被设置在如图4所示的训练设备130中，用以完成训练设备130的训练工作并输出目标模型/规则132。如图6所示的卷积神经网络中各层的算法均可在如图6所示的芯片中得以实现。
[0250]
神经网络处理器30可以是npu，tpu，或者gpu等一切适合用于大规模异或运算处理的处理器。以npu为例：npu可以作为协处理器挂载到主cpu(host cpu)上，由主cpu为其分配任务。npu的核心部分为运算电路303，通过控制器304控制运算电路303提取存储器(301和
302)中的矩阵数据并进行乘加运算。
[0251]
在一些实现中，运算电路303内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路303是二维脉动阵列。运算电路303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路303是通用的矩阵处理器。
[0252]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路303从权重存储器302中取矩阵b的权重数据，并缓存在运算电路303中的每一个pe上。运算电路303从输入存储器301中取矩阵a的输入数据，根据矩阵a的输入数据与矩阵b的权重数据进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)308中。
[0253]
统一存储器306用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(dmac，direct memory access controller)305，被搬运到权重存储器302中。输入数据也通过dmac被搬运到统一存储器306中。
[0254]
总线接口单元(biu，bus interface unit)310，用于dmac和取指存储器(instruction fetch buffer)309的交互；总线接口单元301还用于取指存储器309从外部存储器获取指令；总线接口单元301还用于存储单元访问控制器305从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0255]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器306中，或将权重数据搬运到权重存储器302中，或将输入数据搬运到输入存储器301中。
[0256]
向量计算单元307多个运算处理单元，在需要的情况下，对运算电路303的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。向量计算单元307主要用于神经网络中非卷积层，或全连接层(fc，fully connected layers)的计算，具体可以处理：pooling(池化)，normalization(归一化)等的计算。例如，向量计算单元307可以将非线性函数应用到运算电路303的输出，例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元307生成归一化的值、合并值，或二者均有。
[0257]
在一些实现中，向量计算单元307将经处理的向量存储到统一存储器306。在一些实现中，经向量计算单元307处理过的向量能够用作运算电路303的激活输入，例如用于神经网络中后续层中的使用，如图5所示，若当前处理层是隐含层1(231)，则经向量计算单元307处理过的向量还可以被用到隐含层2(232)中的计算。
[0258]
控制器304连接的取指存储器(instruction fetch buffer)309，用于存储控制器304使用的指令。
[0259]
统一存储器306，输入存储器301，权重存储器302以及取指存储器309均为on-chip存储器。外部存储器独立于该npu硬件架构。
[0260]
其中，图5所示的卷积神经网络中各层的运算可以由运算电路303或向量计算单元142执行。
[0261]
下面从模型训练侧和模型应用侧对本申请提供的方法进行描述：
[0262]
本申请实施例提供的人体动作识别模型的训练方法，涉及计算机视觉的处理，具体可以应用数据训练、机器学习、深度学习等数据处理方法，对训练数据(如本申请中的样本图像)进行符号化和形式化的智能信息建模、抽取、预处理、训练等，最终得到训练好的目标人体动作识别模型(在场景a中具体为人体摔倒识别模型，在场景b中具体为入侵者识别
模型，在场景c中具体为动作识别模型)；并且，本申请实施例提供的人体动作的识别方法可以运用上述训练好的人体动作识别模型，将输入数据(如本申请中的待识别图像)输入到所述训练好的人体动作识别模型中，得到输出数据(如本申请中的识别结果)。需要说明的是，本申请实施例提供的神经网络的训练方法和人体动作的识别方法是基于同一个构思产生的发明，也可以理解为一个系统中的两个部分，或一个整体流程的两个阶段：如模型训练阶段和模型应用阶段。
[0263]
实施例一：
[0264]
需要说明的是，本申请实施例可以应用于至少一个无线发射设备和至少一个无线接收设备组成的系统。本申请实施例以第一无线发射设备和第一无线接收设备为例来说明。
[0265]
如图7a所示，为本申请实施例一提供的一种神经网络的训练方法。所述方法70具体可以由如图4所示的训练设备130执行，所述方法70中的训练样本可以是如图4所示的数据库160中维护的训练数据，训练设备130从数据库160中可以获取训练样本。在另一种实现中，所述方法70中的样本图像也可以是通过无线接收设备120发送至训练设备130的，如图7b所示的训练设备获取训练样本的一种实现方法的流程示意图；还可以是训练设备130在时间和信号维度上对接收到的多帧无线信号的信号特征进行编码得的，如图7c所示的训练设备获取训练样本的另一种实现方法的流程示意图。
[0266]
可选的，所述方法70可以由cpu处理，也可以由cpu和gpu共同处理，也可以不用gpu，而使用其他适合用于神经网络计算的处理器，例如，图6所示的神经网络处理器30，此处不作限定。
[0267]
需要说明的是，本申请实施例可以应用于至少一个无线发射设备和至少一个无线接收设备组成的系统。本申请实施例以第一无线发射设备和第一无线接收设备为例来说明。如前所述，本申请实施例提供的神经网络的训练方法可以包括如下部分或全部步骤：
[0268]
s72：获取训练样本，该训练样本包括样本图像和该样本图像对应的人体动作的类别。
[0269]
其中，样本图像是由m帧第一无线信号的信号特征在时间和信道维度上编码得到的，该m帧第一无线信号是由在所述第一无线接收设备和所述第一无线发射设备之间发生第一人体动作时第一无线接收设备接收到的由第一无线发射设备发射的无线信号，第一人体动作属于样本图像对应的人体动作的类别，第一无线接收设备和第一无线发射设备之间的距离大于第一阈值，m为大于1的整数。
[0270]
其中，第一无线接收设备可以与第一无线发射设备建立通信连接，第一无线发射设备可以向第一无线接收设备发射无线信号，其中，该无线信号可以是携带数据的信号，也可以是无线发射设备以一定周期发射的握手信号，对此不作限定。
[0271]
s74：以样本图像为训练输入，以样本图像对应的人体动作的类别为训练标签，对初始化的神经网络进行训练，得到目标人体动作识别模型。
[0272]
例如，将样本图像输入到初始化的神经网络(也可以是初始化的卷积神经网络)，得到预测类别，进而，根据预测类别与真实类别(即样本图像的标签)之间的误差，通过反向传播算法，调整初始化的神经网络的模型参数。通过迭代调整神经网络的模型参数，使得这个误差越来越小。误差越小，则说明预测类别接近真实类别，网络越能准确预测人体动作的
类别。
[0273]
在本申请实施例的一种实现中，对应于上述场景a，m帧第一无线信号为s1时，第一人体动作为人体的摔倒动作；m帧第一无线信号为s2时，第一人体动作为除人体摔倒动作之外的其他动作或无动作。人体动作的类别可以包括摔倒和非摔倒。训练样本可以包括标签为“摔倒”的样本图像，标签为“非摔倒”的样本图像。训练得到的目标人体动作识别模型即为人体摔倒识别模型。
[0274]
在本申请实施例的另一种实现中，对应于上述场景b，m帧第一无线信号为s3时，第一人体动作为有人闯入房中的动作；m帧第一无线信号为s4时，第一人体动作为除有人闯入房中的动作之外的其他动作或无动作。人体动作的类别可以包括有人闯入房中的动作和没有人闯入房中的动作。训练样本可以包括标签为“有人闯入”的样本图像和标签为“无人闯入”的样本图像。训练得到的目标人体动作识别模型即为入侵者识别模型。
[0275]
在本申请实施例的又一种实现中，对应于上述场景c，人体动作的类别可以包括多个人体动作。m帧第一无线信号为s5。训练样本可以包括标签为“第一人体动作”的样本图像，第一人体动作可以是多种人体动作中的任意一种。训练得到的目标人体动作识别模型即为动作识别模型。
[0276]
如图7b所示，在s72的一种实现中：训练设备与第一无线接收设备为不同的设备，请参阅图7b中步骤s7202-s7210所示的步骤。具体如下：
[0277]
s7202：第一无线接收设备接收在发生第一人体动作时的m帧第一无线信号，提取m帧第一无线信号的信号特征。
[0278]
在本申请一些实施例中，该m帧第一无线信号为在第一无线接收设备和第一无线接收设备之间发第一人体动作时第一无线接收设备接收到的无线信号，该m帧第一无线信号按被接收时的时间顺序排序，m为大于1的整数。
[0279]
s7204：第一无线接收设备在时间和信号维度上对m帧第一无线信号的信号特征进行编码，得到样本图像。
[0280]
s7206：第一无线接收设备接收针对样本图像输入的人体动作的类别，得到训练样本，该训练样本包括样本图像和该针对该样本图像输入的人体动作的类别。
[0281]
在本申请实施例中，针对该样本图像输入的人体动作的类别，也称为样本图像对应的人体动作的类别，即为第一人体动作所属的人体动作的类别。
[0282]
第一人体动作可以是任意动作，在不同的应用场景中，人体动作可以具有不同的划分方式，例如，在场景一中的一种实现中，人体动作的类别可包括摔倒和未摔倒；又例如，在场景二的一种实现中，人体动作的类别可以分为有人闯入和没有人闯入；又例如，在场景三的一种实现中，人体动作的类别可以分为第一动作、第二动作、第三动作等。用户可以识别第一人体动作所属的类别，进而针对图像样本将第一人体动作所属的类别输入到无线接收设备，进而，无线接收设备可以接收用户针对样本图像输入的人体动作的类别，进而，得到一个训练样本。将第一人体动作设为不同的人体动作，进而可以得到训练样本的集合(也称训练样本集)。
[0283]
s7208：第一无线接收设备将训练样本发送至训练设备。
[0284]
s7210：训练设备接收训练样本。
[0285]
应理解，训练设备还可以通过其他方式获取上述第一无线接收设备生成的训练样
本，例如，第一无线接收设备可以将训练样本发送至数据库，训练设备可以从数据库中获取到训练样本，进而，训练设备可以基于获取到的训练样本训练得到目标人体动作识别模型。
[0286]
在本申请的一些实施例中，上述步骤s7206也可以在s7210之后由训练设备执行。
[0287]
如图7c所示，在s72的第二种实现中，s7204可以由训练设备执行，上述s7202之后，第一无线接收设备可以将m帧第一无线信号的信号特征发送至训练设备，由训练设备对m帧第一无线信号的信号特征进行编码得到样本图像，在该实现方式中可以包括如下步骤：
[0288]
s7212：第一无线接收设备接收在发生第一人体动作时的m帧第一无线信号，提取m帧第一无线信号的信号特征。
[0289]
s7214：第一无线接收设备m帧第一无线信号的信号特征发送至训练设备。
[0290]
s7216：训练设备接收m帧第一无线信号的信号特征。
[0291]
s7218：训练设备在时间和信号维度上对m帧第一无线信号的信号特征进行编码，得到样本图像。
[0292]
s7220：训练接收针对样本图像输入的人体动作的类别，得到训练样本，该训练样本包括样本图像和该针对该样本图像的标签(即输入的人体动作的类别)。
[0293]
在本申请的一些实施例中，s7216之后，s7218之前，训练设备可以接收针对m帧第一无线信号的信号特征输入的人体动作的类别，进而，将输入的人体动作的类别作为m帧第一无线信号的信号特征被编码得到的样本图像的标签。
[0294]
在本申请的一些实施例中，在s7212之后，s7214之前，第一无线接收设备可以接收针对m帧第一无线信号的信号特征/m帧第一无线信号输入的人体动作的类别，s7214还可以包括将输入的人体动作的类别发送至训练设备，此时，训练设备可以不执行s7220，在训练设备可以将输入的人体动作的类别作为m帧第一无线信号的信号特征编码得到的样本图像的标签。
[0295]
在s72的又一种实现中，若第一无线接收设备与训练设备为同一设备，此时，不必执行上述s7208-s7210，s7214-s7216。
[0296]
本申请实施例中，第一无线接收设备或训练设备在时间和信号维度上对m帧第一无线信号的信号特征进行编码，得到样本图像。其中，信号特征可以包括csi幅值、csi相位，可选地，还可以包括rssi。此时，样本图像可以包括将m帧第一无线信号的csi幅值在时间和信道维度上编码得到的第一样本图像和/或第三样本图像，将m帧第一无线信号的csi相位在时间和信道维度上编码得到的第二样本图像和/或第四样本图像。可选地，样本图像还可以包括将m帧第一无线信号的rssi在时间和信道维度上编码得到的第五样本图像。本申请实施例以m帧第一无线信号，每一帧无线信号包括n个信道(n为大于1的整数)为例来说明第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像的编码方式：
[0297]
(1)第一样本图像
[0298]
其中，对于每一帧第一无线信号的信号特征来说，csi信息由多个信道(本申请实施例以30个信道为例来说明)的子载波构成，每个子载波都包含幅值和相位信息，因此需要对幅值和相位分别进行编码。对于一帧第一无线信号的csi幅值，首先对其做归一化处理，以将各个信道的csi幅值限制在[0,1]的范围内，其中，第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值归一化后为a
ij
，即：
[0299][0300]
其中，a
i,j
表示第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上原始的csi幅值，
o
a
j
表示第j帧第一无线信号中n个信道上原始的csi幅值的集合，
o
a
j,min
表示
o
a
j
中csi幅值的最小值，
o
a
j,max
表示
o
a
j
中csi幅值的最大值。
[0301]
其中，第一次序可以是信道的频率递增的次序，也可以是与信道的频率的递增次序具有最大差异的次序，还可以是任意次序。
[0302]
本申请实施例以第一次序为信道的频率递增的次序，得到的信道的序列为信道1、信道2、信道3，
…
，信道n。
[0303]
然后，在信道和时间维度对m帧第一无线信号的csi幅值进行编码，构造2d图片，得到第一样本图像。具体地，将第j帧无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值编码为第一图像中第i行第j列的像素值，i、j、n为正整数，i＝1、2、
…
、n，j＝1、2、
…
、m。如图7d所示，第一样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值。本申请实施例中图7d以n为30，m为30为例来说明，可得到分辨率为30*30像素的第一样本图像。
[0304]
(2)第二样本图像
[0305]
与csi幅值类似，对于每一帧第一无线信号的csi相位，首先对其做归一化处理，以将各个信道的csi相位限制在[0,1]的范围内，归一化的方法可以参见上述第一样本图像中csi幅值的归一化方法，此处不再赘述。
[0306]
然后，在信道和时间维度对m帧第一无线信号的csi相位进行编码，构造2d图片，得到第二样本图像。具体地，将第j帧无线信号在以所述第一次序排列的n个信道中的第i个信道上的csi相位编码为第二图像中第i行第j列的像素值；i＝1、2、
…
、n，j＝1、2、
…
、m。如图7d所示，第二样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi相位。
[0307]
(3)第三样本图像
[0308]
可以理解，当以信道的频率递增或递减的次序对n个信道进行排列时，相邻的两个子载波，则在编码得到的第一样本图像或第二样本图像的2d图片中也是相邻的两列。通常不同物体及不同动作对于信号特征的影响在不同频率下具有较大的差异，因此，对这些物体和动作的识别需要综合多个不同频率的信号特征。cnn本身的局部感知机制决定了每个卷积窗口能感知2d图片中相邻位置的信息，后续虽然靠多层网络的组合可以实现不同频率特征的融合，但中间的池化处理及不同卷积核运算会导致部分信息的丢失，因此，为更好的提取到信号特征的特征信息，本申请一些实施例中，在输入层能够让cnn感知频率相差较大的信道特征。此时，改变原有的按信道的频率递增或递减的次序。在一种实现中，第一次序可以是与信道的频率递增或递减的次序不同的次序；在另一种实现中，第一次序可以是以信道的频率递增或递减的次序，还可以构造第三样本图像和第四样本图像，该第三样本图像和第四样本图像中，信道以与信道的频率递增或递减的次序不同的次序，即第二次序，进行排列。
[0309]
进一步地，以第一次序排列的n个信道中的任意两个相邻的信道在以第二次序排列的n个信道中不相邻，以保证频率的差异化。
[0310]
在本申请实施例的一种实现中，第一次序可以是信道的频率递增或递减的次序，以信道的频率递增或递减的次序对信道进行编号，以第一次序排列的30个信道可以表示为：
[0311]
向量v＝＝[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30]
t
[0312]
在本申请实施例的一种实现中，第二次序排列的30个信道可以表示为：
[0313]
向量v
′
＝[1,11,21,2,12,22,3,13,23,4,14,24,5,15,25,6,16,26,7,17,27,8,18,28,9,19,29,10,20,30]
t
，此时，第二次序中任意两个相邻信道的频率具有较大的差异。
[0314]
与第一样本图像类似，利用归一化后的每一帧第一无线信号的csi幅值，在信道和时间维度对每一帧第一无线信号的csi幅值进行编码，构造2d图片，得到第三样本图像。将所述第j帧无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值编码为第三图像中第i行第j列的像素值，i＝1、2、
…
、n，j＝1、2、
…
、m。如图7e所示，第三样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值。
[0315]
(4)第四样本图像
[0316]
与第二样本图像类似，利用归一化后的每一帧第一无线信号的csi相位，在信道和时间维度对每一帧第一无线信号的csi相位进行编码，构造2d图片，得到第四样本图像，如图7e所示，第四样本图像中第i行第j列的像素值表示第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi相位。
[0317]
(5)第五样本图像
[0318]
由于csi信息包括从一帧无线信号的数据中同时测量得到的多个子载波的频率响应，而不是全部子载波叠加的总体幅值响应。考虑到无线信号的总体幅值，可以对每一帧第一无线信号的rssi在信道和时间维度进行编码，得到第五样本图像。具体地，将第j帧无线信号在以所述第二次序排列的n个信道中的第i个信道上的csi相位编码为第四图像中第i行第j列的像素值i＝1、2、
…
、n，j＝1、2、
…
、m。如图7f所示，该第五样本图像中第j列的像素值表示第j帧第一无线信号的rssi。
[0319]
在本申请实施例的一种实现中，上述第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像中的多个可以融合为一个图像，得到待识别图像。此时，待识别图像第i行第j列的像素值包括：第j帧第一无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值、csi相位，第j帧第一无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值、csi相位，第j帧第一无线信号的rssi等中的一种或多种。
[0320]
需要说明的是，上述第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像中的一个或多个可以同时输入到初始化的神经网络的不同通道，各个通道的卷积层可以共享权重。在本申请实施例的另一种实现中的神经网络还可以包括更多的通道，此处不作限定。
[0321]
如图7g所示为本申请实施例提供的一种卷积神经网络的结构示意图。该卷积神经网络可以包括输入层、卷积层、池化层、全连接层和输出层。其中，通过卷积层提取信号特征中的特征矩阵，该特征矩阵指示了输入的多帧无线信号的特征信息；池化层对输入的特征矩阵进行压缩，在降维的同时保证特征矩阵的高度紧凑；全连接层将输入与输出的每个单
元连接，使输出能够综合每一个输入的信息；输出层可以利用softmax对输出做归一化处理。
[0322]
在一些实施例中，输入层的尺寸可以为“30
×
30
×
5”，其中，“30
×
30”对应连续的30帧无线信号分别在30个信道上的信号特征；深度为5，对应每30帧无线信号可以编码产生的5张图像，即上述第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像。每个卷积层后紧跟一个激活函数，本申请一些实施例可以采用线性整流函数(rectified linear unit,relu)作为激活函数。
[0323]
在一些实施例中，第一个卷积层的卷积核尺寸可以是“3
×3×5×
20”，其中，深度5与输入层的尺寸相对应。步长(stride)为1，padding采用填充方式，因此经过该层卷积以后，图像尺寸变为“30
×
30
×
20”。
[0324]
在一些实施例中，第一卷积层输出图像经过最大池化层(max pooling)处理，尺寸减半，变为“15
×
15
×
20”；然后经过第二个卷积层，其卷积核尺寸可以为“3
×3×
40”，那么图像尺寸变为“15
×
15
×
40”。
[0325]
在一些实施例中，第二卷积层输出图像经过最大池化以后尺寸减半，变为“8
×8×
20”；然后经过第三个卷积层，卷积核尺寸为“3
×3×
80”，输出图像尺寸变为“8
×8×
80”。
[0326]
在一些实施例中，上层输出的图片经过第一个全连接层，输出尺寸压缩为“1
×1×
160”，在经过第二个全连接层，输出尺寸压缩为“1
×1×
100”，对应100个输出类别，其中最后输出层的尺寸可以根据任务要求的人体动作的类别灵活调整。
[0327]
在一些实施例中，全连接层经过输出层，例如输出层可以是sofamax层，对全连接层输出的数据进行归一化处理，得到从属于不同人体动作的类别的概率分布。
[0328]
需要说明的是，上述图7g所示的为本申请实施例的一种卷积神经网络的架构的示例，在本申请另一些实施例，上述输入层、卷积层、池化层、全连接层和输出层等还可以是其他的尺寸，卷积核也可以是其他的尺寸、步长和填充方式等，此次不作限定。
[0329]
其中，在神经网络一次训练过程中可以采用一个训练样本，也可以采用多个训练样本或者全部训练样本，本申请实施例不作限定。
[0330]
本申请实施例以一次训练过程采用q个训练样本为例来说明，训练设备可以根据每一训练样本的预测结果和真实结果的误差确定q个训练样本对应的损失，根据q训练样本对应的损失，通过优化算法更新神经网络的参数，使得损失越来越小。优化算法可以是梯度下降法(gradient descent)、adam算法或其他优化算法，本申请实施例不作限定。其中，损失函数用于计算q个训练样本对应的损失，误差可以是预测结果和真实结果之间平均绝对误差(mean absolute error，mae)、均方误差(mean squared error，mse)或均方根误差(root mean squared error，rmse)等，还可以具有其他的形式，本申请不作限定。
[0331]
需要指出的是，本申请实施例以第一无线发射设备和第一无线接收设备为例来说明。当系统中包括多个无线发射设备和/或多个无线接收设备时，上述多一个无线发射设备与一个无线接收设备的组合对应于一个人体动作识别模型，其模型的训练方法可以参见上述第一无线发射设备和第一无线接收设备的组合对应的目标人体动作识别模型的训练方法的实现，此处不再赘述。
[0332]
通过上述神经网络的训练方法，通过将采集的m帧无线信号的信号特征编码为样本图像，通过样本图像训练神经网络得到的目标人体动作识别模型，以实现基于无线信号
的人体动作的识别，更加准确。
[0333]
进一步地，训练使用的样本图像包括不同次序的信道编码得到的多个图像，为模型的训练提供差异化的输入数据，降低模型的训练难度，使得训练得到的目标人体动作识别模型可以更好地提取更丰富的特征信息，进一步提高识别的准确性。
[0334]
实施例二：
[0335]
如图8a为本发明实施例二提供的一种人体动作的识方法的流程示意图，该方法80通过实施例一训练得到的人体动作识别模型实现。该方法80具体可以由如图4所示的无线接收设备120执行，或由无线接收设备120和执行设备140一起实现。例如，无线接收设备120可以执行步骤s802，执行设备140中的图像编码模块141可以用来执行步骤s804，计算模块142可以可以用来执行步骤s806；又例如，无线接收设备120可以执行步骤s802-s804，执行设备140中的计算模块142可以可以用来执行步骤s806等。
[0336]
可选的，该方法80可以由设于无线接收设备120中的cpu和/或设于执行设备140中的cpu处理，也可以由上述cpu和适合用于神经网络计算的处理器(例如，图6所示的神经网络处理器30)，本申请不做限制。
[0337]
该方法80可以包括但不限于如下部分或全部步骤：
[0338]
s802：接收m帧无线信号，并提取该m帧无线信号的信号特征。
[0339]
其中，m帧无线信号是第一无线接收设备接收到的由第一无线发射设备发射的无线信号，第一无线接收设备和第一无线发射设备之间的距离大于第一阈值，m为大于1的整数。m帧无线信号按时间顺序排序。信号特征可以包括csi幅值、csi相位和rssi等。
[0340]
s804：在时间和信道维度上对该m帧无线信号的信号特征进行编码，得到待识别图像。
[0341]
在本申请实施例的一种实现中，无线信号可以包括n个信道，该待识别图像可以包括第一图像和第二图像，其中，第一图像中第i行第j列的像素值表示第j帧无线信号在以第一次序排列的n个信道中的第i个信道上的csi幅值；第二图像中第i行第j列的像素值表示第j帧无线信号在以第一次序排列的n个信道中的第i个信道上的csi相位，i、j为正整数，i≤n，j≤m。
[0342]
在本申请实施例的另一种实现中，待识别图像还可以包括第三图像和第四图像，其中，所述第三图像中第i行第j列的像素值表示第j帧无线信号在以第二次序排列的n个信道中的第i个信道上的csi幅值；所述第四图像中第i行第j列的像素值表示第j帧无线信号在以所述第二次序排列的n个信道中的第i个信道上的csi相位，所述第一次序不同于所述第二次序。
[0343]
可选地，第一次序为以信道的频率递增或递减的次序，第二次序不同于第一次序，任意两个频率相邻的信道在以第二次序排列的n个信道中不相邻。
[0344]
在本申请实施例的又一种实现中，信号特征还可以包括信号强度指示(received signal strength indication，rssi)，待识别图像还可以包括第五图像，其中，第五图像中第j列的像素值表示第j帧无线信号的rssi。
[0345]
需要说明的是，关于第一图像、第二图像、第三图像、第四图像和第五图像的生成方法可以分别参照上述实施例一中生成第一样本图像、第二样本图像、第三样本图像、第四样本图像和第五样本图像中相关描述，此处不再赘述。关于第一次序、第二次序可以分别参
见上述实施例一中第一次序和第二次序的相关描述，此处不再赘述。
[0346]
还应理解，与上述神经网络的训练方法相对应，在实施例二中第一序列与上述实施例一中的第一序列相同。
[0347]
s806：将待识别图像输入到目标人体动作识别模型，得到识别结果，即待识别图像对应的人体动作的类型。
[0348]
可选地，目标人体动作识别模型是通过上述实施例一中的神经网络的训练方法得到的模型，具体可参见上述实施例一中相关描述，此处不再赘述。
[0349]
在本申请一些实施例中，将待识别图像分别输入到目标人体动作识别模型后，可以得到每一个人体动作的类别的概率，则选定最大概率对应的人体动作的类别为识别结果。
[0350]
需要说明的是，训练得到目标人体动作模型的样本图像与待识别图像具有相同的格式，即，当样本图像包括第一样本图像时，对应地，待识别图像包括第一图像；当样本图像包括第二样本图像时，待识别图像包括第二图像；当样本图像包括第三样本图像时，待识别图像包括第三图像；当样本图像包括第四样本图像时，待识别图像包括第四图像；当样本图像包括第五样本图像时，待识别图像包括第五图像。而且，训练得到目标人体动作模型时所采用的第一次序和第二次序分别与人体动作识别方法的实施例中的第一次序和第二次序相同。
[0351]
如图8a所示，在本申请的第一种实现中，上述步骤s802-s806可以由m帧无线信号的接收设备，即第一无线接收设备执行。可以理解，此时第一无线接收设备与执行设备为同一设备。
[0352]
如图8b所示，在本申请的第二种实现中，上述步骤s802可以由第一无线接收设备执行，上述s804-s806由执行设备执行。此时，执行s802的第一无线接收设备和执行设备为不同的设备，s802之后，s804之前，该方法还可以包括步骤s8032-s8034：
[0353]
s8032：第一无线接收设备向执行设备发送该m帧无线信号的信号特征。
[0354]
s8034：执行设备接收该m帧无线信号的信号特征。
[0355]
如图8c所示，在本申请实施例的第三种实现中，上述步骤s802-s804可以由第一无线接收设备执行，s806可以由执行设备执行。此时，执行s802的第一无线接收设备和执行设备为不同的设备，s804之后，s806之前，该方法还可以包括步骤s8052-s8054：
[0356]
s8052：第一无线发射设备向执行设备发送待识别图像。
[0357]
s8054：执行设备接收待识别图像。
[0358]
在本申请一些实施例中，在第一无线接收设备或执行设备在得到识别结果后，还可以向向第一终端发送识别结果。其中，第一终端可以是图4中用户终端170，也可以是场景a中的监护人的终端，还可以是场景b中的业主的终端等。
[0359]
在本申请一些实施例中，在第一无线接收设备或执行设备在得到识别结果后，第一无线接收设备或执行设备还可以根据人体动作的类别与操作的对应关系，确定识别得到的目标人体动作的类别对应的目标操作，进而，控制第一无线接收设备或执行设备执行或实现目标操作。
[0360]
例如，执行设备为手机，参考场景c中人体动作与操作的对应关系，在手机来电时，用户可以做出“举双手”的动作，手机通过接收到的m帧无线信号的信号特征或待识别图像
识别到这一动作，进而，控制手机接听电话，而不需要用户拿起手机进行操作。
[0361]
在本申请一些实施例中，在由至少一个无线接收设备与至少一个无线接收设备组成的系统中，各个无线接收设备都可以向执行设备发送m帧无线信号的信号特征或待识别图像。此时，一个无线发射设备和一个无线接收设备的组合对应一个人体动作识别模型。
[0362]
此时，第一无线接收设备在向执行设备发送m帧无线信号的信号特征或待识别图像时，还可以向执行设备发送第一无线发射设备的标识和第一无线接收设备的标识，进而，根据第一无线发射设备和第一无线接收设备的组合对应的人体动作识别模型(即目标人体动作识别模型)对接收到的待识别图像进行处理，得到识别结果。
[0363]
在本申请一些实施例中，对于由一个无线发射设备和多个无线接收设备组成的系统，每一个无线接收设备在向执行设备发送信号特征或待识别图像时，还可以向执行设备发送其标识，执行设备可以根据接收到的无线接收设备的标识确定该无线发射设备和无线接收设备的组合对应的人体动作识别模型；同理，对于由多个无线发射设备和一个无线接收设备组成的系统，无线接收设备可以向执行设备发送无线发射设备的标识，执行设备可以根据接收到的无线发射设备的标识确定该无线发射设备和无线接收设备的组合对应的人体动作识别模型。
[0364]
如下表2所示，为无线发射设备和无线接收设备组合与人体动作识别模型的对应关系的示例。
[0365][0366]
表2
[0367]
需要说明的是，上述表2仅仅为示例性说明。本申请实施例还可以包括其他对应方式。
[0368]
在本申请实施例的一种实现中，对应于上述场景a，人体动作的类别可以包括摔倒和非摔倒。目标人体动作识别模型即为人体摔倒识别模型；对应于上述场景b，人体动作的类别可以包括有人闯入房中的动作和没有人闯入房中的动作，目标人体动作识别模型即为入侵者识别模型；对应于上述场景c，人体动作的类别可以包括多个人体动作。目标人体动作识别模型即为动作识别模型。
[0369]
本申请实施例，通过将m帧无线信号的信号特征编码为图像，即本申请实施例中待识别图像，进而通过训练完成的神经网络，即目标人体动作识别模型识别该m帧无线信号的传输路径上的人体动作的类别，更加准确。
[0370]
需要说明的是，本申请还提供了一种无线信号的处理方法，具体可以由如图4所示的无线接收设备120执行。该方法可以包括上述实施例二中步骤s802和s804，具体可参见上
述实施例二相关描述，此处不再赘述。可选地，该方法可以应用于上述实施例二所述的人体动作的识别方法，还可以应用于其他需要对无线信号的信号特征进行图像编码的领域或方法中，此处不作限定。
[0371]
下面介绍本申请实施例涉及的装置。
[0372]
如图9所示为本申请实施例提供的一种神经网络的训练装置，该装置900可以是图4所示的系统100中的训练设备130，该装置90可以包括但不限于如下功能单元：
[0373]
接收单元901，用于接收由所述第一无线接收设备发送的m帧第一无线信号的信号特征，其中，所述m帧第一无线信号是由在所述第一无线接收设备和所述第一无线发射设备之间发生第一人体动作时所述第一无线接收设备接收到的由所述第一无线发射设备发射的无线信号，m为大于1的整数；
[0374]
编码单元902，用于在时间和信道维度上对所述m帧第一无线信号的信号特征进行编码，得到样本图像；
[0375]
训练单元903，用于根据所述样本图像和所述样本图像对应的人体动作的类别训练神经网络，得到所述目标人体动作识别模型，其中，所述样本图像为训练输入，所述样本图像对应的人体动作的类别为训练标签，所述第一人体动作属于所述样本图像对应的人体动作的类别。
[0376]
可选地，第一无线接收设备可以通过网卡提取m帧无线信号的信号特征，该信号特征可以包括但不限于csi幅值、csi相位和rssi等中的至少一种。
[0377]
可选地，样本图像可以包括第一样本图像、第二样本图像、第三样本图像、第四样本图像、第五样本图像中的至少一个样本图像，编码单元902具体可以参见上述实施例一中相关描述，本申请实施例不再赘述。
[0378]
上述各个单元的具体实现可以参见上述实施例一种相关描述，此处不再赘述。
[0379]
如图10所示为本申请实施例提供的一种人体动作的识别装置，该装置1000可以是图4所示的系统100中的执行设备140、无线发射设备110或无线接收设/120，该装置1000可以包括但不限于如下功能单元：
[0380]
获取单元1001，用于获取待识别图像，其中，所述待识别图像是在时间和信道的维度上对m帧无线信号的信号特征进行编码得到的图像，所述m帧无线信号是第一无线接收设备接收到的由第一无线发射设备发射的无线信号，所述第一无线接收设备和所述第一无线发射设备之间的距离大于第一阈值，m为大于1的整数；
[0381]
识别单元1002，用于将所述待识别图像输入到目标人体动作识别模型，得到所述待识别图像对应的人体动作的类型。
[0382]
如图11所示为本申请实施例提供的一种无线信号的处理装置，该装置1100可以是图4所示的系统100中的无线接收设备120，该装置1100可以包括但不限于如下功能单元：
[0383]
接收单元1101，用于接收由无线发射设备发射的m帧无线信号；
[0384]
提取单元1102，用于提取所述m帧无线信号中每一帧无线信号的信号特征；
[0385]
编码单元1103，用于在时间和信道维度上对所述m帧无线信号的信号特征进行编码，得到待识别图像.
[0386]
可选地，该装置1100还可以包括发送单元1104，用于将所述待识别图像发送至执行设备，以使所述执行设备根据所述待识别图像识别人体动作的类别。
[0387]
可选地，上述图10或图11所示的装置中，装置1000或装置1100可以通过网卡提取m帧无线信号的信号特征，该信号特征可以包括但不限于csi幅值、csi相位和rssi等中的至少一种。
[0388]
可选地，上述图10或图11所示的装置中，待识别图像可以包括第一图像、第二图像、第三图像、第四图像、第五图像中的至少一个图像，具体可以参见上述实施例二中相关描述，本申请实施例不再赘述。
[0389]
在一种可能实现中，该装置1000还可以包括：查找单元1003，用于在所述识别单元1002所述待识别图像输入到人体动作识别模型，得到识别结果之前，根据无线发射设备无线接收设备的组合与人体动作识别模型的对应关系，查找所述第一无线发射设备和所述第一无线接收设备的组合对应的目标人体动作识别模型。
[0390]
在一种可能实现中，该装置1000或装置1100还可以包括采集单元和训练单元，其中，装置1000或装置1100中的采集单元的功能的具体实现可以参见上述装置900中采集单元901的实现，装置1000或装置1100中的训练单元的功能的具体实现可以参见上述装置900中训练单元902的实现，此处不再赘述。
[0391]
上述装置1000或装置1100中各个单元的具体实现可以参见上述实施例二种相关描述，此处不再赘述。
[0392]
图12是本申请实施例提供的一种神经网络的训练装置的硬件结构示意图。图12所示的神经网络的训练装置1200(该装置1200具体可以是一种计算机设备)可以包括包括存储器1201、处理器1202、通信接口1203以及总线1204。其中，存储器1201、处理器1202、通信接口1203通过总线1204实现彼此之间的通信连接。
[0393]
存储器1201可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器1201可以存储程序，当存储器1201中存储的程序被处理器1202执行时，处理器1202和通信接口1203用于执行本申请实施例的神经网络的训练方法的各个步骤。
[0394]
处理器1202可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的神经网络的训练装置中的单元所需执行的功能，或者执行本申请方法实施例一中的神经网络的的训练方法。
[0395]
处理器1202还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的神经网络的训练方法的各个步骤可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于
存储器1201，处理器1202读取存储器1201中的信息，结合其硬件完成本申请实施例的神经网络的训练装置中包括的单元所需执行的功能，或者执行本申请方法实施例的神经网络的训练方法。
[0396]
通信接口1203使用例如但不限于收发器一类的收发装置，来实现装置1200与其他设备或通信网络之间的通信。例如，可以通过通信接口1203获取训练数据(如本申请实施例一所述的样本图像)。
[0397]
总线1204可包括在装置1200各个部件(例如，存储器1201、处理器1202、通信接口1203)之间传送信息的通路。
[0398]
应理解，神经网络的训练装置900中的采集单元901相当于神经网络的训练装置1200中的通信接口1203，训练单元902可以相当于处理器1202。
[0399]
图13是本申请实施例提供的人体动作的识别装置的硬件结构示意图。图13所示的人体动作的识别装置130(该装置130具体可以是一种计算机设备)包括存储器1301、处理器1302、通信接口1303以及总线1304。其中，存储器1301、处理器1302、通信接口1303通过总线1304实现彼此之间的通信连接。
[0400]
存储器1301可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器1301可以存储程序，当存储器1301中存储的程序被处理器1302执行时，处理器1302和通信接口1303用于执行本申请实施例的人体动作的识别方法的各个步骤。
[0401]
处理器1302可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的人体动作的识别最终中的单元所需执行的功能，或者执行本申请方法实施例的人体动作的识别方法。
[0402]
处理器1302还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的人体动作的识别方法的各个步骤可以通过处理器1302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1302还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1301，处理器1302读取存储器1301中的信息，结合其硬件完成本申请实施例的人体动作的识别装置中包括的单元所需执行的功能，或者执行本申请方法实施例的人体动作的识别方法。
[0403]
通信接口1303使用例如但不限于收发器一类的收发装置，来实现装置1300与其他设备或通信网络之间的通信。例如，可以通过通信接口1303获取训练数据(如本申请实施例二所述的待识别图像)。
[0404]
总线1304可包括在装置1300各个部件(例如，存储器1301、处理器1302、通信接口1303)之间传送信息的通路。
[0405]
应理解，人体动作的识别装置1000中的获取单元1001相当于人体动作的识别装置1300中的通信接口1303；人体动作的识别装置1000中的识别单元1002、查找单元1003可以相当于处理器1302。
[0406]
图14是本申请实施例提供的一种无线信号的处理装置的硬件结构示意图。无线信号的处理装置1400可以包括存储器1401、处理器1402、无线通信模块1403以及总线1404。其中，存储器1401、处理器1402、无线通信模块1403通过总线1404实现彼此之间的通信连接。
[0407]
存储器1401可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器1401可以存储程序，当存储器1401中存储的程序被处理器1402执行时，处理器1402和无线通信模块1403用于执行本申请实施例的人体动作的识别方法的部分或全部步骤。
[0408]
处理器1402可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的人体动作的识别最终中的单元所需执行的功能，或者执行本申请方法实施例的人体动作的识别方法。
[0409]
通过无线通信模块1403用于实现与无线发射设备、执行设备、训练设备等的之间的通信，例如，通过无线通信模块1403接收由无线发射设备发射的m帧无线信号和提取m帧无线信号中每一帧无线信号的信号特征。该无线通信模块1403可以是wifi模块、蓝牙模块、irda模块、zigbee模块、uwb模块等。
[0410]
可选地，装置1400还可以包括其他通信模块，比如移动通信模块或者通信接口等，本申请实施例不作限定。
[0411]
处理器1402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的人体动作的识别方法的各个步骤可以通过处理器1402中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1402还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1401，处理器1402读取存储器1401中的信息，结合其硬件完成本申请实施例的人体动作的识别装置中包括的单元所需执行的功能，或者部分执行或全部执行本申请方法实施例的人体动作的识别方法。例如，
[0412]
通过无线通信模块1403接收由无线发射设备发射的m帧无线信号；
[0413]
通过无线通信模块1403提取m帧无线信号中每一帧无线信号的信号特征；
[0414]
在时间和信道维度上对m帧无线信号的信号特征进行编码，得到待识别图像；
[0415]
通过无线通信模块1403将待识别图像发送至执行设备，以使执行设备根据待识别图像识别人体动作的类别。
[0416]
需要说明的是，装置1400可以是智能家居设备，针对不同的智能家居设备，装置1400可以具有不同的硬件结构，例如，针对灯具，装置1400还可以包发光装置，以实现发光；又例如，针对冰箱，装置1400还可以包括冷冻装置，以实现冰箱的冷冻功能等，此处不再赘述。
[0417]
应理解，人体动作的识别装置1100中的接收单元1101、提取单元1102和发送单元1104相当于人体动作的识别装置1400中的无线通信模块1403；人体动作的识别装置1000中的编码单元1103可以相当于处理器1402。
[0418]
应注意，尽管图12、图13和图14所示的装置1200、1300、1400仅仅示出了存储器、处理器、通信接口或无线通信模块，但是在具体实现过程中，本领域的技术人员应当理解，装置1200、1300和1400还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置1200、1300和1400还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置1200、1300和1400也可仅仅包括实现本申请实施例所必须的器件，而不必包括图图12、图13或图14中所示的全部器件。
[0419]
可以理解，所述装置1200相当于1中的所述训练设备130，所述装置1300相当于图1中的所述执行设备140，装置1400可以相当于图1中的无线接收设备、实施例一或实施例二中第一接收设备。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0420]
在本申请一些实施例的中，上述装置900、1200还可以是无线接收设备120，比如实施例一或实施例二中的第一无线接收设备，也可以是无线发射设备110，比如实施例一或实施例二中的第一无线发射设备。
[0421]
在本申请一些实施例的中，上述装1100、1300还可以是无线接收设备120，比如实施例一或实施例二中的第一无线接收设备，也可以是无线发射设备110，比如实施例一或实施例二中的第一无线发射设备。
[0422]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0423]
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0424]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0425]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0426]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0427]
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。