一种运输行为的分类方法、装置及存储介质与流程

1.本申请实施例涉及物流运输技术领域，尤其涉及一种运输行为的分类方法、装置及存储介质。


背景技术：

2.在运输包裹的整个流程(即从订单寄出到签收全程)中，包裹一般经历快递员派送、网点及中转场卸车、分拣、装车以及运输途中颠簸等操作行为。为分析包裹可能存在的异常操作行为(例如人抛、人踢、滑槽等操作行为)。通常采用在包裹内置传感器的方法检测包裹在运输途中的操作行为，即通过检测单个瞬时加速度大小即可判断包裹的受力程度，存在数据丢失风险的同时无法考虑数据前后关系，并且无法实现多分类功能，基于深度学习对包裹对应的操作行为进行分类。
3.在对现有技术的研究和实践过程中，本申请实施例的发明人发现，虽然基于深度学习对包裹对应的操作行为进行分类，但是，由于参与模型训练的数据都是来自实际场景中且需要人为打上标签，而一个包裹在运输途中的操作行为丰富多样，实际场景获取的标签数据有限，所以，一方面获取丰富多样且全面覆盖的标签数据的效率较低，另一方面，基于标签数据训练为静态的离线更新，并不能根据实际应用场景进行迭代更新，进而导致对包裹的操作行为的分类结果精度降低。


技术实现要素：

4.本申请实施例提供了一种运输行为的分类方法、装置及存储介质，能够提高分类效果、分类精度和分类算法的鲁棒性。
5.第一方面中，本申请实施例提供一种运输行为的分类方法，所述方法包括：
6.获取至少一种目标对象的模拟行为数据，所述目标对象是指参与物品运输的对象；
7.分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布；
8.按照模拟行为数据所属的行为类型，分别对参数化后的各模拟行为数据分别设置行为标识，得到训练数据，所述行为标识用于表示运输中的物品的运输状态；
9.提取所述训练数据在时域上的特征向量；
10.根据所述特征向量得到所述训练数据中各行为数据的类别概率；
11.根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值；
12.根据各行为数据的奖励值对各行为数据进行分类，并输出分类结果。
13.一种可能的设计中，所述分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布，包括以下中的至少一项：
14.所述目标对象为物品时，对所述物品的模拟行为数据进行参数化，得到物品特征信息、物品的运动状态信息和物品的姿态信息，其中，所述物品特征信息、所述物品的运动
状态信息和所述物品的姿态信息均服从所述随机分布；
15.所述目标对象为运输通道时，对所述运输通道的模拟行为数据进行参数化，得到所述运输通道的斜坡倾角、斜面尺寸和螺旋角度中的至少一种，其中，所述运输通道的斜坡倾角、斜面尺寸和螺旋角度均服从所述随机分布；
16.或者，所述目标对象为传输带设备时，对所述传输带设备的模拟行为数据进行参数化，得到所述传输带设备的运行速度、振动频率和尺寸；其中，所述传输带设备的运行速度、振动频率和尺寸均服从所述随机分布。
17.一种可能的设计中，所述得到训练数据之后，所述提取所述训练数据在时域上的特征向量之前，所述方法还包括：
18.对所述训练数据进行融合处理。
19.一种可能的设计中，所述对所述训练数据进行融合处理，包括：
20.对所述训练数据进行插值处理，得到候选行为数据；
21.对所述候选行为数据进行归一化处理，得到预设区间的行为数据，将所述预设区间的行为数据进行距离变换，得到扩展行为数据；
22.将所述候选行为数据、所述预设区间的行为数据和所述扩展行为数据进行融合处理，得到目标行为数据。
23.一种可能的设计中，所述对所述训练数据进行插值处理，得到候选行为数据，包括：
24.对所述训练数据进行微分插值处理，得到第一训练样本，对所述训练数据进行卡尔曼滤波预测插值处理，得到第二训练样本；
25.将所述第一训练样本、所述第二训练样本和所述训练数据合并，得到所述候选行为数据。
26.一种可能的设计中，所述预设区间的行为数据中各行为数据包括物品的加速度；所述将所述预设区间的行为数据进行距离变换，得到扩展行为数据，包括：
27.确定所述预设区间的行为数据中各行为数据对应的物品的加速度；
28.根据确定所述预设区间的行为数据中各行为数据对应的物品的加速度，从所述预设区间的行为数据中确定无效行为数据和有效行为数据；其中，无效行为数据是指加速度低于预设加速度或者高于所述预设加速度的物品的行为数据；
29.增加所述无效行为数据与所述有效行为数据之间的欧氏距离。
30.一种可能的设计中，所述根据所述特征向量得到所述训练数据中各行为数据的类别概率之后，所述根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值之前，所述方法还包括：
31.为每个运输行为设置行为权重；
32.若在时域上相邻的两个运输行为存在关联关系，则将当前运输行为的行为权重更新至概率张量列表中，将更新的概率张量列表作为对下一个运输行为进行分类预测的输入。
33.第二方面中，本申请实施例提供一种用于对运输行为分类的装置，具有实现对应于上述第一方面提供的运输行为的分类方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所
述模块可以是软件和/或硬件。
34.一种可能的设计中，所述装置包括：
35.获取模块，用于获取至少一种目标对象的模拟行为数据，所述目标对象是指参与物品运输的对象；
36.处理模块，用于分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布；按照模拟行为数据所属的行为类型，分别对参数化后的各模拟行为数据分别设置行为标识，得到训练数据，所述行为标识用于表示运输中的物品的运输状态；提取所述训练数据在时域上的特征向量；根据所述特征向量得到所述训练数据中各行为数据的类别概率；根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值；根据各行为数据的奖励值对各行为数据进行分类，并输出分类结果。
37.一种可能的设计中，所述处理模块执行以下项中的至少一项对各模拟行为数据进行参数化：
38.所述目标对象为物品时，对所述物品的模拟行为数据进行参数化，得到物品特征信息、物品的运动状态信息和物品的姿态信息，其中，所述物品特征信息、所述物品的运动状态信息和所述物品的姿态信息均服从所述随机分布；
39.所述目标对象为运输通道时，对所述运输通道的模拟行为数据进行参数化，得到所述运输通道的斜坡倾角、斜面尺寸和螺旋角度中的至少一种，其中，所述运输通道的斜坡倾角、斜面尺寸和螺旋角度均服从所述随机分布；
40.或者，所述目标对象为传输带设备时，对所述传输带设备的模拟行为数据进行参数化，得到所述传输带设备的运行速度、振动频率和尺寸；其中，所述传输带设备的运行速度、振动频率和尺寸均服从所述随机分布。
41.一种可能的设计中，所述处理模块在得到训练数据之后，提取所述训练数据在时域上的特征向量之前，还用于：
42.对所述训练数据进行融合处理。
43.一种可能的设计中，所述处理模块具体用于：
44.对所述训练数据进行插值处理，得到候选行为数据；
45.对所述候选行为数据进行归一化处理，得到预设区间的行为数据，将所述预设区间的行为数据进行距离变换，得到扩展行为数据；
46.将所述候选行为数据、所述预设区间的行为数据和所述扩展行为数据进行融合处理，得到目标行为数据。
47.一种可能的设计中，所述处理模块具体用于：
48.对所述训练数据进行微分插值处理，得到第一训练样本，对所述训练数据进行卡尔曼滤波预测插值处理，得到第二训练样本；
49.将所述第一训练样本、所述第二训练样本和所述训练数据合并，得到所述候选行为数据。
50.一种可能的设计中，所述预设区间的行为数据中各行为数据包括物品的加速度；所述处理模块具体用于：
51.确定所述预设区间的行为数据中各行为数据对应的物品的加速度；
52.根据确定所述预设区间的行为数据中各行为数据对应的物品的加速度，从所述预设区间的行为数据中确定无效行为数据和有效行为数据；其中，无效行为数据是指加速度低于预设加速度或者高于所述预设加速度的物品的行为数据；
53.增加所述无效行为数据与所述有效行为数据之间的欧氏距离。
54.一种可能的设计中，所述处理模块在根据所述特征向量得到所述训练数据中各行为数据的类别概率之后，根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值之前，还用于：
55.为每个运输行为设置行为权重；
56.若在时域上相邻的两个运输行为存在关联关系，则将当前运输行为的行为权重更新至概率张量列表中，将更新的概率张量列表作为对下一个运输行为进行分类预测的输入。
57.本申请实施例又一方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和输入输出单元，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面所述的方法。
58.本申请实施例又一方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
59.相较于现有技术，本申请实施例提供的方案中，通过模拟各种目标对象的模拟行为数据，即可采用这些模拟行为数据去训练神经网络模型，分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布。一方面，模拟得到的模拟行为数据丰富多样，再加上随机分布特点，就能够全面的模拟实际运输场景中对包裹的各种运输行为；另一方面，无需通过在大量包裹内分别放置加速度传感器，以实时获取实际运输场景中对包裹的运输行为，通过本申请实施例中的模拟行为数据的方式能够提高获取训练数据的效率以及获取更多的训练数据，使得神经网络模型能够识别出更多的运输行为类型。
附图说明
60.图1为本申请实施例中逻辑框架示意图；
61.图2为本申请实施例中运输行为的分类方法的一种流程示意图；
62.图3为本申请实施例中参数化后的一种虚拟行为数据的示意图；
63.图4a为本申请实施例中人抛包裹到地面的一种模拟行为数据曲线图；
64.图4b为本申请实施例中包裹从斜槽下滑并跌落至地面的一种模拟行为数据曲线图；
65.图5a为本申请实施例中一种数据融合架构示意图；
66.图5b为本申请实施例中基于模拟行为数据采用kf插值算法前后的对比示意图；
67.图5c为本申请实施例中真实行为数据采用td插值算法前后的对比示意图；
68.图6为本申请实施例中归一化前后的对比示意图；
69.图7为本申请实施例中神经网络模型的一种框架预测包裹的运输行为；
70.图8为本申请实施例中根据最优参数组合单独测试的效果的一种示意图；
71.图9为本申请实施例中用于对运输行为分类的装置的结构示意图；
72.图10为本申请实施例中计算机设备的一种结构示意图。
具体实施方式
73.本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
74.本申请实施例供了一种运输行为的分类方法、装置及存储介质，可用于物流运输领域，可用于检测包裹在运输过程中发生的各种运输行为，例如识别异常运输行为。一些实施方式中，本申请实施例可基于如图1所示的逻辑框架实现，该逻辑框架包括仿真模块、数据融合模块和深度强化模型等三个功能模块，以下分别说明。
75.1、仿真模块，用于生产虚拟行为数据并对虚拟行为数据进行参数化，例如，运输过程中涉及多种目标对象，这些目标对象都参与整个或者部分运输环节的运输操作，那么可以将参与每个运输环节的对象看作目标对象，或者运输节点。例如，运输过程中涉及运输的物品、运输物品的滑槽、运输物品的螺旋滑槽、运输物品的传输设备(例如皮带机)，那么，为了便于对这些目标对象进行时域上的特性进行分析，在仿真模块中，可将这些目标对象进行参数化，具体为：
76.物品：尺寸大小、质量惯性、初始三轴线速度及角速度、跌落位置姿态。
77.滑槽：斜坡倾角、斜面长宽。
78.螺旋滑槽：前后端斜面长宽，螺旋角度。
79.物理引擎：动静摩擦系数，刚度系数，线性及角度阻尼系数。
80.皮带机：运行速度、震动频率、尺寸大小。
81.2、数据融合模块，用于对仿真模块生产的模拟行为数据进行预处理。
82.3、深度强化模型训练模块，用于实现模型离线数据预训练，以及在线部署模型训练，更新及分类。
83.参照图2，以下介绍本申请实施例所提供的一种运输行为的分类方法，本申请实施例主要包括：
84.201、获取至少一种目标对象的模拟行为数据。
85.其中，所述目标对象是指参与物品运输的对象。例如，所述目标对象包括物品、运输通道、传输带设备和物理引擎等对象。
86.202、分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布。
87.一些实施方式中，所述目标对象为物品时，对所述物品的模拟行为数据进行参数
化，得到物品特征信息、物品的运动状态信息和物品的姿态信息，其中，所述物品特征信息、所述物品的运动状态信息和所述物品的姿态信息均服从所述随机分布；例如，物品特征信息包括尺寸大小、质量惯性等参数，运动状态信息包括初始三轴线速度及角速度，姿态信息包括跌落位置姿态(可用三维数据表示)。
88.所述目标对象为运输通道时，对所述运输通道的模拟行为数据进行参数化，得到所述运输通道的斜坡倾角、斜面尺寸和螺旋角度中的至少一种，其中，所述运输通道的斜坡倾角、斜面尺寸和螺旋角度均服从所述随机分布；例如，运输通道为滑槽时，对运输通道的模拟行为数据参数化后得到的参数可为：斜坡倾角、斜面长宽。运输通道为螺旋滑槽时，对运输通道的模拟行为数据参数化后得到的参数可为：前后端斜面长宽，螺旋角度。
89.或者，所述目标对象为传输带设备时，对所述传输带设备的模拟行为数据进行参数化，得到所述传输带设备的运行速度、振动频率和尺寸；其中，所述传输带设备的运行速度、振动频率和尺寸均服从所述随机分布。例如，传输带设备为皮带机时，对皮带机的模拟行为数据参数化后得到的参数可为：：运行速度、震动频率、尺寸大小。
90.本申请实施例中，在对各目标对象参数化后，所有参数化后的目标对象的参数都服从随机分布，由于参数都服从随机分布，所以能够尽可能的覆盖国内各类场景的各类运输行为，因此，通过参数化方式，仿真模块能够在较短时间内生产100000次异常行为数据，能够提高数据的生产效率，也不依赖于从实际场景中获取，进而能够降低生产成本。相较于现有机制中从实际场景中对某一个运输网点的某一个运输环节(如在滑槽)进行样本采集而言，本申请实施例的采集效率更高，且采集的行为数据丰富多样，更全面，进而更有利于模型的不断学习，以不断地提高模型的准确率和识别出更多种类的异常运输行为。
91.203、按照模拟行为数据所属的行为类型，分别对参数化后的各模拟行为数据分别设置行为标识，得到训练数据。
92.其中，所述行为标识用于表示运输中的物品的运输状态，例如脚踢、抛扔或包裹经过滑槽等针对包裹的行为。对各模拟行为数据设置行为标识的过程即为对模拟行为数据的打标签操作，设置了行为标识的模拟行为数据(即训练数据)可用于后期对神经网络模型进行训练。
93.举例来说，如图3所示的参数化后的一种虚拟行为数据的示意图，图3中，根据不同行为事件，对各类参数指定范围内服从随机分布的方式，以固定频率(例如以25-100hz)实时获取放在包裹内的加速度(ax，ay，az)及角速度(wx，wy，wz)，并同步进行事件标注。
94.传感器加速度为：ax，ay，az，acc
95.传感器角速度为：wx，wy，wz，w
96.label表示运输行为事件：例如，
‘0’
表示模拟人员抛扔的运输行为，
‘1’
表示模拟包裹经过滑槽的运输行为，
‘2’
表示模拟人脚踢的运输行为，index为时间计数，单位为0.01s。本申请实施例不对行为标识的个数和类别作限定。
97.一些实施方式中，举例来说，图4a为人抛包裹到地面的一种模拟行为数据曲线图，图4b为包裹从斜槽下滑并跌落至地面的一种模拟行为数据曲线图。不在平行线的离散信号表示在该时间点针对该包裹的运输行为符合预设事件。从图4a和图4b可看出，无论是模拟的行为数据还是真实行为数据，异常运输行为对应的行为数据在整个时间窗口(300个行为数据，可变参数)中占比不到2％，如果只通过这些异常运输行为对应的行为数据去分析多
种行为，且每种行为又丰富多样，为保证高精度，在得到训练数据之后，还可以对所述训练数据进行融合处理。
98.具体来说，如图5a所示的一种数据融合架构示意图。本申请实施例中基于图5a所示的数据融合架构示意图对训练数据进行融合处理的方式包括：
99.(1)对所述训练数据进行插值处理，得到候选行为数据。
100.一些实施方式中，所述对所述训练数据进行插值处理，得到候选行为数据，包括：
101.对所述训练数据进行微分插值处理，得到第一训练样本，对所述训练数据进行卡尔曼滤波预测插值处理，得到第二训练样本。
102.将所述第一训练样本、所述第二训练样本和所述训练数据合并，得到所述候选行为数据。
103.例如，图5b为一种基于模拟行为数据采用kf插值算法前后的对比示意图，图5c为一种真实行为数据采用td插值算法前后的对比示意图。红色代表原始数据，绿色代表插值数据。可以看出，统一行为虚拟数据与真实行为数据很相似，采用td插值及kf插值可以在事件处实现加密插值。其中，通过td插值能够有效提升2-3倍的数据量，通过kf插值能够有效提升4-5倍的数据量，且有震荡现象，进一步丰富了事件数据。
104.(2)对所述候选行为数据进行归一化处理，得到预设区间的行为数据，将所述预设区间的行为数据进行距离变换，得到扩展行为数据。
105.a、归一化处理是指将不同特征的值量化到同一区间。即将有量纲的表达式转换成无量纲的表达式，不会改变数据的特征，例如将所述候选行为数据映射到[0,1]或[-1,1]区间内。一方面，归一化处理能够是的后面数据处理更加方便，另一方面，归一化处理能够提高程序运行时收敛速度。归一化的具体作用是归纳统一样本的统计分布性。归一化在一个区间(例如在[0，1g]内统计的概率分布。
[0106]
举例来说，同样一种异常运输行为事件，其最大值并非固定，而是在一个合加速度区间10-50g随机波动,但包裹在正常运输时的合加速度始终为1g，为了降低相同的运输行为事件之间的区别，可采用激活函数(例如sigmod)作用空间在合加速度在[0，1g]的行为数据之间，若超出该[0，1g]范围，则认为合加速度在该[0，1g]范围的行为数据为无效行为数据。故这里需要对候选行为数据进行归一化，从而保证候选行为数据中的合加速度始终保持在[0，1g]之间，并降低相同事件的差异。
[0107]
如图6所示，连续数据点的实线为原始行为数据，包括离散数据点的实现为先后进行kf插值处理和归一化后的候选行为数据。从图6中可以看出，在保证所有行为数据归一化到[0，1g]之后，对这些在[0，1g]的行为数据进行等比例放大，例如放大20倍。相较于原来kf插值的最大值只有原始数据0.55倍而言，本申请实施例能够明显提高kf插值的最大值。
[0108]
b、距离变换是指扩大有效行为数据与非有效行为数据的欧式间距，距离变换可采用区间映射方式。
[0109]
一些实施方式中，所述预设区间的行为数据中各行为数据包括物品的加速度；所述将所述预设区间的行为数据进行距离变换，得到扩展行为数据，包括：
[0110]
确定所述预设区间的行为数据中各行为数据对应的物品的加速度；
[0111]
根据确定所述预设区间的行为数据中各行为数据对应的物品的加速度，从所述预设区间的行为数据中确定无效行为数据和有效行为数据；其中，无效行为数据是指加速度
低于预设加速度或者高于所述预设加速度的物品的行为数据；
[0112]
增加所述无效行为数据与所述有效行为数据之间的欧氏距离。
[0113]
可见，采用上述实施方式能够在扩大无效行为数据与所述有效行为数据之间的欧氏距离的同时进一步增加有效行为数据。
[0114]
例如，包裹在正常运输情况下，包裹内置的传感器的合加速度为1g，从数据也可以看出，300个行为数据中，98％左右的行为数据的合加速度为1g，合加速度为0的行为数据很少，合加速度大于10g的行为数据同样很少。本申请实施例则通过加大合加速度在[0，1g]、[1g，10g]以及[10g，+∞]范围内的行为数据之间的欧式间距，并保证过渡连续，从而实现扩大欧式间距的同时进一步增加有效行为数据的信息。
[0115]
一些实施方式中，在采用区间映射方式时，取一组数据(x，y)，分别为x和y赋值，并创建每种取值下的x和y的映射关系，即x＝y，然后将创建的多个x和y的映射关系输入多项式插值算法中，多项式插值算法可根据x和y的映射关系的规律拟合出一个或多个区间映射公式。具体来说，一组数据(x，y)包括：0->0、0.5->10、1->20、30->30、40->40。
[0116]
将上述0->0、0.5->10、1->20、30->30、40->40输入多项式插值算法中，拟合得到x和y的映射关系公式，例如为下述的一种x和y的映射关系公式：
[0117][0118]
其中，y是指x经过区间映射后的取值，x是指物品的行为数据中的速度(例如角速度、加速度或者合加速度)，p1、p2、p3、q1、q2和q3均为常量。一些实施方式中，可在本申请实施例给出的映射关系公式进行变型，例如增加其他参数、或者改变常量的取值等，本申请实施例不对上述映射关系公式作限定。
[0119]
(3)将所述候选行为数据、所述预设区间的行为数据和所述扩展行为数据进行融合处理，得到目标行为数据。
[0120]
可见，通过对候选行为数据进行融合处理后，能够提高候选行为数据的丰富多样性，为后续分类的高精度提供更全面的行为数据。
[0121]
204、提取所述训练数据在时域上的特征向量，根据所述特征向量得到所述训练数据中各行为数据的类别概率。
[0122]
其中，特征向量是指提取训练数据中的行为的特征，提取出来的特征都为向量格式。由于行为之间存在时域先后关系，且行为是基于时域增序产生，所以提取时域上的特征向量更能够表征行为的实际意义。
[0123]
类别概率是指行为的特征属于某个行为类别的概率。
[0124]
205、根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值。
[0125]
206、根据各行为数据的奖励值对各行为数据进行分类，并输出分类结果。
[0126]
与现有机制相比，本申请实施例中，通过模拟各种目标对象的模拟行为数据，即可采用这些模拟行为数据去训练神经网络模型，分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布。一方面，模拟得到的模拟行为数据丰富多样，再加上随机分布特点，就能够全面的模拟实际运输场景中对包裹的各种运输行为；另一方面，无需通过在大量包裹内分别放置加速度传感器，以实时获取实际运输场景中对包裹的运输行为，通过本
申请实施例中的模拟行为数据的方式能够提高获取训练数据的效率以及获取更多的训练数据，使得神经网络模型能够识别出更多的运输行为类型。
[0127]
可选的，在本申请实施例的一些实施例中，在根据所述特征向量得到所述训练数据中各行为数据的类别概率之后，所述根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值之前，所述方法还包括：
[0128]
为每个运输行为设置行为权重；
[0129]
若在时域上相邻的两个运输行为存在关联关系，则将当前运输行为的行为权重更新至概率张量列表中，将更新的概率张量列表作为对下一个运输行为进行分类预测的输入。
[0130]
其中，行为权重可为向量模式。概率张量列表是指多维数组，多维数组可包括行为权重，例如概率张量列表可称作权重记忆库m。
[0131]
为便于理解，以下以如图7所示的神经网络模型的一种框架预测包裹的运输行为为例，图7中，神经网络模型为循环神经网络(recurrent neural networks，rnn)，假定事件行为对输入状态(state，s)不构成影响，但上下连个行为之间存在关系，故此每次行为权重判定后，将权重向量放入权重记忆库m中，作为下一个全连接的输入，并对行为权重记忆库m进行更新。
[0132]
(1)输入状态s包括3个维度：f，n，w
[0133]
其中，f表示特征(即合加速度)，由传感器加速度(ax、ay、az)，以及传感器角速度(wx、wy、wz)组成，f可以包括ax、ay、az、wx、wy、wz中的多个或全部，本申请实施例不对此作限定。
[0134]
n表示行为分类个数，这里默认为3中行为，默认包括人抛，人踢，滑槽，维度可以根据增加。
[0135]
w表示窗口维度，默认为300个数据，可以更改。
[0136]
(2)采样rnn进行特征提取，默认维度为10个cell，时间step为50,可更改
[0137]
(3)输出层为一个softmax全连接层，输出的为行为概率，即动作a；
[0138]
(4)记忆库m用来存放基于时间轴的行为概率张量，维度为(m，n)，m表示时间，n表示行为个数。
[0139]
(5)奖励权重w
t-1
表示上一次行为权重，y
t
表示综合准确率评分。
[0140]
采样融合后的行为数据，根据最优参数组合单独测试的效果(包括插值tf处理、采样kf预测插值、采样nor归一化和采样ys区间映射),最后测试精度为0.935。具体的测试结果可参考图8所示。
[0141]
rnn模型采用虚拟数据进行预训练，训练过程不会有真实行为数据介入。通过测试可以看出，用仿真的模拟行为数据对rnn进行测试时，fakedata_ac curacy近乎为1；用传感器的真实行为数据进行测试时，realdata_accurcay为0.935，是一个可以较高的预测精度。
[0142]
由此可以认为，通过采用仿真模拟行为数据，并对模拟行为数据进行数据融合增强后，再结合深度强化模型，能够有效提高最终的分类结果，并且避免了人工数据采集与标注耗时耗力的缺点，有效提高开发效率，且克服人工采样标注难以满足的样本多样性问题。
[0143]
此外，采用深度学习rnn对时域信号有较强特征表征能力的同时，结合强化学习可以进行在线模型学习更新的优势，巧妙的进行模型设计。
[0144]
图1至图8中任一项所对应的实施例中所提及的任一技术特征也同样适用于本申请实施例中的图9和图10所对应的实施例，后续类似之处不再赘述。
[0145]
以上对本申请实施例中一种运输行为的分类方法进行说明，以下对执行上述运输行为的分类方法的装置进行介绍。
[0146]
上面对本申请实施例中的一种运输行为的分类方法进行了描述，下面对本申请实施例中的用于对运输行为分类的装置进行描述。
[0147]
参阅图9，如图9所示的一种用于对运输行为分类的装置90的结构示意图，其可应用于物流运输领域。本申请实施例中的用于对运输行为分类的装置90能够实现对应于上述图1所对应的实施例中所执行的运输行为的分类方法的步骤。用于对运输行为分类的装置90实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述用于对运输行为分类的装置可包括处理模块901和获取模块902，所述处理模块901和所述获取模块902的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。
[0148]
一些实施方式中，所述获取模块901可用于获取至少一种目标对象的模拟行为数据，所述目标对象是指参与物品运输的对象；
[0149]
所述处理模块901可用于分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布；按照模拟行为数据所属的行为类型，分别对参数化后的各模拟行为数据分别设置行为标识，得到训练数据，所述行为标识用于表示运输中的物品的运输状态；提取所述训练数据在时域上的特征向量；根据所述特征向量得到所述训练数据中各行为数据的类别概率；根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值；根据各行为数据的奖励值对各行为数据进行分类，并输出分类结果。
[0150]
本申请实施例中，所示处理模块901通过模拟各种目标对象的模拟行为数据，即可采用这些模拟行为数据去训练神经网络模型，分别对各模拟行为数据进行参数化，以使各模拟行为数据服从随机分布。一方面，模拟得到的模拟行为数据丰富多样，再加上随机分布特点，就能够全面的模拟实际运输场景中对包裹的各种运输行为；另一方面，无需通过在大量包裹内分别放置加速度传感器，以实时获取实际运输场景中对包裹的运输行为，通过本申请实施例中的模拟行为数据的方式能够提高获取训练数据的效率以及获取更多的训练数据，使得神经网络模型能够识别出更多的运输行为类型。
[0151]
一些实施方式中，所述处理模块901执行以下项中的至少一项对各模拟行为数据进行参数化：
[0152]
所述目标对象为物品时，对所述物品的模拟行为数据进行参数化，得到物品特征信息、物品的运动状态信息和物品的姿态信息，其中，所述物品特征信息、所述物品的运动状态信息和所述物品的姿态信息均服从所述随机分布；
[0153]
所述目标对象为运输通道时，对所述运输通道的模拟行为数据进行参数化，得到所述运输通道的斜坡倾角、斜面尺寸和螺旋角度中的至少一种，其中，所述运输通道的斜坡倾角、斜面尺寸和螺旋角度均服从所述随机分布；
[0154]
或者，所述目标对象为传输带设备时，对所述传输带设备的模拟行为数据进行参数化，得到所述传输带设备的运行速度、振动频率和尺寸；其中，所述传输带设备的运行速度、振动频率和尺寸均服从所述随机分布。
[0155]
一些实施方式中，所述处理模块901在得到训练数据之后，提取所述训练数据在时域上的特征向量之前，还用于：
[0156]
对所述训练数据进行融合处理。
[0157]
一些实施方式中，所述处理模块具体用于：
[0158]
对所述训练数据进行插值处理，得到候选行为数据；
[0159]
对所述候选行为数据进行归一化处理，得到预设区间的行为数据，将所述预设区间的行为数据进行距离变换，得到扩展行为数据；
[0160]
将所述候选行为数据、所述预设区间的行为数据和所述扩展行为数据进行融合处理，得到目标行为数据。
[0161]
一些实施方式中，所述处理模块901具体用于：
[0162]
对所述训练数据进行微分插值处理，得到第一训练样本，对所述训练数据进行卡尔曼滤波预测插值处理，得到第二训练样本；
[0163]
将所述第一训练样本、所述第二训练样本和所述训练数据合并，得到所述候选行为数据。
[0164]
一些实施方式中，所述预设区间的行为数据中各行为数据包括物品的加速度；所述处理模块901具体用于：
[0165]
确定所述预设区间的行为数据中各行为数据对应的物品的加速度；
[0166]
根据确定所述预设区间的行为数据中各行为数据对应的物品的加速度，从所述预设区间的行为数据中确定无效行为数据和有效行为数据；其中，无效行为数据是指加速度低于预设加速度或者高于所述预设加速度的物品的行为数据；
[0167]
增加所述无效行为数据与所述有效行为数据之间的欧氏距离。
[0168]
一些实施方式中，所述处理模块901在根据所述特征向量得到所述训练数据中各行为数据的类别概率之后，根据所述训练数据中各行为数据的类别概率、行为权重和正确性分值，得到所述训练数据中各行为数据的奖励值之前，还用于：
[0169]
为每个运输行为设置行为权重；
[0170]
若在时域上相邻的两个运输行为存在关联关系，则将当前运输行为的行为权重更新至概率张量列表中，将更新的概率张量列表作为对下一个运输行为进行分类预测的输入。
[0171]
上面从模块化功能实体的角度对本申请实施例中的装置90进行了描述，下面从硬件处理的角度分别对本申请实施例中的执行上述运输行为的分类方法的计算机设备进行描述。图9所示的装置90可以具有如图10所示的结构，当图9所示的装置90具有如图10所示的结构时，图10中的处理器和输入输出单元能够实现前述对应该装置90的装置实施例提供的处理模块和获取模块相同或相似的功能，图10中的中央存储器存储处理器执行上述运输行为的分类方法时需要调用的计算机程序。在本申请实施例图9所示的实施例中的获取模块所对应的实体设备可以为输入输出单元或者输入输出接口，处理模块对应的实体设备可以为处理器。
[0172]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0173]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0174]
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0175]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0176]
另外，在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0177]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0178]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0179]
以上对本申请实施例所提供的技术方案进行了详细介绍，本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请实施例的限制。