对象序列的识别方法、网络训练方法、装置、设备及介质与流程

本技术实施例涉及图像处理，涉及但不限于一种对象序列的识别方法、网络训练方法、装置、设备及介质。

背景技术：

1、图像中的序列识别是计算机视觉中的一个重要研究问题。序列识别算法在场景文字识别、车牌识别等场景中有广泛应用。相关技术中，采用神经网络对序列式对象的图像进行识别，其中，神经网络可以由序列式对象中的对象的类别作为监督信息训练得出。

2、在一些场景中，对象序列的长度较长，且对这些对象进行识别的准确度要求较高，相关技术中的序列识别方法难以达到满足要求的序列识别效果。

技术实现思路

1、本技术实施例提供一种对象序列的识别技术方案。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供一种对象序列的识别方法，所述方法包括：

4、获取对象序列的第一图像；

5、将所述第一图像输入对象序列的识别网络中，进行特征提取，得到特征序列；其中，所述对象序列的识别网络在训练过程中的监督信息至少包括：样本对象序列中每一样本对象的类别监督信息和样本对象序列中每一类样本对象的序列长度监督信息；

6、基于所述特征序列，采用所述对象序列的识别网络的分类器预测所述对象序列的类别，得到所述对象序列的类别信息。

7、在一些实施例中，所述将将所述第一图像输入对象序列的识别网络中，进行特征提取，得到特征序列，包括：采用所述对象序列的识别网络中的卷积子网络对所述第一图像进行特征提取，得到特征图；对所述特征图进行拆分，得到所述特征序列。如此，便于后续对特征序列中的对象类别进行更加精准地识别。

8、在一些实施例中，所述采用对象序列的识别网络中的卷积子网络对所述第一图像进行特征提取，得到特征图，包括：采用所述卷积子网络，在所述第一图像的第一方向的长度维度上对所述第一图像进行下采样，得到第一维度特征，所述第一方向不同于所述对象序列中的对象的排列方向；基于所述第一图像的第二方向的长度，提取所述第一图像的第二方向的长度维度上的特征，得到第二维度特征；基于所述第一维度特征和所述第二维度特征，得到所述特征图。如此，能够尽可能多的保留第一图像在第二方向维度上的特征信息。

9、在一些实施例中，所述对所述特征图进行拆分，得到所述特征序列，包括：沿着所述第一方向对所述特征图进行池化，得到已池化特征图；沿着所述第二方向对所述已池化特征图进行拆分，得到所述特征序列。如此，通过在第一方向对特征图进行池化后，在第二方向对特征图进行拆分，从而使得特征序列能够包括第一图像沿第二方向的更多细节信息。

10、在一些实施例中，所述基于所述特征序列，采用所述对象序列的识别网络的分类器预测所述对象序列的类别，得到所述对象序列的类别信息，包括：采用所述对象序列的识别网络的分类器，预测所述特征序列中每个特征对应的类别；基于所述特征序列中的每个特征对应的类别的预测结果，确定所述对象序列中的每一对象的类别；在所述特征序列中，确定属于同一类对象的目标特征的序列长度；基于所述对象序列中的每一对象的类别和每一类对象对应的目标特征的序列长度，得到所述对象序列的类别信息。如此，通过对特征序列的分类结果，采用ctc损失函数的后处理规则进行处理，能够使得预测到的每一对象的类别以及对象序列长度更加精确。

11、本技术实施例提供一种对象序列的识别网络的训练方法，所述方法包括：获取样本图像，所述样本图像包括样本对象序列和样本对象序列的类别标注信息；将所述样本图像输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列；基于所述样本特征序列，采用所述待训练的对象序列的识别网络的分类器，对所述样本对象序列中的样本对象进行类别预测，得到所述样本对象序列的类别预测结果，所述样本对象序列的类别预测结果包括所述样本对象序列中每一个样本对象的类别预测信息；基于所述样本对象序列的类别预测结果确定第一损失和第二损失，其中，所述第一损失用于基于样本对象序列的类别标注信息监督所述样本对象序列的类别预测结果，所述第二损失用于基于所述样本对象序列的类别标注信息监督所述样本对象序列中的每一类样本对象的数量；根据所述第一损失和所述第二损失，对待训练的对象序列的识别网络的网络参数进行调整，以使调整后的对象序列的识别网络输出的分类结果的损失满足收敛条件。如此，通过引入对整体序列进行监督的第一损失和对序列中每个类别的个数进行监督的第二损失，能够整体提高该网络的类别预测效果。

12、在一些实施例中，所述所述将所述样本图像输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列，包括：采用所述待训练的对象序列的识别网络中的卷积子网络对所述样本图像进行特征提取，得到所述样本图像的样本特征图；对所述样本特征图进行拆分，得到所述样本特征序列。如此，能够得到保留了更多第二方向特征的样本特征序列，能够提高对网络进行训练的准确度。

13、在一些实施例中，所述采用所述待训练的对象序列的识别网络中的卷积子网络对所述样本图像进行特征提取，得到所述样本图像的样本特征图，包括：采用所述卷积子网络，在所述样本图像的第一方向的长度维度上对所述样本图像进行下采样，得到第一维度样本特征，所述第一方向不同于所述样本图像中的样本对象序列的排列方向；基于所述样本图像的第二方向的长度，提取在所述样本图像的第二方向的长度维度上的特征，得到第二维度样本特征；基于所述第一维度样本特征和所述第二维度样本特征，得到所述样本图像的所述样本特征图。如此，能够尽可能多的保留每一样本图像在第二方向维度上的特征信息。

14、在一些实施例中，所述对所述样本特征图进行拆分，得到所述样本特征序列，包括：沿着所述第一方向对所述样本特征图进行池化，得到已池化样本特征图；沿着所述第二方向对所述已池化样本特征图进行拆分，得到所述样本特征序列。如此，通过在第一方向维度对样本特征图进行池化后，在第二方向维度对样本特征图进行拆分，从而使得样本特征序列能够保留样本图像在第二方向维度上的更详细的信息。

15、在一些实施例中，所述根据所述第一损失和所述第二损失，对待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件，包括：对所述第一损失和所述第二损失进行加权融合，得到总损失；基于所述总损失，对所述待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件。如此，将两个损失函数相融合作为总损失，采用该总损失训练网络，能够提高网络的对象识别性能。

16、在一些实施例中，所述对所述第一损失和所述第二损失进行加权融合，得到总损失，包括：

17、将第一动态权重赋予所述第一损失，得到第一动态损失；其中，在训练次数达到第一阈值或训练时间达到第一时长的情况下，所述第一动态权重随着所述待训练的对象序列的识别网络的训练次数和/或训练时长的增加逐渐减小；

18、将第二动态权重赋予所述第二损失，得到第二动态损失；其中，在训练次数达到第二阈值或训练时间达到第二时长的情况下，所述第二动态权重随着所述待训练的对象序列的识别网络的训练次数和/或训练时长的增加逐渐增大；将所述第一动态损失和所述第二动态损失进行融合，得到所述总损失。如此，两个损失函数的权重使用动态调整的方式，能够提高整个网络的预测效果，从而能够得到性能较高的对象序列的识别网络。

19、本技术实施例提供一种对象序列的识别装置，所述装置包括：

20、第一获取模块，用于获取对象序列的第一图像；

21、第一提取模块，用于将所述第一图像输入对象序列的识别网络中，进行特征提取，得到特征序列；其中，所述对象序列的识别网络在训练过程中的监督信息至少包括：样本对象序列中每一样本对象的类别监督信息和样本对象序列中每一类样本对象的序列长度监督信息；

22、第一预测模块，用于基于所述特征序列，采用所述对象序列的识别网络的分类器预测所述对象序列的类别，得到所述对象序列的类别信息。

23、在一些实施例中，所述第一提取模块，包括：

24、第一提取子模块，用于采用所述对象序列的识别网络中的卷积子网络对所述第一图像进行特征提取，得到特征图；

25、第一拆分子模块，用于对所述特征图进行拆分，得到所述特征序列。

26、在一些实施例中，所述第一提取子模块，包括：

27、第一下采样单元，用于采用所述卷积子网络，在所述第一图像的第一方向的长度维度上对所述第一图像进行下采样，得到第一维度特征，所述第一方向不同于所述对象序列中的对象的排列方向；

28、第一提取单元，用于基于所述第一图像的第二方向的长度，提取所述第一图像的第二方向的长度维度上的特征，得到第二维度特征；

29、第一确定单元，用于基于所述第一维度特征和所述第二维度特征，得到所述特征图。

30、在一些实施例中，所述第一拆分子模块，包括：

31、第一池化单元，用于沿着所述第一方向对所述特征图进行池化，得到已池化特征图；

32、第一拆分单元，用于沿着所述第二方向对所述已池化特征图进行拆分，得到所述特征序列。

33、在一些实施例中，所述第一预测模块，包括：

34、第一预测子模块，用于采用所述对象序列的识别网络的分类器，预测所述特征序列中每个特征对应的类别；

35、第一确定子模块，用于基于所述特征序列中的每个特征对应的类别的预测结果，确定所述对象序列中的每一对象的类别；

36、第二确定子模块，用于在所述特征序列中，确定属于同一类对象的目标特征的序列长度；

37、第三确定子模块，用于基于所述对象序列中的每一对象的类别和每一类对象对应的目标特征的序列长度，得到所述对象序列的类别信息。

38、本技术实施例中提供一种对象序列的识别网络的训练装置，包括：

39、第二获取模块，用于获取样本图像，所述样本图像包括样本对象序列和样本对象序列的类别标注信息；

40、第二提取模块，用于将所述样本图像输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列；

41、第二预测模块，用于基于所述样本特征序列，采用所述待训练的对象序列的识别网络的分类器，对所述样本对象序列中的样本对象进行类别预测，得到所述样本对象序列的类别预测结果，所述样本对象序列的类别预测结果包括所述样本对象序列中每一个样本对象的类别预测信息；

42、第一确定模块，用于基于所述样本对象序列的类别预测结果确定第一损失和第二损失，其中，所述第一损失用于基于样本对象序列的类别标注信息监督所述样本对象序列的类别预测结果，所述第二损失用于基于所述样本对象序列的类别标注信息监督所述样本对象序列中的每一类样本对象的数量；

43、第一调整模块，用于根据所述第一损失和所述第二损失，对待训练的对象序列的识别网络的网络参数进行调整，以使调整后的对象序列的识别网络输出的分类结果的损失满足收敛条件。

44、在一些实施例中，所述第二提取模块，包括：

45、第二提取子模块，用于采用所述待训练的对象序列的识别网络中的卷积子网络对所述样本图像进行特征提取，得到所述样本图像的样本特征图；

46、第二拆分子模块，用于对所述样本特征图进行拆分，得到所述样本特征序列。

47、在一些实施例中，所述第二提取子模块，包括：

48、第二下采样单元，用于采用所述卷积子网络，在所述样本图像的第一方向的长度维度上对所述样本图像进行下采样，得到第一维度样本特征，所述第一方向不同于所述样本图像中的样本对象序列的排列方向；

49、第二提取单元，用于基于所述样本图像的第二方向的长度，提取在所述样本图像的第二方向的长度维度上的特征，得到第二维度样本特征；

50、第二确定单元，用于基于所述第一维度样本特征和所述第二维度样本特征，得到所述样本图像的所述样本特征图。

51、在一些实施例中，所述第二拆分子模块，包括：

52、第二池化单元，用于沿着所述第一方向对所述样本特征图进行池化，得到已池化样本特征图；

53、第二拆分单元，用于沿着所述第二方向对所述已池化样本特征图进行拆分，得到所述样本特征序列。

54、在一些实施例中，所述第一调整模块，包括：

55、第一融合子模块，用于对所述第一损失和所述第二损失进行加权融合，得到总损失；

56、第一调整子模块，用于基于所述总损失，对所述待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件。

57、在一些实施例中，所述第一融合子模块，包括：

58、第一赋予单元，用于将第一动态权重赋予所述第一损失，得到第一动态损失；其中，在训练次数达到第一阈值或训练时间达到第一时长的情况下，所述第一动态权重随着所述待训练的对象序列的识别网络的训练次数和/或训练时长的增加逐渐减小；

59、第二赋予单元，用于将第二动态权重赋予所述第二损失，得到第二动态损失；其中，在训练次数达到第二阈值或训练时间达到第二时长的情况下，所述第二动态权重随着所述待训练的对象序列的识别网络的训练次数和/或训练时长的增加逐渐增大；

60、第一融合单元，用于将所述第一动态损失和所述第二动态损失进行融合，得到所述总损失。

61、对应地，本技术实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的对象序列的识别方法；或，该计算机可执行指令被执行后，能够实现上述的对象序列的识别网络的训练方法。

62、本技术实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的对象序列的识别方法；或，，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的对象序列的识别网络的训练方法。

63、本技术实施例提供一种对象序列的识别方法、装置、设备及存储介质，通过首先，对第一图像进行特征提取，得到特征序列；然后，对特征序列中的对象序列进行类别预测，使得到的特征序列中的对象序列的分类结果较为准确；最后，通过对特征序列中的对象序列的分类结果进行进一步的处理，以确定多个对象序列的类别信息。这样，即使对象序列的特征序列较长，仍能够提高对特征序列中对象序列进行识别的精度。