集装箱危险品标志识别方法、装置、电子设备和存储介质与流程

1.本发明涉及港口物流技术领域，具体地说，涉及一种集装箱危险品标志识别方法、装置、电子设备和存储介质。


背景技术：

2.港口枢纽是水路运输与公路运输、铁路运输等的中转站，承担大量的危险品运输任务。装载危险品的集装箱上，会张贴标识危险品的物理、化学性质以及危险程度的危险品标志。但危险品标志在长途运输、装卸、中转等多频次流转后，非常容易破损褪色，导致相关人员无法及时、准确掌握危险品信息，带来安全隐患。
3.目前，对集装箱上危险品标志的识别，基本采用无线射频技术、传感器技术等，无法有效解决危险品标志破损褪色不易识别的问题，造成港口作业效率低下、安全隐患突出。
4.需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.有鉴于此，本发明提供一种集装箱危险品标志识别方法、装置、电子设备和存储介质，能够通过包含特征提取网络和特征融合网络的危险品标志识别模型，提高危险品标志的识别速度和识别精度，从而提高港口作业效率、确保港口运输安全。
6.根据本发明的一个方面，提供一种集装箱危险品标志识别方法，包括：对途径港口节点的集装箱进行图像采集；通过危险品标志识别模型，对采集的集装箱图像进行危险品标志识别；其中，所述危险品标志识别模型包含特征提取网络和特征融合网络，所述特征提取网络对所述集装箱图像进行多层特征提取，所述特征融合网络对所述特征提取网络提取的多层特征进行多尺度特征融合；根据所述危险品标志识别模型基于所述集装箱图像的输出数据，获得所述集装箱的危险品标志识别结果。
7.在一些实施例中，在所述危险品标志识别模型的训练过程中，获得样本图像的步骤包括：采集途径所述港口节点的历史集装箱图像；对所述历史集装箱图像中包含危险品标志的图像，进行基于所述危险品标志的危险品类别标注，以获得第一类样本图像；根据所述第一类样本图像确定待扩充危险品类别，对所述待扩充危险品类别进行样本扩充，以获得第二类样本图像；其中，所述待扩充危险品类别至少包括所包含的第一类样本图像的数量少于阈值的危险品类别。
8.在一些实施例中，所述对所述待扩充危险品类别进行样本扩充，包括：对所述历史集装箱图像中不含危险品标志的图像，进行基于所述待扩充危险品类别的危险品标志贴图，使获得的至少部分第二类样本图像中：贴图的危险品标志的样式与原有的集装箱标志的样式相近似，和/或，贴图的所述危险品标志的位置与原有的所述集装箱标志的位置相接近。
9.在一些实施例中，在所述危险品标志识别模型的训练过程中，将训练用样本图像
输入所述特征提取网络前，还包括：对所述训练用样本图像进行数据增强。
10.在一些实施例中，所述特征提取网络包括focus网络和csp网络；所述特征融合网络包括fpn网络和pan网络。
11.在一些实施例中，在所述危险品标志识别模型的训练过程中，损失函数包括ciou回归损失函数和bce分类损失函数。
12.在一些实施例中，所述危险品标志识别模型的输出数据包括类别置信度，所述类别置信度表征每种危险品类别的危险品标志是否预测存在；所述危险品标志识别模型的测试过程包括：获得携带类别标签的测试用样本图像，所述类别标签表征每种危险品类别的危险品标志是否真实存在；根据所述危险品标志识别模型基于所述测试用样本图像的输出数据，获得真实存在至少一种危险品类别的危险品标志、且预测存在对应的危险品标志的目标测试样本；基于每种危险品类别的临界可视度，确定所述目标测试样本中每个危险品标志的可视度；根据所述目标测试样本中每个危险品标志的可视度和类别置信度，获得每种所述危险品类别的临界置信度，使所述目标测试样本中每种危险品类别下的危险品标志，基于对应的临界置信度的区分结果与基于对应的临界可视度的区分结果相匹配。
13.在一些实施例中，所述根据所述危险品标志识别模型基于所述集装箱图像的输出数据，还包括：将所述输出数据中预测存在的危险品类别的类别置信度与对应的临界置信度进行比较；获得类别置信度低于对应的临界置信度的目标危险品类别，于目标路径节点打印并粘贴对应所述目标危险品类别的目标危险品标志，使所述目标危险品标志覆盖所述集装箱上对应所述目标危险品类别的原有危险品标志；其中，所述目标路径节点位于所述港口节点至所述目标危险品类别对应的目的节点的目标运输路径上。
14.在一些实施例中，所述危险品标志识别结果包括所述集装箱上预测存在的目标危险品标志；所述集装箱危险品标志识别方法还包括：判断所述集装箱的当前运输路径是否匹配所述港口节点至所述目标危险品标志对应的目的节点的目标运输路径；若否，生成自所述当前运输路径调整至所述目标运输路径的调整路径，推送给所述集装箱的当前运输装置。
15.根据本发明的另一个方面，提供一种集装箱危险品标志识别装置，包括：图像采集模块，用于对途径港口节点的集装箱进行图像采集；标志识别模块，用于通过危险品标志识别模型，对采集的集装箱图像进行危险品标志识别；其中，所述危险品标志识别模型包含特征提取网络和特征融合网络，所述特征提取网络对所述集装箱图像进行多层特征提取，所述特征融合网络对所述特征提取网络提取的多层特征进行多尺度特征融合；结果获取模块，用于根据所述危险品标志识别模型基于所述集装箱图像的输出数据，获得所述集装箱的危险品标志识别结果。
16.根据本发明的又一个方面，提供一种电子设备，包括：处理器；存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现如上述任意实施例所述的集装箱危险品标志识别方法。
17.根据本发明的再一个方面，提供一种计算机可读的存储介质，用于存储程序，所述程序被处理器执行时实现如上述任意实施例所述的集装箱危险品标志识别方法。
18.本发明与现有技术相比的有益效果至少包括：
19.本发明的集装箱危险品标志识别方案，通过特征提取网络对集装箱图像进行多层
特征提取，能够避免亮度、颜色、纹理等底层信息的影响，高效、准确获得多层图像特征；通过特征融合网络对特征提取网络提取的多层特征进行多尺度特征融合，能够避免图像特征在提取过程中的损失，获得不同尺度不同特性的图像特征；从而，采用包含特征提取网络和特征融合网络的危险品标志识别模型，能够有效提高危险品标志的识别速度和识别精度，实现对集装箱危险品标志的高效、精准识别，以提高港口作业效率、确保港口运输安全。
20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1示出本发明一实施例中集装箱危险品标志识别方法的步骤示意图；
23.图2示出本发明一实施例中获得危险品标志识别模型的样本图像的步骤示意图；
24.图3示出本发明一实施例中危险品标志识别模型的测试过程的步骤示意图；
25.图4示出本发明一实施例中补贴危险品标志的步骤示意图；
26.图5示出本发明一实施例中集装箱危险品标志识别装置的模块示意图；
27.图6示出本发明一实施例中电子设备的结构示意图。
具体实施方式
28.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
29.附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
30.此外，附图中所示的流程仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤可以分解，有的步骤可以合并或部分合并，且实际执行的顺序有可能根据实际情况改变。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。
31.图1示出一实施例中集装箱危险品标志识别方法的主要步骤，参照图1所示，在一个实施例中，集装箱危险品标志识别方法包括：
32.步骤s110，对途径港口节点的集装箱进行图像采集。
33.港口节点包括港口枢纽区域(包括水域和陆域)的各个运输节点，例如进港通道、桥吊、道口、装卸作业区等等。在各港口节点均可装设高清摄像头，以对途径港口节点的集
装箱进行图像采集，并将采集的集装箱图像传输至集装箱危险品标志识别方法的执行主体设备。
34.步骤s120，通过危险品标志识别模型，对采集的集装箱图像进行危险品标志识别；其中，危险品标志识别模型包含特征提取网络和特征融合网络，特征提取网络对集装箱图像进行多层特征提取，特征融合网络对特征提取网络提取的多层特征进行多尺度特征融合。
35.通过特征提取网络对集装箱图像进行多层特征提取，能够避免亮度、颜色、纹理等底层信息的影响，高效、准确获得集装箱图像的多层图像特征；通过特征融合网络对特征提取网络提取的多层特征进行多尺度特征融合，能够避免图像特征在提取过程中的损失，获得不同尺度不同特性的图像特征；采用包含特征提取网络和特征融合网络的危险品标志识别模型，能够有效提高危险品标志的识别速度和识别精度，实现对集装箱危险品标志的高效、精准识别。
36.步骤s130，根据危险品标志识别模型基于集装箱图像的输出数据，获得集装箱的危险品标志识别结果。
37.危险品标志识别结果包括集装箱上是否存在危险品标志、以及危险品标志的危险品类别，根据危险品标志识别结果，相关应用(例如指引集装箱卡车自动行驶的应用)或者相关人员能够及时掌握集装箱装载的危险品信息，从而提高港口作业效率、确保港口运输安全。
38.在一个实施例中，危险品标志识别模型基于yolov5(一种单阶段目标检测算法)构建。特征提取网络包括focus网络和csp(cross stage partial，跨阶段局部)网络。focus网络和csp网络是yolov5的骨干网络，其具体结构和算法原理是已有的，因此不再展开说明。
39.本实施例采用focus网络和csp网络对集装箱图像进行多层特征提取，能够高效、准确获得集装箱图像的多层图像特征。具体来说，focus网络用于对集装箱图像进行切片和特征提取，获得多张特征图；csp网络先将通过focus网络得到的基础层的特征图划分为两部分，再通过跨阶段层次结构将两部分合并，获得最终的多层图像特征，能够避免亮度、颜色、纹理等底层信息的影响，实现在减少计算量的同时保证准确率，从而高效、准确获得集装箱图像的多层图像特征。
40.进一步地，特征融合网络包括fpn(feature pyramid network，特征金字塔网络)网络和pan(path aggregation network，路径聚合网络)网络。fpn网络和pan网络是yolov5的颈部网络，其具体结构和算法原理是已有的，因此不再展开说明。
41.本实施例采用fpn网络和pan网络，对特征提取网络提取到的多层图像特征进行多尺度融合，能够获得集装箱图像的不同尺度不同特性的图像特征。具体来说，fpn网络用于对底层特征进行向上采样，并与该底层特征进行融合，得到高分辨率、强语义的特征，加强了特征的提取；pan网络采用新的增强自下向上路径的fpn结构，通过concat(合并)操作对特征图进行融合，改善了低层特征的传播。通过fpn网络与pan网络相结合，在fpn网络后添加自底向上的特征金字塔(其中包含两个pan网络)，实现利用fpn网络自顶向下传达强语义特征，利用pan网络自底向上传达强定位特征，二者结合从不同的主干层对不同的检测层进行参数聚合，获得不同尺度不同特性的图像特征，避免图像特征在提取过程中的损失。
42.图2示出一实施例中获得危险品标志识别模型的样本图像的主要步骤，参照图2所
示，在一个实施例中，在危险品标志识别模型的训练过程中，获得样本图像的过程包括：
43.步骤s210，采集途径港口节点的历史集装箱图像。
44.如上述对港口节点的说明，训练准备阶段，可以安装在桥吊、道口等港口节点的高清摄像头作为采集器，采集历史集装箱的高帧率视频，并对高帧率视频进行抽帧，从中提取高清且有效的历史集装箱图像。
45.步骤s220，对历史集装箱图像中包含危险品标志的图像，进行基于危险品标志的危险品类别标注，以获得第一类样本图像。
46.危险品类别可采用统一的危险品分类方式，具体可分成爆炸品、火药类；压缩气体和液化气体；易燃液体；易燃固体、自燃物品和遇湿易燃物品；氧化剂和有机过氧化物；毒害品和感染性物品；放射性物质；腐蚀品；杂类危险品共九大类危险品类别。
47.标注后的每张第一类样本图像，携带危险品标志和对应的类别标签。
48.在其他实施方式中，危险品类别还可采用其他分类方式，不以此处例举为限。
49.步骤s230，根据第一类样本图像确定待扩充危险品类别，对待扩充危险品类别进行样本扩充，以获得第二类样本图像；其中，待扩充危险品类别至少包括所包含的第一类样本图像的数量少于阈值的危险品类别。
50.具体来说，获得第一类样本图像后，对各危险品类别下的第一类样本图像进行统计；根据统计结果，至少将包含的第一类样本图像的数量少于阈值的危险品类别确定为待扩充危险品类别。
51.在一个实施方式中，对待扩充危险品类别进行样本扩充，包括：对历史集装箱图像中不含危险品标志的图像，进行基于待扩充危险品类别的危险品标志贴图，使获得的至少部分第二类样本图像中：贴图的危险品标志的样式与原有的集装箱标志的样式相近似，和/或，贴图的危险品标志的位置与原有的集装箱标志的位置相接近。
52.具体来说，本实施方式中，采用真实场景中不含危险品标志的历史集装箱图像，对该些不含危险品标志的历史集装箱图像进行待扩充危险品类别下的危险品标志贴图，使该些历史集装箱图像张贴上待扩充危险品类别的危险品标志，以模拟真实场景中集装箱上张贴危险品标志的情况，提升模型识别速度和精度。
53.进行危险品标志贴图时，可自待扩充危险品类别中随机选取危险品标志，自动贴在不含危险品标志的历史集装箱图像的指定区域(通常是空白区域)，并自动生成针对所贴危险品标志的标注信息，以获得第二类样本图像。
54.进行危险品标志贴图时，还可通过贴图位置/贴图标志的选取，使所贴危险品标志与原图的标志区域/标志样式产生一定的混淆，例如使贴图的危险品标志的样式与原有的集装箱标志的样式相近似，和/或，使贴图的危险品标志的位置与原有的集装箱标志的位置相接近，从而实现基于样式/位置的样本增强，以此提升模型识别准确率。
55.其中，危险品标志的样式与集装箱标志的样式是否相近似，可采用已有的图像相似度算法预测获得；危险品标志的位置与集装箱标志的位置是否相接近，可基于欧式距离计算获得。
56.此外，根据统计结果，除将第一类样本图像较少的危险品类别确定为待扩充危险品类别外，还可将其余数量达标的危险品类别也一并确定为待扩充危险品类别，以对每种危险品类别均进行基于样式/位置的样本增强。
57.获得样本图像(包含上述的第一类样本图像和第二类样本图像)后，对样本图像进行训练集和测试集的划分。例如，可将90％的样本图像划分为训练集，将10％的样本图像划分为测试集。训练集用于训练危险品标志识别模型，测试集用于衡量危险品标志识别模型的性能。
58.在一个实施例中，在危险品标志识别模型的训练过程中，将训练用样本图像输入特征提取网络前，还包括：对训练用样本图像进行数据增强。
59.训练用样本图像即训练集中的样本图像。对训练用样本图像进行数据增强，具体可包括：对训练用样本图像进行灰度变换、运动模糊、随机仿射变换、马赛克增广等图像增强处理，以模拟真实场景中危险品标志破损褪色等情况，丰富识别场景的多样性，提高识别精度，使危险品标志识别模型具有更好的鲁棒性。
60.危险品标志识别模型的网络结构，可如上述说明，以focus网络和csp网络作为骨干网络，对训练用样本图像进行多层特征提取，并以fpn网络和pan网络作为颈部网络，对focus网络和csp网络提取的多层特征进行多尺度特征融合。
61.危险品标志识别模型的输出数据，包括对应危险品标志的检测框(具体是检测框的高宽、中心点坐标等信息)、以及检测框属于每种危险品类别的概率(即类别置信度)。当然，根据yolov5的原理，危险品标志识别模型的输出数据还可包括其他信息，不再展开说明。
62.进一步地，在一个实施例中，在危险品标志识别模型的训练过程中，损失函数包括ciou(边界框损失函数)回归损失函数和bce(binary cross entropy，二元交叉熵)分类损失函数。采用ciou_loss，计算危险品标志的检测框的回归损失；采用bce_loss，计算危险品标志的危险品类别的分类损失。ciou回归损失函数和bce分类损失函数均是yolov5中已有的损失函数，对其公式和原理不再展开说明。
63.经上述的样本图像准备过程以及模型训练过程，能够获得具备高识别速度和高识别精度的危险品标志识别模型。
64.危险品标志识别模型训练完成后，可应用至测试集上，生成测试结果，并将测试结果与测试集的标注信息作对比，得出模型测试结果评估。
65.采用上述的训练过程训练生成的危险品标志识别模型，其推理速度能达到350～420fps，符合实际应用需求；gpu(graphics processing unit，图形处理器)开销为850m，其开销较小符合应用需求。从而，采用上述的训练过程训练生成的危险品标志识别模型，能够实现对集装箱危险品标志的高效、精准识别，提高港口作业效率、确保港口运输安全。
66.进一步地，针对真实场景中，部分危险品标志因破损褪色等原因，虽能被危险品标志识别模型识别出来、但人眼不容易看清楚，影响需要人工参与的港口节点的作业效率和准确率的问题：在一个实施例中，集装箱危险品标志识别方法还定义“临界可视度”(可基于人眼判断获得)，并根据临界可视度确定“临界置信度”(用于衡量集装箱上的危险品标志是否属于能被模型识别出但人眼不容易看清楚的情况)。
67.具体来说，危险品标志识别模型的输出数据包括类别置信度，类别置信度表征每种危险品类别的危险品标志是否预测存在。例如，在危险品标志识别模型基于某集装箱图像的输出数据中，一危险品类别对应的类别置信度超过设定值，可表征模型预测该集装箱图像中存在该危险品类别的危险品标志；反之，若一危险品类别对应的类别置信度小于设
定值，则表征模型预测该集装箱图像中不存在该危险品类别的危险品标志。
68.上述的临界置信度，可在模型测试阶段获得。图3示出一实施例中危险品标志识别模型的测试过程的主要步骤，参照图3所示，在一个实施例中，危险品标志识别模型的测试过程包括：
69.步骤s310，获得携带类别标签的测试用样本图像，类别标签表征每种危险品类别的危险品标志是否真实存在。
70.举例来说，某测试用样本图像中，仅存在“易燃液体”危险品标志，则该测试用样本图像携带的类别标签中，“易燃液体”危险品类别对应的类别标签为“1”，其余危险品类别对应的类别标签为“0”。
71.步骤s320，根据危险品标志识别模型基于测试用样本图像的输出数据，获得真实存在至少一种危险品类别的危险品标志、且预测存在对应的危险品标志的目标测试样本。
72.筛选出的每张目标测试样本中，存在预测与真实相吻合的危险品标志。通过筛选目标测试样本，能够剔除测试误差，避免后续确定临界置信度时出错。
73.步骤s330，基于每种危险品类别的临界可视度，确定目标测试样本中每个危险品标志的可视度。
74.危险品类别的临界可视度可基于人眼判断提前设定。具体来说，对每种危险品类别，可准备一些清晰程度不同的样本危险品标志，通过人眼判断每个样本危险品标志是否能一眼看清楚，为每个样本危险品标志打上可视或不可视的标签。之后，可利用图像模糊度检测算法，计算每个样本危险品标志的模糊度，并对每种危险品类别下的模糊度进行聚类，以确定能够区分每种危险品类别的携带清晰标签的样本危险品标志的模糊度和携带模糊标签的样本危险品标志的模糊度的临界可视度。
75.从而，针对目标测试样本中的每个危险品标志，通过图像模糊度检测算法检测其模糊度，并与对应危险品类别的临界可视度相比较；若一危险品标志的模糊度超过对应的临界可视度，则获得该危险品标志的可视度为“可视”，反之，获得该危险品标志的可视度为“不可视”。
76.图像模糊度检测算法可采用已有的算法，对其过程和原理不再展开说明。
77.步骤s340，根据目标测试样本中每个危险品标志的可视度和类别置信度，获得每种危险品类别的临界置信度，使目标测试样本中每种危险品类别下的危险品标志，基于对应的临界置信度的区分结果与基于对应的临界可视度的区分结果相匹配。
78.通过上述确定目标测试样本中每个危险品标志的可视度的过程，确定了目标测试样本中每个危险品标志的“可视”或“不可视”的可视度。本步骤基于目标测试样本中每个危险品标志的可视度，对每种危险品类别下的类别置信度进行聚类，使可视度为“可视”的危险品标志的类别置信度聚为一类、且可视度为“不可视”的危险品标志的类别置信度聚为一类，从而获得能够区分每种危险品类别下两类类别置信度的临界置信度。
79.通过临界置信度，能够根据危险品标志识别模型的输出数据，便捷、准确地筛查到集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况。针对集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况，在需要人工参与作业的港口节点，可以通过一些补救措施，弥补人眼不容易看清楚危险品标志的问题，从而确保危险品集装箱的高效、准确运输。
80.在一些实施例中，获得危险品标志识别模型的输出数据后，根据临界置信度，可进一步针对危险品标志能被模型识别出但人眼不容易看清楚的情况，采取补贴危险品标志、调整危险品集装箱的运输路径等方式，来确保危险品集装箱的高效、准确运输。
81.图4示出一实施例中补贴危险品标志的过程，参照图4所示，在一个实施例中，根据危险品标志识别模型基于集装箱图像的输出数据，还包括：
82.步骤s410，将输出数据中预测存在的危险品类别的类别置信度与对应的临界置信度进行比较；步骤s420，获得类别置信度低于对应的临界置信度的目标危险品类别，于目标路径节点打印并粘贴对应目标危险品类别的目标危险品标志，使目标危险品标志覆盖集装箱上对应目标危险品类别的原有危险品标志；其中，目标路径节点位于港口节点至目标危险品类别对应的目的节点的目标运输路径上。
83.目标路径节点位于危险品集装箱的运输必经路径，即目标运输路径上；打印并粘贴目标危险品标志的操作可人工或自动完成。通过上述补贴危险品标志的过程，将危险品集装箱上模糊的、人眼不容易看清楚的原有危险品标志替换为清晰的目标危险品标志，以利于港口工作人员识别目标危险品标志，确保需要人工参与作业的港口节点的顺利运转。
84.此外，在一个实施例中，危险品标志识别结果包括集装箱上预测存在的目标危险品标志；集装箱危险品标志识别方法还包括：判断集装箱的当前运输路径是否匹配港口节点至目标危险品标志对应的目的节点的目标运输路径；若否，生成自当前运输路径调整至目标运输路径的调整路径，推送给集装箱的当前运输装置。通过基于目标危险品标志调整危险品集装箱的运输路径，能够解决因原有危险品标志不清晰而导致的人工判断错误问题，从而确保危险品集装箱的高效、准确运输。
85.上述各实施例的集装箱危险品标志识别方案，采用包含特征提取网络和特征融合网络的危险品标志识别模型对集装箱危险品标志进行识别，能够通过特征提取网络高效获得集装箱图像的多层图像特征，通过特征融合网络对多层图像特征进行多尺度特征融合，准确预测集装箱图像中包含的危险品标志及其危险品类别等信息，实现对集装箱危险品标志的高效、精准识别，以提高港口作业效率、确保港口运输安全；此外，还能通过临界置信度准确区分集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况，进而通过补贴危险品标志、调整危险品集装箱的运输路径等方式，确保危险品集装箱的准确运输。
86.本发明实施例还提供一种集装箱危险品标志识别装置，可用于实现上述任意实施例描述的集装箱危险品标志识别方法。上述任意实施例描述的集装箱危险品标志识别方法的特征和原理均可应用至下面的集装箱危险品标志识别装置实施例。在下面的集装箱危险品标志识别装置实施例中，对已经阐明的关于集装箱危险品标志识别的特征和原理不再重复说明。
87.图5示出一实施例中集装箱危险品标志识别装置的主要模块，参照图5所示，在一个实施例中，集装箱危险品标志识别装置500包括：图像采集模块510，用于对途径港口节点的集装箱进行图像采集；标志识别模块520，用于通过危险品标志识别模型，对采集的集装箱图像进行危险品标志识别；其中，危险品标志识别模型包含特征提取网络和特征融合网络，特征提取网络对集装箱图像进行多层特征提取，特征融合网络对特征提取网络提取的多层特征进行多尺度特征融合；结果获取模块530，用于根据危险品标志识别模型基于集装箱图像的输出数据，获得集装箱的危险品标志识别结果。
88.进一步地，集装箱危险品标志识别装置500还可包括实现上述各集装箱危险品标志识别方法实施例的其他流程步骤的模块，各个模块的具体原理可参照上述各集装箱危险品标志识别方法实施例的描述，此处不再重复说明。
89.本发明的集装箱危险品标志识别装置，采用包含特征提取网络和特征融合网络的危险品标志识别模型对集装箱危险品标志进行识别，能够通过特征提取网络高效获得集装箱图像的多层图像特征，通过特征融合网络对多层图像特征进行多尺度特征融合，准确预测集装箱图像中包含的危险品标志及其危险品类别等信息，实现对集装箱危险品标志的高效、精准识别，以提高港口作业效率、确保港口运输安全；此外，还能通过临界置信度准确区分集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况，进而通过补贴危险品标志、调整危险品集装箱的运输路径等方式，确保危险品集装箱的准确运输。
90.本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的集装箱危险品标志识别方法。
91.本发明的电子设备，可采用包含特征提取网络和特征融合网络的危险品标志识别模型对集装箱危险品标志进行识别，能够通过特征提取网络高效获得集装箱图像的多层图像特征，通过特征融合网络对多层图像特征进行多尺度特征融合，准确预测集装箱图像中包含的危险品标志及其危险品类别等信息，实现对集装箱危险品标志的高效、精准识别，以提高港口作业效率、确保港口运输安全；此外，还能通过临界置信度准确区分集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况，进而通过补贴危险品标志、调整危险品集装箱的运输路径等方式，确保危险品集装箱的准确运输。
92.图6是本发明实施例中电子设备的结构示意图，应当理解的是，图6仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。
93.如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
94.存储单元620存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述任意实施例描述的集装箱危险品标志识别方法的步骤。例如，处理单元610可以执行如图1所示的步骤。
95.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
96.存储单元620还可以包括具有一个或多个程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
97.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
98.电子设备600也可以与一个或多个外部设备通信，外部设备可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备使得用户能与该电子设备600进行交互
通信。电子设备600也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
99.本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的集装箱危险品标志识别方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的集装箱危险品标志识别方法。
100.本发明的存储介质当被处理器执行时，可采用包含特征提取网络和特征融合网络的危险品标志识别模型对集装箱危险品标志进行识别，能够通过特征提取网络高效获得集装箱图像的多层图像特征，通过特征融合网络对多层图像特征进行多尺度特征融合，准确预测集装箱图像中包含的危险品标志及其危险品类别等信息，实现对集装箱危险品标志的高效、精准识别，以提高港口作业效率、确保港口运输安全；此外，还能通过临界置信度准确区分集装箱上的危险品标志能被模型识别出但人眼不容易看清楚的情况，进而通过补贴危险品标志、调整危险品集装箱的运输路径等方式，确保危险品集装箱的准确运输。
101.存储介质可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的存储介质不限于此，其可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
102.存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
103.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读信号介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
104.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计
算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。
105.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。