目标货物堆监控方法及相关装置与流程

本发明涉及人工智能，具体涉及一种目标货物堆监控方法及相关装置。

背景技术：

随着机器人的应用需求不断增加，人工智能相关技术不断进步，硬件性能的增长，服务机器人近年来开始从实验室走向工厂，并从单一功能向多功能的个人机器人发展。提到机器人，一个最近经常提及的词是人工智能。人工智能是用计算机来实现类似于人的智能行为的一门学科。机器人本身即是人工智能的一个终极应用目标之一。

传统的人工智能作为一门学科，起源于20世纪50年代的达特茅斯会议，后来经过几次大起大落，在基础理论和方法上积累了丰富的成果。从早期的符号计算系统，到专家系统，再到90年代发展起来的机器学习，大数据分析，都可以算是人工智能的范畴。在图像、语音、搜索、数据挖掘、社会计算等领域，又派生出了一些相关的应用研究。其中与机器人联系较为紧密的包括计算机视觉，语音和自然语言处理，还有智能体(agent)等。

根据以往机器人领域的研究进展和对应用的初步分析可以认为如下的感知、认知技术，将是实现应用的关键。

1、三维导航定位技术。不管什么机器人，只要可移动，即需要在家庭或其他环境中进行导航定位。其中slam(simultaneouslocalizationandming)技术可同时进行定位和建图，在学术研究方面已经有不少技术积累。但对于实际系统，由于实时性低成本(比如无法采用比较昂贵的雷达设备)的要求和家庭环境的动态变化(物品的摆放)，因而对导航定位技术提出了更高要求，仍需进一步研发。

2、视觉感知技术。其中包含人脸识别、手势识别、物体识别和情绪识别等相关技术。视觉感知技术，是机器人和人交互的一个非常重要的技术。

3、语言交互技术。其中包含语音识别、语音生成、自然语言理解和智能对话系统等。

4、文字识别技术。生活中有不少文字信息，如书报和物体的标签信息，这也要求机器人能够通过摄像头来进行文字识别。与传统的扫描后识别文字相比，其可通过摄像头来进行文字的识别。

5、认知技术。机器人需要逐步实现规划、推理、记忆、学习和预测等认知功能，从而变得更加智能。

从目前的研究现状看，服务机器人面对的关键技术均有了长足进步，但还有相当多的问题要解决。

技术实现要素：

本发明实施例提供了一种目标货物堆监控方法及相关装置，可以提高目标货物堆的安全性。

本发明实施例的目的是通过以下技术方案实现的：

一种目标货物堆监控方法，包括：

对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像，所述多张图像具有不同的视角；

基于所述多张图像进行建模，以生成所述目标货物堆的三维模型；

将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失；

如果所述目标货物堆中的货物有缺失，进行报警。

可选的，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：

在所述目标货物堆为规则堆积时，对所述规则堆积的各个堆积面进行图像采集，以获取货物堆之间没有重叠的所述多张图像。

可选的，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：

在所述目标货物堆为不规则堆积时，对所述不规则堆积的各个堆积面进行图像采集，以获取所述多张图像，所述多张图像中有至少两张图像中的至少两个货物堆之间有重叠。

可选的，所述基于所述多张图像进行建模，以生成所述目标货物堆的三维模型包括：

使用预先设置的建模算法生成所述目标货物堆的三维模型。

可选的，所述进行报警具体为采用预先设置的报警方式进行报警。

一种机器人，用于对目标货物堆进行监控，所述机器人包括：

采集单元，用于对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像，所述多张图像具有不同的视角；

建模单元，用于基于所述多张图像进行建模，以生成所述目标货物堆的三维模型；

比较单元，用于将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失；

报警单元，用于在所述目标货物堆中的货物有缺失时，进行报警。

可选的，所述采集单元，具体用于在所述目标货物堆为规则堆积时，对所述规则堆积的各个堆积面进行图像采集，以获取货物堆之间没有重叠的所述多张图像。

可选的，所述采集单元，具体用于在所述目标货物堆为不规则堆积时，对所述不规则堆积的各个堆积面进行图像采集，以获取所述多张图像，所述多张图像中有至少两张图像中的至少两个货物堆之间有重叠。

可选的，所述建模单元，具体用于使用预先设置的建模算法生成所述目标货物堆的三维模型。

可选的，所述报警单元，具体用于采用预先设置的报警方式进行报警。

从上可知，使用本发明实施例提供的目标货物堆监控方法，可以对目标货物堆进行图像采集，再基于所述多张图像进行建模，以生成所述目标货物堆的三维模型，从而可以将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失，在有货物缺失时可以自动报警，由于采用的是三维模型进行比较，从而可以确保任何一点的不同都能够被监测到，从而提高了目标货物堆的安全。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的目标货物堆监控方法的流程图；

图2为本发明一个实施例提供的机器人的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

先介绍本发明实施例提供的目标货物堆监控方法，图1描述了本发明一个实施例提供的目标货物堆监控方法的流程。如图1所示，该方法可以包括：

101、对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像，所述多张图像具有不同的视角。

其中，货物堆的形状可以是规则的，例如是立方体，长方体，圆柱体等等；货物堆的形状也可以是不规则的，例如可以是一堆凌乱的货物。

因此基于目标货物堆的形状的不同，在对目标货物堆进行图像采集时可以采用不同的方式。

例如，在所述目标货物堆为规则堆积时，也就是说所述目标货物堆的形状是规则形状时，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：

对所述规则堆积的各个堆积面进行图像采集，以获取货物堆之间没有重叠的所述多张图像。由于所述货物是规则堆积的，所以只需要采集多张货物堆之间没有重叠的图像就可以完成三维建模，例如，对于正方体和长方体堆积的货物堆，可以只需要采集除了底面之外的5个面的图像就可以完成三维建模。

例如，在所述目标货物堆为不规则堆积时，也就是说所述目标货物堆的形状时不规则形状时，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：对所述不规则堆积的各个堆积面进行图像采集，以获取所述多张图像，所述多张图像中有至少两张图像中的至少两个货物堆之间有重叠。由于所述货物是不规则堆积的，所以需要采集有重叠区域的多张图像才能够完成建模。

102、基于所述多张图像进行建模，以生成所述目标货物堆的三维模型。

其中，建模算法可以是预先训练好的，该算法具体可以是一种数学模型，例如可以是卷积神经网络(cnn：convolutionalneuralnetwork,)模型，或循环神经网络(rnn：recurrentneuralnetworks)模型，或者也可以是深度神经网络(dnn：deepneuralnetworks)模型。

其中，由于规则堆积的货物堆的三维模型容易建立，因此所述训练主要是采用不规则堆积的货物堆进行训练的。

103、将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失；如果所述目标货物堆中的货物有缺失，进入104；如果所述目标货物堆中的货物没有缺失，进入105。

其中，基准三维模型是货物堆堆积完成时采集图像进行建模获得的三维模型，也可以是进行了货物增加或减少后即时采集图像进行建模获得的三维模型。

其中，在一种实施方式中，如果少了货物就确定为货物缺失；

在另一种实施方式中，如果某个或某些货物的位置有了变化，则说明变化了位置的货物有可能被人动过，此时也可以选择报警，从而可以进一步地提高目标货物堆的安全。

104、如果所述目标货物堆中的货物有缺失，进行报警。

所述报警可以采用预先设置的方式进行，例如呼叫预先设置的报警号码，也可以激活警铃等等。

105、继续执行下一个货物堆的监控。

从上可知，使用本发明实施例提供的目标货物堆监控方法，可以对目标货物堆进行图像采集，再基于所述多张图像进行建模，以生成所述目标货物堆的三维模型，从而可以将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失，在有货物缺失时可以自动报警，由于采用的是三维模型进行比较，从而可以确保任何一点的不同都能够被监测到，从而提高了目标货物堆的安全。

在本发明的一种实施方式中，所述的建模算法部署在神经网络中，神经网络可以由多个神经元组成。在所述神经网络中，所述的巡逻规划生成算法可以表示成如下所述的计算式：

m＝f(pi+λ)＝f(api+bλ),i＝0,...,n-1

其中，m表示生成的三维模型pi表示采集的图像，采集的图像的数量为n张，λ表示调整因子，该调整因子根据不同的形状会有不同，f()表示的是神经元对应的激活函数，a和b是激活函数对应的模块参数。在一种实施方式中，激活函数f()具体可以是sigmoid函数，即f()可以表示成如下的形式：

其中，激活函数f()的模块参数是预先训练好的，在一种实施方式中模块参数a、b和c具体可以通过如下训练函数训练获得：

其中，m是训练函数的参数，n是训练集合中三维模型的数量，pn是训练集合中三维模型，λn是训练集合中的调整因子。

图2描述了本发明一个实施例提供的一种机器人的结构，其中，该机器人可以用于执行前述实施例提供的目标货物堆监控方法。如图2所示，该机器人可以包括：

采集单元201，用于对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像，所述多张图像具有不同的视角；

其中，货物堆的形状可以是规则的，例如是立方体，长方体，圆柱体等等；货物堆的形状也可以是不规则的，例如可以是一堆凌乱的货物。

因此基于目标货物堆的形状的不同，在对目标货物堆进行图像采集时可以采用不同的方式。

例如，在所述目标货物堆为规则堆积时，也就是说所述目标货物堆的形状是规则形状时，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：

对所述规则堆积的各个堆积面进行图像采集，以获取货物堆之间没有重叠的所述多张图像。由于所述货物是规则堆积的，所以只需要采集多张货物堆之间没有重叠的图像就可以完成三维建模，例如，对于正方体和长方体堆积的货物堆，可以只需要采集除了底面之外的5个面的图像就可以完成三维建模。

例如，在所述目标货物堆为不规则堆积时，也就是说所述目标货物堆的形状时不规则形状时，所述对目标货物堆进行图像采集，以获取所述目标货物堆的多张图像包括：对所述不规则堆积的各个堆积面进行图像采集，以获取所述多张图像，所述多张图像中有至少两张图像中的至少两个货物堆之间有重叠。由于所述货物是不规则堆积的，所以需要采集有重叠区域的多张图像才能够完成建模。

建模单元202，用于基于所述多张图像进行建模，以生成所述目标货物堆的三维模型。

其中，建模算法可以是预先训练好的，该算法具体可以是一种数学模型，例如可以是卷积神经网络(cnn：convolutionalneuralnetwork,)模型，或循环神经网络(rnn：recurrentneuralnetworks)模型，或者也可以是深度神经网络(dnn：deepneuralnetworks)模型。

其中，由于规则堆积的货物堆的三维模型容易建立，因此所述训练主要是采用不规则堆积的货物堆进行训练的。

比较单元203，用于将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失。

其中，基准三维模型是货物堆堆积完成时采集图像进行建模获得的三维模型，也可以是进行了货物增加或减少后即时采集图像进行建模获得的三维模型。

其中，在一种实施方式中，如果少了货物就确定为货物缺失；

在另一种实施方式中，如果某个或某些货物的位置有了变化，则说明变化了位置的货物有可能被人动过，此时也可以选择报警，从而可以进一步地提高目标货物堆的安全。

报警单元204，用于在所述目标货物堆中的货物有缺失时，进行报警。

所述报警可以采用预先设置的方式进行，例如呼叫预先设置的报警号码，也可以激活警铃等等。

从上可知，使用本发明实施例提供的机器人，可以对目标货物堆进行图像采集，再基于所述多张图像进行建模，以生成所述目标货物堆的三维模型，从而可以将所述目标货物堆的三维模型与基准三维模型进行比较，已确定所述目标货物堆中的货物是否有缺失，在有货物缺失时可以自动报警，由于采用的是三维模型进行比较，从而可以确保任何一点的不同都能够被监测到，从而提高了目标货物堆的安全。

可选的，在一种实施方式中，所述采集单元201，具体用于在所述目标货物堆为规则堆积时，对所述规则堆积的各个堆积面进行图像采集，以获取货物堆之间没有重叠的所述多张图像。

可选的，在一种实施方式中，所述采集单元201，具体用于在所述目标货物堆为不规则堆积时，对所述不规则堆积的各个堆积面进行图像采集，以获取所述多张图像，所述多张图像中有至少两张图像中的至少两个货物堆之间有重叠。

可选的，在一种实施方式中，所述建模单元202，具体用于使用预先设置的建模算法生成所述目标货物堆的三维模型。

可选的，在一种实施方式中，所述报警单元204，具体用于采用预先设置的报警方式进行报警。

上述机器人内的各单元模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(rom：read-onlymemory)或随机存储记忆体(ram：randomaccessmemory)等。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。