识别发生改变的对象的方法和装置与流程

本公开涉及数据识别领域，具体涉及图形识别领域，尤其涉及识别发生改变的对象的方法和装置。

背景技术：

人工智能(artificialintelligence)，英文缩写为ai。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

基于myriad2(缩写为m2，全球第一个配备专用神经网络计算引擎的片上系统芯片(soc)，用于加速设备端的深度学习推理)的ai芯片具有强大的计算能力，可以高效的运行视觉深度模型，在新零售场景中分担部分云端gpu的运算。

技术实现要素：

本公开的实施例提供了识别发生改变的对象的方法和装置。

第一方面，本公开的实施例提供了一种识别发生改变的对象的方法，包括：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

在一些实施例中，响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变包括：响应于当前图像与参照图像之间间隔预设数量帧图像，将当前图像和参照图像输入触发模型，得到触发模型输出的对象变化信息，对象变化信息指示当前图像和参照图像两者中的对象是否发生改变。

在一些实施例中，触发模型采用触发样本训练机器学习的初始模型得到；触发样本包括多组图像对，每组图像对包括存在样本对象的图像和不存在样本对象的图像。

在一些实施例中，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像包括：响应于判断结果中的当前判断结果为发生改变、上一次判断结果为未发生改变，记录当前判断结果对应的参照图像为对象发生改变前的第一图像；响应于判断结果中的当前判断结果为未发生改变、上一次判断结果为发生改变，记录当前判断结果对应的参照图像为对象发生改变后的第二图像。

在一些实施例中，基于第一图像和第二图像，确定发生改变的对象包括：比对第一图像和第二图像，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像，第一待识别区域为第一图像中相对于第二图像发生改变的区域，第二待识别区域为第二图像中相对于第一图像发生改变的区域；基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，比对第一图像和第二图像，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像包括：将第一图像和第二图像输入帧差模型，得到帧差模型输出的已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。

在一些实施例中，基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象包括：基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象包括：将第一待识别区域输入不同预设类别的识别模型，得到第一待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第一概率集合，将第一概率集合中最高概率所对应的预设类别的预设对象作为第一待识别区域的识别结果；将第二待识别区域输入不同预设类别的识别模型，得到第二待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第二概率集合，将第二概率集合中最高概率所对应的预设类别的预设对象作为第二待识别区域的识别结果；比对第一待识别区域的识别结果与第二待识别区域的识别结果，得到发生改变的对象。

在一些实施例中，方法还包括：响应于不存在参照图像，且当前图像为第一张实时采集的当前图像，将第一张实时采集的当前图像作为初始的参照图像，并跳转至执行获取实时采集的当前图像。

第二方面，本公开的实施例提供了一种基于m2芯片识别发生改变的对象的方法，包括：如上任意一种实施例所述的方法。

第三方面，本公开的实施例提供了一种识别发生改变的对象的装置，包括：当前图像获取单元，被配置成获取实时采集的当前图像；判断结果记录单元，被配置成响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；改变图像确定单元，被配置成基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；改变对象确定单元，被配置成基于第一图像和第二图像，确定发生改变的对象。

在一些实施例中，判断结果记录单元进一步被配置成：响应于当前图像与参照图像之间间隔预设数量帧图像，将当前图像和参照图像输入触发模型，得到触发模型输出的对象变化信息，对象变化信息指示当前图像和参照图像两者中的对象是否发生改变。

在一些实施例中，判断结果记录单元中的触发模型采用触发样本训练机器学习的初始模型得到；触发样本包括多组图像对，每组图像对包括存在样本对象的图像和不存在样本对象的图像。

在一些实施例中，改变图像确定单元进一步被配置成：响应于判断结果中的当前判断结果为发生改变、上一次判断结果为未发生改变，记录当前判断结果对应的参照图像为对象发生改变前的第一图像；响应于判断结果中的当前判断结果为未发生改变、上一次判断结果为发生改变，记录当前判断结果对应的参照图像为对象发生改变后的第二图像。

在一些实施例中，改变对象确定单元进一步被配置成：比对第一图像和第二图像，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像，第一待识别区域为第一图像中相对于第二图像发生改变的区域，第二待识别区域为第二图像中相对于第一图像发生改变的区域；基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，改变对象确定单元进一步被配置成：将第一图像和第二图像输入帧差模型，得到帧差模型输出的已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。

在一些实施例中，改变对象确定单元进一步被配置成：基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，改变对象确定单元进一步被配置成：将第一待识别区域输入不同预设类别的识别模型，得到第一待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第一概率集合，将第一概率集合中最高概率所对应的预设类别的预设对象作为第一待识别区域的识别结果；将第二待识别区域输入不同预设类别的识别模型，得到第二待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第二概率集合，将第二概率集合中最高概率所对应的预设类别的预设对象作为第二待识别区域的识别结果；比对第一待识别区域的识别结果与第二待识别区域的识别结果，得到发生改变的对象。

在一些实施例中，装置还包括：初始参照图像设置单元，被配置成响应于不存在参照图像，且当前图像为第一张实时采集的当前图像，将第一张实时采集的当前图像作为初始的参照图像，并跳转至执行获取实时采集的当前图像。

第四方面，本公开的实施例提供了一种基于m2芯片识别发生改变的对象的装置，包括：如上任意一种实施例所述的装置。

第五方面，本公开的实施例提供了一种电子设备/终端/服务器，包括：一个或多个处理器；图像采集装置，实时采集当前图像；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任一所述的方法。

第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的方法。

第七方面，本公开的实施例提供了一种服务器，包括：接口；存储器，其上存储有一个或多个程序；以及一个或多个处理器，在操作上连接到上述接口和上述存储器，用于：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

第八方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当上述计算机程序被一个或多个处理器执行时，使得上述一个或多个处理器：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

本公开的实施例提供的识别发生改变的对象的方法和装置，首先获取实时采集的当前图像；之后，响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；之后，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；之后，比对第一图像和第二图像，得到第一图像中相对于第二图像发生改变的第一待识别区域和第二图像中相对于第一图像发生改变的第二待识别区域；最后，基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。该识别发生改变的对象的方法，对于间隔预设数量帧图像的两张图像，检测其中的对象是否发生改变，可以避免对采集的所有图像中相邻的两张图像检测其中的对象是否发生改变，减少了需要进行检测的图像的数量，从而减少了确定图像中的对象是否发生改变所需的耗时；此外，基于判断结果可以确定改变发生前后的第一图像和第二图像，进而可以比对第一图像和第二图像，得到第一图像中相对于第二图像发生改变的第一待识别区域和第二图像中相对于第一图像发生改变的第二待识别区域，并基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象，减少了所需识别的图像的数据量，提高了识别发生改变的对象的效率。

本公开的实施例提供的基于m2芯片识别发生改变的对象的方法和装置，由于将gpu中计算的模型放置于m2芯片上计算，可以降低硬件成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开的一些实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的识别发生改变的对象的方法的一个实施例的示例性流程图；

图3是根据本公开的实施例的识别发生改变的对象的方法的一个应用场景的示意图；

图4是根据本公开的识别发生改变的对象的方法的又一个实施例的示例性流程图；

图5是根据本公开的识别发生改变的对象的装置的一个实施例的示例性结构图；

图6是适于用来实现本公开的实施例的电子设备/终端/服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。本领域技术人员还将理解的是，虽然本文中可使用用语“第一”、“第二”等来描述各种图像、待识别区域、概率集合等，但是这些图像、待识别区域、概率集合不应被这些用语限制。这些用语仅用于将一个图像、待识别区域、概率集合与其它图像、待识别区域、概率集合区分开。

图1示出了可以应用本公开的实施例的识别发生改变的对象的方法、装置以及基于m2芯片识别发生改变的对象的方法、装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如深度学习应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持深度学习推理的各种电子设备，包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上进行的深度学习推理提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，在实践中，本公开的实施例所提供的识别发生改变的对象的方法可以由设置于终端设备101、102、103执行，也可以由服务器105执行。相应地，识别发生改变的对象的装置可以设置于位于终端设备101、102、103中，也可以设置于位于服务器105中的。在此不做具体限定。

本公开的实施例所提供的基于m2芯片识别发生改变的对象的方法可以由设置于终端设备101、102、103的m2芯片执行，也可以由设置于服务器105的m2芯片执行。相应地，基于m2芯片识别发生改变的对象的装置可以设置于位于终端设备101、102、103中的m2芯片中，也可以设置于位于服务器105中的m2芯片中。在此不做具体限定。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。

继续参考图2，图2示出了根据本公开的识别发生改变的对象的方法的一个实施例的示意性流程图。

如图2所示，识别发生改变的对象的方法200，包括：

在步骤210中，获取实时采集的当前图像。

在本实施例中，基于m2芯片识别发生改变的对象的方法的执行主体(例如图1所示的设置于终端或服务器中的m2芯片)可以首先获取实时采集的当前图像。实践中，可以采用图像拍摄装置针对某个区域、位置或物品进行持续拍摄，得到图像流。从图像流中获取拍摄时间与获取时间为同一时间的最新图像，并将获取的该最新图像作为获取的实时采集的当前图像。

在步骤220中，响应于所述当前图像与参照图像之间间隔预设数量帧图像，判断所述当前图像和所述参照图像两者中的对象是否发生改变，记录判断结果和所述当前图像，采用所述当前图像更新所述参照图像，跳转至执行所述获取实时采集的当前图像。

在本实施例中，上述执行主体的本地可以存储有参照图像，该参照图像为上述图像流中在当前图像之前的、与初始的参照图像的间隔为n倍预设数量帧、与当前图像的间隔小于等于预设数量帧的图像，其，n为大于等于0的整数。这里的预设数量，可以为技术人员设定的大于等于0的整数。

在判断当前图像与参照图像之间是否间隔预设数量帧图像时，上述执行主体可以首先读取参照图像，之后根据参照图像的编号和当前图像的编号确定两者之间间隔的图像的数量，若该数量等于上述预设数量，则确定当前图像与参照图像之间间隔预设数量帧图像。

在判断当前图像和参照图像两者中的对象是否发生改变时，上述执行主体可以比对当前图像与参照图像，确定两者中的对象(例如人或物)是否发生改变。比对当前图像与参照图像的方法，可以为现有技术或未来发展的技术中用于比对两张图像是否相似的方法。首先，上述执行主体可以分别识别两张图像，得到每张图像的特征图。之后，上述执行主体可以比对两张特征图，以判断两张图像的相似度，若两张图像的相似度大于等于预先设定的相似度阈值，则两张图像相似，当前图像和参照图像两者中的对象未发生改变；若两张图像的相似度小于预先设定的相似度阈值，则两张图像不相似，当前图像和参照图像两者中的对象发生改变。

例如，上述执行主体可以分别识别两张图像的颜色分布直方图。之后，上述执行主体采用两张图像的颜色分布直方图来比对两张图像的相似度，从而得到两张图像的相似度。当两张图像的相似度大于等于预先设定的相似度阈值时，认为两张图像相似，当前图像和参照图像两者中的对象未发生改变。当两张图像的相似度小于预先设定的相似度阈值时，认为两张图像不相似，当前图像和参照图像两者中的对象发生改变。

又例如，上述执行主体可以计算两张图像中每张图像的灰度图像的每行像素的平均值，并对每行像素的平均值计算方差，从而得到每张图像的方差，并计算两张图像的方差的差值，方差的差值越小，两张图像越相似。当方差的差值小于预先设定的差值阈值时，认为两张图像相似，当前图像和参照图像两者中的对象未发生改变。当两张图像的方差的差值大于预先设定的差值阈值时，认为两张图像不相似，当前图像和参照图像两者中的对象发生改变。

在判断当前图像和参照图像两者中的对象是否发生改变之后，可以记录判断结果和当前图像，以备后续采用判断结果确定对象发生改变前后的图像，并采用当前图像更新参照图像，以备在后续执行获取实时采集的当前图像时，采用更新后的参照图像来判断当前图像和参照图像两者中的对象是否发生改变。

在本实施例的一些可选实现方式中，响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变包括：响应于当前图像与参照图像之间间隔预设数量帧图像，将当前图像和参照图像输入触发模型，得到触发模型输出的对象变化信息，对象变化信息指示当前图像和参照图像两者中的对象是否发生改变。

在本实现方式中，对象变化信息用于指示对象是否发生改变，也即用于指示两张图像中的对象是否相似。这里的触发模型，可以首先提取输入的两张图像的图像特征，得到两张图像的图像特征数据；之后，采用相似度比对算法，计算两张图像的图像特征数据的相似度，得到两张图像在一个或多个维度的相似度数据；之后，采用分类回归模型通过一个或多个维度的相似度数据来确定图片是否相似，也就是对于一个或多个维度的相似度数据进行预测得到相似与不相似两个结果。

在这里，提取两张图像的图像特征的方法，可以为现有技术或未来发展的技术中用于提取图像特征的方法，本公开对此不作限定。例如，提取图像特征的方法可以为提取颜色特征的方法、提取纹理特征的方法、提取形状特征的方法和提取空间关系特征的方法。本领域技术人员应当理解，上述的提取图像特征的方法，均为本领域已有的提取图像特征的方法，在此不再赘述。

在这里，图片相似度比对算法，可以为现有技术或未来发展的技术中用于进行图片相似度比对的算法，本公开对此不作限定。例如，图片相似度比对算法可以为基于像素点的图片相似度比对算法、基于图像中心的图片相似度比对算法、基于投影比对的图片相似度比对算法和基于分块对比的图片相似度比对算法等。本领域技术人员应当理解，上述的图片相似度比对算法，均为本领域已有的图片相似度比对算法，在此不再赘述。

在这里，分类回归模型，可以为现有技术或未来发展的技术中用于进行二元分类的模型，本公开对此不作限定。例如，进行分类的模型可以采用卷积神经网络(cnn)模型、循环神经网络(rnn)模型或logistic回归模型来实现。本领域技术人员应当理解，上述的进行二元分类的模型，均为本领域已有的进行二元分类的模型，在此不再赘述。具体地，以logistic回归模型为例，该线性回归模型是对于数据的拟合，通过学习多组样本数据，可以得出一条很好拟合所有数据的方程(模型)。采用拟合后的模型预测两张图像是否相似时，可以将两张图像在一个维度或多个维度的相似度数据带入这个方程(模型)，就可以计算得出一个数值，该数值即预测结果，可以指示两张图像中的对象为发生改变或者未发生改变。

在本实施例的一些可选实现方式中，触发模型采用触发样本训练机器学习的初始模型得到；触发样本包括多组图像对，每组图像对包括存在样本对象的图像和不存在样本对象的图像。

在本实现方式中，机器学习的初始模型采用触发样本训练后得到触发模型。触发模型具有预测两张图像中的对象是否发生改变的能力，用于根据两张图像中的特征判断当前图像相对于参照图像是否发生改变。机器学习英文全称为machinelearning，简称ml。机器学习模型可以通过对触发样本的学习具备鉴别能力。机器学习模型可以采用神经网络模型、支持向量机或者逻辑回归模型等。神经网络模型比如卷积神经网络、反向传播神经网络、反馈神经网络、径向基神经网络或者自组织神经网络等。在本实施例中，触发模型的输入可以为当前图像和参照图像，输出可以为当前图像相对于参照图像是否发生改变。

在步骤230中，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像。

在本实施例中，当用户拿取物品的过程中，每一次获取的当前图像与该当前图像的参照图像相比会发生改变；当用户不再拿取物品时，获取的当前图像与参照图像相比会不再发生改变。因此，上述执行主体可以根据判断结果是否发生改变，确定对象发生改变前的第一图像和对象发生改变后的第二图像。

在本实施例的一些可选实现方式中，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像包括：响应于判断结果中的当前判断结果为发生改变、上一次判断结果为未发生改变，记录当前判断结果对应的参照图像为对象发生改变前的第一图像；响应于判断结果中的当前判断结果为未发生改变、上一次判断结果为发生改变，记录当前判断结果对应的参照图像为对象发生改变后的第二图像。

在本实现方式中，上述执行主体在循环执行上述“获取实时采集的当前图像；以及响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像”时，会记录每一次判断结果和每一次判断结果对应的当前图像，并且上述执行主体可以根据记录的判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像。

本领域技术人员可以理解：若连续两次的判断结果并不相同，说明被拍摄的图像中的物品从静止状态进入被取放状态或从被取放状态进入静止状态，因此可以根据连续两次的判断结果来确定对象发生改变前的第一图像和对象发生改变后的第二图像。因此，上述执行主体可以监测记录的判断结果，当第奇数次发现连续两次的判断结果不同时，基于该连续两次的判断结果确定对象发生改变前的第一图像；当第偶数次发现连续两次的判断结果不同时，基于该连续两次的判断结果确定对象发生改变后的第二图像。

在一个具体的示例中，上述执行主体在监测判断结果时，若当前判断结果为发生改变、上一次判断结果为未发生改变，说明在拍摄上一次进行判断的当前图像和拍摄本次进行判断的当前图像之间，被拍摄的图像中的物品从静止状态进入被取放状态，需要记录对象发生改变前的第一图像，也即需要记录当前判断结果对应的参照图像为对象发生改变前的第一图像。应当理解，由于当前判断结果的参照图像为采用上一次判断结果的当前图像更新得到，因此当前判断结果对应的参照图像也即上一次判断结果对应的当前图像。

若当前判断结果为未发生改变、上一次判断结果为发生改变，说明在拍摄上一次进行判断的当前图像和拍摄本次进行判断的当前图像之间，被拍摄的图像中的物品从被取放状态进入静止状态，需要记录对象发生改变后的第二图像，也即需要记录当前判断结果对应的参照图像为对象发生改变后的第二图像。应当理解，由于当前判断结果的参照图像为采用上一次判断结果的当前图像更新得到，因此当前判断结果对应的参照图像也即上一次判断结果对应的当前图像。

在步骤240中，基于第一图像和第二图像，确定发生改变的对象。

在本实施例中，上述执行主体在比对第一图像和第二图像，确定发生改变的对象时，可以从第一图像和第二图像中，分别提取两张图像的图像特征数据。之后，上述执行主体可以识别两张图像中的图像特征数据，以确定两张图像中所包括的物品。之后，上述执行主体可以对比两张图像中所包括的物品，得到发生改变的对象。

识别第一图像和第二图像两者中的图像特征数据的方法，可以为现有技术或未来发展的技术中用于识别图像特征数据的方法，本公开对此不做限定。例如，识别图像特征数据的方法可以采用基于统计模式的识别方法、基于结构模式的识别方法、基于模糊模式的识别方法等。

在一些可选的实现方式中，基于第一图像和第二图像，确定发生改变的对象包括：比对第一图像和第二图像，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像，第一待识别区域为第一图像中相对于第二图像发生改变的区域，第二待识别区域为第二图像中相对于第一图像发生改变的区域；基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在本实现方式中，上述执行主体可以比对第一图像和第二图像的图像特征数据，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。

比对第一图像和第二图像两者中的图像特征数据的方法，可以为现有技术或未来发展的技术中用于比对两张图像的图像特征数据的方法，本公开对此不做限定。例如，在比对两张图像的图像特征数据时，可以在测试图像中以不同尺寸的窗口同时滑动扫描两张图像；比对每次的扫描结果，判断两张图像的当前窗口中包括的图像特征数据是否相同，并将判断结果为不同、具有最小相似度且具有最大尺寸的当前窗口所对应的第一图像中的区域作为第一待识别区域，将判断结果为不同、具有最小相似度且具有最大尺寸的当前窗口所对应的第二图像中的区域作为第二待识别区域。之后，可以采用边界框或热力图中的热力点将第一待识别区域标记在第一图像中，以及将第二待识别区域标记在第二图像中。

之后，上述执行主体可以从第一图像中剪切出第一待识别区域，从第二图像中剪切出第二待识别区域。之后，上述执行主体可以通过对第一待识别区域和第二待识别区域的识别，分别确定第一待识别区域和第二待识别区域中所包括的物品。之后，上述执行主体可以比对第一待识别区域和第二待识别区域两者中所包括的物品，从而得到发生改变的对象。

本实现方式中基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象，由于第一待识别区域和第二待识别区域的数据量小于第一图像和第二图像，因此识别待识别区域和第二待识别区域与识别第一图像和第二图像相比，可以减少所需识别的图像的数据量，从而提高确定发生改变的对象的效率。

以下结合图3，描述本公开的基于m2芯片识别发生改变的对象的方法的示例性应用场景。

如图3所示，图3示出了根据本公开的基于m2芯片识别发生改变的对象的方法的一个应用场景的示意性流程图。

如图3所示，基于m2芯片识别发生改变的对象的方法300运行于电子设备310中，可以包括：

首先，获取实时采集的当前图像301；

之后，响应于当前图像301与参照图像302之间间隔预设数量帧图像303，判断当前图像301与参照图像302中的对象是否发生改变，记录判断结果304和所述当前图像301，采用所述当前图像301更新所述参照图像302，跳转至执行所述获取实时采集的当前图像301；

之后，基于所述判断结果304，确定对象发生改变前的第一图像305和对象发生改变后的第二图像306；

最后，基于所述第一图像305和所述第二图像306，确定发生改变的对象307。

应当理解，上述图3中所示出的基于m2芯片识别发生改变的对象的方法的应用场景，仅为对于基于m2芯片识别发生改变的对象的方法的示例性描述，并不代表对该方法的限定。例如，上述基于所述第一图像305和所述第二图像306，确定发生改变的对象307，可以通过多个预设类别的识别模型来识别所述第一图像305和所述第二图像306，以确定发生改变的对象307，以便提高识别发生改变的对象的准确率。

本公开上述实施例提供的基于m2芯片识别发生改变的对象的方法，对于间隔预设数量帧图像的两张图像，检测其中的对象是否发生改变，可以避免对采集的所有图像中相邻的两张图像检测其中的对象是否发生改变，减少了需要进行检测的图像的数量，从而减少了确定图像中的对象是否发生改变所需的耗时；此外，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像，再基于第一图像和第二图像，确定发生改变的对象，可以准确的识别用户取放物品前后发生改变的对象，提高了确定用户所拿取的物品的效率。

请参考图4，其示出了根据本公开的基于m2芯片识别发生改变的对象的方法的又一个实施例的示例性结构图。

如图4所示，本实施例的基于m2芯片识别发生改变的对象的方法400，可以包括：

在步骤410中，获取实时采集的当前图像。

在本实施例中，基于m2芯片识别发生改变的对象的方法的执行主体(例如图1所示的终端或服务器)可以首先获取实时采集的当前图像。实践中，可以采用图像拍摄装置针对某个区域、位置或物品进行持续拍摄，得到图像流。从图像流中获取拍摄时间与获取时间为同一时间的最新图像，并将获取的该最新图像作为获取的实时采集的当前图像。

在步骤420中，响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像。

在本实施例中，上述执行主体的本地可以存储有参照图像，该参照图像为上述图像流中在当前图像之前的、与初始的参照图像的间隔为n倍预设数量帧、与当前图像的间隔小于等于预设数量帧的图像，其，n为大于等于0的整数。

在判断当前图像与参照图像之间是否间隔预设数量帧图像时，上述执行主体可以首先读取参照图像，之后根据参照图像的编号和当前图像的编号确定两者之间间隔的图像的数量，若该数量等于上述预设数量，则确定当前图像与参照图像之间间隔预设数量帧图像。

在判断当前图像和参照图像两者中的对象是否发生改变时，上述执行主体可以比对当前图像与参照图像，确定两者中的对象(例如人或物)是否发生改变。比对当前图像与参照图像的方法，可以为现有技术或未来发展的技术中用于比对两张图像是否相似的方法。首先，上述执行主体可以分别识别两张图像，得到每张图像的特征图。之后，上述执行主体可以比对两张特征图，以判断两张图像的相似度，若两张图像的相似度大于等于预先设定的相似度阈值，则两张图像相似，当前图像和参照图像两者中的对象未发生改变；若两张图像的相似度小于预先设定的相似度阈值，则两张图像不相似，当前图像和参照图像两者中的对象发生改变。

在步骤430中，基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像。

在本实施例中，响应于当前图像和参照图像两者中的对象发生改变，需要检测出发生改变的对象的目标区域。应当理解，该目标区域存在于当前图像和参照图像两者中包括对象的图像中。例如，若参照图像中不存在对象，当前图像中存在对象，则检测出的目标区域位于当前图像中；若参照图像中存在对象，当前图像中不存在对象，则检测出的目标区域位于参照图像中。

在检测发生改变的对象的目标区域时，可以从当前图像和参照图像中，分别提取两张图像的图像特征数据。之后，可以比对两张图像的图像特征数据，并将包括对象的图像中与不包括对象的图像中具有不同图像特征数据的区域作为发生改变的对象的目标区域。

本领域技术人员应当理解，上述步骤410至步骤430，分别与上述图2中所示的实施例中的步骤210至步骤230相对应，因此，上述图2中针对步骤210至步骤230所描述的操作和特征同样适用于步骤410至步骤430，在此不再赘述。

在步骤440中，将第一图像和第二图像输入帧差模型，得到帧差模型输出的已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。

在本实施例中，帧差模型为从输入的两张图像中确定包括发生改变的对象的目标区域的模型。机器学习的初始模型采用帧差样本训练后，可以得到帧差模型。帧差模型具有预测两张图像中包括发生改变的对象的目标区域的能力。机器学习英文全称为machinelearning，简称ml。机器学习模型可以通过对帧差样本的学习具备鉴别能力。机器学习模型可以采用神经网络模型、支持向量机或者逻辑回归模型等。神经网络模型比如卷积神经网络、反向传播神经网络、反馈神经网络、径向基神经网络或者自组织神经网络等。

帧差模型的输入可以为第一图像和第二图像，输出可以为已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。采用帧差模型标记第一图像的第一待识别区域和第二图像的第二待识别区域，可以提高标记的效率和准确性。

在步骤450中，基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在本实施例中，识别模型可以采用现有技术或未来发展的技术中用于识别图像的识别模型，本公开对此不做限定。

识别模型为从输入的图像中识别图像中的对象的模型。机器学习的初始模型采用识别样本训练后，可以得到识别模型。识别模型具有识别图像中对象的能力。机器学习英文全称为machinelearning，简称ml。机器学习模型可以通过对识别样本的学习具备鉴别能力。机器学习模型可以采用神经网络模型、支持向量机或者逻辑回归模型等。神经网络模型比如卷积神经网络、反向传播神经网络、反馈神经网络、径向基神经网络或者自组织神经网络等。

识别模型的输入可以为第一待识别区域或第二待识别区域，输出可以为第一待识别区域中的对象属于不同预设类别中的不同预设对象的概率，以及第二待识别区域中的对象属于不同预设类别中的不同预设对象的概率。采用识别模型识别第一待识别区域和第二待识别区域，可以提高识别的效率和准确性。

例如，识别模型可以为基于神经网络识别待识别图像中的对象的识别模型，或者识别模型可以为基于小波矩的识别待识别图像中的对象的识别模型。

在本实施例的一些可选实现方式中，基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象包括：将第一待识别区域输入不同预设类别的识别模型，得到第一待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第一概率集合，将第一概率集合中最高概率所对应的预设类别的预设对象作为第一待识别区域的识别结果；将第二待识别区域输入不同预设类别的识别模型，得到第二待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第二概率集合，将第二概率集合中最高概率所对应的预设类别的预设对象作为第二待识别区域的识别结果；比对第一待识别区域的识别结果与第二待识别区域的识别结果，得到发生改变的对象。

在本实现方式中，不同预设类别的识别模型中每一个预设类别的识别模型对于本预设类别的对象的识别精度更高。例如，蔬菜类别的识别模型对于蔬菜类别的对象的识别精度更高。将待识别图像输入不同预设类别的识别模型，可以从多个不同预设类别的识别模型中得到具有最高概率的识别结果，从而可以提高识别待识别图像中的对象的准确率。

在步骤460中，响应于不存在参照图像且当前图像为第一张实时采集的当前图像，将第一张实时采集的当前图像作为初始的参照图像，并跳转至执行步骤410。

在本实施例中，若在执行步骤420时不存在参照图像，并且步骤410中采集的当前图像为第一张实时采集的当前图像，则可以将该第一张实时采集的当前图像作为初始的参照图像，以便后续实时采集的当前图像与该参照图像进行对比，从而确定后续实时采集的当前图像和参照图像两者中的对象是否发生改变。

本公开上述实施例的基于m2芯片识别发生改变的对象的方法，与图2中所示的实施例不同的是：通过帧差模型确定第一待识别区域和第二待识别区域，提高确定第一待识别区域和第二待识别区域的效率和准确性；通过将第一张实时采集的当前图像作为初始的参照图像，可以将初始的参照图像作为判断当前图像是否发生改变的依据，与人工设置初始的参照图像相比，提高了后续步骤中确定发生改变的对象的效率。

本公开实施例还提供了一种基于m2芯片识别发生改变的对象的方法，包括：如上任意一种实施例所述的方法。

在本实施例中，基于m2芯片识别发生改变的对象的方法，由于将上述执行主体中基于gpu计算的机器学习模型设置于m2芯片中进行计算，可以降低硬件成本。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种识别发生改变的对象的装置的一个实施例，该装置实施例与图2-图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的识别发生改变的对象的装置500可以包括：当前图像获取单元510，被配置成获取实时采集的当前图像；判断结果记录单元520，被配置成响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；改变图像确定单元530，被配置成基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；改变对象确定单元540，被配置成基于第一图像和第二图像，确定发生改变的对象。

在一些实施例中，判断结果记录单元520进一步被配置成：响应于当前图像与参照图像之间间隔预设数量帧图像，将当前图像和参照图像输入触发模型，得到触发模型输出的对象变化信息，对象变化信息指示当前图像和参照图像两者中的对象是否发生改变。

在一些实施例中，判断结果记录单元520中的触发模型采用触发样本训练机器学习的初始模型得到；触发样本包括多组图像对，每组图像对包括存在样本对象的图像和不存在样本对象的图像。

在一些实施例中，改变图像确定单元530进一步被配置成：响应于判断结果中的当前判断结果为发生改变、上一次判断结果为未发生改变，记录当前判断结果对应的参照图像为对象发生改变前的第一图像；响应于判断结果中的当前判断结果为未发生改变、上一次判断结果为发生改变，记录当前判断结果对应的参照图像为对象发生改变后的第二图像。

在一些实施例中，改变对象确定单元540进一步被配置成：比对第一图像和第二图像，得到已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像，第一待识别区域为第一图像中相对于第二图像发生改变的区域，第二待识别区域为第二图像中相对于第一图像发生改变的区域；基于对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，改变对象确定单元540进一步被配置成：将第一图像和第二图像输入帧差模型，得到帧差模型输出的已标记第一待识别区域的第一图像和已标记第二待识别区域的第二图像。

在一些实施例中，改变对象确定单元540进一步被配置成：基于采用识别模型对第一待识别区域和第二待识别区域的识别结果，确定发生改变的对象。

在一些实施例中，改变对象确定单元540进一步被配置成：将第一待识别区域输入不同预设类别的识别模型，得到第一待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第一概率集合，将第一概率集合中最高概率所对应的预设类别的预设对象作为第一待识别区域的识别结果；将第二待识别区域输入不同预设类别的识别模型，得到第二待识别区域中的对象分别匹配不同预设类别中的不同预设对象的第二概率集合，将第二概率集合中最高概率所对应的预设类别的预设对象作为第二待识别区域的识别结果；比对第一待识别区域的识别结果与第二待识别区域的识别结果，得到发生改变的对象。

在一些实施例中，装置还包括：初始参照图像设置单元(图中未示出)，被配置成响应于不存在参照图像，且当前图像为第一张实时采集的当前图像，将第一张实时采集的当前图像作为初始的参照图像，并跳转至执行获取实时采集的当前图像。

应当理解，装置500中记载的诸单元可以与参考图2-图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

本公开实施例还提供了一种基于m2芯片识别发生改变的对象的装置，包括：如上任意一种实施例所述的装置。

在本实施例中，基于m2芯片识别发生改变的对象的装置，由于将上述执行主体中基于gpu计算的机器学习模型设置于m2芯片中进行计算，可以降低硬件成本。

本公开的实施例还提供了一种服务器，包括：接口；存储器，其上存储有一个或多个程序；以及一个或多个处理器，在操作上连接到上述接口和上述存储器，用于：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

本公开的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当上述计算机程序被一个或多个处理器执行时，使得上述一个或多个处理器：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如笔记本电脑、台式计算机等。图6示出的终端设备/服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取实时采集的当前图像；响应于当前图像与参照图像之间间隔预设数量帧图像，判断当前图像和参照图像两者中的对象是否发生改变，记录判断结果和当前图像，采用当前图像更新参照图像，跳转至执行获取实时采集的当前图像；基于判断结果，确定对象发生改变前的第一图像和对象发生改变后的第二图像；基于第一图像和第二图像，确定发生改变的对象。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括当前图像获取单元、判断结果记录单元、改变图像确定单元和改变对象确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，当前图像获取单元还可以被描述为“获取实时采集的当前图像的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。