一种图像处理方法、机器人及介质与流程

1.本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法、机器人及介质。


背景技术：

2.随着计算机技术的发展，往往通过图像识别的方式确定固定区域中目标对象状态的变化，例如确定固定区域中目标人员是否走动等。
3.现有技术中，往往直接比较同一区域的不同图像之间的相似度，以判断图像中的目标对象状态是否发生改变，然而由于不同图像采集时的光照条件的不同，可能影响相似度确定的准确性，导致降低目标对象状态变化识别的准确性。


技术实现要素：

4.本发明实施例提供一种图像处理方法、机器人及介质，以实现提高区域中目标对象状态变化识别的准确性。
5.第一方面，本发明实施例提供了一种图像处理方法，该方法包括：
6.通过图像采集器对未包括目标对象的目标区域每间隔第一预设时长进行图像采集，得到并依据第一预设规则更新所述目标区域的基准背景图像；
7.通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像和所述基准背景图像识别各目标对象；
8.根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
9.通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
10.根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
11.可选的，依据第一预设规则更新所述目标区域的基准背景图像，包括：
12.获取所述目标区域的当前背景图像，并将所述当前背景图像与所述基准背景图像进行对比；
13.若所述当前背景图像与所述基准背景图像的相似度大于等于预设阈值，则将所述当前背景图像更新为新的基准背景图像。
14.可选的，该方法应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则在提取对应目标对象的第一子图像之后，还包括：
15.在所述到达时间点时，通过所述图像采集器对所述目标区域进行图像采集，得到所述目标区域的第三状态图像；
16.根据所述区域位置从所述第三状态图像中提取对应目标对象的第三子图像，以通
过所述第三子图像更新所述第一子图像。
17.可选的，通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，包括：
18.通过所述图像采集器对所述目标区域进行图像采集得到所述目标区域的当前状态图像；
19.根据所述基准背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
20.若存在，则将所述当前状态图像确定为所述第一状态图像。
21.可选的，根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像，包括：
22.根据所述基准背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
23.根据所述区域位置从所述第一前景图像中提取所述第一子图像；
24.以及根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取第二子图像，包括：
25.根据所述基准背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
26.根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
27.可选的，在确定各所述目标对象在所述区域位置的第一状态变化信息之后，还包括：
28.响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
29.判断所述状态变化确认信息和所述第一状态变化信息是否一致；
30.若否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第四状态图像。
31.可选的，根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
32.确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
33.根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置的状态是否改变。
34.可选的，该方法应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，包括：
35.从所述到达时间点起，每间隔第二预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并依据第二预设规则更新所述第二状态图像。
36.可选的，该方法应用于包括图像采集器的送物机器人，则根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
37.根据机器人预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
38.根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
39.根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
40.可选的，在确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息所述区域位置之后，还包括：
41.若所述第一状态变化信息不满足预设状态变化条件，则根据机器人预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
42.根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第四子图像集合；
43.根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
44.可选的，该方法应用于包括图像采集器的送物机器人，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点；
45.相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
46.若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对置物区进行图像采集，得到所述置物区的暂停状态图像；
47.根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标对象的暂停子图像；
48.若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
49.根据各所述目标对象在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
50.根据所述暂停子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
51.若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
52.第二方面，本发明实施例还提供了一种机器人，该机器人包括：
53.图像采集器，用于采集图像；
54.一个或多个处理器；
55.存储装置，用于存储一个或多个程序，
56.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的图像处理方法。
57.第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像处理方法。
58.本发明实施例通过更新目标区域的基准背景图像得到最新的基准背景图像，以及根据更新后的基准背景图像和第一状态图像识别各目标对象，避免目标对象识别时的光线
与基准背景图像采集时的光线不同，导致影响目标对象识别。并且比较不同时间点目标对象所在的区域图像，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点。解决由于同一区域不同区域的图像在采集时的光照条件的不同，可能影响后续图像比较的准确性的问题。实现提高区域中目标对象状态变化识别准确性的效果。
附图说明
59.图1为本发明实施例一提供的一种图像处理方法的流程图；
60.图2为本发明实施例二提供的一种图像处理方法的流程图；
61.图3为本发明实施例三提供的一种图像处理装置的结构示意图；
62.图4为本发明实施例四提供的一种机器人的结构示意图。
具体实施方式
63.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
64.实施例一
65.图1为本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于识别固定区域中目标对象状态是否改变的情况，该方法可以由本发明实施例所提供的图像处理装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的图像处理方法，包括：
66.步骤110、通过图像采集器对未包括目标对象的目标区域每间隔第一预设时长进行图像采集，得到并依据第一预设规则更新所述目标区域的基准背景图像。
67.其中，图像采集器可以为摄像装置，用于采集目标区域的图像，可以安置在固定位置处，以保证不同时间点采集到的目标区域的图像的范围相同。目标区域为指定的固定区域，例如送物机器人的置物区域，或者电梯间等人员通行区域等，目标对象为目标区域中关注的对象，例如为置物区域中的放置物品，人员通行区域中的人等，本实施例对此不进行限制。
68.其中，第一预设时长为预先设定的时长，例如为1分钟。每间隔第一预设时长对未包括目标对象的目标区域进行一次图像采集，得到目标区域的基准背景图像，背景图像为目标区域中不存在目标对象时采集的图像，基准背景图像作为获取的所有背景图像中的基准图像用于后续图像处理。
69.其中，目标区域中是否存在目标对象可以通过图像处理算法进行识别，也可以通过人工进行确认，本实施例对此不进行限制。
70.依据第一预设规则更新目标区域的基准背景图像，以将上一时间得到的基准背景图像更新为当前得到的基准背景图像，从而获取最新的基准背景图像。
71.本实施例中，可选的，依据第一预设规则更新所述目标区域的基准背景图像，包括：
72.获取所述目标区域的当前背景图像，并将所述当前背景图像与所述基准背景图像
进行对比；
73.若所述当前背景图像与所述基准背景图像的相似度大于等于预设阈值，则将所述当前背景图像更新为新的基准背景图像。
74.获取目标区域的当前采集得到的当前背景图像，并将当前背景图像与基准背景图像进行对比，若当前背景图像与基准背景图像的相似度大于等于预设阈值，表明当前背景图像与基准背景图像近似，此时将当前背景图像更新为基准背景图像，以保证基准背景图像的实效性。
75.当前背景图像与基准背景图像的相似度小于预设阈值时，表明可能由于光线变化等原因导致当前背景图像发生较大改变，则此时可以将当前背景图像舍弃，避免影响基准背景图像的更新，仅将相似的当前背景图像更新为基准背景图像，从而提高基准背景图像更新的准确性。
76.步骤120、通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像和所述基准背景图像识别各目标对象。
77.当前时间点为图像采集器采集目标区域的第一状态图像的时间点，第一状态图像为存在目标对象的图像。根据第一状态图像和基准背景图像识别各目标对象可以为通过背景减除法等算法，本实施例对此不进行限制。
78.本实施例中，可选的，通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，包括：
79.通过所述图像采集器对所述目标区域进行图像采集得到所述目标区域的当前状态图像；
80.根据所述基准背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
81.若存在，则将所述当前状态图像确定为所述第一状态图像。
82.通过图像采集器对目标区域进行图像采集得到目标区域的当前状态图像，其中，当前状态图像为图像采集器在当前时间点之前或当前时间点采集的目标区域图像。
83.根据基准背景图像和当前状态图像确定目标区域中是否存在目标对象，可以为将当前状态图像与基准背景图像作差，获得前景图像，判断前景图像中是否存在目标对象。
84.若存在，则将该张当前状态图像确定为第一状态图像。若不存在，则图像采集器继续对目标区域进行图像采集。从而及时确定第一状态图像，提高后续对目标对象状态区域位置确定的效率。
85.步骤130、根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像。
86.其中，根据识别结果得到各目标对象在目标区域中的区域位置，可以为对识别到的目标对象的轮廓取最小外切矩形，得到矩形的四个角点坐标，将四个坐标作为该目标对象在目标区域中的区域位置。
87.根据区域位置从第一状态图像中提取对应目标对象的第一子图像，可以为将第一状态图像中区域位置处的图像作为目标对象的第一子图像，示例性的，若目标对象为餐品，则第一子图像为第一状态图像中餐品所在区域位置处的餐品图像。
88.步骤140、通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像。
89.通过同一图像采集器采集目标区域，得到下一时间点包括目标对象的目标区域的第二状态图像。其中，下一时间点为当前时间点之后的时间点，可以为预设时间点，例如将当前时间点之后五分钟作为下一时间点；也可以为根据预设条件触发的时间点，例如将满足预设条件时的时间点作为下一时间点，本实施例对此不进行限制。
90.根据各目标对象在目标区域中的区域位置，从第二状态图像中提取对应目标对象的第二子图像，可以为将第二状态图像中区域位置处的图像作为目标对象的第二子图像。
91.本实施例中，可选的，根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像，包括：
92.根据所述基准背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
93.根据所述区域位置从所述第一前景图像中提取所述第一子图像；
94.以及根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取第二子图像，包括：
95.根据所述基准背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
96.根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
97.将基准背景图像和第一状态图像作差得到目标区域的第一前景图像，将第一前景图像中区域位置处的图像作为第一子图像。
98.将基准背景图像和第二状态图像作差得到目标区域的第二前景图像，将第二前景图像中区域位置处的图像作为第二子图像。
99.从前景图像中提取子图像，提高第一子图像和第二子图像对于目标对象的针对性。将相同区域位置处的图像作为第一子图像和第二子图像并进行比较，即仅关注区域位置处的目标对象的变化情况，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，提高后续第一状态变化信息确定的准确性。
100.步骤150、根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
101.根据第一子图像和第二子图像确定各目标对象在所述区域位置的第一状态变化信息，可以为将各目标对象对应的第一子图像和第二子图像分别进行对比，根据对比结果确定目标对象的第一状态变化信息。其中，第一状态变化信息用于体现目标对象在所属区域中状态的变化，可以根据目标对象的种类的确定对应的第一状态变化信息，示例性的，若目标对象为物品，则第一状态变化信息可以用于体现物品是否被取走，若目标对象为人，则第一状态变化信息可以用于体现人是否走动等。
102.本实施例中，可选的，根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息，包括：
103.确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
104.根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置
的状态是否改变。
105.确定第一子图像和第二子图像之间的相似度比较结果，确定方式可以为根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果共同确定，对于单个图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果的具体确定过程可以为：
106.亮度比较结果可以通过对图像中基于窗口的卷积运算将平均灰度值滤除，对于离散的像素信号值，计算标准差获取；对比度比较结果可以通过对图像信号计算方差获取；结构比较结果可以对图像信号计算协方差获取。
107.通过亮度比较结果、对比度比较结果及结构比较结果共同确定单个图像颜色通道的通道比较结果，确定方式可以为亮度比较结果、对比度比较结果及结构比较结果设置不同的权重，结合各个比较结果，最终得到通道比较结果。
108.对于不同的颜色通道，例如rgb通道，分别获取各通道的通道比较结果。可以取各通道比较结果的平均值作为最终的相似度比较结果。判断相似度比较结果是否大于预设阈值，若否，则确定目标对象在所述区域位置的状态改变。
109.通过图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定相似度比较结果，多个方面确定相似度比较结果，提高了相似度比较结果确定的准确性和针对性，从而提高根据相似度比较结果确定各目标对象在所述区域位置的第一状态变化信息的准确性。
110.本实施例中，可选的，在确定各所述目标对象在所述区域位置的第一状态变化信息之后，还包括：
111.响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
112.判断所述状态变化确认信息和所述第一状态变化信息是否一致；
113.若否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第四状态图像。
114.其中，用户对各目标对象的状态确认操作，可以为用户触摸与状态确认相关的指定按键进行确认操作，也可以通过与状态确认相关的app发出指令等方式进行确认操作，本实施例对此不进行限制。获取各目标对象的状态变化确认信息，可以为获取全部目标对象的整体状态变化，示例性的，当目标对象为物品时，状态变化确认信息可以为用户确认物品已全部取走，即目标对象的状态为全部被取走。
115.判断状态变化确认信息和第一状态变化信息是否一致，即判断各目标对象对应的状态变化确认信息和第一状态变化信息是否一致。例如是否存在状态变化确认信息为目标对象全部被取走，而第一状态变化信息为目标对象未全部被取走的情况。
116.若状态变化确认信息和第一状态变化信息不一致，则通过对目标区域进行图像采集得到状态变化确认时间点目标区域的第四状态图像。其中，状态变化确认时间点为用户进行状态确认操作的时间点。此时，采集目标区域的第四状态图像并进行存储，以便于后续分析。第四状态图像存储的数量可以根据存储空间的大小来确定，当图像存储量超过存储空间的大小时，可以将存储时间较早的图像删除。
117.判断状态变化确认信息和第一状态变化信息是否一致，在用户确认结果和图像识别结果不一致的情况下采集第四状态图像，使得后续可以根据第四状态图像判断图像处理
得到的第一状态变化信息是否正确，以便于对图像处理方法进行改善。
118.本实施例所提供的技术方案，通过比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，比较不同时间点目标对象所在的区域图像，使得比较图像只和目标对象的所在区域位置有关且和该区域位置之外的图像无关，大大减少了图像噪点，解决了当目标对象变化较小时，例如共有十个目标对象，仅一个目标对象发生变化，若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，由于变化范围较小导致无法准确识别目标对象状态变化的问题。
119.并且由于同一区域的图像在不同时间采集时的光照强度、光照颜色、光源入射的角度及阴影遮挡区域等光照条件的不同，导致采集的图像存在明显的差异，例如像素灰度值的巨大差异，光源照射周围物体阴影遮挡区域差异，图像色域上的差异等。若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，可能由于光照变化导致的图像差异导致实际状态未发生变化的目标对象的图像比较结果却为相似度较低，影响图像处理的准确性。因此得到目标区域的最新基准背景图像，并根据第一状态图像和基准背景图像识别各目标对象，避免目标对象识别时的光线与基准背景图像采集时的光线不同，导致影响目标对象识别，提高了目标对象识别的准确性。并且由于光照情况虽然会发生变化，但是目标对象对应的位置信息往往不会发生变化，后续比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，提高区域中目标对象状态变化识别准确性。
120.实施例二
121.图2为本发明实施例二提供的一种图像处理方法的流程图，本技术方案是针对提取对应目标对象的第一子图像之后的过程进行补充说明的，并且应用于包括图像采集器的送物机器人。与上述方案相比，本方案具体优化为，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则在提取对应目标对象的第一子图像之后，还包括：
122.在所述到达时间点时，通过所述图像采集器对所述目标区域进行图像采集，得到所述目标区域的第三状态图像；
123.根据所述区域位置从所述第三状态图像中提取对应目标对象的第三子图像，以通过所述第三子图像更新所述第一子图像。
124.本实施例中送物机器人的机型可以为非封闭舱机型，例如单边机型或双边机型的餐厅送餐机器人，在执行送物任务过程中由于需经过不同区域，若不同区域的环境光照情况，例如光照强度、光照颜色、光源入射的角度及阴影遮挡区域等变化较大，则可能影响图像处理的准确性。通过本发明实施例中的图像处理方法可以很好的解决上述问题。
125.具体的，图像处理方法的流程图如图2所示：
126.步骤210、通过图像采集器对未包括目标对象的目标区域每间隔第一预设时长进行图像采集，得到并依据第一预设规则更新所述目标区域的基准背景图像。
127.步骤220、通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像和所述基准背景图像识别各目标对象。
128.步骤230、根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像。
129.步骤240、在到达时间点时，通过所述图像采集器对所述目标区域进行图像采集，
得到所述目标区域的第三状态图像。
130.其中，到达时间点为送物机器人到达预设的任务目的地的到达时间点，此时通过图像采集器对目标区域进行图像采集，得到目标区域的第三状态图像。需要说明的是，第三状态图像拍摄时间优先于第二状态图像，即先拍摄第三状态图像，后拍摄第二状态图像。
131.步骤250、根据所述区域位置从所述第三状态图像中提取对应目标对象的第三子图像，以通过所述第三子图像更新所述第一子图像。
132.可以将基准背景图像和第三状态图像作差得到目标区域的第三前景图像，将第三前景图像中区域位置处的图像作为第三子图像，并将该第三子图像更新为第一子图像。
133.步骤260、通过所述图像采集器对所述目标区域进行图像采集，得到所述到达时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像。
134.本实施例中，可选的，通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，包括：
135.从所述到达时间点起，每间隔第二预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并依据第二预设规则更新所述第二状态图像。
136.其中，第二预设时长为预先设定的时长，例如为1秒，即从到达时间点起，每间隔第二预设时长，就通过图像采集器对目标区域进行一次图像采集，并依据第二预设规则更新第二状态图像，其中，第二预设规则可以为直接将上一时间得到的第二状态图像更新为当前得到的第二状态图像，从而获取最新的第二状态图像，本实施例对此不进行限制。
137.这样的好处在于，在机器人到达预设的任务目的地后，用户并未立即取物，或者目标对象不止一样等情况下，可以及时根据最新的第二状态图像提取对应目标对象的第二子图像，以根据第一子图像和第二子图像，确定各目标对象在区域位置的第一状态变化信息，从而确定目标区域中的单个目标对象是否被取走或多个目标对象是否被完全取走，提高第一状态变化信息确定的准确性和效率，以及物品运送的有效性。
138.本实施例中，可选的，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点；
139.相应的，在通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像之前，还包括：
140.若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对置物区进行图像采集，得到所述置物区的暂停状态图像；
141.根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标对象的暂停子图像；
142.若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
143.根据各所述目标对象在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
144.根据所述暂停子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
145.若否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一
时间点所述目标区域的第二状态图像的操作。
146.当前时间点为送物机器人运送目标物品的启动时间点，即送物机器人开始运送目标对象的时间点。
147.暂停事件为机器人在移动过程中暂停的事件，可以由人工触发也可以由机器人自动触发，人工触发可以为人工触碰机器人上的急停按键等；机器人自动触发可以为机器人避让人或者物时进行自动暂停等。在启动时间点和到达时间点之间，若检测到暂停事件，则通过图像采集器对目标区域进行图像采集，得到目标区域的暂停状态图像。
148.根据各目标对象在目标区域中的区域位置，从暂停状态图像中提取对应目标物品的暂停子图像，可以为将暂停状态图像中区域位置处的图像作为目标对象的暂停子图像。
149.暂停后启动事件为机器人在暂停后重新启动的事件，可以由人工触发也可以由机器人自动触发，人工触发可以为机器人在暂停后人工触碰机器人上的启动按键等；机器人自动触发可以为机器人避让人或者物成功后进行自动暂停后启动等。若检测到暂停后启动事件，则通过图像采集器对目标区域进行图像采集，得到目标区域的暂停后启动状态图像。
150.根据各目标对象在目标区域中的区域位置，从暂停后启动状态图像中提取对应目标物品的暂停后启动子图像，可以为将暂停后启动状态图像中区域位置处的图像作为目标对象的暂停后启动子图像。
151.根据暂停子图像和暂停后启动子图像确定各目标对象在区域位置的状态是否变化，可以为将各目标对象对应的暂停子图像和暂停子图像分别进行对比，根据对比结果确定目标对象的状态是否改变。
152.若改变，则表明在机器人从暂停到暂停后启动过程中，目标对象被人为或其它方式移动了位置，表明目标物品被提前改变状态，可以进行灯光或语音提示，或发送警报至管理人员处。可以根据状态改变的目标对象对应的目标区域进行相应提示，示例性的，若依次检测到机器人中第x、y、z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中按照预设时间间隔依次显示包含第x、y、z层文案的弹窗；若同时检测到机器人中第x、y、z层的目标区域中目标对象状态改变，则提示方式可以为在机器人的显示屏幕中显示“检测到第x，y，z层物品有变化，该层任务需要人工取物”的弹窗，本实施例对此不进行限制，以提高提示的针对性和改善用户体验。
153.若目标对象在区域位置的状态均未改变，则确定继续执行通过图像采集器对包括目标对象的所述目标区域进行图像采集，得到下一时间点目标区域的第二状态图像的操作。从而确认在机器人从暂停到暂停后启动的过程中，目标对象状态是否改变，避免直接通过第一子图像和暂停后启动子图像进行对比时，由于第一子图像与暂停后启动子图像的采集环境不同，光线情况可能发生改变，导致影响图像处理结果的准确性，提高图像处理的针对性。以及可以通过确认目标对象状态是否改变确定是否可以继续执行后续物品运送任务，提高物品运送的有效性。
154.步骤270、根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
155.根据通过第三子图像更新后得到的第一子图像和第二子图像，确定各目标对象在所述区域位置的第一状态变化信息。
156.本实施例中，可选的，根据所述第一子图像和所述第二子图像，确定各所述目标对
象在所述区域位置的第一状态变化信息，包括：
157.根据机器人预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
158.根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
159.根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
160.其中预设的任务目的地为送物机器人运送目标对象到达的目的地，示例性的，若目标对象为餐品，则任务目的地可以为餐桌。任务目的地与目标对象的关联关系可以通过预先设置，例如任务目的地一为餐桌a，存在关联关系的目标对象为餐品一和餐品二，任务目的地二为餐桌b，存在关联关系的目标对象为餐品三和餐品四。
161.根据机器人当前去往的任务目的地，从全部目标对象中确定与当前任务目的地对应的目标任务对象构成的目标任务对象集合。示例性的，全部目标对象为abcde，与当前任务目的地存在关联关系的目标对象为abc，则目标任务对象集合包括目标任务对象abc。
162.根据目标任务对象集合从第一子图像中确定对应目标任务对象的第一子图像集合，即获取目标任务对象集合中各目标任务对象对应的第一子图像。从第二子图像中确定对应目标任务对象的第二子图像集合，即获取目标任务对象集合中各目标任务对象对应的第二子图像。
163.将第一子图像集合中的第一子图像分别与对应的第二子图像集合中的第二子图像进行对比，得到目标任务对象集合中各目标任务对象的第一状态变化信息。示例性的，将目标任务对象a对应的第一子图像和第二子图像进行对比，得到目标任务对象a的第一状态变化信息。由此获得所有目标任务对象的第一状态变化信息。
164.通过目标任务对象对应的第一子图像集合和第二子图像集合，确定目标任务对象集合中的各目标任务对象在区域位置的第一状态变化信息，即仅比较与任务目的地相关的目标对象相关的图像区域，避免存在多个任务目的地时，进行所有目标对象的比较，导致降低比较的准确性。通过提高比较的针对性，提高比较结果获取的准确性。
165.本实施例中，可选的，在确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息所述区域位置之后，还包括：
166.若所述第一状态变化信息不满足预设状态变化条件，则根据机器人预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
167.根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第四子图像集合；
168.根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
169.其中，预设状态变化条件用于确定目标对象的状态变化情况，可以为目标任务对象集合中各目标任务对象的第一状态变化信息均为被取走，本实施例对此不进行限制。
170.若第一状态变化信息不满足预设状态变化条件，可以为存在至少一个目标任务对象的第一状态变化信息为未被取走，即取物任务失败，则根据预设的任务目的地与目标对象的关联关系，从全部目标对象中确定非目标任务对象集合。
171.根据机器人当前去往的任务目的地，从全部目标对象中确定与当前任务目的地无关的非目标任务对象构成的非目标任务对象集合。示例性的，全部目标对象为abcde，与当前任务目的地存在关联关系的目标对象为abc，则非目标任务对象集合包括非目标任务对象de。
172.根据目标任务对象集合从第一子图像中确定对应目标任务对象的第三子图像集合，即获取非目标任务对象集合中各非目标任务对象对应的第一子图像。从第二子图像中确定对应目标任务对象的第四子图像集合，即获取非目标任务对象集合中各非目标任务对象对应的第二子图像。
173.将第三子图像集合中的第一子图像分别与对应的第四子图像集合中的第二子图像进行对比，得到非目标任务对象集合中各非目标任务对象的第二状态变化信息。示例性的，将非目标任务对象e对应的第一子图像和第二子图像进行对比，得到非目标任务对象e的第二状态变化信息。由此获得所有非目标任务对象的第二状态变化信息。
174.在第一状态变化信息不满足预设状态变化条件情况下，确定非目标任务对象集合非目标任务对象在区域位置的第二状态变化信息，可以根据第二状态变化信息确定第一状态变化信息不满足预设状态变化条件的原因。例如若存在至少一个非目标任务对象的第二状态变化信息为被取走，则表明第一状态变化信息不满足预设状态变化条件的原因可能为，当前任务目的地用户由于错误取走了非目标任务对象而未取走目标任务对象。
175.示例性的，当前任务目的地为餐桌a，对应的目标对象为餐品一和餐品二，后续任务目的地为餐桌b，对应的目标对象为餐品三和餐品四，则此时目标任务对象为餐品一和餐品二，非目标任务对象为餐品三和餐品四。若确定餐桌a处的用户取走了餐品三或餐品四，则表明用户误取了非目标任务对象，此时可以通过机器人进行语音或屏幕显示等提示，例如语音播报“取物错误请放回原位”，“请取xx位置处的物品”等，提示用户放回取出错误的非目标任务对象以及取走目标任务对象。
176.除比较与任务目的地相关的目标对象相关的图像区域外，比较任务目的地无关的目标对象相关的图像区域，以便后续确定第一状态变化信息不满足预设状态变化条件的原因，以及避免影响非当前任务目的地任务的执行，从而提高图像处理的全面性以及送物机器人任务执行的有效性。
177.本发明实施例通过在到达时间点时，通过图像采集器对目标区域进行图像采集，得到目标区域的第三状态图像；根据区域位置从第三状态图像中提取对应目标对象的第三子图像，以通过第三子图像更新所述第一子图像。将第一子图像更新为到达时间点获取的图像，以将到达时间点获取的子图像与到达时间点后的子图像进行对比，保证子图像所处的采集环境相同。避免从当前时间点到到达时间点之间图像的采集环境不同，光线情况可能发生改变，导致影响图像处理结果的准确性；提高后续图像处理的针对性以及准确性。
178.实施例三
179.图3为本发明实施例三提供的一种图像处理装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种图像处理方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置包括：
180.基准背景图像更新获取模块310，用于通过图像采集器对未包括目标对象的目标区域每间隔第一预设时长进行图像采集，得到并依据第一预设规则更新所述目标区域的基
准背景图像；
181.目标对象识别模块320，用于通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像和所述基准背景图像识别各目标对象；
182.第一子图像提取模块330，用于根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
183.第二子图像提取模块340，用于通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
184.第一状态变化信息确定模块350，用于根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
185.本实施例所提供的技术方案，通过比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，解决了当目标对象变化较小时，例如共有十个目标对象，仅一个目标对象发生变化，若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，由于变化范围较小导致无法准确识别目标对象状态变化的问题。
186.并且由于同一区域的图像在不同时间采集时的光照强度、光照颜色、光源入射的角度及阴影遮挡区域等光照条件的不同，导致采集的图像存在明显的差异，例如像素灰度值的巨大差异，光源照射周围物体阴影遮挡区域差异，图像色域上的差异等。若直接比较不同区域图像的整体相似性，以判断目标对象状态是否发生改变，可能由于光照变化导致的图像差异导致实际状态未发生变化的目标对象的图像比较结果却为相似度较低，影响图像处理的准确性。因此得到目标区域的最新基准背景图像，并根据第一状态图像和基准背景图像识别各目标对象，避免目标对象识别时的光线与基准背景图像采集时的光线不同，导致影响目标对象识别，提高了目标对象识别的准确性。并且由于光照情况虽然会发生变化，但是目标对象对应的位置信息往往不会发生变化，后续比较同一位置处不同时间点的子图像，确定各目标对象的状态变化，提高区域中目标对象状态变化识别准确性。
187.在上述各技术方案的基础上，可选的，所述基准背景图像更新获取模块，包括：
188.背景图像对比单元，用于获取所述目标区域的当前背景图像，并将所述当前背景图像与所述基准背景图像进行对比；
189.背景图像更新单元，用于若所述当前背景图像与所述基准背景图像的相似度大于等于预设阈值，则将所述当前背景图像更新为新的基准背景图像。
190.在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则所述装置还包括：
191.第三状态图像获得模块，用于第一子图像提取模块之后，在所述到达时间点时，通过所述图像采集器对所述目标区域进行图像采集，得到所述目标区域的第三状态图像；
192.第三子图像提取模块，用于根据所述区域位置从所述第三状态图像中提取对应目标对象的第三子图像，以通过所述第三子图像更新所述第一子图像。
193.在上述各技术方案的基础上，可选的，所述目标对象识别模块，包括：
194.当前状态图像采集单元，用于通过所述图像采集器对所述目标区域进行图像采集
得到所述目标区域的当前状态图像；
195.目标对象确定单元，用于根据所述基准背景图像和所述当前状态图像确定所述目标区域中是否存在所述目标对象；
196.第一状态图像确定单元，用于若所述目标对象确定单元确定为存在，则将所述当前状态图像确定为所述第一状态图像。
197.在上述各技术方案的基础上，可选的，所述第一子图像提取模块，包括：
198.第一前景图像获得单元，用于根据所述基准背景图像和所述第一状态图像得到所述目标区域的第一前景图像；
199.第一子图像提取单元，用于根据所述区域位置从所述第一前景图像中提取所述第一子图像；
200.以及所述第二子图像提取模块，包括：
201.第二前景图像获得单元，用于根据所述基准背景图像和所述第二状态图像得到所述目标区域的第二前景图像；
202.第二子图像提取单元，用于根据各所述目标对象在所述目标区域中的区域位置从所述第二前景图像中提取所述第二子图像。
203.在上述各技术方案的基础上，可选的，所述装置还包括：
204.状态变化确认信息获取模块，用于响应于用户对各所述目标对象的状态确认操作，获取各所述目标对象的状态变化确认信息；
205.信息一致判断模块，用于判断所述状态变化确认信息和所述第一状态变化信息是否一致；
206.第三状态图像采集模块，用于若所述信息一致判断模块判断为否，则通过所述图像采集器对所述目标区域进行图像采集得到状态变化确认时间点所述目标区域的第四状态图像。
207.在上述各技术方案的基础上，可选的，所述第一状态变化信息确定模块，包括：
208.相似度比较结果确定单元，用于确定所述第一子图像和所述第二子图像之间的相似度比较结果；其中，所述相似度比较结果根据图像颜色通道的亮度比较结果、对比度比较结果及结构比较结果确定；
209.目标对象状态改变确定单元，用于根据所述相似度比较结果是否大于预设阈值，确定所述目标对象在所述区域位置的状态是否改变。
210.在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点，则所述第二子图像提取模块，包括：
211.第二状态图像获取更新单元，用于从所述到达时间点起，每间隔第二预设时长通过所述图像采集器对所述目标区域进行图像采集，得到并依据第二预设规则更新所述第二状态图像。
212.在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，则所述第一状态变化信息确定模块，包括：
213.目标任务对象集合确定单元，用于根据机器人预设的任务目的地与目标对象的关联关系，从全部所述目标对象中确定与当前所述任务目的地对应的目标任务对象集合；
214.第一子图像集合确定单元，用于根据所述目标任务对象集合从所述第一子图像中确定对应目标任务对象的第一子图像集合，以及从所述第二子图像中确定对应目标任务对象的第二子图像集合；
215.第一状态变化信息确定单元，用于根据所述第一子图像集合和所述第二子图像集合，确定所述目标任务对象集合中的各所述目标任务对象在所述区域位置的第一状态变化信息。
216.在上述各技术方案的基础上，可选的，所述装置还包括：
217.非目标任务对象集合确定单元，用于所述第一状态变化信息确定单元之后，若所述第一状态变化信息不满足预设状态变化条件，则根据机器人预设的任务目的地与所述目标对象的关联关系，从全部所述目标对象中确定非目标任务对象集合；
218.第二子图像集合确定单元，用于根据所述非目标任务对象集合从所述第一子图像中确定对应非目标任务对象的第三子图像集合，以及从所述第二子图像中确定对应非目标任务对象的第四子图像集合；
219.第二状态变化信息确定单元，用于根据所述第三子图像集合和所述第四子图像集合，确定所述非目标任务对象集合中的各所述非目标任务对象在所述区域位置的第二状态变化信息。
220.在上述各技术方案的基础上，可选的，应用于包括图像采集器的送物机器人，所述当前时间点为所述送物机器人运送所述目标对象的启动时间点，所述下一时间点为所述送物机器人到达预设的任务目的地的到达时间点；
221.相应的，所述装置还包括：
222.暂停状态图像采集模块，用于所述第二子图像提取模块之前，若在所述启动时间点和所述到达时间点之间检测到暂停事件，则通过所述图像采集器对置物区进行图像采集，得到所述置物区的暂停状态图像；
223.暂停子图像提取模块，用于根据各所述目标对象在所述目标区域中的区域位置，从所述暂停状态图像中提取对应目标对象的暂停子图像；
224.暂停后启动状态图像采集模块，用于若在所述启动时间点和所述到达时间点之间检测到暂停后启动事件，则通过所述图像采集器对目标区域进行图像采集，得到所述目标区域的暂停后启动状态图像；
225.暂停后启动子图像提取模块，用于根据各所述目标对象在所述目标区域中的区域位置，从所述暂停后启动状态图像中提取对应目标对象的暂停后启动子图像；
226.目标对象状态改变确定模块，用于根据所述暂停子图像和所述暂停后启动子图像，确定所述目标对象在所述区域位置的状态是否改变；
227.采集操作确定执行模块，用于若所述目标对象状态改变确定模块确定为否，则确定执行通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像的操作。
228.实施例四
229.图4为本发明实施例四提供的一种机器人的结构示意图，如图4所示，该机器人包括处理器40、存储器41、输入装置42和输出装置43；机器人中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；机器人中的处理器40、存储器41、输入装置42和输出装置
43可以通过总线或其他方式连接，图4中以通过总线连接为例。机器人还包括图像采集器(图中未示出)，其中，图像采集器用于采集图像。
230.存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行机器人的各种功能应用以及数据处理，即实现上述的图像处理方法。
231.存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至机器人。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
232.实施例五
233.本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法，该方法包括：
234.通过图像采集器对未包括目标对象的目标区域每间隔第一预设时长进行图像采集，得到并依据第一预设规则更新所述目标区域的基准背景图像；
235.通过所述图像采集器对所述目标区域进行图像采集得到当前时间点所述目标区域的第一状态图像，并根据所述第一状态图像和所述基准背景图像识别各目标对象；
236.根据识别结果得到各所述目标对象在所述目标区域中的区域位置，以及根据所述区域位置从所述第一状态图像中提取对应目标对象的第一子图像；
237.通过所述图像采集器对所述目标区域进行图像采集，得到下一时间点所述目标区域的第二状态图像，并根据各所述目标对象在所述目标区域中的区域位置，从所述第二状态图像中提取对应目标对象的第二子图像；
238.根据所述第一子图像和所述第二子图像，确定各所述目标对象在所述区域位置的第一状态变化信息。
239.当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。
240.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
241.值得注意的是，上述图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，
各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
242.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。