图像处理方法、装置、设备以及存储介质与流程

1.本技术涉及计算机视觉领域，尤其涉及一种图像处理方法、装置设备以及存储介质。


背景技术：

2.随着人工智能技术的发展，出现了图像配准技术。图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行配准、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
3.现有的判断图像是否配准往往是根据肉眼进行判断，准确性较低，且在需要判断的图像对的数量较多时会极大降低判断效率，适用性差。


技术实现要素：

4.本技术实施例提供一种图像处理方法、装置、设备以及存储介质，可高效准确地确定图像配准状态，适用性高。
5.一方面，本技术实施例提供一种图像处理方法，该方法包括：
6.确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像，上述第一初始图像和上述第二初始图像对应于相同场景，上述第一特征图像和上述第二特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
7.基于预设像素窗口分别从上述第一特征图像和上述第二特征图像中确定出至少一个子图像，基于各上述子图像在对应特征图像中的区域确定至少一个图像对，每个上述图像对中的第一子图像和第二子图像属于不同的特征图像且在对应特征图像中的区域相同；
8.将每个上述图像对中的第一子图像和第二子图像进行融合得到融合图像，基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态；
9.基于各上述图像对的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态，上述图像配准状态为已配准状态或者未配准状态。
10.另一方面，本技术实施例提供了一种图像处理装置，该装置包括：
11.图像确定模块，用于确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像，上述第一初始图像和上述第二初始图像对应于相同场景，上述第一特征图像和上述第二特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
12.图像分割模块，用于基于预设像素窗口分别从上述第一特征图像和上述第二特征图像中确定出至少一个子图像，基于各上述子图像在对应特征图像中的区域确定至少一个图像对，每个上述图像对中的第一子图像和第二子图像属于不同的特征图像且在对应特征图像中的区域相同；
13.图像融合模块，用于将每个上述图像对中的第一子图像和第二子图像进行融合得
到融合图像，基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态；
14.状态确定模块，用于基于各上述图像对的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态，上述图像配准状态为已配准状态或者未配准状态。
15.另一方面，本技术实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；
16.所述存储器用于存储计算机程序；
17.所述处理器被配置用于在调用所述计算机程序时，执行本技术实施例提供的图像处理方法。
18.另一方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本技术实施例提供的图像处理方法。
19.另一方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本技术实施例提供的图像处理方法。
20.在本技术实施例中，通过将第一初始图像的第一特征图像和第二初始图像的第二特征图像确定为多个图像对，可减少每个图像对中的子图像的信息复杂程度，从而可准确快速确定每个图像对的图像配准状态，进而进一步提升确定第一初始图像和第二初始图像的图像配准状态的准确性和效率。同时第一特征图像和第二特征图像可以分别为深度图像、灰度图像或者彩色图像中的至少一种，从而灵活基于第一初始图像和第二初始图像的深度图像或灰度图像来确定第一初始图像和第二初始图像的图像配准状态，灵活性更高。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本技术实施例提供的图像处理方法的流程示意图；
23.图2是本技术实施例提供的确定特征图像的场景示意图；
24.图3是本技术实施例提供的确定关键区域的场景示意图；
25.图4是本技术实施例提供的确定图像对的场景示意图；
26.图5是本技术实施例提供的确定图像配准状态的一场景示意图；
27.图6是本技术实施例提供的神经网络的一结构示意图；
28.图7是本技术实施例提供的神经网络的另一结构示意图；
29.图8是本技术实施例提供的确定图像配准状态的另一场景示意图；
30.图9是本技术实施例提供的图像处理装置的结构示意图；
31.图10是本技术实施例提供的电子设备的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.本技术实施例中的图像处理方法可用于确定图像配准状态，如在工业质检领域中可确定同一工业元件(如机器零件)在不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅初始图像的图像配准状态，以基于确定出的图像配准状态确定该工业元件是否存在缺陷。
34.再如，在智能交通或地图领域中，可基于智能交通系统(intelligent traffic system，its)或智能车路协同系统(intelligent vehicle infrastructure cooperative systems，ivics)确定同一交通区域在不同时间下的两幅初始道路图像的图像配准状态，以基于确定出的图像配准状态确定道路场景是否发生变化，进而对该道路场景对应的地图信息或导航信息进行更新等。
35.其中，智能交通系统又称智能运输系统(intelligent transportation system)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
36.智能车路协同系统，简称车路协同系统，是智能交通系统(its)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
37.其中，本技术实施例提供的图像处理方法由可以由任一终端设备或者服务器执行。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。其中，终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表以及车载终端等，但并不局限于此。
38.例如，本技术实施例提供的图像处理方法由车载终端执行时，车载终端可确定同一交通区域在不同时间下的两幅初始道路图像的图像配准状态，以基于确定出的图像配准状态确定道路场景是否发生变化，在道路场景发生变化的情况下重新进行导航规划。
39.参见图1，图1是本技术实施例提供的图像处理方法的流程示意图。如图1所示，本技术实施例提供的图像处理方法具体可包括如下步骤：
40.步骤s11、确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像。
41.在一些可行的实施方式中，第一初始图像和第二初始图像为对应于相同场景的两副图像，如对应于相同的作业区域或交通区域等的两副图像。或者，在第一初始图像和第二初始图像包括相同的目标对象时也可确定第一初始图像和第二初始图像对应于相同场景。如第一初始图像和第二初始图像可以为在不同时间、通过不同传感器(成像设备)且在不同
条件下(天候、照度、摄像位置和角度等)获取的针对目标对象的两幅图像。
42.其中，第一初始图像和第二初始图像还可以为基于现有技术已进行图像配准操作、且需要进一步判断图像配准状态的两副图像，具体可基于实际应用场景需求确定，在此不做限制。
43.进一步地，可确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像。
44.其中，本技术实施例中的第一初始图像和第二初始图像可以为单通道图像，如红外图像、深度图像或者灰度图像等，也可以为包括至少两个通道的图像，如包括r、g、b颜色通道的彩色图像或者包括g、b颜色通道的彩色图像等等，具体可基于实际应用场景需求确定，在此不做限制。
45.其中，第一特征图像可以为深度图像、灰度图像或者彩色图像中的任意一种。也就是说，在第一初始图像为深度图像、灰度图像或者彩色图像的情况下，可将第一初始图像自身作为第一特征图像，或者在第一初始图像不为深度图像的情况下，将第一初始图像转换为深度图像以得到第一特征图像，或者在第一初始图像不为灰度图像的情况下，将第一初始图像转换为灰度图像以得到第一特征图像，或者在第一初始图像为单通道图像的情况下，将第一初始图像转换为多通道的彩色图像以得到第一特征图像。
46.同理，第二特征图像可以为深度图像、灰度图像或者彩色图像中的任意一种。也就是说，在第二初始图像为深度图像、灰度图像或者彩色图像的情况下，可将第二初始图像自身作为第二特征图像，或者在第二初始图像不为深度图像的情况下，将第二初始图像转换为深度图像以得到第二特征图像，或者在第二初始图像不为灰度图像的情况下，将第二初始图像转换为灰度图像以得到第二特征图像，或者在第二初始图像为单通道图像的情况下，将第二初始图像转换为多通道的彩色图像以得到第二特征图像。
47.例如，参见图2，图2是本技术实施例提供的确定特征图像的场景示意图。如图2所示，第一初始图像和第二初始图像包括相同的对象，也即对应于相同场景。此时可确定第一初始图像的灰度图像，将第一初始图像的灰度图像确定为第一初始图像的第一特征图像。同时可确定第二初始图像的深度图像，将第二初始图像的深度图像确定为第二初始图像的第二特征图像。
48.其中，在确定第一初始图像的第一特征图像以及第二初始图像的第二特征图像的具体实现方式，可基于图像处理技术实现，在此不做说明。
49.步骤s12、基于预设像素窗口分别从第一特征图像和第二特征图像中确定出至少一个子图像，基于各子图像在对应特征图像中的区域确定至少一个图像对。
50.在一些可行的实施方式中，在第一初始图像和第二初始图像的图像尺寸较小的情况下，若第一特征图像和第二特征图像的像素尺寸(像素高度和像素宽度)一致，则可基于预设像素窗口和预设滑动规则分别从第一特征图像和第二特征图像中确定出至少一个子图像。
51.若第一特征图像和第二特征图像的像素尺寸(像素高度和像素宽度)不一致，则可先将第一特征图像和第二特征图像缩放至相同的像素高度和像素宽度，进而基于预设像素窗口和预设滑动规则分别从第一特征图像和第二特征图像中确定出至少一个子图像。
52.其中，预设像素窗口的像素高度和像素宽度可基于实际应用场景需求确定，如可
以为224*224的滑动窗口，在此不做限制。
53.其中，预设滑动规则用于表示滑动窗口的移动方向和步长，具体可基于实际应用场景需求确定，在此不做限制。
54.其中，第一特征图像和第二特征图像所对应的预设像素窗口以及预设像素窗口的起始位置均相同，第一特征图像和第二特征图像所对应的预设滑动规则相同。
55.基于此，可从第一特征图像和第二特征图像中的每个相同区域确定出子特征图像，也即在从第一特征图像中确定出至少一个子图像、以及从第二特征图像中确定出一个子图像之后，对于第一特征图像中的任意一个子图像，第二特征图像的子图像中存在一个目标子图像，该目标子图像在第二特征图像中的区域与该子图像在第一特征图像中的区域相同。
56.基于此，可基于第一特征图像和第二特征图像对应的各个子图像在对应特征图像中的区域确定至少一个图像对，每个图像对中的第一子图像和第二子图像属于不同的特征图像且在对应特征图像中的区域相同。
57.其中，每个图像对中的第一子图像属于第一特征图像，每个图像对中的第二子图像属于第二特征图像。
58.可选地，还可确定第一特征图像中的至少一个第一关键区域，每个第一关键区域用于表征第一特征图像的局部特征。如将第一特征图像中的某一对象所在区域或者包括某一对象的区域确定为一个第一关键区域，或者将某一对象的局部特征所在区域确定为一个第一关键区域，具体可基于实际应用场景需求确定，在此不做限制。
59.例如，若第一初始图像为关于集装箱的原始图像，则可将第一特征图像中以集装箱区域左侧边缘为起点，宽度为集装箱区域的1/20且高度为集装箱区域高度的区域确定为一个第一关键区域，将第一特征图像中以集装箱区域右侧边缘为起点，宽度为集装箱区域的1/20且高度为集装箱区域高度的区域确定为一个第一关键区域。
60.其中，第一特征图像中的第一关键区域的确定可基于第一特征图像的每个像素点表征的值确定。如第一特征图像为灰度图像，则可基于各像素点的灰度值之间的差异确定出第一特征图像中的不同对象所在区域，进而将每个对象所在区域或者每个对象的局部特征所在区域确定为第一关键区域。
61.再如，第一特征图像为深度图像，则可基于各像素点的深度值之间的差异确定出第一特征图像中的不同对象所在区域，如将深度值差值小于深度阈值的像素点确定为同一对象所在区域，进而将每个对象所在区域或者每个对象的局部特征所在区域确定为第一关键区域。
62.进一步地，在从第一特征图像中确定出至少一个第一关键区域之后，可将第二特征图像中与每个第一关键区域相同的区域确定为一个第二关键区。例如，若某一第一关键区域为第一特征图像中左上角像素尺寸为224*224的区域，则将第二特征图像中左上角像素尺寸为224*224的区域确定为一个第二关键区域。
63.参见图3，图3是本技术实施例提供的确定关键区域的场景示意图。如图3所示，第一特征图像和第二特征图像包括相同的对象，且该对象在不同的特征图像中所呈现的姿态不同。此时可将第一特征图像和第二特征图像中的相同区域分别确定为第一关键区域和第二关键区域。
64.若某一第一关键区域为集装箱所在区域，在第一初始图像和第二初始图像的图像配准状态为未配准状态的情况下，基于该第一关键区域所确定出的第二关键区域可能为集装箱部分所在区域或者不为集装箱所在区域。
65.进一步地，若各第一关键区域和各第二关键区域的像素尺寸(像素高度和像素宽度)一致，则可基于预设像素窗口和预设滑动规则分别从各第一关键区域和各第二关键区域中确定出至少一个子图像。
66.若各第一关键区域和各第二关键区域的像素尺寸不一致，则可先将各第一关键区域和各第二关键区域缩放至相同的像素高度和像素宽度，进而基于预设像素窗口和预设滑动规则分别从各第一关键区域和各第二关键区域中确定出至少一个子图像。
67.其中，从各第一关键区域和各第二关键区域中确定出至少一个子图像时，可先确定至少一个关键区域组合，即将区域相同的第一关键区域和第二关键区域确定为一个关键区域组合，进而基于预设像素窗口和预设滑动规则从每个关键区域组合中的第一关键区域和第二关键区域中确定出多个子图像。
68.其中，每个关键区域组合中的第一关键区域和第二关键区域所对应的预设像素窗口以及预设像素窗口的起始位置均相同，该关键区域组合内的第一关键区域和第二关键区域对应的预设滑动规则相同。
69.其中，任意两个关键区域组合对应的预设像素窗口可以相同也可以不同，且对应的预设滑动规则可以相同也可以不同，具体可基于实际应用场景需求确定，在此不做限制。
70.基于此，对于每个关键区域组合，在从该关键区域组合中的第一关键区域和第二关键区域确定出多个子图像之后，对于第一关键区域中的任意一个子图像，第二关键区域中的子图像中存在一个目标子图像，该目标子图像在第二关键区域中的区域与该子图像在第一关键区域中的区域相同。
71.基于此，对于每个关键区域组合，可基于该关键区域组合中的第一关键区域和第二关键区域对应的各个子图像在对应关键区域组合中的区域确定至少一个图像对，每个图像对中的第一子图像和第二子图像属于不同的关键区域且在对应关键区域中的区域相同。
72.参见图4，图4是本技术实施例提供的确定图像对的场景示意图。如图4所示，基于图3所示的场景可确定出一个关键区域组合。基于预设像素窗口可从该关键区域组合中的第一关键区域确定出3个子图像，从该关键区域组合中的第二关键区域确定出3个子图像，进而基于各个子图像在对应关键区域中的区域确定出如图4所示的3个图像对。
73.步骤s13、将每个图像对中的第一子图像和第二子图像进行融合得到融合图像，基于每个融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态。
74.在一些可行的实施方式中，在确定每个图像对对应的融合图像时，对于每个图像对中的第一子图像和第二子图像，可基于该第一子图像和第二子图像的各像素点的通道值构建融合图像，该融合图像的每个像素点包括至少一个通道。
75.其中，对于深度图像而言，深度图像的每个像素点的通道值为深度值，灰度图像的每个像素点的通道值为灰度值，即灰度图像和深度图像的每个像素点的通道数为单通道。对于彩色图像而言，彩色图像的每个像素点对应于多个通道值且每个通道值为一个颜色通道的颜色值。
76.其中，融合图像的每个像素点的通道数具体可基于实际应用场景需求确定，在此
不做限制。
77.其中，融合图像的每个像素点的每个通道的通道值由该第一子图像对应于该像素点的通道值或者该第二子图像对应于该像素点的通道值中的至少一项确定。
78.具体地，在融合图像的每个像素点的通道数为单通道的情况下，若该第一子图像和该第二子图像分别为深度图像或者灰度图像中的任意一种，则融合图像在每个像素点的通道值可以为该第一子图像在该像素点的通道值，也可以为该第二子图像在该像素点的通道值，还可基于该第一子图像和该第二子图像在该像素点的通道值确定，如将通道值相加或取均值等，在此不做限制。
79.作为一示例，第一子图像和第二子图像为深度图像，可基于第一子图像和第二子图像在对应像素点的深度值得到融合图像在该像素点的融合深度值(如将深度值相加或取均值等)，进而基于各像素点的融合深度值得到融合图像。
80.若该第一子图像为深度图像或者灰度图像中的任意一种，第二子图像为彩色图像，则融合图像在每个像素点的通道值可以由该第一子图像在该像素点的通道值以及该第二子图像在该像素点的第一通道值确定，如将两个通道值相加或者取均值等，在此不做限制。其中，该第二子图像在任一像素点的第一通道值可以是该第二子图像在该像素点的任一颜色通道的颜色值，也可以为各颜色通道的颜色值之和或平均值或极值，在此不做限制。
81.若该第一子图像和该第二子图像均为彩色图像，则融合图像在每个像素点的通道值可以由该第一子图像在该像素点的第二通道值和该第二子图像在该像素点的第一通道值确定。其中，该第一子图像在任一像素点的第二通道值可以是该第一子图像在该像素点的任一颜色通道的颜色值，也可以为各颜色通道的颜色值之和或平均值或极值，在此不做限制。
82.可选地，在融合图像的每个像素点的通道数为多通道的情况下，若该第一子图像和该第二子图像分别为深度图像或者灰度图像中的任意一种，则融合图像在每个像素点的每个通道值可基于该第一子图像在该像素点的通道值和/或该第二子图像在该像素点的通道值确定。
83.作为一示例，融合图像的每个像素点的通道数为双通道，则融合图像在每个像素点的各通道值可分别对应于该第一子图像在该像素点的通道值以及该第二子图像在该像素点的通道值，或者融合图像在每个像素点的各通道值均为该第一子图像或该第二子图像在该像素点的通道值。例如，该第一子图像和该第二子图像为深度图像，可将该第一子图像和该第二子图像在对应像素点的深度值分别确定为融合图像在该像素点的一个通道的通道值，进而基于各像素点的每个通道的通道值得到融合图像。如第一子图像在某一像素点的深度值为1，第二子图像在该像素点的深度值为2，则融合图像在该像素点的各个通道的通道值分别为1和2。
84.作为一示例，融合图像的每个像素点的通道数为三通道，则融合图像在每个像素点的两个通道的通道值可分别对应于该第一子图像和该第二子图像在该像素点的通道值。另一通道的通道值可以为该第一子图像和该第二子图像在该像素点的通道值中的任意一项，也可基于该第一子图像和该第二子图像在该像素点的通道值确定，如将通道值相加或取均值等，在此不做限制。如融合图像的每个像素点的各通道值可采用(通道值a，通道值a，通道值b)表示，通道值a和通道值b分别为该第一子图像和该第二子图像在该像素点的通道
值。再如，第一子图像为灰度图像，第二子图像为深度图像，可将第一子图像在某一像素点的灰度值分别确定为融合图像在该像素点的两个通道的通道值，将第二子图像在该像素点的深度值确定为融合图像在该像素点的一个通道的通道值。如融合图像的每个像素点的各通道值可采用(灰度值，灰度值，深度值)表示。
85.若该第一子图像为深度图像或者灰度图像中的任意一种，该第二子图像为彩色图像，则融合图像在每个像素点的每个通道值可以基于该第一子图像在该像素点的通道值和/或该第二子图像在该像素点的至少一个通道值确定。
86.作为一示例，融合图像的每个像素点的通道数为双通道，则融合图像在每个像素点的各通道值可分别对应于该第一子图像在该像素点的通道值以及该第二子图像在该像素点的第一通道值，或者融合图像在每个像素点的各通道值均为该第一子图像在该像素点的通道值或该第二子图像在该像素点的第一通道值。
87.作为一示例，融合图像的每个像素点的通道数为三通道，则融合图像在每个像素点的一个通道的通道值可以为该第一子图像在该像素点的通道值，另外两个通道的通道值可以分别为该第二子图像在该像素点的任意两个颜色通道的通道值，或者均为该第二子图像在该像素点的第一通道值。
88.作为一示例，融合图像的每个像素点的通道数为三通道，则融合图像在每个像素点的两个通道的通道值均为该第一子图像在该像素点的通道值，另外一个通道的通道值为该第二子图像子在该像素点的第一通道值。
89.可选地，在融合图像的每个像素点的通道数为多通道的情况下，若该第一子图像和该第二子图像均为彩色图像，则融合图像在每个像素点的每个通道值可以由该第一子图像和该第二子图像在对应通道的通道值确定，如将两个通道值相加或者取均值等，在此不做限制。例如该第一子图像和该第二子图像均为r、g、b三通道彩色图像，则融合图像同样为r、g、b三通道彩色图像，且融合图像在每个像素点的r、g、b三通道的通道值分别由该第一子图像和该第二子图像在r、g、b三通道的通道值确定。
90.在一些可行的实施方式中，在确定出每个图像对对应的融合图像之后，可对每个融合图像进行特征处理得到融合特征，进而基于融合特征得到用于表示每个融合图像对应的图像对中的第一子图像和第二子图像的图像配准状态的预测结果，进而基于预测结果确定每个融合图像对应的图像对中的第一子图像和第二子图像处于已配准状态或未配准状态。如图5所示，图5是本技术实施例提供的确定图像配准状态的一场景示意图。通过确定每个图像对对应的融合图像可确定每个图像对中的子图像的图像配准状态。
91.其中，对每个融合图像进行特征处理得到融合特征的过程可基于神经网络进行，如循环神经网络、残差网络(如resnet18)等，具体可基于实际应用场景需求确定，在此不做限制。
92.例如，如图6所示，图6是本技术实施例提供的神经网络的一结构示意图。对于每个融合图像，可基于降采样卷积层将该融合图像进行降采样处理后，并将降采样处理后的卷积特征输入残差网络，将残差网络的输出特征确定为该融合图像对应的融合特征。其中，残差网络包括多个残差块，每个残差块的网络层设置可基于实际应用场景需求确定，在此不做限制。进一步基于池化层和全连接层对融合特征进行处理之后得到该融合图像对应的图像对中的第一子图像和第二子图像的图像配准状态。
93.再例如，如图7所示，图7是本技术实施例提供的神经网络的另一结构示意图。对于每个融合图像，可基于降采样卷积层将该融合图像进行降采样处理后，并将降采样处理后的卷积特征输入第一残差网络。将第一残差网络的输出特征作为第二残差网络和第三残差网络的输入，基于池化层和全连接层对对第二残差网络的输出特征进行处理得到第一初始融合特征，基于全连接层对第三残差网络的输出特征进行处理得到第二初始融合特征。进一步将第一初始融合特征和第二初始融合特征进行融合，如将对应特征值相加或取均值等，最终得到该融合图像对应的融合特征，以基于全连接层对融合特征进行处理得到该融合图像对应的图像对中的第一子图像和第二子图像的图像配准状态。
94.其中，第一残差网络、第二残差网络以及第三残差网络中的网络层设置具体可基于实际应用场景需求确定，在此不做限制。
95.其中，任一残差块的输出特征的维度小于或者等于上一残差块的输入特征的维度。通过第三残差网络可有效避免由于维度较小导致第一初始融合特征的特征不明显的情况，进一步提升图像配准状态的稳定性。
96.在一些可行的实施方式中，基于每个融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态可通过状态检测模型实现。
97.其中，状态检测模型是基于以下方式训练得到的：
98.确定多个样本特征图像对，每个样本特征图像对包括第一样本初始图像的第一样本特征图像和第二样本初始图像的第二样本特征图像，第一样本初始图像和第二样本初始图像对应于相同场景，如包括相同对象。第一样本特征图像和第二样本特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种。
99.进一步地，将每个样本特征图像对中的第一样本特征图像和第二样本特征图像进行融合得到样本融合图像，具体实现方式可基于图1中步骤s13所示的对第一子图像和第二子图像进行融合的实现方式，在此不再赘述。
100.在得到每个样本特征图像对对应的样本融合图像之后，可将各样本融合图像输入初始模型得到每个样本融合图像对应的预测结果，以基于预测结果确定每个样本融合图像对应的样本特征图像对中的第一样本特征图像和第二样本特征图像的预测图像配准状态。
101.进一步地，基于每个样本特征图像对中第一样本特征图像和第二样本特征图像的实际图像配准状态和预测图像配准状态确定训练损失值，并基于训练损失值和各样本特征图像对对初始模型进行训练，直至训练损失值符合训练结束条件时停止训练，并将训练结束时的模型确定为状态检测模型。
102.其中，上述训练损失值可以为交叉熵损失函数确定，也可基于其他损失函数确定，具体可基于实际应用场景需求确定，在此不做限制。
103.其中，上述训练结束条件可以为训练损失值达到收敛，或者是连续预设次数的训练过程对应的训练损失值不再变化，在此不做限制。
104.其中，上述初始模型的网络结构可以为图6或图7所示的网络结构，也可为其他网络结构，在此不做限制。
105.在一些可行的实施方式中，每个样本特征图像对可基于至少一组图像配准状态为已配准状态的样本初始图像(为方便描述，以下称为第三样本初始图像和第四样本初始图像)确定。对于每组样本初始图像而言，可确定该组样本初始图像中的第三样本初始图像的
第三样本特征图像以及第四样本初始图像的第四样本特征图像，并将该第三样本特征图像和第四样本特征图像确定为一个样本特征图像对，且该样本特征图像对的实际图像配准状态为已配准状态。进一步将第三样本特征图像或第四样本特征图像中的至少一种图像的图像内容进行平移，以生成多组实际图像配准状态为未配准的样本特征图像对。
106.可选地，对于图像配准状态为已配准状态的每组样本初始图像而言，还可基于图1中步骤s12所示的方式确定该组样本初始图像对应的多个图像对，并将每个图像对确定为一个样本特征图像对，且该样本特征对的实际图像配准状态为已配准状态。并且还可将多个图像对中的任意一个样本特征图像进行平移以生成多组实际图像配准状态为未配准的样本特征图像对。
107.步骤s14、基于各图像对的图像配准状态，确定第一初始图像和第二初始图像的图像配准状态。
108.在一些可行的实施方式中，在确定出各图像对的图像配准状态之后，可基于各图像对的图像配准状态来确定第一初始图像和第二初始图像的图像配准状态。
109.具体地，若图像配准状态为已配准状态的图像对的数量达到全部图像对的一定比例，则可确定第一初始图像和第二初始图像为已配准状态，否则可确定第一初始图像和第二初始图像为未配准状态。
110.可选地，还可确定至少一个关键区域组合，每个关键区域组合包括一个第一关键区域和该第一关键区域对应的第二关键区域。进一步可确定每个关键区域组合对应的图像对的第一数量、以及该关键区域组合对应的图像对中图像配准状态为未配准状态的图像对的第二数量。
111.对于每个关键区域组合而言，可基于该关键区域组合对应的第一数量和第二数量确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态。从而可基于各关键区域组合的图像配准状态，确定第一初始图像和第二初始图像的图像配准状态。
112.在一些可行的实施方式中，在确定每个关键区域组合的图像配准状态时，可确定该关键区域组合对应的第二数量占对应第一数量的第一比例，即确定该关键区域组合中图像配准状态为未配准状态的图像对的第二数量占该关键区域组合对应的图像对的第一数量的第一比例。
113.在该第一比例大于或者等于第一阈值时，说明该关键区域组合对应的图像对中，存在一定数量的图像对的图像配准状态为未配准状态，进而可确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态为未配准状态。
114.在该第一比例小于第一阈值时，说明该关键区域组合对应的图像对中，大部分的图像对的图像配准状态为已配准状态，进而可该关键区域组合中的第一关键区域和第二关键区域的图像配准状态为已配准状态。
115.或者，在该第一比例小于第一阈值时，可进一步基于该关键区域组合对应的第一比例和第二数量确定该关键区域组合的配准置信度，在配准置信度大于置信度阈值时则可确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态为已配准状态。在配准置信度不大于置信度阈值时，可基于预设方式重新确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态，如基于人工方式进行复核等。
116.其中，在确定该关键区域组合的配准置信度时，可基于r-s-t进行计算。r为预设
值，如可以为100，s为第一比例，t为第二数量。
117.在一些可行的实施方式中，在基于各关键区域组合的图像配准状态，确定第一初始图像和第二初始图像的图像配准状态时，若各关键区域组合的图像配准状态均为已配准状态，则可确定第一初始图像和第二初始图像的图像配准状态为已配准状态。若至少一个关键区域组合的图像配准状态为未配准状态，则可确定第一初始图像和第二初始图像的图像配准状态为未配准状态。
118.如图8所示，图8是本技术实施例提供的确定图像配准状态的另一场景示意图。如图8可知确定图3所示的第一关键区域和第二关键区域中的同一对象的轮廓存在差异，因此可确定第一关键区域和第二关键区域的图像配准状态为未配准状态、且第一特征图像和第二特征图像只对应图3中的一项关键区域组合的情况下，可确定图2中的第一初始图像和第二初始图像的图像配准状态为未配准状态。
119.本技术实施例中状态检测模型的训练过程可基于人工智能中的机器学习实现。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。其中，机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，以实现本技术实施例中状态检测模型的训练过程。
120.本技术实施例中涉及到的图像处理过程可基于计算机视觉技术实现，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使如确定深度图或灰度图等。
121.本技术实施例中的各个样本特征图像对可存储于数据库(database)、云存储(cloud storage)或者区块链(blockchain)中，具体可基于实际应用场景需求确定，在此不做限制。
122.其中，数据库简而言之可视为电子化的文件柜——存储电子文件的处所，在本技术中可用于存储各个样本特征图像对。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块。在本技术中，区块链中的每一个数据块均可存储各个样本特征图像对。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同存储各个样本特征图像对。
123.本技术实施例涉及到的数据处理和运算过程可基于云计算等方式进行。其中，云计算是网格计算(grid computing)、分布式计算(distributed computing)、并行计算(parallel computing)、效用计算(utility computing)、网络存储(network storage technologies)、虚拟化(virtualization)、负载均衡(load balance)等传统计算机和网络技术发展融合的产物，基于云计算可提升本技术实施例中数据处理和计算的效率。
124.参见图9，图9是本技术实施例提供的图像处理装置的结构示意图。本技术实施例
提供的图像处理装置包括：
125.图像确定模块91，用于确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像，上述第一初始图像和上述第二初始图像对应于相同场景，上述第一特征图像和上述第二特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
126.图像分割模块92，用于基于预设像素窗口分别从上述第一特征图像和上述第二特征图像中确定出至少一个子图像，基于各上述子图像在对应特征图像中的区域确定至少一个图像对，每个上述图像对中的第一子图像和第二子图像属于不同的特征图像且在对应特征图像中的区域相同；
127.图像融合模块93，用于将每个上述图像对中的第一子图像和第二子图像进行融合得到融合图像，基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态；
128.状态确定模块94，用于基于各上述图像对的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态，上述图像配准状态为已配准状态或者未配准状态。
129.在一些可行的实施方式中，对于每个上述图像对中的第一子图像和第二子图像，上述图像融合模块93，用于：
130.基于该第一子图像和该第二子图像的各像素点的通道值构建融合图像，上述融合图像的每个像素点包括至少一个通道，每个通道的通道值由该第一子图像对应于该像素点的通道值或者该第二子图像对应于该像素点的通道值中的至少一项确定；
131.其中，深度图像的每个像素点的通道值为深度值，灰度图像的每个像素点的通道值为灰度值，彩色图像的每个像素点对应于多个通道值且每个通道值为一个颜色通道的颜色值。
132.在一些可行的实施方式中，上述图像分割模块92，用于：
133.确定上述第一特征图像中的至少一个第一关键区域，将上述第二特征图像中与每个上述第一关键区域相同的区域确定为一个第二关键区域，每个上述第一关键区域用于表征上述第一特征图像的局部特征；
134.基于预设像素窗口和预设滑动规则分别从各上述第一关键区域和各上述第二关键区域中确定出至少一个子图像。
135.在一些可行的实施方式中，上述图像融合模块93，用于：
136.确定至少一个关键区域组合，每个上述关键区域组合包括一个上述第一关键区域和该第一关键区域对应的第二关键区域；
137.确定每个上述关键区域组合对应的图像对的第一数量、以及对应的图像对中图像配准状态为未配准状态的图像对的第二数量；
138.对于每个上述关键区域组合，基于该关键区域组合对应的第一数量和第二数量，确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态；
139.基于各上述关键区域组合的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态。
140.在一些可行的实施方式中，对于每个上述关键区域组合，上述状态确定模块94，用于：
141.确定该关键区域组合对应的第二数量占对应第一数量的第一比例；
142.响应于该关键区域组合对应的第一比例小于第一阈值，基于该关键区域组合对应的第一比例和第二数量确定该关键区域组合的配准置信度，基于上述配准置信度确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态；
143.响应于该关键区域组合对应的第一比例大于或者等于上述第一阈值，确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态为未配准状态。
144.在一些可行的实施方式中，上述状态确定模块94，用于：
145.响应于至少一个上述关键区域组合的图像配准状态为未配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态为未配准状态；
146.响应于各上述关键区域组合的图像配准状态均为已配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态为已配准状态。
147.在一些可行的实施方式中，上述基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态是通过状态检测模型实现的，上述状态检测模型是基于训练装置训练得到的，上述训练装置用于：
148.确定多个样本特征图像对，每个上述样本特征图像对包括第一样本初始图像的第一样本特征图像和第二样本初始图像的第二样本特征图像，上述第一样本初始图像和上述第二样本初始图像对应于相同场景，上述第一样本特征图像和上述第二样本特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
149.将每个上述样本特征图像对中的第一样本特征图像和第二样本特征图像进行融合得到样本融合图像，将各上述样本融合图像输入初始模型得到每个上述样本融合图像对应的预测结果，基于上述预测结果确定每个上述样本融合图像对应的样本特征图像对中的第一样本特征图像和第二样本特征图像的预测图像配准状态；
150.基于每个上述样本特征图像对中第一样本特征图像和第二样本特征图像的实际图像配准状态和预测图像配准状态，确定训练损失值，基于上述训练损失值和各上述样本特征图像对对上述初始模型进行训练，直至上述训练损失值符合训练结束条件时停止训练，并将训练结束时的模型确定为上述状态检测模型。
151.具体实现中，上述装置可通过其内置的各个功能模块执行如上述图1中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
152.参见图10，图10是本技术实施例提供的电子设备的结构示意图。如图10所示，本实施例中的电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述电子设备1000还可以包括：对象接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，对象接口1003可以包括显示屏(display)、键盘(keyboard)，可选对象接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1004可以是高速ram存储器，也可以是非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、对象接口模块以及设备控制应用程序。
153.在图10所示的电子设备1000中，网络接口1004可提供网络通讯功能；而对象接口
1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
154.确定第一初始图像的第一特征图像、以及第二初始图像的第二特征图像，上述第一初始图像和上述第二初始图像对应于相同场景，上述第一特征图像和上述第二特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
155.基于预设像素窗口分别从上述第一特征图像和上述第二特征图像中确定出至少一个子图像，基于各上述子图像在对应特征图像中的区域确定至少一个图像对，每个上述图像对中的第一子图像和第二子图像属于不同的特征图像且在对应特征图像中的区域相同；
156.将每个上述图像对中的第一子图像和第二子图像进行融合得到融合图像，基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态；
157.基于各上述图像对的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态，上述图像配准状态为已配准状态或者未配准状态。
158.在一些可行的实施方式中，对于每个上述图像对中的第一子图像和第二子图像，上述处理器1001用于：
159.基于该第一子图像和该第二子图像的各像素点的通道值构建融合图像，上述融合图像的每个像素点包括至少一个通道，每个通道的通道值由该第一子图像对应于该像素点的通道值或者该第二子图像对应于该像素点的通道值中的至少一项确定；
160.其中，深度图像的每个像素点的通道值为深度值，灰度图像的每个像素点的通道值为灰度值，彩色图像的每个像素点对应于多个通道值且每个通道值为一个颜色通道的颜色值。
161.在一些可行的实施方式中，上述处理器1001用于：
162.确定上述第一特征图像中的至少一个第一关键区域，将上述第二特征图像中与每个上述第一关键区域相同的区域确定为一个第二关键区域，每个上述第一关键区域用于表征上述第一特征图像的局部特征；
163.基于预设像素窗口和预设滑动规则分别从各上述第一关键区域和各上述第二关键区域中确定出至少一个子图像。
164.在一些可行的实施方式中，上述处理器1001用于：
165.确定至少一个关键区域组合，每个上述关键区域组合包括一个上述第一关键区域和该第一关键区域对应的第二关键区域；
166.确定每个上述关键区域组合对应的图像对的第一数量、以及对应的图像对中图像配准状态为未配准状态的图像对的第二数量；
167.对于每个上述关键区域组合，基于该关键区域组合对应的第一数量和第二数量，确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态；
168.基于各上述关键区域组合的图像配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态。
169.在一些可行的实施方式中，对于每个上述关键区域组合，上述处理器1001用于：
170.确定该关键区域组合对应的第二数量占对应第一数量的第一比例；
171.响应于该关键区域组合对应的第一比例小于第一阈值，基于该关键区域组合对应
的第一比例和第二数量确定该关键区域组合的配准置信度，基于上述配准置信度确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态；
172.响应于该关键区域组合对应的第一比例大于或者等于上述第一阈值，确定该关键区域组合中的第一关键区域和第二关键区域的图像配准状态为未配准状态。
173.在一些可行的实施方式中，上述处理器1001用于：
174.响应于至少一个上述关键区域组合的图像配准状态为未配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态为未配准状态；
175.响应于各上述关键区域组合的图像配准状态均为已配准状态，确定上述第一初始图像和上述第二初始图像的图像配准状态为已配准状态。
176.在一些可行的实施方式中，上述基于每个上述融合图像确定对应的图像对中的第一子图像和第二子图像的图像配准状态是通过状态检测模型实现的，上述状态检测模型是上述处理器1001基于以下方式训练得到的：
177.确定多个样本特征图像对，每个上述样本特征图像对包括第一样本初始图像的第一样本特征图像和第二样本初始图像的第二样本特征图像，上述第一样本初始图像和上述第二样本初始图像对应于相同场景，上述第一样本特征图像和上述第二样本特征图像分别为深度图像、灰度图像或者彩色图像中的任意一种；
178.将每个上述样本特征图像对中的第一样本特征图像和第二样本特征图像进行融合得到样本融合图像，将各上述样本融合图像输入初始模型得到每个上述样本融合图像对应的预测结果，基于上述预测结果确定每个上述样本融合图像对应的样本特征图像对中的第一样本特征图像和第二样本特征图像的预测图像配准状态；
179.基于每个上述样本特征图像对中第一样本特征图像和第二样本特征图像的实际图像配准状态和预测图像配准状态，确定训练损失值，基于上述训练损失值和各上述样本特征图像对对上述初始模型进行训练，直至上述训练损失值符合训练结束条件时停止训练，并将训练结束时的模型确定为上述状态检测模型。
180.应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
181.具体实现中，上述电子设备1000可通过其内置的各个功能模块执行如上述图1中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
182.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图1中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
183.上述计算机可读存储介质可以是前述任一实施例提供的处理装置或电子设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备
的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
184.本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行图1中各个步骤所提供的方法。
185.本技术的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或电子设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
186.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
187.以上所揭露的仅为本技术较佳实施例而已，不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。