图像块的确定方法及装置、存储介质及电子装置与流程

本发明涉及图像处理，具体而言，涉及一种图像块的确定方法及装置、存储介质及电子装置。

背景技术：

1、视频镜头变化是视频监控领域常见场景，而摄像头变化造成的视频画面出现连续运动的状态通常无法实时感知。由于视频运动感知除自动布控场景外，在视频稳定矫正、视频目标匹配等领域均有较广泛的应用。现有技术中，对于视频镜头运动的检测，存在有直方图法、像素匹配差分法、边缘提取图对比、图像帧背景区域对比等感知方法。这一类的方法都基于画面的全局误差匹配进行检测，对于检测镜头切换帧有明显效果，但未考虑到真实视频运动的连续性和局部性，无法区分视频运动的方向及感知细粒度运动。

2、进一步的，视频镜头变化通常会导致视频整体画面的移动或者拉近缩放等。为区分局部运动和整体运动，基于运动估计技术来统计视频整体运动幅度方向。运动估计是视频编码标准中的重要技术，对编码速度、码率和编码质量有重要影响。在h.264/h.265/av1/vp9等常见和最新视频编码标准中，同时运动估计是整个系统中计算复杂度最高的，耗时占整个编码过程的60％～80％。

3、具体而言，运动估计是指将视频序列每帧分成不重叠的图像块，在搜索窗口内对每个待匹配块到参考帧根据一定匹配准则计算，找出与当前块最相似的块，匹配块与当前块的相对位移即为运动矢量。最简单的运动搜索算法是全搜索算法（full search，简称fs），即在搜索窗口内的每个点都进行匹配计算，该算法在搜索范围合适的情况下可以准确找到最优匹配块，但计算量大，不适用于大量实时传输的场景。为能快速准确的搜索图像块的运动矢量，很多快速搜索算法被提出，包括早期的三步搜索模版，钻石搜索模版，六边形搜索模版、非对称十字型多层次六边形格点搜索算法(unsymmetrical cross multi-hexagon-grid search，简称umhexagons)等，虽然这些搜索模板对应的搜索方法与全搜索相比可以减小80％运算量，但这些搜索模版对应的搜索方法仍存在运动估计优化效率低的缺陷。

4、针对相关技术中，对图像块的匹配过程计算量大，效率低的问题，目前尚未提出有效的解决方案。

5、因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

技术实现思路

1、本发明实施例提供了一种图像块的确定方法及装置、存储介质及电子装置，以至少解决对图像块的匹配过程计算量大，效率低的问题。

2、根据本发明实施例的一方面，提供一种图像块的确定方法，包括：通过第一模板集合中的目标子模板确定当前帧图像中第一图像块的运动属性，其中，所述第一模板集合包括多个子模板，所述多个子模板中的每个子模板用于更新所述第一图像块在所述当前帧图像的前一帧图像中的最佳匹配点；根据所述运动属性确定所述第一图像块对应的第二模板集合，其中，所述第一模板集合包括：所述第二模板集合；所述第二模板集合包括所述目标子模板；根据所述第二模板集合确定所述前一帧图像中与所述第一图像块匹配的第二图像块。

3、在一个示例性的实施例中，通过第一模板集合中的目标子模板确定当前帧图像中第一图像块的运动属性，包括：以所述第一图像块对应的第一搜索中心点为原点，根据所述目标子模板确定所述第一图像块中的m个待匹配点，以及确定所述前一帧图像中的m个匹配点，其中，所述m个待匹配点中的待匹配点和所述m个匹配点中的匹配点存在一一对应关系，其中，m为正整数；根据所述m个待匹配点、所述m个匹配点、和所述第一搜索中心点确定所述第一图像块的运动属性。

4、在一个示例性的实施例中，根据所述m个待匹配点、所述m个匹配点、和所述第一搜索中心点确定所述第一图像块的运动属性，包括：匹配所述m个待匹配点和所述m个匹配点，以得到m个匹配值； 确定所述m个匹配值中的最小匹配值；根据所述最小匹配值与所述第一搜索中心点对应的原点匹配值的比值确定所述第一图像块的运动属性。

5、在一个示例性的实施例中，根据所述运动属性确定所述第一图像块对应的第二模板集合，包括：在所述运动属性为第一幅度运动的情况下，确定所述第二模板集合中仅包括所述目标子模板，其中，所述第一幅度运动为比值大于第一值的运动，其中，所述比值为根据所述目标子模板确定的，所述第一图像块与所述前一帧图像的最小匹配值与原点匹配值的比值；在所述运动属性为第二幅度运动的情况下，确定所述多个子模板中的x个子模板，并根据所述x个子模板和所述目标子模板确定第二模板集合，其中，所述x个子模板是所述多个子模板中用于小范围更新所述最佳匹配点的子模板， x为正整数，其中，所述第二幅度运动为所述比值小于第二值、大于第三值的运动，其中，所述第一值大于所述第二值，所述第二值大于所述第三值；在所述运动属性为第三幅度运动的情况下，将所述第一模板集合确定为所述第二模板集合，其中，所述第三幅度运动为所述比值大于第二值、小于第一值，或者所述比值小于第三值的运动。

6、在一个示例性的实施例中，根据所述第二模板集合确定所述前一帧图像中与所述第一图像块匹配的第二图像块，包括：确定第一匹配点，其中，所述第一匹配点为根据所述多个子模板中的y个子模板确定的、所述第一图像块在所述前一帧图像中的最小匹配点，其中，所述y个子模板均以第一搜索中心点为原点，所述第一搜索中心点是所述第一图像块最初的搜索中心点，所述y个子模板包括所述目标子模板，其中，y是正整数，所述y个子模板与所述x个子模板不包括相同的子模板；通过所述第一匹配点更新第一搜索中心点，得到第二搜索中心点；通过所述x个子模板和所述第二搜索中心点确定目标匹配点，并根据所述目标匹配点在所述前一帧图像中进行搜索，以得到所述第二图像块，其中，所述目标匹配点为最终更新得到的所述最佳匹配点。

7、在一个示例性的实施例中，根据所述多个子模板中的y个子模板确定第一匹配点，包括：确定第二匹配点，其中，所述第二匹配点为根据所述目标子模板确定的、所述第一图像块在所述前一帧图像中的最小匹配点；在y大于1的情况下，确定第三匹配点，其中，所述第三匹配点为根据当前子模板确定的、所述第一图像块在所述前一帧图像中的最小匹配点，所述当前子模板为所述y个子模板中除了所述目标子模板中的任一子模板；在所述第三匹配点的匹配值小于所述第二匹配点的匹配值的情况下，将所述第三匹配点更新为所述第一匹配点；在所述第三匹配点的匹配值大于所述第二匹配点的匹配值的情况下，将所述第二匹配点确定为所述第一匹配点。

8、在一个示例性的实施例中，通过所述x个子模板和所述第二搜索中心点确定目标匹配点，包括：确定所述x个子模板的被使用顺序；在按照所述被使用顺序通过所述x个子模板更新所述第一图像块的最佳匹配点的情况下，对于所述x个子模板中的任一子模板，基于所述第二搜索中心点进行匹配，以确定当前最佳匹配点，并通过所述当前最佳匹配点更新所述第二搜索中心点；在所述当前最佳匹配点与所述第二搜索中心点重合的情况下，将所述当前搜索中心点确定为所述目标匹配点。

9、根据本发明实施例的另一方面，还提供了一种图像块的确定装置，包括：第一确定模块，用于通过第一模板集合中的目标子模板确定当前帧图像中第一图像块的运动属性，其中，所述第一模板集合包括多个子模板，所述多个子模板中的每个子模板用于更新所述第一图像块在所述当前帧图像的前一帧图像中的最佳匹配点；第二确定模块，用于根据所述运动属性确定所述第一图像块对应的第二模板集合，其中，所述第一模板集合包括：所述第二模板集合；所述第二模板集合包括所述目标子模板；第三确定模块，用于根据所述第二模板集合确定所述前一帧图像中与所述第一图像块匹配的第二图像块。

10、根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像块的确定方法。

11、根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述图像块的确定方法。

12、通过本发明，通过第一模板集合中的目标子模板确定当前帧图像中第一图像块的运动属性，其中，所述第一模板集合包括多个子模板，所述多个子模板中的每个子模板用于更新所述第一图像块在所述当前帧图像的前一帧图像中的最佳匹配点；根据所述运动属性确定所述第一图像块对应的第二模板集合，其中，所述第一模板集合包括：所述第二模板集合；所述第二模板集合包括所述目标子模板；根据所述第二模板集合确定所述前一帧图像中与所述第一图像块匹配的第二图像块。采用上述技术方案，通过确定第一图像块的运动属性进而确定第一图像块对应的第二模板集合，进而对于不同运动属性的第一图像块，可以通过第二模板集合确定前一帧图像中与所述第一图像块匹配的第二图像块，解决了对图像块的匹配过程计算量大，效率低的问题，进而在进行运动估计的过程中，可以根据第一图像块的运动属性有针对性的选择第一图像块对应的第二模板集合，进而可以提高运动估计的效率。