图像处理方法、装置及计算机可读介质与流程

本发明涉及图像处理领域，具体而言，涉及一种图像处理方法、装置及计算机可读介质。

背景技术：

近年来，随着科技的进步，增强现实(ar，augmentedreality)和虚拟现实(vr，virtualreality)等技术已逐渐成为国内外研究的热点。以增强现实为例，增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。

在虚拟现实系统及增强现实系统等交互系统中，需要对视觉交互装置进行识别跟踪。现有的识别跟踪方法，通常是采用磁传感器、光传感器、超声波、惯性传感器、视觉交互装置图像处理等方式实现，但是这些识别跟踪的方法，通常，识别跟踪效果并不理想，如磁传感器、光传感器、超声波等通常受到环境较大的影响，惯性传感器对精度要求极高，市场上急需一种全新的识别跟踪方法，以实现低成本、高精度的交互，而对视觉交互装置的图像的处理作为识别跟踪的重要技术也需要一套完美有效的解决方法，使对目标物图像的处理符合交互系统中场景变换的需求。

技术实现要素：

有鉴于此，本发明实施例提供了一种图像处理方法、装置及系统，将当前帧图像的历史帧图像处理得到的灰度图像作为阈值图像，将当前帧图像的阈值图像中像素点的像素值作为阈值进行二值化，获得根据场景实时变化的二值图像，以改善上述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种图像处理方法，所述方法包括：获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像，所述第一阈值图像为对历史帧图像进行处理后得到且与当前帧图像分辨率相同的灰度图像；对当前帧图像的每一个像素点，以所述第一阈值图像中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

一种图像处理装置，所述装置包括：第一阈值图像获取模块，用于获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像，所述第一阈值图像为对历史帧图像进行处理后得到且与当前帧图像分辨率相同的灰度图像；二值化模块，用于对当前帧图像的每一个像素点，以所述第一阈值图像中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

一种具有处理器可执行的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述的方法。

本发明实施例提供的图像处理方法、装置及计算机可读介质，获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像，该第一阈值图像为该当前帧图像的历史帧图像进行处理后的、分辨率与当前帧图像相同的灰度图像。对于当前帧图像中的每一个像素点，以第一阈值图像中的对应的像素点的像素值作为其二值化阈值，对该当前帧图像进行二值化，连续多帧图像中除首帧图像以外的每一帧图像，在二值化过程中二值化阈值均由历史帧图像决定，使图像的二值化随场景实时变化，二值化后的图像适合当前场景。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的识别跟踪系统的结构框图；

图2示出了本发明实施例提供的标记物的一种示意图；

图3示出了本发明实施例提供的标记物的另一种示意图；

图4示出了本发明实施例提供的图像处理方法的一种流程图；

图5示出了本发明实施例提供的图像处理方法的另一种流程图；

图6示出了本发明第一实施例提供的图像处理方法的一种部分步骤的流程图；

图7示出了本发明实施例提供的图像处理方法的另一种部分步骤的流程图；

图8示出了本发明实施例提供的图像处理方法的一种像素计算示意图；

图9示出了本发明实施例提供的图像处理方法的另一种像素计算示意图；

图10示出了本发明实施例中一种双线性插值示意图；

图11示出了本发明实施例提供的图像处理装置的功能模块图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，示出了本发明实施例提供的识别跟踪系统。识别跟踪系统包括头戴显示装置100和视觉交互装置。

该视觉交互装置包括第一背景和按照特定规则分布于第一背景的至少一个标记物。所述标记物包括第二背景以及按照特定规则分布于第二背景的若干子标记物，每个子标记物具有一个或多个特征点。其中，第一背景和第二背景有一定的区分度，例如，可以是第一背景为黑色，第二背景为白色。本实施方式中，每个标记物内的子标记物的分布规则不同，因此，每个标记物所对应的图像互不相同。

子标记物为具有一定形状的图案，且该子标记物的颜色与标记物内的第二背景有一定的区分度，例如，第二背景为白色，而子标记物的颜色为黑色。子标记物可以是由一个或多个特征点构成，且特征点的形状不做限定，可以是圆点、圆环，也可以是三角形、其他形状。

作为一种实施方式，如图2所示，标记物210内包括多个子标记物220，而每个子标记物220由一个或多个特征点221构成，图2中的每个白色圆形图案为一个特征点221。标记物210的轮廓为矩形，当然，标记物的形状也可以是其他形状，在此不做限定，图2中，矩形的白色区域以及该白色区域内的多个子标记物构成一个标记物。

作为另一种实施方式，如图3所示，标记物310内包括多个子标记物340，而每个子标记物340由一个或多个特征点341构成；其中，多个黑色圆点341构成一个子标记物340。具体地，图3中，每个白色圆形图案和每个黑色圆点图案均为特征点341。

具体地，视觉交互装置包括平面标记物体和多面标记结构体。该平面标记物体包括第一标记板200和第二标记板500，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，当然还可以是其他面数的标记结构体，在此不一一列举。

第一标记板200上设置有多个标记物，多个标记物的内容互不相同，且第一标记板200上的多个标记物设置在同一个平面上，即第一标记板200设有一个标记面，且所有的标记物均设置在第一标记板200的标记面上，第一标记板200上的特征点均在标记面上；第二标记板500上设置有一个标记物，第二标记板500上的特征点也全部是在标记面上的，第二标记板500的数量可以是多个，且每个第二标记板500的标记物的内容互不相同，多个第二标记板500可以组合使用，如在该识别跟踪系统对应的增强现实，或虚拟现实等应用领域组合使用。

多面标记结构体包括多个标记面，且其中至少两个不共面的标记面上设置有标记物，如图1中所示，该多面标记结构体包括六面标记结构体400和二十六面标记结构体300，其中，六面标记结构体400包括6个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。

而二十六面标记结构体300包括二十六个面，其中，包括17个标记面，且每个标记面上均设置有标记物，且每个面上的标记物的图案互不相同。当然，上述的多面标记结构体的总面数以及标记面的描述和标记物的设置，可以根据实际使用而设置，在此不做限定。

需要说明的是，视觉交互装置并不限定于上述平面标记物体和多面标记结构体，视觉交互装置可以是任何具有标记物的载体，载体可以根据实际场景设置，如玩具枪、游戏枪等模型枪，在模型枪等视觉交互装置上设置相应的标记物，通过识别追踪模型枪上的标记物，能够获取模型枪的位置和旋转信息，用户通过握持该模型枪在虚拟场景中进行游戏操作，实现增强现实的效果。

头戴显示装置100包括壳体(未标识)、图像采集装置110、处理器140、显示装置120、光学组件130和照明装置150。

其中，显示装置120和图像采集装置110均与处理器电连接；在一些实施方式中，照明装置150和图像采集装置110均通过滤光板(未标识)装设并覆盖在壳体内，该滤光板可过滤环境光等干扰光线，如照明装置150发射红外光，则该滤光板可为过滤除红外光线外的光线的元件。

图像采集装置110用于采集待拍摄物体的图像并发送至处理器。具体地，采集包含有上述标记板或多面标记结构体中至少一个的图像，并发送至处理器。作为一种实施方式，该图像采集装置110为单目的近红外成像相机。当前实施方式中，图像采集装置110为采用红外接收方式且为单目的相机，不仅成本低，无需双目相机之间的外参，而且功耗低，同等带宽下帧率更高。

处理器140用于根据图像输出对应的显示内容至显示装置120，还用于对视觉交互装置进行识别跟踪的运算。

处理器140可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器140可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器140还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，当处理器140应用于头戴显示装置时，处理器根据预先存储的图像数据生成虚拟世界的图像数据，将其发送至显示装置并通过光学组件进行显示；也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据，根据所接收的图像数据生成虚拟世界的图像，通过光学组件进行显示；还可以根据图像采集装置采集的图像进行识别跟踪运算而确定在虚拟世界中对应的显示内容，发送至显示装置并通过光学组件进行显示。可以理解的是，处理器140并不限定于装设在头戴显示装置内。

在一些实施方式中，头戴显示装置100还包括设置在壳体上的视觉里程相机160，其中，视觉里程相机160与处理器电连接，该视觉里程相机160用于采集外界真实场景的场景图像，将场景图像发送至处理器。在用户穿戴头戴显示装置100时，处理器根据该视觉里程相机160采集的场景图像，根据视觉里程技术获取用户的头部与真实场景的位置及旋转关系，具体地，系统通过该相机获取的图像序列，经过特征提取、特征匹配与跟踪和运动估计的处理，得出具体的位置和方向的变化，完成导航定位，进而获得头戴显示装置与真实场景的相对位置及旋转关系；再根据视觉交互装置相对于头戴显示装置的位置及旋转信息，可以推算出视觉交互装置与真实场景之间的相对位置及旋转关系，从而可以实现更复杂的交互形式与体验。

显示装置120用于将显示内容显示。在一些实施例中，显示装置可以是智能终端的一部分，即智能终端的显示屏，例如手机和平板电脑的显示屏。在另一些实施例中，显示装置还可以是独立的显示器(例如，led，oled或lcd)等，则此时显示装置固定安装在壳体上。

需要说明的是，当显示装置120为智能终端的显示屏时，壳体上设置有用于安装该智能终端的安装结构。在使用时，将智能终端通过安装结构安装在壳体上。则处理器140可以是智能终端内的处理器，也可以是独立设置在壳体内的处理器，并与智能终端通过数据线或通信接口电连接。另外，当显示装置120为与智能终端等终端设备分离的显示装置时，固定安装在壳体上。

光学组件130用于将显示装置120的出光面发出的入射光射向预设位置处。其中，预设位置处为用户双眼的观察位置。

照明装置150用于为图像采集装置110采集待拍摄物体的图像时提供光线。具体地，照明装置150的照明角度以及照明装置150的数量，可以根据实际使用而设定，以使所发射的照明光线能够覆盖待拍摄物体。其中，照明装置150采用红外光照明装置，能够发出红外光线，此时图像采集装置为近红外相机，可以接收红外光线。通过主动照明的方式，提高图像采集装置110采集的目标图像的图像质量，具体地，照明装置150的数量不限，可以是一个，也可以是多个。在一些实施方式中，照明装置150设置在图像采集装置110的附近，其中，可以是多个照明装置150周向设置在图像采集装置110的摄像头的附近。

用户在佩戴头戴显示装置100，进入预设的虚拟场景时，当该视觉交互装置在图像采集装置110的视野范围内时，图像采集装置110采集到包含有该视觉交互装置的目标图像；处理器140获取到该目标图像及相关信息，运算识别出该视觉交互装置并获取到该目标图像内的标记物与图像采集装置之间的位置与旋转关系，进而得到视觉交互装置相对于头戴显示装置的位置及旋转关系，使得用户观看到的虚拟场景在相应的位置及旋转角度上；用户还可以通过多个视觉交互装置的结合以在虚拟场景内进一步产生的新的虚拟图像，给用户带来更好的体验效果；用户还可以通过视觉交互装置实现与虚拟场景的交互；此外，该识别追踪系统还可以通过视觉里程相机获取头戴显示装置与真实场景的位置与旋转关系，进而可以获取视觉交互装置与真实场景的位置和旋转关系，当虚拟场景和真实场景有一定的对应关系时，可以构建出一个与真实场景类似的虚拟场景，可以提高更真实的增强现实体验。

在图像采集装置获取的图像中，需要对第一背景以及第二背景进行有效区分，将第二背景与子标记物进行有效区分，以能识别出图像中的特征点。由于第一背景和第二背景有一定的区分度，子标记物与标记物内的第二背景有一定的区分度，因此，可以通过对获得的图像进行二值化，使第一背景与子标记物之间有区分，子标记物与第二背景之间有区分。因此，本申请实施例提供了一种图像处理方法，用于对识别跟踪系统中的图像进行二值化。当然，本申请实施例所提供的图像处理方法并不限定于在识别跟踪系统中应用，也可以应用于其他任何场景下具有连续多帧图像的图像二值化。

本实施例中，对于连续多帧图像，首帧图像可以通过全局固定阈值法、帧间固定阈值、自适应阈值法等方法进行二值化，获得该首帧图像的二值化图像。其中，可以以图像采集装置开启后拍摄的第一帧图像作为首帧图像，也可以是以图像采集装置拍摄过程中的任意一帧作为首帧。连续多帧图像即是从该首帧图像起，后续拍摄的多帧图像，该连续多帧图像可以是图像采集装置拍摄的时间上依次邻接的图像，也可以是在时间上具有先后顺序的、彼此具有帧间隔的图像，在本申请实施例中并不限定，根据实际需要确定。本发明中通过历史帧的阈值图像以用于当前帧的图像二值化，该历史帧可以是一帧或多帧，为便于说明本发明内容，如下实施例中所述的历史帧，是指对当前帧而言的在该连续多帧图像中的历史帧。

对于连续多帧图像中除首帧图像以外的其他帧图像，可以通过本申请实施例提供的二值化方法进行二值化。具体的，请参见图4，该方法包括：

步骤s110：获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像p1，所述第一阈值图像p1为对历史帧图像进行处理后得到且与当前帧图像分辨率相同的灰度图像。

当对连续多帧图像中除首帧图像外的任意一帧进行二值化时，该帧图像作为当前帧图像，获取其对应的第一阈值图像p1。其中，该当前帧图像对应的第一阈值图像p1，为对历史帧图像进行图像处理后获得的、与该当前帧图像分辨率相同的灰度图像。也就是说，若当前帧图像的分辨率为m*n，该第一阈值图像p1的分辨率也为m*n。其中，当前帧图像的分辨率通常为相机等图像采集装置获取到该当前帧图像的分辨率。

其中，对历史帧图像处理后获得的第一阈值图像p1，可以是历史帧图像中每一个像素点，通过对周围其他像素点进行处理后获得的像素值，作为第一阈值图像p1中对应像素点的像素值。从而使第一阈值图像p1中每一个像素点的像素值，由在历史帧图像中该像素点对应的像素点周围的多个像素点共同决定。具体的，请参见图5，图5为本实施方式中获取第一阈值图像p1的方法，获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像p1包括：

步骤s111：获取对历史帧图像进行处理后的具有第一预设分辨率的第二阈值图像p2，所述第一预设分辨率低于当前帧图像的分辨率。

在本申请实施例中，该第二阈值图像p2的第一预设分辨率，可以是硬件等其他外在的要求范围内的分辨率，可由最终硬件端存储器121支持的存储第二阈值图像p2的内存空间而定，一般来说，内存空间越小，第一分辨率越小。

在第一种具体的实施方式中，可以是，对历史帧图像进行降采样及像素处理等方式获取第二阈值图像p2，具体的，如图6所示，在该实施方式中，可以是包括：

步骤s111a：对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像。

在本申请实施例中，第二预设分辨率的大小并不限定，即降采样的系数并不限定。例如，以n作为降采样系数，按照行列均为1/n的比例采样，将历史帧图像中每n*n个像素点降维成1*1个像素点，其中n的大小并不限定；或者是，将n1*n2个像素点降维为1*1个像素点，n1和n2的值可以不同，且n1、n2的具体值也不作为限定。可以根据实际处理需要设置，使历史帧图像降采样为第二预设分辨率的图像。

降采样的具体实现方法也不限定，例如，可以是对行列间隔为n个像素点的n*n的区域求像素均值，作为降采样图像中该n*n个像素点降采样后对应的像素点的像素值，其中，像素均值小于预设最小像素值t时，可以将该像素均值设置为该预设最小像素值t；或者是，历史帧图像中，行列每隔n个像素点取一个像素点，作为降采样图像中对应的像素点；或者是，行间隔为n1个像素点，列间隔为n2个像素点的区域求像素值，作为降采样后该n1*n2个像素点采样后对应的像素点的像素值。

步骤s111b：根据所述降采样图像计算获取具有第二预设分辨率的第三阈值图像p3。

具体的，根据所述降采样图像中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像p3中每个像素点的像素值，以获取具有第二预设分辨率的第三阈值图像p3。

其中，获得的第三阈值图像p3中的每个像素点，可以是根据降采样图像中对应像素点在预设窗口范围内所有像素点的像素值得到。也就是说，根据降采样图像中第x行第y列的像素点在预设窗口范围内的像素点的像素值，得到第三阈值图像p3中第x行第y列的像素点的像素值。具体的，可以在降采样图像上采用窗口大小为w*w(w一般比较小)的自适应阈值操作，得到第三阈值图像p3。例如，对于降采样图像中第x行第y列的像素点在w*w大小的窗口上采用自适应阈值操作，得到第三阈值图像p3中第x行第y列的像素点的像素值。其中，窗口大小在本申请实施例中并不限定，可以根据实际需要设定。进一步地，该窗口大小与前述获取降采样图像时的降采样系数均可根据原始图像大小、硬件所支持的最大窗口大小以及该历史帧图像中图像对象的物理特征大小而定，以保证图像中最小的图像对象能够在获得的第三阈值图像p3中得以体现，当通过自适应阈值的操作获取第三阈值图像p3时，也即是使图像中最小的图像对象能够在自适应阈值过程中得以体现。另外，对于不同的图像，预设窗口大小可以不同，具体可以根据图像中对应的物体的大小设置相应的窗口，当物体较大或者靠近相机时，可以设置较大的窗口。对应的，设置的窗口不同，计算获得的第三阈值图像p3中各个像素点的像素值也不同。

步骤s111c：若所述第二预设分辨率大于第一预设分辨率，对所述第三阈值图像p3进行降采样，直到获得分辨率小于或等于所述第一预设分辨率的所述第二阈值图像p2。

若经步骤s111a降采样后的第二预设分辨率大于第一预设分辨率，则继续对获得的第三阈值图像p3进行降采样，直到获得分辨率小于或等于所述第一预设分辨率的所述第二阈值图像p2，以获得存储空间尽可能小的阈值图像。例如，在上述以n作为降采样系数获得的第二预设分辨率的第三阈值图像p3的基础上，继续以降采样系数为m进行采样，在第三阈值图像p3中，将m*m降维为1*1。若在第一预设分辨率的基础上，继续以降采样系数m进行采样，获得的阈值图像的分辨率小于或等于第一预设分辨率，则获得第二阈值图像p2。

若所述第二预设分辨率小于或等于所述第一预设分辨率，则可以不再对第三阈值图像p3进行将采样，该第三阈值图像p3即为分辨率为第一预设分辨率的所述第二阈值图像p2。

在上述实施方式获取第三阈值图像p3的过程中，为了加速，可以采用积分图信息。因此，本申请实施例还提供了第二种实施方式，与上述实施方式相比，在本实施方式中，通过积分图获取第二阈值图像p2，具体的，请参见图7，该实施方式中包括：

步骤s1111：对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像。

步骤s1112：获取所述降采样图像的积分图。

获取降采样图像的积分图，获得的积分图中的任意一像素点(x,y)的值是指从降采样图像的左上角到这个像素点所构成的矩形区域内所有的点的灰度值之和。

步骤s1113：根据所述积分图计算获取具有第二预设分辨率的第三阈值图像p3。其中，根据所述积分图中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像p3中每个像素点的像素值，以获取具有第二预设分辨率的第三阈值图像p3。

其中，获得的第三阈值图像p3中的每个像素点，可以是根据积分图中对应像素点在预设窗口范围内所有像素点的像素值得到。也就是说，根据积分图中第x行第y列的像素点在预设窗口范围内的像素点的像素值，得到第三阈值图像p3中第x行第y列的像素点的像素值。具体的，可以在积分图上采用窗口大小为w*w(w一般比较小)的自适应阈值操作，得到第三阈值图像p3。

例如，对于积分图中第x行第y列的像素点在w*w大小的窗口上采用自适应阈值操作，获取积分图中第x行第y列的像素点在w*w大小的窗口中的像素均值，作为第三阈值图像p3中第x行第y列的像素点的像素值。进一步的，对于第x行第y列的像素点在w*w大小的窗口中的像素均值，可以在乘以均值放大系数后，将获得的值作为第三阈值图像p3中第x行第y列的像素点的像素值。可以理解的，若积分图中某一像素点的预设窗口范围超出积分图边缘，则根据该像素点预设窗口范围内的、在积分图中的有效像素点计算在第三阈值图像p3中对应像素点的像素值。例如，如图8所示，预设窗口大小为w*w，w＝2*a+1，对于积分图中的像素位置为(i，j)的像素点，对应该窗口的四顶点位置为(i-a-1,j-a-1),(i+a,j-a-1),(i-a-1,j+a),(i+a,j+a)，若窗口的四顶点位置在如图8所示的积分图的有效区域范围内，根据该窗口中的像素点的像素值获取像素位置为(i，j)的像素点的像素值。若如图9所示，该四顶点落在的积分图的有效范围外时，实际有效区域为如图9中阴影区域与背景网格重合的区域，小于w*w，此时根据像素点(i，j)在积分图中的有效区域计算在第三阈值图像p3中像素点(i，j)的像素值，即根据如图9中阴影区域与背景网格重合的区域计算。

在本实施方式中，窗口大小并不限定，可以根据实际需要设定，如，该窗口大小与前述获取降采样图像时的降采样系数一起，根据原始图像大小、硬件所支持的最大窗口大小以及该历史帧图像中图像对象的物理特征大小而定，以保证图像中最小的图像对象能够在获得的第三阈值图像p3中得以体现，当通过自适应阈值的操作获取第三阈值图像p3时，即使图像中最小的图像对象能够在自适应阈值过程中得以体现。

步骤s1114：若所述第二预设分辨率大于第一预设分辨率，对所述第三阈值图像p3进行降采样，直到获得分辨率小于或等于所述第一预设分辨率的所述第二阈值图像p2。

在本实施方式中，若经步骤s1111降采样后的第二预设分辨率大于第一预设分辨率，则可以继续对获得的第三阈值图像p3进行降采样，直到获得分辨率小于或等于所述第一预设分辨率的所述第二阈值图像p2，以获得存储空间尽可能小的阈值图像。例如，在上述以n作为降采样系数获得的第二预设分辨率的第三阈值图像p3的基础上，继续以降采样系数为m进行采样，在第三阈值图像p3中，将m*m降维为1*1。若在第一预设分辨率的基础上，继续以降采样系数m进行采样，获得的阈值图像的分辨率小于或等于第一预设分辨率，则获得第二阈值图像p2。

若所述第二预设分辨率小于或等于所述第一预设分辨率，则可以不再对第三阈值图像p3进行降采样，该第三阈值图像p3即为分辨率为第一预设分辨率的所述第二阈值图像p2。

在本申请实施例中，可以将获得的第二阈值图像p2存储于存储器121，以备后续使用。第二阈值图像p2最终程序里面只需要存储非常小的图像即可，有效地节省了内存空间。如，在两次进行降采样系数分别为n和m的降采样过后，阈值图像所占内存空间仅是之前的1/(nxnxmxm)，对于一些对内存有严格要求的硬件，例如fpga，是至关重要的。例如，对于该历史帧图像为1280x800的图像，取n＝4，m＝8，最终存储的第二阈值图像p2为40x25，内存空间为之前的1/4。

另外，上述两种实施方式中获取第二阈值图像p2的处理可以不作为步骤s111的具体实施方式，而是独立进行，并存储获取的第二阈值图像p2。步骤s111中获取具有第一预设分辨率的第二阈值图像p2时，可以是从存储器121获取的、通过上述两种实施方式的任一种预先计算得到并存储。

步骤s112：对所述第二阈值图像p2进行升采样，获得与当前帧图像分辨率相同的第一阈值图像p1。

当需要根据当前帧对应的第一阈值图像p1对当前帧进行二值化时，将根据该当前帧的历史帧获得的第二阈值图像p2进行升采样，将分辨率为第一预设分辨率的第二阈值图像p2经过升采样的插值，获得分辨率与当前帧图像相同的第一阈值图像p1。例如，第二阈值图像p2为历史帧图像通过降采样系数为n得到，历史帧图像分辨率和当前帧相同，则将第二阈值图像p2进行升采样系数为n的升采样得到第一阈值图像p1。

在该升采样的具体实现方法方法在本申请实施例中并不限定，如可以通过双线性插值算法进行插值实现。其中，双线性插值，又称为双线性内插。双线性插值方法可以是，如图10所示，已知q12，q22，q11，q21，但是要插值的点为p点，需要得到点p＝(x，y)的值。假设我们已知函数f在q11＝(x1，y1),q12＝(x1，y2),q21＝(x2，y1),及q22＝(x2，y2)四个点的值。首先在x方向进行线性插值，得到

然后在y方向进行线性插值，得到

这样就得到所要的结果f(x，y)，

步骤s120：对当前帧图像的每一个像素点，以所述第一阈值图像p1中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

根据第一阈值图像p1对当前帧图像进行二值化，其中，以第一阈值图像p1中每一个像素点的像素值作为当前帧图像中对应位置像素点的二值化阈值。其中，对应位置即为，在分辨率相同的当前帧图像及第一阈值图像p1中，坐标相同的位置，如在当前帧图像中，第2行第3列的像素点，与第一阈值图像p1中第2行第3列的像素点为对应位置的像素点。

具体的，二值化过程中，对于当前帧图像的每一个像素点，若其像素值大于第一阈值图像p1中对应位置的像素点的像素值，将该当前帧图像中的该像素点的像素值设置为第一像素值；若其像素值小于或等于第一阈值图像p1中对应位置的像素点的像素值，将该当前帧图像中的该像素点的像素值设置为第二像素值，得到当前帧图像的二值化图像。例如，在当前帧图像中位置为(i，j)的像素点，像素值为232，第一阈值图像p1中位置为(i，j)的像素点，像素值为100，将当前帧图像中位置为(i，j)的像素点的像素值设置为二值化图像中的第一像素值1；在当前帧图像中位置为(i，j)的像素点，像素值为50，第一阈值图像p1中位置为(i，j)的像素点，像素值为200，将当前帧图像中位置为(i，j)的像素点的像素值设置为二值化图像中的第二像素值0。

综上所述，在本申请实施例提供的图像处理方法中，对于连续多帧图像中除最后一帧图像的任意一帧，都可以进行处理获得第二阈值图像p2，用于后一帧图像进行升采样后获得对应的第一阈值图像p1，进行二值化。对于连续多帧图像中除首帧以外的任意一帧图像，都可以获取其对应的第一阈值图像p1，根据对应的第一阈值图像p1进行二值化处理。每帧图像进行二值化的过程，进行处理获得第二阈值图像p2的过程，先后顺序并不限定。每帧图像进行二值化的过程，以及对该帧图像处理后获得对应下一帧图像的第一阈值图像p1的过程，处理的先后顺序可以没有限定。

在对图像进行二值化过程中，各个像素点的阈值可能并不相同，每个像素点的阈值都取决于其对应的第一阈值图像p1，由于历史帧与后一帧之间具有连续性，因此，图像的二值化阈值被设置成最适合当前场景，并随场景变化实时更新，更符合当前的二值化场景需求。

将识别跟踪系统中的图像采集装置获得的连续多帧图像的每一帧进行二值化后，其中的第一背景、第二背景以及子标记物分别对应相应的二值化像素值。如图2及图3所示，第一背景为黑色，第二背景为白色，子标记物为黑色，使第一背景、第二背景以及子标记物之间能通过像素值有效区分。在后续的处理过程中，处理器可以根据二值化的图像中不同像素值之间的包围关系识别出第一背景、第二背景以及子标记物。

本实施例提供了一种图像处理装置600，请参见图11，该装置600包括：第一阈值图像p1获取模块610，用于获取连续多帧图像中除首帧图像外的当前帧图像对应的第一阈值图像p1，所述第一阈值图像p1为对历史帧图像进行处理后得到且与当前帧图像分辨率相同的灰度图像；二值化模块620，用于对当前帧图像的每一个像素点，以所述第一阈值图像p1中对应位置的像素点作为二值化阈值，将当前帧图像二值化。

其中，所述第一阈值图像获取模块610包括：第二阈值图像获取单元，用于获取对历史帧图像进行处理后的具有第一预设分辨率的第二阈值图像p2，所述第一预设分辨率低于当前帧图像的分辨率；升采样单元，用于对所述第二阈值图像p2进行升采样，获得与当前帧图像分辨率相同的第一阈值图像p1。

在一种实施方式中，所述第二阈值图像p2获取单元包括：降采样子单元，用于对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像；第三阈值图像p3获取子单元，用于根据所述降采样图像计算获取具有第二预设分辨率的第三阈值图像p3，若所述第二预设分辨率小于或等于所述第一预设分辨率，获得所述第二阈值图像p2，其中，根据所述降采样图像中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像p3中每个像素点的像素值。

在另一种实施方式中，所述第二阈值图像p2获取单元包括：降采样子单元，用于对所述历史帧图像进行降采样，获得具有第二预设分辨率的降采样图像；积分图获取子单元，用于获取所述降采样图像的积分图；第三阈值图像获取子单元，根据所述积分图计算获取具有第二预设分辨率的第三阈值图像p3，若所述第二预设分辨率等于所述第一预设分辨率，获得所述第二阈值图像p2，其中，根据所述积分图中每个像素点在预设窗口范围内的各个像素点的像素值，确定所述第三阈值图像p3中每个像素点的像素值。

进一步的，若所述第二预设分辨率大于所述第一预设分辨率，所述降采样子单元还用于对所述第三阈值图像p3继续进行降采样，直到获得分辨率等于所述第一预设分辨率的所述第二阈值图像p2。

需要说明的是，本说明书中的各个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。