图像前景获取方法、装置及设备与流程

本发明涉及图像处理技术领域，尤其涉及一种图像前景获取方法、装置及设备。

背景技术：

对于很多视觉检测场景，视觉检测算法一般只关注图像内容发生变化的那一部分图像区域，即图像的前景，从而使图像检测算法不需要处理图像背景的冗余信息，提高处理效率，并且简化了算法复杂度。背景差分法作为一种检测图像前景的方法，通过采用图像序列中的当前帧与背景参考模型比较进行前景检测，其检测前景的性能依赖于所使用的背景建模技术。

相关技术中，通过图像的rgb颜色信息对背景建立混合高斯模型，然而，该方案在背景颜色和前景颜色相同时无法准确检测出前景，准确率有待提高。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种图像前景获取方法，通过图像的rgb和深度数据分割出图像的前景区域，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，提高了准确性。

本发明的第二个目的在于提出一种图像前景获取装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

本发明第一方面实施例提出了一种图像前景获取方法，包括：

获取待检测图像的rgb图像和深度图像，根据所述rgb图像和所述深度图像确定所述待检测图像中各像素点的描述参数；

将所述描述参数与预先建立的背景模型进行匹配，并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域，其中，所述背景模型是根据n帧初始图像的rgb图像和深度图像训练得到的。

本发明实施例的图像前景获取方法，通过获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。进而，根据n帧初始图像的rgb图像和深度图像训练得到的的背景模型，与描述参数进行匹配，根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此，在获取图像前景时综合考虑了背景的rgb和深度信息，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，能够提高图像前景与背景分割的准确性，从而实现了准确的确定出待检测图像中的前景区域。

另外，根据本发明上述实施例的图像前景获取方法还可以具有如下附加技术特征：

可选地，所述获取待检测图像的rgb图像和深度图像包括：通过双目摄像头拍摄第一rgb图像和第二rgb图像；以所述第一rgb图像为基准进行标定，计算出从二维图像像素点到三维世界坐标的变换关系；根据所述变换关系、各像素点在所述第一图像和所述第二图像中的视差计算所述各像素点的深度值，根据所述深度值和所述第一rgb图像确定所述待检测图像的rgb图像和深度图像。

可选地，所述将所述描述参数与预先建立的背景模型进行匹配包括：根据当前检测环境的环境参数更新所述背景模型；将所述描述参数与更新后的背景模型进行匹配。

可选地，所述根据当前检测环境的环境参数更新所述背景模型包括：获取预设时间内光照强度的变化率，并根据所述光照强度的变化率调整学习率，其中，所述光照强度的变化率与所述学习率成正比；根据调整后的学习率更新所述背景模型。

可选地，所述根据当前检测环境的环境参数更新所述背景模型包括：获取预设时间内色温的变化率，并根据所述色温的变化率调整学习率，其中，所述色温的变化率与所述学习率成正比；根据调整后的学习率更新所述背景模型。

本发明第二方面实施例提出了一种图像前景获取装置，包括：

获取模块，用于获取待检测图像的rgb图像和深度图像，根据所述rgb图像和所述深度图像确定所述待检测图像中各像素点的描述参数；

处理模块，用于将所述描述参数与预先建立的背景模型进行匹配，并根据匹配结果不一致的描述参数对应的像素点确定所述待检测图像的前景区域，其中，所述背景模型是根据n帧初始图像的rgb图像和深度图像训练得到的。

本发明实施例的图像前景获取装置，在获取图像前景时综合考虑了背景的rgb和深度信息，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，能够提高图像前景与背景分割的准确性，从而实现了准确的确定出待检测图像中的前景区域。

另外，根据本发明上述实施例的图像前景获取装置还可以具有如下附加技术特征：

可选地，所述获取模块具体用于：通过双目摄像头拍摄第一rgb图像和第二rgb图像；以所述第一rgb图像为基准进行标定，计算出从二维图像像素点到三维世界坐标的变换关系；根据所述变换关系、各像素点在所述第一图像和所述第二图像中的视差计算所述各像素点的深度值，根据所述深度值和所述第一rgb图像确定所述待检测图像的rgb图像和深度图像。

可选地，所述处理模块包括：更新单元，用于根据当前检测环境的环境参数更新所述背景模型；匹配单元，用于将所述描述参数与更新后的背景模型进行匹配。

可选地，所述更新单元具体用于：获取预设时间内光照强度的变化率，并根据所述光照强度的变化率调整学习率，其中，所述光照强度的变化率与所述学习率成正比；根据调整后的学习率更新所述背景模型。

可选地，所述更新单元具体用于：获取预设时间内色温的变化率，并根据所述色温的变化率调整学习率，其中，所述色温的变化率与所述学习率成正比；根据调整后的学习率更新所述背景模型。

本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的图像前景获取方法。

本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的图像前景获取方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例所提供的一种图像前景获取方法的流程示意图；

图2为本发明实施例所提供的另一种图像前景获取方法的流程示意图；

图3为本发明实施例所提供的一种图像前景获取装置的结构示意图；

图4为本发明实施例所提供的另一种图像前景获取装置的结构示意图；

图5示出了适于用来实现本发明实施例的示例性计算机设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像前景获取方法、装置及设备。

图1为本发明实施例所提供的一种图像前景获取方法的流程示意图，如图1所示，该方法包括：

步骤101，获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。

本发明实施例中，可以在检测场景中设置图像采集装置，并通过图像采集装置采集待检测图像的rgb(一种色彩模式)图像和深度图像。

在本发明的一个实施例中，可以通过双目摄像头拍摄第一rgb图像和第二rgb图像，进而，以第一rgb图像为基准进行标定，计算出从二维图像像素点到三维世界坐标的变换关系。进一步，根据变换关系、各像素点在第一图像和第二图像中的视差计算各像素点的深度值，根据深度值和第一rgb图像确定待检测图像的rgb图像和深度图像。

作为一种示例，可以在某一时刻通过双目摄像头拍摄左rgb图像和右rgb图像，以左rgb图像侧为基准进行相机标定，通过标定计算出从二维图像像素点到三维世界坐标的变换关系，以实现左右图像的校正，其中，该变换关系可以为变换矩阵的形式。进而，从左右图像中选取相同的一个像素点，比如拍摄物体的图像，选取物体同一部位在左右图像中对应的像素点，并根据像素点在各自图像中的位置确定该部位在左右图像中的视差。进一步，根据变换关系和视差计算出对应像素点的坐标xyz，其中，z为深度值，由于本示例中是基于左侧进行标定的，因此可以根据左rgb图像与计算出的各像素点的深度值，作为待检测图像的rgb图像和深度图像。

需要说明的是，上述确定待检测图像的rgb图像和深度图像的实现方式仅为一种示例，例如也可以以右侧为基准进行相机标定，此处不作限制。

本发明实施例中，可以将获取到的待检测图像的rgb图像和量化为8bit的深度图像合并为一张rgbd四通道图像，该图像中各像素点可以通过rgb数据和深度数据描述，从而可以进一步根据各像素点的rgb数据和深度数据确定各像素点为背景或前景。

步骤102，将描述参数与预先建立的背景模型进行匹配，并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域，其中，背景模型是根据n帧初始图像的rgb图像和深度图像训练得到的。

在本发明的一个实施例中，可以预先根据n帧初始图像的rgb图像和深度图像训练背景模型，其中，n为正整数，初始图像为包括背景的图像。

本发明实施例中，在获取待检测图像中各像素点的rgb和深度数据之后，对于每一个像素点，可以将该像素点的rgb和深度数据与预先建立的背景模型进行匹配，若匹配结果一致则确定该像素点为背景，若匹配结果不一致则确定该像素点为前景。由于背景模型同时考虑了背景的rgb和深度信息，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，能够提高图像前景与背景分割的准确性。由此，能够根据各像素点的rgb和深度数据，以及背景模型确定待检测图像中为前景的像素点，从而准确的确定出待检测图像中的前景区域。

作为一种示例，可以基于gmm高斯混合模型训练背景模型。具体地，通过采集n帧初始图像的rgb图像和深度图像，确定n帧图像中各像素点的rgb数据和深度数据。进而根据rgb和深度数据通过最大期望算法计算出混合高斯模型中的参数，从而将每个像素点的特征通过多个单模型表示。进而，根据待检测图像中各像素点的rgb和深度数据，以及背景模型中各单模型的参数确定像素点是否符合背景模型，若符合则判断该像素点为背景，若不符合则判断像素点为前景。进一步，根据待检测图像中判断为前景的像素点确定前景区域。

本发明实施例的图像前景获取方法，通过获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。进而，根据n帧初始图像的rgb图像和深度图像训练得到的的背景模型，与描述参数进行匹配，根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此，在获取图像前景时综合考虑了背景的rgb和深度信息，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，能够提高图像前景与背景分割的准确性，从而实现了准确的确定出待检测图像中的前景区域。

基于上述实施例，进一步地，在实际应用中，检测环境通常会随着时间发生变化，例如环境的色温和光照强度等，而环境的变化会影响图像前景获取的准确性。因此，本发明实施例的图像前景获取方法，还能够根据当前的环境动态更新背景模型。

图2为本发明实施例所提供的另一种图像前景获取方法的流程示意图，如图2所示，该方法包括：

步骤201，获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。

前述实施例对步骤101、103的解释说明同样适用于本实施例的步骤201、203，此处不再赘述。

步骤202，根据当前检测环境的环境参数更新背景模型。

本发明实施例中，可以根据当前检测环境的环境参数确定学习率，并根据学习率控制更新背景模型。其中，环境参数包括色温、光照强度中的至少一种。例如，当前背景模型是根据120帧图像的rgb和深度数据训练的，在更新背景模型时，去除第一帧图像，并根据最新的一帧数据和之前的119帧训练背景模型，通过学习率控制最新一帧数据在训练中的权重。

可以理解的是，学习率越高，背景模型更新速度越快，在光照色温变化较快等背景变化快的情况能够有效地给背景建模，从而保证获取图像前景和背景的准确性。

作为一种示例，获取预设时间内光照强度的变化率，并根据光照强度的变化率调整学习率，进而，根据调整后的学习率更新背景模型。其中，光照强度的变化率与学习率成正比，也就是说，预设时间内光照强度的变化率越大，学习率越大。

作为另一种示例，获取预设时间内色温的变化率，并根据色温的变化率调整学习率，进而根据调整后的学习率更新背景模型。其中，色温的变化率与学习率成正比，即预设时间内色温的变化率越大，学习率越大。

作为另一种示例，还可以获取预设时间内色温的变化率和光照强度的变化率，并根据色温变化率和对应的第一预设权重，以及光照强度变化率和对应的第二预设权重调整学习率，进而根据调整后的学习率更新背景模型。

其中，预设时间可以根据需要进行设置，例如可以每十分钟检测一次色温和光照强度，并与上一次检测结果进行比较确定变化率。

步骤203，将描述参数与更新后的背景模型进行匹配，并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。

本实施例中，在获取待检测图像中各像素点的rgb和深度数据之后，对于每一个像素点，可以将该像素点的rgb和深度数据与更新后的背景模型进行匹配，若匹配结果一致则确定该像素点为背景，若匹配结果不一致则确定该像素点为前景。

可选地，本实施例的方法可以应用于视野相同的场景中获取待检测图像的前景区域，由于同样的视野中背景的深度信息一般不变，因此基于rgb和深度数据可以比较完整的获取前景区域。

本发明实施例的图像前景获取方法，通过获取当前检测环境中的色温、光照强度等环境参数，并根据环境参数动态的调整更新背景模型的学习率，能够在背景变化较快的情况提高图像前景获取的准确性，使得背景模型能自动适应色温和白平衡变化，使得模型可以在白天、晚上、晴天、阴天等不同环境色温下工作良好。并且，相对于图像采集设备配备图像预处理单元来达到调节色温和白平衡的方案，降低了成本。

为了实现上述实施例，本发明还提出一种图像前景获取装置。

图3为本发明实施例所提供的一种图像前景获取装置的结构示意图，如图3所示，该装置包括：获取模块100，处理模块200。

其中，获取模块100，用于获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。

处理模块200，用于将描述参数与预先建立的背景模型进行匹配，并根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域，其中，背景模型是根据n帧初始图像的rgb图像和深度图像训练得到的。

在图3的基础上，图4所示的装置中处理模块200包括：更新单元210，匹配单元220。

其中，更新单元210用于根据当前检测环境的环境参数更新背景模型。

匹配单元220用于将描述参数与更新后的背景模型进行匹配。

在本发明的一个实施例中，获取模块100具体用于：通过双目摄像头拍摄第一rgb图像和第二rgb图像；以第一rgb图像为基准进行标定，计算出从二维图像像素点到三维世界坐标的变换关系；根据变换关系、各像素点在第一图像和第二图像中的视差计算各像素点的深度值，根据深度值和第一rgb图像确定待检测图像的rgb图像和深度图像。

在本发明的一个实施例中，更新单元210具体用于：获取预设时间内光照强度的变化率，并根据光照强度的变化率调整学习率，其中，光照强度的变化率与所述学习率成正比；根据调整后的学习率更新背景模型。

在本发明的一个实施例中，更新单元210具体用于：获取预设时间内色温的变化率，并根据色温的变化率调整学习率，其中，色温的变化率与学习率成正比；根据调整后的学习率更新背景模型。

需要说明的是，前述实施例对图像前景获取方法的解释说明同样适用于本实施例的图像前景获取装置，此处不再赘述。

本发明实施例的图像前景获取装置，通过获取待检测图像的rgb图像和深度图像，根据rgb图像和深度图像确定待检测图像中各像素点的描述参数。进而，根据n帧初始图像的rgb图像和深度图像训练得到的的背景模型，与描述参数进行匹配，根据匹配结果不一致的描述参数对应的像素点确定待检测图像的前景区域。由此，在获取图像前景时综合考虑了背景的rgb和深度信息，克服了背景颜色和前景颜色相同时无法准确检测前景的缺陷，能够提高图像前景与背景分割的准确性，从而实现了准确的确定出待检测图像中的前景区域。

为了实现上述实施例，本发明还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述任一实施例所述的图像前景获取方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的图像前景获取方法。

为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的图像前景获取方法。

图5示出了适于用来实现本发明实施例的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industrystandardarchitecture；以下简称：isa)总线，微通道体系结构(microchannelarchitecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation；以下简称：vesa)局域总线以及外围组件互连(peripheralcomponentinterconnection；以下简称：pci)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compactdiscreadonlymemory；以下简称：cd-rom)、数字多功能只读光盘(digitalvideodiscreadonlymemory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(localareanetwork；以下简称：lan)，广域网(wideareanetwork；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。