LBP特征的获取方法、装置和存储介质与流程
本发明涉及图像识别领域，尤其涉及一种lbp特征的获取方法、装置和存储介质。
背景技术：
时空局部二值模式(localbinarypattern；lbp)用于表示时空图像中的动态纹理和运动信息，是计算机视觉领域中一种比较重要的特征。
目前，对局部二值模式在时空图像识别领域也有比较多的拓展，例如三个正交平面的局部二值模式(lbpfromthreeorthogonalplanes；lbp-top)，局部三值模式(localternarypatterns；ltp)，中心对称运动局部三值模式(center-symmetricmotionlocalternarypatterns；cs-mltp)。在现有技术中，拓展的3d-lbp都是由领域专家设计一些复杂的数学公式或流程来提取图像的特征。
然而现有技术中，由于是通过手工设计数学公式或流程来提取图像的特征，而且由于计算复杂度的限制，只能在有限邻域内进行编码和量化，不能充分获取时空图像块的动态纹理和运动信息，且lbp区分性不足以及编码后的码元分布不均匀。
技术实现要素：
针对目前时空局部二值模式计算复杂、区分性不足以及编码后的码元分布不均匀的问题，本发明提出了一种lbp特征的获取方法、装置和存储介质，不仅能充分获取原始时空图像中的运动信息，而且使lbp更加具有区分性，以及编码后的码元分布更加均匀。
第一方面，本发明实施例提供一种lbp特征的获取方法，包括：
将待处理的时空图像分割成多个时空图像块；
针对每个所述时空图像块，计算所述时空图像块中图像的每个像素点对应的像素差，其中，所述像素差为第一差值和第二差值的和，其中，所述第一差值为各所述像素点在中间帧上的像素值与在其他帧图像中和各所述像素点相邻的像素点之间的差值，所述第二差值为各所述像素点的相邻像素点在所述中间帧图像上的像素值与各所述像素点在所述其他帧图像中的像素值之间的差值；根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp。
在本方案中，由于计算待处理时空图像块中图像的每个像素点对应的像素差，为计算各所述像素点的像素值与其他帧图像中和各所述像素点相邻的像素点的像素值之间的差，不仅能很好保持原始时空图像的运动信息，而且提高了局部二值编码描述子计算效率。
可选的，所述计算各所述时空图像块中图像的每个像素点对应的像素差，包括：
确定各所述时空图像块的中间帧图像；
根据所述中间帧图像中各第一像素点的像素值、前δt时刻的图像中的至少一个第二像素点的像素值，以及后δt时刻的图像中的至少一个所述第二像素点的像素值，计算各所述第一像素点和第二像素点的像素差；其中，所述第二像素点为与所述第一像素点相邻的像素点。
本方案中，通过计算中间帧图像中每一个像素点的像素值，与其前δt时刻以及后δt时刻图像中该像素点相邻的像素点之间的像素差，充分利用相邻帧的像素信息，获取更准确的原时空图像的运动信息。
可选的，所述根据所述中间帧图像中各所述第一像素点的像素值、前δt时刻的图像中的至少一个第二像素点的像素值，以及后δt时刻的图像中的至少一个所述第二像素点的像素值，计算所述各所述第二像素点对应的像素差，包括：
步骤a：计算所述中间帧图像中所述第一像素点的像素值与前δt时刻的图像中第n个所述第二像素点的像素值之间的像素差dn1；
步骤b：计算所述中间帧图像中第n个所述第二像素点的像素值与前δt时刻的图像中所述第一像素点的像素值之间的差值dn2；
步骤c：计算所述中间帧图像中所述第一像素点的像素值与后δt时刻的图像中第n个所述第二像素点的像素值之间的差值
步骤d：计算所述中间帧图像中第n个所述第二像素点的像素值与后δt时刻的图像中所述第一像素点的像素值之间的差值
步骤e：将δt加一，并返回执行步骤a，直至δt等于1/2所述时空图像块的时间长度；
步骤f：根据公式
可选的，所述根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp，包括：
根据各所述像素点对应的像素差，确定所述时空图像块的像素差矩阵；
根据所述像素差矩阵，确定各所述像素差的编码形式；
根据所述编码形式，确定所述时空图像块的lbp。
在本方案中，通过对时空图像块的像素差矩阵进行紧致二维编码，其通过无监督特征学习的方式学习多个哈希函数将原始像素映射成为二值矢量，克服传统的二值编码中阈值的人工设定以及编码后的二值模式分布不均匀的缺陷，同时使得二值编码具有较好的可区分性。
可选的，所述根据所述像素差矩阵，确定各所述像素差的编码形式，包括：
根据如下公式，计算所述像素差的编码形式；
其中，wij表示映射函数，wij,k为第k个编码的映射函数，(i,j,t)表示时空图像块的大小，
第二方面，本发明实施例提供一种lbp特征的获取装置，包括：
分割模块，用于将待处理的时空图像分割成多个时空图像块；
计算模块，用于计算所述时空图像块中图像的每个像素点对应的像素差，其中，所述像素差为第一差值和第二差值的和，其中，所述第一差值为各所述像素点在中间帧上的像素值与在其他帧图像中和各所述像素点相邻的像素点之间的差值，所述第二差值为各所述像素点的相邻像素点在所述中间帧图像上的像素值与各所述像素点在所述其他帧图像中的像素值之间的差值；
确定模块，用于根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp。
可选的，所述计算模块，包括：
确定子模块，用于确定各所述时空图像块的中间帧图像；
计算子模块，用于根据所述中间帧图像中各第一像素点的像素值、在所述中间帧图像的前δt时刻的图像中的至少一个第二像素点的像素值，以及在所述中间帧图像的后δt时刻的图像中的所述至少一个第二像素点的像素值，计算所述各所述第二像素点对应的像素差；其中，所述第二像素点为与所述第一像素点相邻的像素点。
可选的，所述计算子模块，具体用于：
步骤a：计算所述中间帧图像中所述第一像素点的像素值与前δt时刻的图像中第n个所述第二像素点的像素值之间的像素差dn1；
步骤b：计算所述中间帧图像中第n个所述第二像素点的像素值与前δt时刻的图像中所述第一像素点的像素值之间的差值dn2；
步骤c：计算所述中间帧图像中所述第一像素点的像素值与后δt时刻的图像中第n个所述第二像素点的像素值之间的差值
步骤d：计算所述中间帧图像中第n个所述第二像素点的像素值与后δt时刻的图像中所述第一像素点的像素值之间的差值
步骤e：将δt加一，并返回执行步骤a，直至δt等于1/2所述时空图像块的时间长度；
步骤f：根据公式
可选的，所述确定模块，具体用于：
根据各所述像素点对应的像素差，确定所述时空图像块的像素差矩阵；
根据所述像素差矩阵，确定各所述像素差的编码形式；
根据所述编码形式，确定所述时空图像块的lbp。
可选的，所述确定模块，还用于：
根据如下公式，计算所述像素差的编码形式；
其中，其中wij,k为第k个编码的映射函数，i,j,t表示时空图像块的大小，n表示时间t的最大取值，bijt,k为上述像素块的第k个二值编码是一个为0或1的数，μk为第k个二值编码的均值，pvijt为时空位置为(i,j,t)时空像素块计算得到的像素差向量，λ1和λ2表示权重系数。
第三方面，本发明实施例提供一种服务器，包括：
处理器；
存储器；以及
计算机程序；
其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。
本发明提供一种lbp特征的获取方法、装置和存储介质，通过将待处理的时空图像分割成多个时空图像块，然后针对每个时空图像块，计算时空图像块中图像的每个像素点对应的像素差，其中该像素差为各像素点的像素值与其他帧图像中和各像素点相邻的像素点的像素值之间的差，最后根据各像素点对应的像素差，确定各时空图像块的局部二值模式lbp。由于在进行像素差的计算时，通过计算时空图像块中图像的每个像素点与其他帧图像中和各像素点相邻的像素点的像素值之间的差，作为每个像素点对应的像素差，这样可以充分获取原始时空图像中的运动信息，而且，在确定各时空图像的局部二值模式时，通过无监督学习的模式进行紧致二值编码，使lbp更加紧致和有区分性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的lbp特征的获取方法实施例一的流程示意图；
图2是3d像素差计算过程示意图；
图3是3×3图像块的像素差矢量计算过程的示意图；
图4是基于rgb-d时空图像的人体动作识别的流程示意图；
图5是本发明实施例提供的lbp特征的获取装置实施例一的结构示意图；
图6是本发明实施例提供的lbp特征的获取装置实施例二的结构示意图；
图7是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在对本发明的具体实施方式进行说明之前，先就图像处理领域的一些概念进行解释：
(1)时空图像：间图像是指单张空间上的图像，而时间图像是指同一空间位置的像素在时间上的变化。因此时空图像本质上就是指一段视频。基于时空图像的识别在模式识别领域有很多应用，如人体动作识别，视频内容分析，运动检测、人脸性别识别等。
(2)时空局部二值模式：局部二值模式(lbp)是一种常见的静态纹理特征。假设有一个16x16的图像区域(cell)，对于cell中的一个像素，将其与环形领域内的8个点顺时针或者逆时针比较，如果该像素值大于邻点像素值，则赋值0，否则赋值1。这样就会得到8位的二进制数(并转换为十进制数)，统计该cell中每个十进制数出现的频率(统计直方图)，并归一化处理。最后将一张图像中每个cell的统计直方图进行拼接，就形成图像的lbp特征。时空局部二值模式则是lbp在时空域上的一种拓展，其用于表示视频中的动态纹理和运动信息。
(3)手工特征：也可以理解为手工方法。是指由领域专家设计一些复杂的数学公式或流程来提取图像的特征，而不是用机器学习方法学习图像的特征。
(4)图像块时空位置：将原始时空图像划分成若干个均匀大小的图像块，图像块的时空位置为划分过程中图像块的序数。例如原始时空图像大小为30×30×15，每个时空图像块大小为3×3×5，则最后一个时空图像块的时空位置为(10,10,5)，其余的依次类推。
(5)紧致二值编码：其目的是为了克服传统的二值编码中阈值的人工设定以及编码后的二值模式分布不均匀的缺陷。其通过无监督特征学习的方式学习多个哈希函数将原始像素映射成为二值矢量，同时使得二值编码具有较好的可区分性。
(6)时空金字塔模型：空间金字塔模型的3维扩展，目前主要用于时空图像，尤其是基于时空图像的动作识别。时空金子塔模型为时空图像的特征提取提供了一种多尺度框架，能够获得更好的时空图像特征描述符。空间金子塔是从垂直和水平两个方向将整张图像划分成不同的格子，而时空金字塔增加了时间维度。时空金字塔模型经常与稀疏编码，最大池化等联合获得不同时空尺度的局部直方图。
(7)字典学习及稀疏表示：字典学习方法旨在从原始数据中找到一组特殊的稀疏元素(机器视觉中称为视觉单词)，使得每个原始数据都能用这组稀疏元素进行线性表示。字典学习的最简单形式为：
其中xi为第i个样本，b为需要学习的字典矩阵，αi为样本xi的稀疏表示。上述公式中第一个项的目标是为了能使字典矩阵与稀疏表示的线性组合还原原始数据，而第二项则是为了能使样本的稀疏表示尽可能的稀疏。
(8)rgb-d图像序列：微软开发的kinect所采集，由rgb彩色时空图像和depth深度时空图像所组成。其中rgb彩色图像为传统的具有三通道像素的图像；而深度图像的像素值代表了采集场景中目标物体与镜头之间的距离。与rgb图像相比，深度图像中的深度数据仅与物体的空间位置相关，与空间的颜色无关，能直接反映物体表面的三维特性；受光照强弱、阴影、外界环境遮挡的影响较小。但是深度图像却缺乏rgb图像中的一些纹理、外观等特性。
本发明提供的lbp特征的获取方法，不仅适用于时空图像识别场景中，还可以应用于进行时空图像的动作识别的场景中。其中，图像识别是一种利用计算机来处理和分析图像，以识别各种不同类型的目标的技术。lbp是一种常见的静态纹理特征，一直是计算机视觉领域中一种比较重要的特征，时空局部二值模式则是lbp在时空域上的一种拓展，其用于表示视频中的动态纹理和运动信息。
在现有技术中，拓展的3d-lbp都是由领域专家设计一些复杂的数学公式或流程来提取图像的特征，而不是用机器学习方法学习图像的特征。由于计算复杂度的限制，只能在有限邻域内进行编码和量化，不能充分获取时空图像块的动态纹理和运动信息，且lbp区分性不足以及编码后的码元分布不均匀。本发明考虑到上述方案中像素差编码模块中编码复杂，计算量大，人为设定阈值，且仅仅考虑t时刻的中心像素与t-δt，t+δt时刻相邻像素的差值不能很好地表达时空图像中的运动信息的缺陷，本发明提出一种lbp特征的获取方法，不仅能够更充分的保留时空图像的运动信息，而且提高了lbp的区分性，并使得编码后的码元分布更均匀。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明实施例提供的lbp特征的获取方法实施例一的流程示意图，本发明实施例提供了一种lbp特征的获取方法，该方法可以由任意执行lbp特征的获取方法的装置来执行，该装置可以通过软件和/或硬件实现。本实施例中，该装置可以集成在服务器中。下面结合图1对本发明的实施步骤进行描述。如图1所示，本实施例的方法可以包括：
步骤101、将待处理的时空图像分割成多个时空图像块。
由于时空图像包含的信息量比较大，为方便计算，在实际应用中，通常会将待处理的时空图像划分成若干个均匀大小的时空图像块，时空图像块的时空位置为划分过程中图像块的序数。例如原始时空图像大小为30×30×15，每个时空图像块大小为3×3×3，则最后一个时空图像块的时空位置为(10,10,5)，其余的依次类推。
另外，本发明实施例中对于时空图像块的大小不做限制，只要能够满足可以表达时空图像中的运动信息即可。在一种可能的实现方式中，可以对时空图像分割成30×30×15时空图像块volumeijt，其中，(i,j,t)代表时空图像块的时空位置。
步骤102、针对每个时空图像块，计算时空图像块中图像的每个像素点对应的像素差。
其中，时空图像块中图像的每个像素点对应的像素差，通过计算各像素点的像素值与其他帧图像中和各该像素点相邻的像素点的像素值之间的差得出，
本领域技术人员可以理解，每个时空图像块中均包括多帧图像，各帧图像中包括有多个像素点，因此，服务器在将待处理的时空图像分割成多个时空图像块之后，将计算每个时空图像块中图像的每个像素点的像素值，与其他帧图像中和各像素点相邻的像素点的像素值之间的差。
下面，对如何计算各时空图像块中图像的每个像素点对应的像素差的具体实现过程进行详细介绍。
首先，确定各时空图像块的中间帧图像。
在本步骤中，由于每个时空图像块中均包括有多帧图像，因此，每个时空图像块中均包括有中间帧图像。在具体的实现过程中，可以根据时空图像块的时间信息，确定时空图像块的中间帧图像，例如，时空图像块的大小为30×30×15，则中间帧图像为第七帧图像。
其次，根据中间帧图像中各第一像素点的像素值、前δt时刻的图像中的至少一个第二像素点的像素值，以及后δt时刻的图像中的至少一个第二像素点的像素值，计算各第一像素点和第二像素点的像素差。
其中，第二像素点为与第一像素点相邻的像素点。
在本步骤中，假设确定出的中间帧图像为第七帧图像，如果令δt＝1，则前δt时刻的图像为第六帧图像，后δt时刻的图像为第八帧图像，以此类推。
图2是3d像素差计算过程示意图，下面将结合图2，对计算第一像素点和第二像素点的像素差的具体过程进行详细说明：
步骤a：计算中间帧图像中第一像素点的像素值与前δt时刻的图像中第n个第二像素点的像素值之间的像素差dn1。
其中，第一像素点是中间帧图像中存在8个相邻像素点的像素点，例如，一个时空图像块的大小为30×30×15，则该时空图像块的中间帧为第七帧，在第七帧的图像中，选择存在8个相邻像素点的像素点；在第七帧图像中满足该条件的像素点包括第2-29行中第2-29列的一个大小为28×28的图像。
其中，n的可能取值为0，1，2，3，4，5，6，7，分别代表8个第二像素点。δt的取值可以为1，也可以为其他值，只要能够满足保留时空图像中的运动信息即可，在本实施例中，取δt的值为1。
例如：如图2所示，t时刻的图像表示中间帧图像，t时刻图像中的nc表示第一像素点，在t-δt时刻的图像中，存在像素点nc的8个相邻像素点，分别为n0、n1、n2、n3、n4、n5、n6、n7，以n0为例，t时刻的图像中的第一像素点nc与前δt时刻的图像中第1个第二像素点n0之间的像素差d01＝it(nc)-it-1(n0)，其中，i代表该点的像素值。
步骤b：计算中间帧图像中第n个第二像素点的像素值与前δt时刻的图像中第一像素点的像素值之间的差值dn2。
步骤a和步骤b用来计算中间帧像素点和前δt帧邻域像素点之间的差值，并得出计算结果dn1和dn2。
例如：如图2所示，在t-δt时刻的图像中的nc为第一像素点，在t时刻的图像中，存在第一像素点nc的8个相邻像素点，分别为n0、n1、n2、n3、n4、n5、n6、n7，以n0为例，前δt时刻的图像中第一像素点nc与t时刻的图像中第1个第二像素点n0之间的像素差d02＝it(n0)-it-1(nc)。
步骤c：计算中间帧图像中第一像素点的像素值与后δt时刻的图像中第n个第二像素点的像素值之间的差值
例如：如图2所示，t时刻的图像表示中间帧图像，t时刻图像中的nc表示第一像素点，在t+δt时刻的图像中，存在像素点nc的8个相邻像素点，分别为n0、n1、n2、n3、n4、n5、n6、n7，以n0为例，t时刻的图像中的第一像素点nc与后δt时刻的图像中第1个第二像素点n0之间的像素差
步骤d：计算中间帧图像中第n个第二像素点的像素值与后δt时刻的图像中第一像素点的像素值之间的差值
例如：如图2所示，在t+δt时刻的图像中的nc为第一像素点，在t时刻的图像中，存在第一像素点nc的8个相邻像素点，分别为n0、n1、n2、n3、n4、n5、n6、n7，以n0为例，后δt时刻的图像中第一像素点nc与t时刻的图像中第1个第二像素点n0之间的像素差
步骤c和步骤d的计算过程与步骤a和步骤b相似，用来计算中间帧像素点和后δt帧邻域像素点之间的差值，并得出计算结果
通过步骤a-步骤d完成了对第一像素点与相邻帧中第二像素点像素差的计算，然后通过步骤e，将δt加一，并返回执行步骤a-步骤d，即可依次对第一像素点与图像块中其他帧中的第二像素点像素差进行计算，直至δt等于1/2所述时空图像块的时间长度。
步骤f：根据公式
通过步骤e，可以计算出δt的所有取值中，对第一像素点和第二像素点像素差的计算，并通过公式dn(δt)＝|dn1|+|dn2|，
最后计算一个时空图像块中所有像素点对应的像素差向量，得到该时空图像块的像素差矩阵。
举例来说，针对一个大小为30×30×15的时空图像块，其中间帧为第七帧，首先计算第七帧中的第一像素点和第六帧中的第二像素点之间的像素差dn1，再计算第六帧中的第一像素点和第七帧中的第二像素点之间的像素差dn2，并计算这两个像素差绝对值的和dn(1)。然后计算第七帧中的第一像素点和第八帧中的第二像素点之间的像素差
步骤103、根据各像素点对应的像素差，确定各时空图像块的局部二值模式lbp。
通过对空间图像块中图像的每个像素点对应的像素差进行计算，得到空间图像块的像素差矩阵，然后针对像素差矩阵进行处理，确定各所述时空图像块的局部二值模式lbp。
分别对时空图像中所有的时空图像块都处理完成之后，可以采用时空金子塔池化方法，以时空图像块的时间位置和空间位置为依据，获取不同时空尺度下每个格子的局部紧致编码直方图。将各时空尺度下的局部直方图拼接成整个时空图像的3d-lbp描述子。
在本实施例中，在确定出各像素点对应的像素差后，即可确定出时空图像块的像素差矩阵，然后根据该像素差矩阵，确定该像素差的编码形式，最后确定各时空图像块的局部二值模式lbp。
具体的，为了克服传统的二值编码中阈值的人工设定以及编码后的二值模式分布不均匀的缺陷。紧致二值编码是通过无监督特征学习的方式学习多个哈希函数将原始像素映射成为二值矢量，同时使得二值编码具有较好的可区分性。
图3是3×3图像块的像素差矢量计算过程的示意图。如图3所示，某3*3的图像块的像素差矩阵为：
该图像块的像素差向量为
令i表示图像中的某块区域，pdvi代表该图像块的像素差向量。在得到所有训练图像块的向量差
其中uk是所有训练样本的二值编码的均值。
上述紧致二值编码学习方式仅适用于二维图像中计算得到的像素差为矢量，而针对本发明实施例中所计算的时空像素差为矩阵，本发明中的紧致二值编码模块为在上述紧致二值编码的基础上，通过学习一组与空间位置相关的映射函数，并将该紧致二值编码模块的优化目标函数加入空间位置映射函数，生成新的优化目标函数，使所述紧致二值编码模块适用于时空图像。加入空间位置映射函数后，上述的紧致二值编码中的目标优化函数变为：
其中，其中wij,k为第k个编码的映射函数，i,j,t表示时空图像块的大小，n表示时间t的最大取值，bijt,k为上述像素块的第k个二值编码是一个为0或1的数，μk为第k个二值编码的均值，pvijt为时空位置为(i,j,t)时空像素块计算得到的像素差向量，λ1和λ2表示权重系数。
最后pvijt的二值编码
本发明实施例提供的lbp特征的获取方法，首先将待处理的时空图像分割成多个时空图像块，然后针对每个所述时空图像块，计算图像的每个像素点对应的像素差，该像素差为各像素点的像素值与其他帧图像中和各像素点相邻的像素点的像素值之间的差，最后根据各所述像素点对应的像素差，确定各时空图像块的局部二值模式lbp。由于在进行像素差计算时，通过计算时空图像块中中间帧图像的每个像素点与其他帧图像中和各像素点相邻的像素点的像素值之间的差，作为每个像素点对应的像素差，可以充分获取原始时空图像中的运动信息，而且，在确定各时空图像的局部二值模式时，通过无监督学习的模式进行紧致二值编码，使lbp更加紧致和有区分性。
下面，将详细说明利用上述实施例中的方法获取的lbp特征如何应用在时空图像识别场景中和rgb-d时空图像动作识别场景中。
下面首先对本发明提供的一种lbp特征的获取方法在时空图像识别中的应用进行介绍。
(1)特征提取
对时空图像分割成若干个时空图像块，按照所述发明提出的像素差计算方法，计算每个时空图像块中的像素差向量，空间位置以及时间位置；对所有的时空图像块的像素差向量和空间位置，按照所述发明提出的紧致编码学习方法学习每个空间位置的映射函数，并获得每个像素差向量的紧致编码形式。
首先，将待处理的时空图像分割成多个时空图像块；
其次，针对每个所述时空图像块，计算所述时空图像块中图像的每个像素点对应的像素差，所述像素差为各所述像素点的像素值与其他帧图像中和各所述像素点相邻的像素点的像素值之间的差；
最后，根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp。
上述具体的实现方式与和步骤101-103类似，此处不再赘述。
(2)特征编码
利用时空金子塔池化方法，以时空图像块的时间位置和空间位置为依据，获取不同时空尺度下每个格子的局部紧致编码直方图。将各时空尺度下的局部直方图拼接成整个时空图像的3d-lbp描述子。
(3)图像识别
根据已有时空图像块的标签和获得的3d-lbp描述子，利用机器学习中已有的分类方法训练时空图像块的分类器；根据训练的分类器预测时空图像的标签，最终实现时空图像的识别。
经过上述步骤，可以实现时空图像识别。在该应用实例中，本发明的一种lbp特征的获取方法，主要是特征提取模块对时空图像更准确、快速的计算每个时空图像块中的像素差向量、空间位置以及时间位置，然后通过提出的紧致编码学习方法学习每个空间位置的映射函数，获得每个3d像素差向量的紧致编码形式，提取时空图像特征。
图4是基于rgb-d时空图像的人体动作识别的流程示意图，根据图4所示的基于rgb-d时空图像的人体动作识别框架，对时空图像识别步骤进行介绍。
下面针对本发明提供的一种lbp特征的获取方法在时空图像动作识别中的应用。本实施例以rgb-d时空图像的人体动作识别为例。
步骤s401：获取时空图像的lbp特征。
首先，将待处理的时空图像分割成多个时空图像块。
其次，针对每个所述时空图像块，计算所述时空图像块中图像的每个像素点对应的像素差，所述像素差为各所述像素点的像素值与其他帧图像中和各所述像素点相邻的像素点的像素值之间的差。
最后，根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp。
上述具体实现方式与步骤101-103类似，此处不再赘述。
步骤s402：对得到的局部二值编码进行归一化处理，并基于时空金字塔池化的方法形成一段时空图像的最终描述子。
对得到的局部二值编码进行归一化处理，得到相应时空图像块的lbp直方图，利用稀疏编码对lbp描述子进行稀疏表示，并基于时空金字塔池化的方法形成一段时空图像的最终描述子。
步骤s403：对rgb-d时空图像中的动作类型进行识别、分类。
为了能够实现对rgb-d时空图像中的动作类型进行识别、分类，采取两种不同的融合方式：特征融合和决策融合，其中特征融合将得到的rgb时空图像描述子和depth时空图像描述子进行融合，并输入到分类器中，得到最终的动作识别结果；而决策融合则是分别将rgb时空图像描述子，depth时空描述子分别通过分类器，对得到的分类结果进行融合。
图5是本发明实施例提供的lbp特征的获取装置实施例一的结构示意图。该lbp特征的获取装置可以为独立的服务器，也可以为集成在服务器中的装置，该装置可以通过软件、硬件或者软硬件结合的方式实现。如图5所示，该装置包括：
分割模块11用于将待处理的时空图像分割成多个时空图像块；
计算模块12用于计算各所述时空图像块中图像的每个像素点对应的像素差，所述像素差为各所述像素点的像素值与其他帧图像中和各所述像素点相邻的像素点的像素值之间的差；
确定模块13用于根据各所述像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp。
本发明实施例提供的lbp特征的获取装置，分割模块将待处理的时空图像分割成多个时空图像块，计算模块计算各所述时空图像块中图像的每个像素点对应的像素差，所述像素差为各所述像素点的像素值与其他帧图像中和各所述像素点相邻的像素点的像素值之间的差，确定模块用于根据各像素点对应的像素差，确定各所述时空图像块的局部二值模式lbp，由于在进行像素差计算时，通过计算时空图像块中中间帧图像的每个像素点与其他帧图像中和各像素点相邻的像素点的像素值之间的差，作为每个像素点对应的像素差，可以充分获取原始时空图像中的运动信息，而且，在确定各时空图像的局部二值模式时，通过无监督学习的模式进行紧致二值编码，使lbp更加紧致和有区分性。
图6是本发明实施例提供的lbp特征的获取装置实施例二的结构示意图，在图5所示实施例的基础上，所述计算模块12包括：确定子模块121和计算子模块122，其中：
确定子模块121用于确定各所述时空图像块的中间帧图像；
计算子模块122用于根据所述中间帧图像中各所述第一像素点的像素值、在所述中间帧图像的前δt时刻的图像中的至少一个第二像素点的像素值，以及在所述中间帧图像的后δt时刻的图像中的所述至少一个第二像素点的像素值，计算所述各所述第二像素点对应的像素差；其中，所述第二像素点为与所述第一像素点相邻的像素点。
可选的，所述计算子模块122具体用于：
步骤a：计算所述中间帧图像中所述第一像素点的像素值与前δt时刻的图像中第n个所述第二像素点的像素值之间的像素差dn1；
步骤b：计算所述中间帧图像中第n个所述第二像素点的像素值与前δt时刻的图像中所述第一像素点的像素值之间的差值dn2；
步骤c：计算所述中间帧图像中所述第一像素点的像素值与后δt时刻的图像中第n个所述第二像素点的像素值之间的差值
步骤d：计算所述中间帧图像中第n个所述第二像素点的像素值与后δt时刻的图像中所述第一像素点的像素值之间的差值
步骤e：将δt加一，并返回执行步骤a，直至δt等于1/2所述时空图像块的时间长度；
步骤f：根据公式
可选的，所述确定模块13具体用于：
根据各所述像素点对应的像素差，确定所述时空图像块的像素差矩阵；
根据所述像素差矩阵，确定各所述像素差的编码形式；
根据所述编码形式，确定所述时空图像块的lbp。
可选的，所述确定模块13还用于：
根据如下公式，计算所述像素差的编码形式；
其中，其中wij,k为第k个编码的映射函数，i,j,t表示时空图像块的大小，n表示时间t的最大取值，bijt,k为上述像素块的第k个二值编码是一个为0或1的数，μk为第k个二值编码的均值，pvijt为时空位置为(i,j,t)时空像素块计算得到的像素差向量，λ1和λ2表示权重系数。
本发明实施例提供的lbp特征的获取装置，可以执行上述图2所示的方法实施例，其实现原理和技术效果类似，在此不再赘述。
图7是本发明实施例提供的服务器的结构示意图。该服务器包括：处理器；存储器以及计算机程序，其中，该计算机程序被存储在存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如上任一实施例所述的方法的指令。
本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行前述任一实施例提供的数据查询方法。其中，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！