一种分析图像的方法及装置制造方法
【专利摘要】本发明实施例公开了一种分析图像的方法及装置，涉及计算机视觉【技术领域】，能够从预设的训练样本中自动学习较优的特征和比对方式，并通过掩模模板自适应的抑制对物体检测和视角估计作用较小或基本无用的信息，提高了物体检测和视角估计准确性，从而提高了分析图像过程的准确性。本发明的方法包括：根据预设的训练样本得到待定参数的值；根据第一级神经网络和待定参数生成掩模模板，根据掩模模板对待处理图像进行图像掩模处理，得到掩模处理后的图像；根据第二级神经网络和待定参数分析掩模处理后的图像，得到掩模处理后的图像的分析结果。本发明适用于对图像中物体进行分析处理。
【专利说明】一种分析图像的方法及装置
【技术领域】
[0001] 本发明涉及计算机视觉【技术领域】，尤其涉及一种分析图像的方法及装置。
【背景技术】
[0002] 目前计算机视觉技术得到了广泛应用，并且发展出了很多分析、处理图像的方法。 当需要对图像中的一个物体执行跟踪、识别和行为分析等处理过程时，通常需要对于所拍 摄的图像中的物体进行检测和物体的视角估计。
[0003] 在现有技术中，主要通过可形变部件模型对目标物体进行检测和视角估计。例如： 将人体作为目标物体，并针对目标物体的全部或部分特征设定可形变部件模型，可形变部 件模型包括了人体在运动过程中的特征。
[0004] 在图像中识别出模型的特征，并将图像中具有模型的特征的这部分区域的物体作 为目标物体或目标物体的一部分。由于在实际场景中的目标物体可能是非刚体，由于拍摄 角度的变化、目标物体形状的改变、或者光线强度的改变等原因，使图像中的目标物体的特 征往往会有较大的变化，这就导致预先设定好的模型无法准确对应上目标物体的特征，从 而导致通过可形变部件模型对目标物体进行识别检测或视角估计时的准确度降低。
[0005] 因此，可形变部件模型中可用于目标物体识别的特征是有限的，在对非刚体的分 析过程中可形变部件模型的灵活性较差，难以准确的检测和视角估计，从而降低了分析图 像过程的准确性。
【发明内容】
[0006] 本发明的实施例提供一种分析图像的方法及装置，能够提高检测和视角估计准确 度，从而提高分析图像过程的准确性。
[0007] 为达到上述目的，本发明的实施例采用如下技术方案：
[0008] 第一方面，本发明的实施例提供一种分析图像的方法，所述方法应用于一种图像 分析系统，所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板，还用于 通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像；所述方法包括：
[0009] 根据预设的训练样本得到待定参数的值，所述训练样本包括样本图像和样本图像 参数，其中，样本图像参数用于表示在样本图像是否包含目标物体，还用于表示包含所述目 标物体时所述目标物体在所述样本图像中的视角；
[0010]根据所述第一级神经网络和所述待定参数生成掩模模板，根据所述掩模模板对待 处理图像进行图像掩模处理，得到掩模处理后的图像；
[0011]根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像，得到所述 掩模处理后的图像的分析结果，所述分析结果包括：目标物体检测结果和视角估计结果中 的至少一项。
[0012]结合第一方面，在第一方面的第一种可能的实现方式中，所述根据预设的训练样 本得到待定参数的值包括：
[0013] 将所述待定参数设定为第1赋值；
[0014]在一个周期内，根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板， 所述训练样本包括了第1至N样本；并依据所述第1样本对应的掩模模板对所述第1样本 进行图像掩模处理；并通过所述第二级神经网络，根据所述第1赋值对经过所述图像掩模 处理的所述第1样本进行分析，并得到第1样本的分析结果；重复上述周期，并获取第1至 N样本在第1赋值下的分析结果；
[0015] 依次将所述待定参数设定为第2至X赋值，并依次获取第1至N样本在第2赋值 下的分析结果，直至在第X赋值下的分析结果； t〇〇16]根据第1至X赋值下的分析结果，确定目标赋值，并将所述目标赋值作为所述待定 参数的值。
[0017] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像，得到所述 掩模处理后的图像的分析结果，包括：
[0018] 通过所述第二级神经网络，根据所述目标赋值对所述掩模处理后的图像进行分 析，并得到所述掩模处理后的图像的分析结果。
[0019] 结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述根据第1至X赋值下的分析结果,确定目标赋值，并将所述目标赋值作为所述待定 参数的值包括：
[0020] 根据? - f1?翻？ - /+碼，获取所述第1至N样本在各个赋 ?'=1、 ./=1 y 值下的代价值E;
[0021] 其中，有N个训练样本队，12，…，IN}，所述N个训练样本对应的类标为 …和其中，表示第i号样本图像包含所述目标物体， 及f =〇表示第i号样本图像不包含所述目标物体，#表示在第i号样本图像中所述目标物 体的视角，Y=bc: …滅U, T表示视角被离散化为U，2,…，T}，#fKT个分量中 最多只有一个分量等于1，其他分量均为0, λ表示预设系数： mk表示所述掩 模模板的第k个点的值，rk为mk到所述掩模模板中心点的距离；M = fM(I)，fM表不所述第 一级神经网络的映射函数，Μ表示所述掩模模板，I表示所述训练样本中的样本图像，Im = min {I，M}即求I和Μ的各个对应元素的最小值，IM表示经过所述图像掩模处理后的样本图 像，qv表示视角估计结果，q D表示目标物体检测结果，且qv = fv(IM)，qD = fD(IM) ;fv和fD分 别表示所述第二级神经网络的映射函数；
[0022] 将代价值最小的赋值作为所述目标赋值。
[0023] 结合第一方面、以及第一方面的第一至第三种可能的实现方式，在第一方面的第 四种可能的实现方式中，在根据预设的训练样本得到待定参数的值之前，还包括：
[0024] 获取样本集合中的一部分样本图像参数，并将所述一部分样本图像和所述一部分 样本图像参数作为所述预设的训练样本；
[0025] 并将所述样本集合中的另一部分样本图像作为所述待处理图像。
[0026]第二方面，本发明的实施例提供一种分析图像的装置，所述装置应用于一种图像 分析系统，所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板，还用于 通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像；所述装置包括： [0027] 第一获取模块，用于根据预设的训练样本得到待定参数的值，所述训练样本包括 样本图像和样本图像参数，其中，样本图像参数用于表示在样本图像是否包含目标物体，还 用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角；
[0028] 第一处理模块，用于根据所述第一级神经网络和所述待定参数生成掩模模板，根 据所述掩模模板对待处理图像进行图像掩模处理，得到掩模处理后的图像；
[0029]分析模块，用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的 图像，得到所述掩模处理后的图像的分析结果，所述分析结果包括：目标物体检测结果和视 角估计结果中的至少一项。
[0030] 结合第二方面，在第二方面的第一种可能的实现方式中，所述第一获取模块包 括：
[0031] 赋值单元，用于将所述待定参数设定为第1赋值；
[0032] 第一处理单元，用于在一个周期内，根据所述第1赋值和第1样本获取所述第1样 本对应的掩模模板，所述训练样本包括了第1至N样本；并依据所述第1样本对应的掩模模 板对所述第1样本进行图像掩模处理；并通过所述第二级神经网络，根据所述第1赋值对经 过所述图像掩模处理的所述第1样本进行分析，并得到第1样本的分析结果；
[0033] 第二处理单元，用于重复上述周期，并获取第1至N样本在第1赋值下的分析结 果；
[0034] 第三处理单元，用于依次将所述待定参数设定为第2至X赋值，并依次获取第1至 N样本在第2赋值下的分析结果，直至在第X赋值下的分析结果；
[0035] 获取单元，用于根据第1至X赋值下的分析结果，确定目标赋值，并将所述目标赋 值作为所述待定参数的值。
[0036] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述分析模块，包括：
[0037]分析单元，用于通过所述第二级神经网络，根据所述目标赋值对所述掩模处理后 的图像进行分析，并得到所述掩模处理后的图像的分析结果。
[0038]结合第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述获取单元包括：
[0039] 获取子单元，用于根据
【权利要求】
1. 一种分析图像的方法，其特征在于，所述方法应用于一种图像分析系统，所述图像分 析系统至少用于通过第一级神经网络得到图像的掩模模板，还用于通过第二级神经网络根 据所述第一级神经网络得到的掩模模板处理图像；所述方法包括： 根据预设的训练样本得到待定参数的值，所述训练样本包括样本图像和样本图像参 数，其中，样本图像参数用于表示在样本图像是否包含目标物体，还用于表示包含所述目标 物体时所述目标物体在所述样本图像中的视角； 根据所述第一级神经网络和所述待定参数生成掩模模板，根据所述掩模模板对待处理 图像进行图像掩模处理，得到掩模处理后的图像； 根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像，得到所述掩模 处理后的图像的分析结果，所述分析结果包括：目标物体检测结果和视角估计结果中的至 少一项。
2. 根据权利要求1所述的分析图像的方法，其特征在于，所述根据预设的训练样本得 到待定参数的值包括：将所述待定参数设定为第1赋值； 在一个周期内，根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板，所述 训练样本包括了第1至Ν样本；并依据所述第1样本对应的掩模模板对所述第1样本进行 图像掩模处理；并通过所述第二级神经网络，根据所述第1赋值对经过所述图像掩模处理 的所述第1样本进行分析，并得到第1样本的分析结果；重复上述周期，并获取第1至Ν样 本在第1赋值下的分析结果； 依次将所述待定参数设定为第2至X赋值，并依次获取第1至Ν样本在第2赋值下的 分析结果，直至在第X赋值下的分析结果； 根据第1至X赋值下的分析结果，确定目标赋值，并将所述目标赋值作为所述待定参数 的值。
3. 根据权利要求2所述的分析图像的方法，其特征在于，所述根据所述第二级神经网 络和所述待定参数分析所述掩模处理后的图像，得到所述掩模处理后的图像的分析结果， 包括： 通过所述第二级神经网络，根据所述目标赋值对所述掩模处理后的图像进行分析，并 得到所述掩模处理后的图像的分析结果。
4. 根据权利要求2所述的分析图像的方法，其特征在于，所述根据第1至X赋值下的分 析结果，确定目标赋值，并将所述目标赋值作为所述待定参数的值包括 ： 根据五=|;[-/^雜#^/#1^丨〇8^>興]，获取所述第1至謂本在各个赋值 ?Λ Μ 1 下的代价值Ε; 其中，有Ν个训练样本{I" 12,…，ΙΝ}，所述Ν个训练样本对应的类标为，…， 和…，/?，其中，^ = 1表示第i号样本图像包含所述目标物体，興^ =0表示第 i号样本图像不包含所述目标物体，表示在第i号样本图像中所述目标物体的视角， = …表示视角被离散化为{1，2,…，Τ}，；；, 1的T个分量中最多只有 一个分量等于1，其他分量均为0, λ表示预设系数' ink表示所述掩模模板的 第k个点的值，rk为mk到所述掩模模板中心点的距尚；M = fM(I)，fM表不所述弟一级神经 网络的映射函数，Μ表示所述掩模模板，I表示所述训练样本中的样本图像，Im = min {I，M} 即求i和μ的各个对应元素的最小值，ιΜ表示经过所述图像掩模处理后的样本图像，q表 示视角估计结果，q D表示目标物体检测结果，且qV = fv (IM)，dD = fD (IM) ;fv和4分别表示 所述第二级神经网络的映射函数； 将代价值最小的赋值作为所述目标赋值。
5. 根据权利要求1-4中的任意一项所述的分析图像的方法，其特征在于，在根据预设 的训练样本得到待定参数的值之前，还包括： 获取样本集合中的一部分样本图像参数，并将所述一部分样本图像和所述一部分样本 图像参数作为所述预设的训练样本； 并将所述样本集合中的另一部分样本图像作为所述待处理图像。
6. -种分析图像的装置，其特征在于，所述装置应用于一种图像分析系统，所述图像分 析系统至少用于通过第一级神经网络得到图像的掩模模板，还用于通过第二级神经网络根 据所述第一级神经网络得到的掩模模板处理图像；所述装置包括： 第一获取模块，用于根据预设的训练样本得到待定参数的值，所述训练样本包括样本 图像和样本图像参数，其中，样本图像参数用于表示在样本图像是否包含目标物体，还用于 表示包含所述目标物体时所述目标物体在所述样本图像中的视角； 第一处理模块，用于根据所述第一级神经网络和所述待定参数生成掩模模板，根据所 述掩模模板对待处理图像进行图像掩模处理，得到掩模处理后的图像； 分析模块，用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图 像，得到所述掩模处理后的图像的分析结果，所述分析结果包括：目标物体检测结果和视角 估计结果中的至少一项。
7. 根据权利要求6所述的分析图像的装置，其特征在于，所述第一获取模块包括： 赋值单元，用于将所述待定参数设定为第1赋值； 第一处理单元，用于在一个周期内，根据所述第1赋值和第1样本获取所述第1样本对 应的掩模模板，所述训练样本包括了第1至N样本；并依据所述第1样本对应的掩模模板对 所述第1样本进行图像掩模处理；并通过所述第二级神经网络，根据所述第1赋值对经过所 述图像掩模处理的所述第1样本进行分析，并得到第1样本的分析结果； 第二处理单元，用于重复上述周期，并获取第1至N样本在第1赋值下的分析结果； 第三处理单元，用于依次将所述待定参数设定为第2至X赋值，并依次获取第1至N样 本在第2赋值下的分析结果，直至在第X赋值下的分析结果； 获取单元，用于根据第1至X赋值下的分析结果，确定目标赋值，并将所述目标赋值作 为所述待定参数的值。
8. 根据权利要求7所述的分析图像的装置，其特征在于，所述分析模块，包括： 分析单元，用于通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图 像进行分析，并得到所述掩模处理后的图像的分析结果。
9. 根据权利要求7所述的分析图像的装置，其特征在于，所述获取单元包括： / t λ 获取子单元，用于根据#=￡ i_f-利X，获取所述第i至Ν e=t ^ i.=l J 样本在各个赋值下的代价值E ; 其中，有N个训练样本{I"〗2，…，In}，所述N个训练样本对应的类标为 和|?【,乂,_..,；<}，其中，/#=1表示第1号样本图像包含所述目标物体，與^ = (1表示第 i号样本图像不包含所述目标物体，if表示在第i号样本图像中所述目标物体的视角， /4…#；^，了表示视角被离散化为U，2,…，T}，y的T个分量中最多只有 一个分量等于1，其他分量均为〇, λ表示预设系数；足，mk表示所述掩模模板的 第k个点的值，rk为mk到所述掩模模板中心点的距离；M = fM(I)，fM表示所述第一级神经 网络的映射函数，Μ表示所述掩模模板，I表示所述训练样本中的样本图像，= min|^M} 即求I和Μ的各个对应元素的最小值，IM表示经过所述图像掩模处理后的样本图像，qV ^ 示视角估计结果，qD表示目标物体检测结果，且f二心⑴，qD = fD (Im) ;fv和fD分别表示 所述第二级神经网络的映射函数； 处理子单元，用于将代价值最小的赋值作为所述目标赋值。 〃，
10.根据权利要求6_9中的任意一项所述的分析图像的装置，其特征在于，在第一获取 模块用于获取样本集合中的一部分样本图像参数，并将所述一部分样本图 像和所述一部分样本图像参数作为所述预设的训练样本； 第二处理模块，用于并将所述样本集合中的另-部分样本图像作为所述待处理图像。
【文档编号】G06T7/00GK104217433SQ201410439141
【公开日】2014年12月17日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】杨林杰, 黎伟, 许春景, 刘健庄, 汤晓鸥 申请人:华为技术有限公司