一种人脸视频检索方法和系统与流程

本发明涉及视频检索领域，尤其涉及一种人脸视频检索方法和系统。

背景技术：

随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。人们面临的问题已不再是视频内容的匮乏，而是面对浩如烟海的视频信息，如何快速、有效地找到自己需要的内容。其中，在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。人脸视频检索，成为公安用户监控系统中迫切需求。作为目前最流行的视频搜索技术，无论是基于非压缩域的视频内容检索和基于压缩域的视频内容检索，这种普通设计模式，没有利用人脸检索的特点，从而影响人脸视频检索技术的效率。

技术实现要素：

本发明实施例的目的在于提出一种人脸视频检索方法，旨在解决现有人脸视频检索技术效率低下的问题。

本发明实施例是这样实现的，一种人脸视频检索方法，所述方法包括以下步骤：

步骤A：判断当前搜索视频当前帧pic_t的判断参数par_t是否为1，若是则进入步骤B，否则，进入步骤E；

步骤B：使用第一视频搜索模式对当前帧进行搜索；

步骤C：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入步骤D；否则，结束；t表示搜索视频序列的帧序号，t的初始值为1；

步骤D：如果不存在sbk_t(i,j)＝1，则进入步骤E；否则进入步骤G。

sbk_t(i,j)表示bk_t(i,j)识别参数，bk_t(i,j)表示pic_t的第i行第j列解码块；

步骤E：如果当前搜索视频当前帧pic_t为帧内预测帧，则令tp_t＝bkh*bkw；否则，计算tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；

步骤F：如果tp_t＝0，则首先，设置所有sbk_t(i,j)＝0，然后进入步骤C；否则，如果tp_t≥0.9*bkh*bkw，则进入步骤B；否则，则进入步骤G；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；

步骤G：使用第二视频搜索模式对当前帧进行搜索，然后，进入步骤C；

第一视频搜索模式包括以下步骤：

解码当前搜索视频当前帧，获取解码图像；

对解码图像所有解码块作如下处理：如果bk_t(i,j)预测模式为子块预测模式,则进入细分判定模式；否则，进入粗分判定模式；

统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；

首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；

按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；

其中，sbk_t(i,j)＝sign(bk_t(i,j)|条件3)，条件3表示：bk_t(i,j)匹配目标。

本发明实施例的另一目的在于提出一种人脸视频检索系统,所述系统包括：

第一判断处理模块，用于判断当前搜索视频当前帧pic_t的判断参数par_t是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；

其中，par_t表示pic_t的判断参数，pic_t表示当前搜索视频第t帧，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1_或者pic_{t为帧内预测帧或者}tp_t≥0.9*bkh*bkw；tp_t为场景切换参数，tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(_变量|_条件)表示对满足条件的变量求和；条件2表示：bk_t(i,j)为帧内预测块或者至少包含一个帧内预测子块；bk_t(i,j)表示pic_t的第i行第j解码块bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；

第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；

第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束；

第三判断处理模块，用于判断是否存在存在sbk_t(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；

场景切换参数计算模块，用于判断如果当前搜索视频当前帧pic_t为帧内预测帧，则令tp_t＝bkh*bkw；否则计算tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；

第四判断处理模块，用于判断是否tp_t＝0，若是则设置所有sbk_t(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tp_t≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置；

第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；

所述第一视频搜索装置包括：

解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；

预测模式判定模块，用于判断如果bk_t(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置；

第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；

第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；

第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；

其中，sbk_t(i,j)＝sign(bk_t(i,j)|条件3)，sbk_t(i,j)表示表示bk_t(i,j)的识别参数；条件3表示：bk_t(i,j)匹配目标。

本发明的有益效果

本发明提出一种人脸视频检索方法，本发明方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。

附图说明

图1是本发明优选实施例一种人脸视频检索方法流程图；

图2是图1中Step1的方法流程图；

图3是本发明优选实施例一种人脸视频检索系统结构图；

图4是图3中第一视频搜索装置结构图；

图5是图4中细分判定装置结构图；

图6是图4中粗分判定装置结构图；

图7是图3中第二视频搜索装置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明实施例提出一种人脸视频检索方法和系统，本发明实施例方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。

实施例一

图1是本发明优选实施例一种人脸视频检索方法流程图；所述方法包括以下步骤：

Step:0：判断参数par_t为1，则进入Step1，否则，进入Step4。

其中，par_t表示pic_t的判断参数，pic_t表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1_或者pic_{t为帧内预测帧或者}tp_t≥0.9*bkh*bkw；tp_t为场景切换参数，tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(_变量|_条件)表示对满足条件的变量求和；条件2表示：bk_t(i,j)为帧内预测块或者至少包含一个帧内预测子块；bk_t(i,j)表示pic_t的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；

Step1：使用第一视频搜索模式，对当前帧进行搜索。

第一视频搜索模式(图2是图1中Step1的方法流程图)：

Step11：解码当前搜索视频当前帧，获取解码图像。

Step12：根据人脸识别的特点，对解码图像划定搜索区域；即对解码图像所有解码块作如下处理：如果bk_t(i,j)预测模式为子块预测模式,即块作了进一步划分，则进入细分判定模式；否则，进入粗分判定模式。细分判定模式：

步骤A1：将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1。

步骤A2：如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非人脸视频搜索区域。第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。

粗分判定模式：

步骤B1：以块内像素点均值为单位作为肤色判定点，即用块内所有像素点相应分量的均值作为各色彩模型分量的值。

步骤B2：对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非人脸视频搜索区域。

所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：

要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、

要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、

要求6：Thres8<energy_UV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energy_UV<Thres13

其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)²+(g-1/3)²；构建绿色分量上界模型Gup＝a_upr²+b_upr+c_up，其中a_up,b_up,c_up为模型参数，Gdown＝a_downr²+b_downr+c_down；其中a_down,b_down,c_down为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值；

第一视频搜索模式中，搜索区域包括人脸视频搜索区域和非人脸视频搜索区域；肤色判定点方法，也可以用业内公开的任何一种方法。

Step13：统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸。

Step14：首先，对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。

其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。

Step15：按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。

其中，sbk_t(i,j)＝sign(bk_t(i,j)|条件3)，sbk_t(i,j)表示表示bk_t(i,j)的识别参数；条件3表示：bk_t(i,j)匹配目标。

Step2：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step3；否则，结束。

Step3：如果不存在sbk_t(i,j)＝1，则进入Step4；否则进入Step6。

Step4：如果pic_t为帧内预测帧，则令tp_t＝bkh*bkw；否则，计算tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。

Step5：如果tp_t＝0，则首先，设置所有sbk_t(i,j)＝0，然后进入Step2；否则，如果tp_t≥0.9*bkh*bkw，则进入Step1；否则，则进入Step6。

Step6：使用第二视频搜索模式，对当前帧进行搜索，然后，进入Step2。

第二视频搜索模式：

Step61：如果bk_t(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，

如果spbk_t(i,j)＝1，则设置sbk_t(i,j)＝1，即表示当前块匹配目标；否则，则设置sbk_t(i,j)＝0，即表示当前块不匹配目标。

其中，spbk_t(i,j)表示bk_t(i,j)的参考块的识别参数。

Step62：对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。

Step63：首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。

其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。

Step64：按搜索区域解码块的匹配结果，对解码块进行识别参数标识。

实施例二

图3是本发明优选实施例一种人脸视频检索系统结构图；所述系统包括：

第一判断处理模块，用于判断当前搜索视频当前帧pic_t的判断参数par_t是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；

其中，par_t表示pic_t的判断参数，pic_t表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1_或者pic_{t为帧内预测帧或者}tp_t≥0.9*bkh*bkw；tp_t为场景切换参数，tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(_变量|_条件)表示对满足条件的变量求和；条件2表示：bk_t(i,j)为帧内预测块或者至少包含一个帧内预测子块；bk_t(i,j)表示pic_t的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；

第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；

第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束。

第三判断处理模块，用于判断是否存在存在sbk_t(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；

场景切换参数计算模块，用于判断如果当前搜索视频当前帧pic_t为帧内预测帧，则令tp_t＝bkh*bkw；否则计算tp_t＝sum(sign(bk_t(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。

第四判断处理模块，用于判断是否tp_t＝0，若是则设置所有sbk_t(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tp_t≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置。

第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；

进一步地，图4是图3中第一视频搜索装置结构图，所述第一视频搜索装置包括：

解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；

预测模式判定模块，用于判断如果bk_t(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置。

第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；

第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。

第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。

其中，sbk_t(i,j)＝sign(bk_t(i,j)|条件3)，sbk_t(i,j)表示表示bk_t(i,j)的识别参数；条件3表示：bk_t(i,j)匹配目标。

进一步地，图5是图4中细分判定装置结构图；

细分判定装置,包括块肤色像素点计数模块和第一人脸视频搜索区域划分模块，

块肤色像素点计数模块，用于将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；

第一人脸视频搜索区域划分模块，与块肤色像素点计数模块相连，用于判断如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非为人脸视频搜索区域。

第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。

图6是图4中粗分判定装置结构图；

粗分判定装置,包括块色彩模型分量值计算模块和第二人脸视频搜索区域划分模块，

块色彩模型分量值计算模块，用于以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；

第二人脸视频搜索区域划分模块，与块色彩模型分量值设定模块相连，用于对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非为人脸视频搜索区域。

所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：

要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、

要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、

要求6：Thres8<energy_UV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energy_UV<Thres13

其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)²+(g-1/3)²；构建绿色分量上界模型Gup＝a_upr²+b_upr+c_up，其中a_up,b_up,c_up为模型参数，Gdown＝a_downr²+b_downr+c_down；其中a_down,b_down,c_down为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值；肤色判定点方法，也可以用业内公开的任何一种方法。

进一步地，图7是图3中第二视频搜索装置结构图，所述第二视频搜索装置包括：

第二搜索区域划定模块，用于判断如果bk_t(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbk_t(i,j)＝1，则设置sbk_t(i,j)＝1，即表示当前块匹配目标；否则，则设置sbk_t(i,j)＝0，即表示当前块不匹配目标。其中，spbk_t(i,j)表示bk_t(i,j)的参考块的识别参数。

第二尺寸统一模块，与第二搜索区域划定模块相连，用于对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。

第二目标图像搜索模块，用于首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。

其中，所述上述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。

第二识别参数标识模块，用于按搜索区域解码块的匹配结果，对解码块进行识别参数标识。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。