人脸追踪的方法
【专利摘要】本发明公开了一种人脸追踪的方法，用以检测并追踪一时间区间内出现于同一区域的至少一人脸。本发明的方法包括一图像取得步骤，至少一整幅图像的人脸检测步骤以及至少一人脸追踪步骤。于人脸追踪步骤中，于当前图像中的一人脸图像附近设置多个追踪框，并计算当前图像的人脸图像与下一图像中对应每一追踪框的位置所包含的图像之间的相似度，而判断该人脸是否出现于下一图像中。本发明方法可以缩短人脸追踪所需的时间。
【专利说明】人脸追踪的方法
【技术领域】
[0001]本发明涉及一种人脸追踪的方法，尤其涉及一种追踪同一区域的多个人脸的方法。
【背景技术】
[0002]电视广告或者电视剧的播放效果如何，可以通过收视率来统计，但对于日益广泛使用的各种数字看板，其广告播放的效果并没有统一高效的系统进行统计。但如何根据观众的回馈来选择不同的广告播放以及评估观众对广告的关注程度，对广告商而言是非常重要的。因此，许多人开始开发与数字看板前人数计算相关的技术，以下将说明目前已知的人数计算方法。
[0003]请参照至图1，图1显示公知的计算与追踪人次的方法的流程图。首先进行步骤110，提供一数据库，其中该数据库记录至少一笔人物信息，且每笔人物信息分别为不同的已追踪人物的追踪当时位置、外表特征，以及停留时间。
[0004]接着如步骤120所示，取得在一输入图像中表示待测人物的人物区域。其中，在取得输入图像之后，可利用任何计算机视觉相关技术(例如OpenCV开放源码函数库)来搜寻输入图像是否具有矩形框所组成的特征(例如Haar-1ike特征)，并利用适当的分类算法(例如AdaBoost算法)来检测所有可能是人物所在之处的人物候选区域，接着删除不适当的人物候选区域，而后取得各人物候选区域的颜色，并判断上述颜色是否为肤色以进一步从中筛选出人物区域。
[0005]接下来如步骤130所示，提取人物区域的目前位置与目前外表特征。
[0006]接着在步骤140中，将人物区域所对应的待测人物的目前位置及目前外表特征与数据库中的每笔人物信息进行比对，并以比对产生的相似度判断待测人物是否为任何已追踪人物。
[0007]以下将说明根据相似度来判断待测人物是否为任何已追踪人物的详细步骤。
[0008]首先，取得数据库中的一笔人物信息。接着计算所取得的人物信息与待测人物的目前外表特征的脸部纹理相似度以及身体纹理相似度。
[0009]除此之外，还必须计算所取得的人物信息相较于待测人物的目前位置的位移量。
[0010]最后，利用脸部纹理相似度、身体纹理相似度以及位移量来计算所取得的人物信息与待测人物的相似度。
[0011]重复自数据库中取得一笔人物信息并进行上述步骤，便可计算每笔人物信息分别与待测人物之间的多个相似度。
[0012]若多个相似度中的最高相似度的数值大于第一预设值，则判定待测人物相符于具有最闻相似度的已追踪人物。
[0013]此时如步骤150所示，依照待测人物的目前位置与目前外表特征更新数据库中相符的已追踪人物的人物信息。
[0014]接着回到步骤140，若所计算出的每个相似度均小于第二预设值，则判定待测人物与所有的已追踪人物均不相符。
[0015]此时如步骤160所示，在数据库新增一笔对应待测人物的人物信息，以将待测人物记录为新的已追踪人物。
[0016]在新增人物信息时若数据库的容量已到达临界容量，则先取得数据库中每笔人物信息最后一次的更新时间，接着将最久未被更新的人物信息删除。
[0017]综合以上所述可知，公知的计算与追踪人次的方法是于每一输入图像中检测表示待测人物的人物区域，再一一比对每一待测人物与数据库中的任何已追踪人物是否为同一人，以达成计算与追踪人次的目的。
[0018]公知的方法将耗费庞大的时间于每一输入图像的人脸检测作业，当数据库人数增多时，取得每一输入图像的待测人物后，再一一将待测人物与数据库中所有已追踪人物进行比对，又将提升整体的处理时间，使得公知的方法所需作业时间过长，且需要较好的设备以完成如此冗长而庞大的计算过程，并不符合多数人的需求。
[0019]再者，公知的方法于数据库容量到达临界容量时，会将最久未被更新的人物信息删除，如此将使得作业结束后有部分人物信息丢失，因此最终结果并不准确，若欲解决此问题只能分次处理数据，以避免人物信息过多而丢失，如此亦将造成处理时间的延长并提高作业的复杂度。
[0020]因此需要一种改良的计算与追踪人次的方法以克服公知的计算与追踪人次的方法问题。
【发明内容】
[0021]针对现有技术中存在的问题，本发明的目的在于提供一种运算快速的人脸追踪方法。
[0022]本发明的目的在于提供一种人脸追踪的方法，用以检测并追踪一时间区间内出现于同一区域的多个人脸，该方法包括:
[0023]一图像取得步骤，包括:
[0024]连续以同一视角拍摄同一区域以取得多个图像；
[0025]一第一人脸检测步骤，包括:
[0026]自该多个图像提取一当前图像；
[0027]检测整幅该当前图像是否具有人脸图像；以及
[0028]于检测到该当前图像中包含一第一人脸的图像时，将对应于该第一人脸的一第一人物信息存入一数据库；以及
[0029]一第一人脸追踪步骤，用以寻找该第一人脸是否存在于该当前图像的一下一图像中，包括:
[0030]于该当前图像中，以包含该第一人脸的一第一人脸框为中心设置多个第一追踪框；
[0031]提取该下一图像；
[0032]分别计算该下一图像中对应该多个第一追踪框之处所包含的图像与该第一人脸框内的图像的多个相似度；以及
[0033]于该下一图像中，对与该第一人脸框的图像具有最高相似度的该第一追踪框内的图像进行人脸检测，并于该具有最高相似度的该第一追踪框内包含一人脸图像时判断该人脸图像为该第一人脸图像并以对应于该具有最高相似度的该第一追踪框的信息更新该第一人物信息，而于该具有最高相似度的该第一追踪框内未包含该人脸图像时，判断该第一人脸不存在于该下一图像中并更新该第一人物信息。
[0034]于一较佳实施例中，其中该第一人物信息包括该第一人脸于每一图像的一位置、该第一人脸于每一图像的一追踪状态、该第一人脸的一存在巾贞数、该第一人脸的一脸部纹理特征以及该第一人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第一人脸的图像存在于一图像中时，该第一人脸的该追踪状态为该持续追踪状态，当该第一人脸的图像不存在于该图像中时，该第一人脸的该追踪状态为该丢失状态，而当该第一人脸的图像不存在于连续的多个图像中时，该第一人脸的该追踪状态则为该停止追踪状态。
[0035]于一较佳实施例中，其中，于该第一人脸追踪步骤后还包括一第二人脸追踪步骤，用以寻找该第一人脸是否存在于该下一图像的一后续图像中，其中，于具有最高相似度的该第一追踪框具有人脸图像时，该第二人脸追踪步骤包括:
[0036]于该下一图像中分别以每一该第一追踪框为中心设置多个第二追踪框，其中以每一该第一追踪框为中心设置的该第二追踪框的数目依据每一该第一追踪框的图像与该第一人脸图像的该相似度而定；
[0037]提取该下一图像的一后续图像；
[0038]分别计算该后续图像中对应该多个第二追踪框之处所包含的图像与该下一图像中该具有最高相似度的该第一追踪框内的图像的多个相似度；以及
[0039]于该后续图像中，对与具有最高相似度的该第一追踪框的相似度最高的一第二追踪框内的图像进行人脸检测，并于该具有最高相似度的该第二追踪框内包含一人脸图像时，判断该人脸图像为该第一人脸的图像并以对应于该具有最高相似度的该第二追踪框的信息更新该第一人物信息，而于该具有最高相似度的该第一追踪框内未包含该人脸图像时，判断该第一人脸不存在于该下一图像中并更新该第一人物信息。
[0040]于一较佳实施例中，其中，于该第二人脸追踪步骤之后还包括一第二人脸检测步骤，用以对该后续图像的全幅图像进行人脸检测，以检验该后续图像是否具有另一人脸图像。
[0041]于一较佳实施例中，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸且该具有最高相似度的该第二追踪框具该人脸图像时，进行一比对步骤以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括:
[0042]比较包含该第二人脸的一第二人脸框的位置与该具有最大相似度的该第二追踪框的位置；
[0043]于该第二人脸框的位置与该具有最大相似度的该第二追踪框的位置高比例重叠时，判断该第二人脸与该第一人脸为同一人并以对应于该第二人脸的一第二人物信息更新该第一人物信息，而于该第二人脸框的位置与该第二追踪框的位置未高比例重叠时，比对该第二人脸与该第一人脸的脸部纹理相似度以及该第二人脸与该第一人脸的脸部下方的颜色相似度；以及
[0044]于该第二人脸与该第一人脸的脸部纹理以及脸部下方的颜色相似度未超过一第一阀值时，判断第二人脸与第一人脸不是同一人并将对应于该第二人脸的该第二人物信息存入该数据库，而于该相似度超过该第一阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
[0045]于一较佳实施例中，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的一脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
[0046]于一较佳实施例中，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸且该具有最高相似度的该第二追踪框不具一人脸图像时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括:
[0047]比对该第二人脸与该第一人脸的脸部纹理相似度以及该第二人脸与该第一人脸的脸部下方的颜色相似度；以及
[0048]于该第二人脸与该第一人脸的脸部纹理与脸部下方的颜色相似度未超过一第一阀值时，判断该第二人脸与该第一人脸不是同一人并将对应于该第二人脸的一第二人物信息存入该数据库，而于相似度超过该第一阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
[0049]于一较佳实施例中，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的一脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
[0050]于一较佳实施例中，其中，于该第一人脸追踪步骤后还包括一第二人脸追踪步骤，用以寻找该第一人脸是否存在于该下一图像的一后续图像中，其中，于具有最高相似度的该第一追踪框不具有人脸图像时，该第二人脸追踪步骤包括:
[0051]提取该下一图像的一后续图像，对该后续图像中以对应该当前图像的该第一人脸框之处为中心的局部区域内的一第二追踪框内的图像进行人脸检测；
[0052]于该第二追踪框内不具有人脸图像时，判断该第一人脸不存在于该后续图像中并检验该第一人脸处于该丢失状态的帧数是否超过一第二阀值，若该第一人脸处于该丢失状态的帧数超过该第二阀值则不再于该后续图像的后续图像中寻找该第一人脸；
[0053]于该第二追踪框检测内具有一人脸图像时，比较该第一人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度；
[0054]于该第一人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度大于一第三阀值时，判断该人脸图像与该第一人脸为同一人并以对应于该第二追踪框内的信息更新该第一人物信息；[0055]于该脸部纹理相似度小于该第三阀值时，判断该第一人脸不存在于该后续图像中并检验该第一人脸处于该丢失状态的帧数是否超过该第二阀值，并于该第一人脸处于该丢失状态的帧数超过该第二阀值时不再于该后续图像的后续图像中寻找该第一人脸；以及
[0056]于该脸部纹理相似度小于该第三阀值时，判断该第二追踪框所包含的该人脸图像为不同于该第一人脸的一第三人脸的图像并将该第三人脸的一第三人物信息存入该数据库。
[0057]于一较佳实施例中，其中该第三人物信息包括该第三人脸于每一图像的一位置、该第三人脸于每一图像的一追踪状态、该第三人脸的一存在帧数、该第三人脸的一脸部纹理特征以及该第三人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第三人脸的图像存在于一图像中时，该第三人脸的该追踪状态为该持续追踪状态，当该第三人脸的图像不存在于该图像中时，该第三人脸的该追踪状态为该丢失状态，而当该第三人脸的图像不存在于连续的多个图像中时，该第三人脸的该追踪状态则为该停止追踪状态。
[0058]于一较佳实施例中，其中，于该第二人脸追踪步骤后还包括一第二人脸检测步骤，用以对该后续图像的全幅图像进行人脸检测，以检验该后续图像是否具有另一人脸图像。
[0059]于一较佳实施例中，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框所包含的该人脸图像与该第一人脸为同一人时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括:
[0060]比较包含该第二人脸图像的一第二人脸框与该第二追踪框的位置；
[0061]若高比例重叠，则判断该第二人脸与该第一人脸为同一人并以对应于该第二人脸的一第二人物信息更新该第一人物信息，若未高比例重叠，则比较该第二人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度以及该第二人脸与该第二追踪框所包含的该人脸图像的脸部下方的颜色相似度；以及
[0062]于该第二人脸与该第二追踪框所包含的该人脸图像的脸部纹理以及脸部下方的颜色相似度未超过一第三阀值时，判断该第二人脸与该第一人脸不是同一人并将对应于该第二人脸的该第二人物信息存入该数据库，而于该相似度超过该第三阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
[0063]于一较佳实施例中，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
[0064]于一较佳实施例中，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框所包含的该人脸图像为该第三人脸的图像时，进行一比对步骤，以检验该第二人脸与该第三人脸或该第一人脸是否为同一人，该比对步骤包括:
[0065]比较包含该第二人脸图像的一第二人脸框与该第二追踪框的位置；
[0066]若高比例重叠，则判断该第二人脸与该第三人脸为同一人，并以对应于该第二人脸的一第二人物信息更新该第一人物信息，若未高比例重叠，则分别比较该第二人脸与该第三人脸以及该第一人脸的脸部纹理相似度，并分别比较该第二人脸与该第三人脸以及该第一人脸的脸部下方的颜色相似度；以及
[0067]于该第二人脸与该第三人脸或该第一人脸的脸部纹理以及脸部下方的颜色相似度皆未超过一第三阀值时，判断该第二人脸与该第一人脸以及该第三人脸皆不是同一人，并将对应于该第二人脸的一第二人物信息存入该数据库，而于该第二人脸与该第三人脸或该第一人脸的脸部纹理以及脸部下方的颜色相似度超过该第三阀值时，判断该第二人脸与该第一人脸或该第三人脸为同一人，并以该第二人物信息更新该第一人物信息或该第三人物信息。
[0068]于一较佳实施例中，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
[0069]于一较佳实施例中，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框内不具有人脸图像时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括:
[0070]比对该第二人脸与该第一人脸的脸部纹理相似度，并比对该第二人脸与该第一人脸的脸部下方的颜色相似度；以及
[0071]于该第二人脸与该第一人脸的脸部纹理以及脸部下方的颜色相似度未超过一第三阀值时，判断该第二人脸与该第一人脸并非同一人并将对应于该第二人脸的一第二人物信息存入该数据库，而于该相似度超过该第三阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
[0072]于一较佳实施例中，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
[0073]于一较佳实施例中，还包括一人脸验证步骤，包括:
[0074]于满足一第一条件时，移动该数据库的所有人物信息至一临时存储区域；
[0075]于满足一第二条件时，移动该临时存储区域的一人物信息至一合并结果存储区域；
[0076]比对该临时存储区域的另一人物信息与该人物信息的相似度，于该相似度大于一第四阀值时，将该另一人物信息并入该人物信息，而于该相似度小于该第四阀值时，将该另一人物信息加入该合并结果存储区域；以及[0077]重复自该临时存储区域中取得任一人物信息并与该合并结果存储区域的所有人物信息进行比对至该临时存储区域的所有人物信息被并入或加入该合并结果存储区域为止。
[0078]于一较佳实施例中，其中该第一条件为该数据库的所有人物信息的数量到达一第五阀值。
[0079]于一较佳实施例中，其中该第一条件为已完成所有人脸追踪流程且该数据库的人物信息的数量不为O。
[0080]于一较佳实施例中，其中该第二条件为该临时存储区域的所有人物信息的数量到
达一第五阀值。
[0081]于一较佳实施例中，其中该第二条件为已完成所有人脸追踪流程，且该数据库的所有人物信息皆已被移入该临时存储区域。
[0082]本发明的有益效果在于，本发明提供了改善公知缺点的运算快速的追踪同一区域的多个人脸的方法。
【专利附图】
【附图说明】
[0083]图1为显示公知的计算与追踪人次的方法的流程图。
[0084]图2为显示本发明一较佳实施例的人脸追踪的方法的流程图。
[0085]图3为显示本发明一较佳实施例的人脸追踪方法的图像提取装置与电子看板的示意图。
[0086]图4为显示本发明一较佳实施例的第一人脸检测步骤的流程图。
[0087]图5为显示本发明一较佳实施例的第一人脸检测步骤于当前图像检测到多个人脸图像的示意图。
[0088]图6为显示本发明一较佳实施例的第一人脸追踪步骤的流程图。
[0089]图7为显示本发明一较佳实施例的当前图像中的多个第一追踪框的示意图。
[0090]图8A为显示本发明一较佳实施例的下一图像的示意图。
[0091]图SB为显示本发明一较佳实施例的下一图像中的多个第一追踪框的示意图。
[0092]图9A以及图9B为显示本发明一较佳实施例的第二人脸追踪步骤的流程图。
[0093]图10为显示本发明一较佳实施例的下一图像中的多个第二追踪框的示意图。
[0094]图11为显示本发明一较佳实施例的后续图像的示意图。
[0095]图12为显示本发明一较佳实施例的后续图像中的多个第二追踪框的示意图。
[0096]图13为显示本发明一较佳实施例的第二人脸检测步骤的流程图。
[0097]图14为显示本发明一较佳实施例的第二人脸检测步骤于后续图像检测到多个人脸图像的示意图。
[0098]图15A以及图15B为显示本发明一较佳实施例的人脸追踪的方法的人脸验证步骤的流程图。
[0099]其中，附图标记说明如下:
[0100]步骤110?步骤160 下一图像P2
[0101]步骤SI?步骤S6 后续图像P3
[0102]步骤S2f步骤S25 第一人脸3[0103]步骤S31?步骤S39 第二人脸4
[0104]步骤S40?步骤49 第三人脸5
[0105]步骤S441 第四人脸6
[0106]步骤S451 第五人脸7
[0107]步骤S461 第六人脸8
[0108]步骤S462 第七人脸9
[0109]步骤S471 第八人脸10
[0110]步骤S472 第九人脸11
[0111]步骤S481?步骤S486 第十人脸12
[0112]步骤S50?步骤S58 第一人脸框31
[0113]步骤S50a?步骤S58a 第二人脸框41
[0114]步骤S60?步骤S72 第三人脸框51
[0115]图像提取装置I 第四人脸框61
[0116]电子看板2 第五人脸框71
[0117]当前图像Pl 第六人脸框81
[0118]第七人脸框A 第二追踪框33a 33e
[0119]第八人脸框B 第二追踪框33aa、33ba
[0120]第九人脸框C 人物信息X
[0121]第十人脸框D 人物信息Y
[0122]第一追踪框32a?32e 人物信息Z
[0123]第一追踪框32aa?32ea
【具体实施方式】
[0124]依据本发明的具体实施例提供一种人脸追踪的方法，请参照至图2，图2为显示本发明一较佳实施例的人脸追踪的方法的流程图。
[0125]本发明的人脸追踪的方法包括以下步骤:
[0126]步骤S1:图像取得步骤；
[0127]步骤S2:第一人脸检测步骤；
[0128]步骤S3:第一人脸追踪步骤；
[0129]步骤S4:第二人脸追踪步骤；以及
[0130]步骤S5:第二人脸检测步骤。
[0131]需要强调的是，倘若可与本发明所达到的效果为实质上相同的，这些程序的步骤并不一定严格依循所示的步骤，也不需要是连续的，亦可以有其他的步骤插入其中。
[0132]以下详细说明每一步骤的操作方法。
[0133]请一并参照图3。图3为显示本发明一较佳实施例的人脸追踪方法的图像提取装置I与电子看板2的示意图。
[0134]首先，于图像取得步骤SI中，通过一图像提取装置1，例如摄影机，连续以同一视角拍摄同一区域以取得多个图像。
[0135]于一实际应用的实施例中，可将图像提取装置I设置于一电子看板2上，以同一视角取得一时间区间内的连续多个图像。
[0136]取得多个图像后，我们将检测并追踪该时间区间内出现于电子看板2前方的所有人脸。
[0137]首先说明步骤S2，请同时参照图2、图4以及图5，图4为显示本发明一较佳实施例的第一人脸检测步骤S2的流程图，图5为显示本发明一较佳实施例的第一人脸检测步骤S2于当前图像Pl检测到多个人脸图像的示意图。
[0138]如图4中步骤S21所示，首先自多个图像中提取当前图像P1，当前图像Pl可以是多个图像中的第一张图像，而后执行步骤S22，对整幅当前图像Pl进行人脸检测。
[0139]于本较佳实施例中可利用任何算法，利如Adaboost算法检测整幅当前图像Pl，以得到若干个可能的人脸候选区域，而后删除或合并相邻的人脸候选区域，最后剩下的人脸候选区域即为具有人脸图像的区域。
[0140]而后执行步骤S23，若判断于当前图像Pl中没有检测到人脸图像，则执行步骤S24，提取当前图像Pl的下一图像P2，并重复步骤S22。
[0141]请注意，图5所示的当前图像Pl仅为例示说明之用，并非用以限制本发明的当前图像Pl中的人脸数目以及人物状态。
[0142]如图5所示，于本较佳实施例中，当前图像Pl中包含第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7的图像。
[0143]而后执行步骤S25，将对应于第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7的人物信息存入数据库中。
[0144]人物信息包括，但不限于，每一人脸于每一图像的位置、每一人脸于每一图像的追踪状态、每一人脸的存在帧数、每一人脸的脸部纹理特征以及每一人脸的脸部下方的颜色特征。
[0145]需要补充说明的是,追踪状态包括持续追踪状态、丢失状态以及停止追踪状态。当一人脸的图像存在于一图像中时，该人脸的追踪状态为持续追踪状态，当一人脸的图像不存在于一图像中时，该人脸的追踪状态为丢失状态，而当一人脸的图像不存在于连续的多个图像中时(即连续多个图像中未检测到该人脸的图像)，该人脸的追踪状态则为停止追踪状态。
[0146]而第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7存在于当前图像Pl中，因此第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7于当前图像Pl的追踪状态为持续追踪状态，第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7于当前图像Pl的位置则为第一人脸框31、第二人脸框41、第三人脸框51、第四人脸框61以及第五人脸框71的位置。
[0147]接着说明步骤S3，请同时参照图6至图8，图6为显示本发明一较佳实施例的第一人脸追踪步骤S3的流程图，图7为显示本发明一较佳实施例的当前图像中的多个第一追踪框32a至32e的示意图，图8A为显示本发明一较佳实施例的下一图像P2的示意图，图8B为显示本发明一较佳实施例的下一图像P2中的多个第一追踪框32a至32e的示意图。
[0148]于步骤S3中，我们将寻找第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7是否存在于当前图像Pl的下一图像P2中。
[0149]首先执行步骤S31，于当前图像Pl分别以第一人脸框31、第二人脸框41、第三人脸框51、第四人脸框61以及第五人脸框71为中心设置多个第一追踪框32a、32b、32c、32d以及32e，如图7所示。
[0150]多个第一追踪框32a、32b、32c、32d以及32e的位置可依据，例如，高斯分布配置，也可平均分布于整幅当前图像P1，亦可随机分布。
[0151]须注意的是，图7中多个第一追踪框32a、32b、32c、32d以及32e的位置仅为例示说明之用，并非用以限制本发明的第一追踪框32a、32b、32c、32d以及32e的排列情形。
[0152]而后进行步骤S32，提取下一图像P2，接着执行步骤S33确认是否取得下一图像P2，若未于步骤S32找到下一图像P2，则执行步骤S34，终止所有流程。
[0153]于本较佳实施例中，以取得如图8A所示的下一图像P2的情形进行说明。
[0154]请注意，图8A所示的下一图像P2仅为例示说明之用，并非用以限制本发明的下一图像P2中的人脸数目以及人物状态。
[0155]如图SB所示，取得下一图像P2后，将进行步骤S35，分别计算下一图像P2中对应多个第一追踪框32a之处所包含的图像与第一人脸框31内的图像的多个相似度、下一图像P2中对应多个第一追踪框32b之处所包含的图像与第二人脸框41内的图像的多个相似度、下一图像P2中对应多个第一追踪框32c之处所包含的图像与第三人脸框51内的图像的多个相似度、下一图像P2中对应多个第一追踪框32d之处所包含的图像与第四人脸框61内的图像的多个相似度，以及下一图像P2中对应多个第一追踪框32e之处所包含的图像与第五人脸框71内的图像的多个相似度。
[0156]于本较佳实施例中，分别计算下一图像P2中对应多个第一追踪框32a、32b、32c、32d以及32e之处(如图SB所示)所包含的图像与第一人脸框31、第二人脸框41、第三人脸框51、第四人脸框61以及第五人脸框71内(如图5所示)的图像的纹理特征以及下方的颜色特征的相似度。
[0157]于本例中，第一追踪框32aa、32ba、32ca、32da以及32ea (如图8B所示)分别与第一人脸框31、第二人脸框41、第三人脸框51、第四人脸框61以及第五人脸框71具有最高相似度，表示第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7于下一图像P2中的可能出现位置分别为第一追踪框32aa、32ba、32ca、32da以及32ea的位置。
[0158]接下来执行步骤S36，于下一图像P2中对具有最高相似度的第一追踪框32aa、32ba.32ca.32da以及32ea内的图像进行人脸检测。于本较佳实施例中可利用任何算法，利如Adaboost算法，检测具有最高相似度的第一追踪框32aa、32ba、32ca、32da以及32ea内是否具有人脸图像。
[0159]接着执行步骤S37，检验具有最高相似度的第一追踪框32aa、32ba、32ca、32da以及32ea内是否包含人脸图像。
[0160]如图8B所不，具有最闻相似度的第一追踪框32aa以及第一追踪框32ba内具有人脸图像，因此判断具有最高相似度的第一追踪框32aa内的人脸图像为第一人脸3的图像，具有最高相似度的第一追踪框32ba内的人脸图像为第二人脸4的图像，并进行步骤S38，维持第一人脸3以及第二人脸4的追踪状态为持续追踪状态并更新数据库中第一人脸3以及第二人脸4的人物信息。
[0161]于步骤S38中，将以第一追踪框32aa的位置、第一追踪框32aa内所包含的人脸图像的脸部纹理特征以及第一追踪框32aa内所包含的人脸图像的脸部下方的颜色特征更新数据库中第一人脸3的人物信息。
[0162]并以第一追踪框32ba的位置、第一追踪框32ba内所包含的人脸图像的脸部纹理特征以及第一追踪框32ba内所包含的人脸图像的脸部下方的颜色特征更新数据库中第二人脸4的人物信息。
[0163]如图8B所示，具有最高相似度的第一追踪框32c、32d以及32e内未包含人脸图像，表示第三人脸5、第四人脸6以及第五人脸7可能因为改变姿势或者被遮挡等原因而暂时未出现于图像中，故进行步骤S39，将第三人脸5、第四人脸6以及第五人脸7的追踪状态自持续追踪状态更改为丢失状态，并更新数据库中第三人脸5、第四人脸6以及第五人脸7的人物信息。
[0164]接下来说明步骤S4，请同时参照图9A至图12，图9A以及图9B为显示本发明一较佳实施例的第二人脸追踪步骤S4的流程图。图10为显示本发明一较佳实施例的分布于下一图像P2中的多个第二追踪框33a与33b的示意图。图11为显示本发明一较佳实施例的后续图像P3的示意图，图12为显示本发明一较佳实施例的分布于后续图像P3中的多个第二追踪框33a至33e的示意图。
[0165]于步骤S4中，我们将继续寻找第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7是否存在于下一图像P2的后续图像P3中。
[0166]首先执行步骤S40，依据具有最高相似度的第一追踪框32aa、32ba、32ca、32da以及32ea内是否具有人脸图像决定后续步骤，亦即依据第一人脸3、第二人脸4、第三人脸5、第四人脸6以及第五人脸7的追踪状态为持续追踪状态或者丢失状态决定后续步骤。
[0167]于本较佳实施例中，第一人脸3与第二人脸4的追踪状态为持续追踪状态，即具有最高相似度的第一追踪框32aa与32ba内具有人脸图像，于是执行步骤S41，于下一图像P2中分别以多个第一追踪框32a与32b为中心设置多个第二追踪框33a与33b，如图10所
/Jn ο
[0168]以每一第一追踪框32a为中心设置的第二追踪框33a的数目依据每一第一追踪框32a的权重值而定，而权重值依据每一第一追踪框32a内的图像与第一人脸框31(如图5所示)内的图像的相似度而定。
[0169]亦即，与第一人脸框31 (如图5所示)内的图像相似度越高的第一追踪框32a，以其为中心设置的第二追踪框33a的数目越多。与第一人脸框31 (如图5所示)内的图像相似度越低的第一追踪框32a，以其为中心设置的第二追踪框33a数目则越少。
[0170]于本较佳实施例中，由于第一追踪框32aa内的图像与第一人脸框31 (如图5所示)内的图像相似度最高，因此，以第一追踪框32aa为中心设置的第二追踪框33a的数目将比其它第一追踪框32a多。
[0171]相同的，以每一第一追踪框32b为中心设置的第二追踪框33b的数目依据每一第一追踪框32b的权重值而定，于本例中，以第一追踪框32ba为中心设置的第二追踪框33b的数目将比其它第一追踪框32b多。
[0172]须注意的是，图10中多个第二追踪框33a与33b的位置仅为例示说明之用，并非用以限制本发明的第二追踪框33a与33b的排列情形。
[0173]而后进行步骤S42，提取下一图像P2的后续图像P3，并执行步骤S43，依据是否找到后续图像P3决定后续步骤，如果未找到后续图像P3，则执行步骤S44，终止所有流程。[0174]找到后续图像P3后，将同步进行步骤S45与步骤S441。
[0175]于本较佳实施例中，以取得如图11所示的后续图像P3的情形进行说明。
[0176]请注意，图11所示的后续图像P3仅为例示说明之用，并非用以限制本发明的下一图像P3中的人脸数目以及人物状态。
[0177]首先说明步骤45，分别计算后续图像P3中对应多个第二追踪框33a之处(如图12所示)所包含的图像与下一图像P2中具有最高相似度的第一追踪框32aa (如图SB所示)的图像的多个相似度。
[0178]并计算后续图像P3中对应多个第二追踪框33b之处(如图12所示)所包含的图像与下一图像P2中具有最高相似度的第一追踪框32ba (如图SB所示)的图像的多个相似度，以寻找第一人脸3与第二人脸4。
[0179]于本较佳实施例中，分别计算后续图像P3中对应多个第二追踪框33a之处所包含的图像与下一图像P2中具有最高相似度的第一追踪框32aa的图像的纹理特征以及下方的颜色特征的相似度。
[0180]同样的，于本较佳实施例中还分别计算后续图像P3中对应多个第二追踪框33b之处所包含的图像与下一图像P2中具有最高相似度的第一追踪框32ba的图像。
[0181]而后依据多个相似度重新分配每一第二追踪框33a与33b的权重值，亦即，与第一追踪框32aa与32ba (如图8B所示)具有最高相似度的第二追踪框33aa与33ba (如图12所示)，将具有最大权重值。
[0182]而具有最大权重值，亦即具有最闻相似度的第二追踪框33aa (如图12所不)的位置，即为第一人脸3于后续图像P3的可能出现位置，具有最高相似度的第二追踪框33ba(如图12所示)的位置，则为第二人脸4于后续图像P3的可能出现位置。
`[0183]而后执行步骤S46，于后续图像P3中，对具有最高相似度的第二追踪框33aa与33ba (如图11所示)内的图像进行人脸检测，于本较佳实施例中可利用任何算法，利如Adaboost算法，检测具有最闻相似度的第二追踪框33aa与33ba内是否具有人脸图像。
[0184]接下来进行步骤S47，检验于步骤S46中是否找到人脸图像，如图12所示，后续图像P3中具有最高相似度的第二追踪框33aa内包含人脸图像，因此判断具有最高相似度的第二追踪框33aa内的人脸图像为第一人脸3的图像，亦即成功于后续图像P3中寻找到第一人脸3，于是执行步骤S48，维持第一人脸3的追踪状态为持续追踪状态并更新第一人物信息。
[0185]于步骤S48中将以具有最闻相似度的第二追踪框33aa的位置、具有最闻相似度的第二追踪框33aa所包含的人脸图像的脸部纹理特征以及具有最高相似度的第二追踪框33aa所包含的人脸图像的脸部下方的颜色特征更新数据库中第一人脸3的人物信息。
[0186]而后续图像P3中具有最闻相似度的第二追踪框33ba内未包含人脸图像，表不未于后续图像P3中寻找到第二人脸4。
[0187]因此进行步骤S49，将第二人脸4的追踪状态自持续追踪状态更改为丢失状态后
更新第一人物信息。
[0188]此时第二人脸4可能因为改变姿势或者被遮挡等原因而暂时未出现于图像中，故仍需于后续图像中继续寻找第二人脸4。
[0189]需要补充说明的是，若某些追踪框的权重值太低，则于所述追踪框处找到第一人脸3或第二人脸4的图像的机率极低，故可将其删除不再使用。
[0190]接下来说明步骤S441。由于第一人脸追踪步骤S3时未于下一图像P2中找到第三人脸5、第四人脸6以及第五人脸7，因此无法利用下一图像P2的多个第一追踪框32c、32d以及32e的权重值继续于后续图像P3中寻找第三人脸5、第四人脸6以及第五人脸7。
[0191]故执行步骤S441，于后续图像P3中对应第三人脸5、第四人脸6以及第五人脸7上一次出现的位置，进行人脸检测。
[0192]于本较佳实施例中，第三人脸5、第四人脸6以及第五人脸7上一次出现的位置为当前图像Pl中第三人脸框51、第四人脸框61以及第五人脸框71之处(如图5所示)，因此步骤S441将对后续图像P3中以对应第三人脸框51之处为中心的局部区域内的图像(局部区域的范围将大于第三人脸框51的范围)，即第二追踪框33c (如图12所示)内的图像进行人脸检测。
[0193]相同的，亦将对后续图像P3中以对应第四人脸框61与第五人脸框71之处为中心的局部区域内的图像(局部区域的范围将大于第四人脸框61与第五人脸框71的范围)，即第二追踪框33d与33e (如图12所示)内的图像进行人脸检测。
[0194]而后进行步骤S451，检验是否于第二追踪框33c、33d以及33e内找到人脸图像。
[0195]首先，于步骤S441中并未于第二追踪框33e内检测到人脸图像，如图12所示，故第五人脸7仍处于丢失状态，由于第五人脸7若长期处于丢失状态，第五人脸7可能已经离开电子看板2前方，则不需要再于后续图像中寻找第五人脸7。
[0196]因此先执行步骤S461，检验第五人脸7处于丢失状态的帧数是否超过第二阀值，若处于丢失状态的帧数超过第二阀值则进行步骤S471，更改第五人脸7的追踪状态为停止追踪状态并更新数据库中第五人脸7的人物信息，而后将不再于后续图像中寻找第五人脸7的位置。
[0197]若第五人脸7处于丢失状态的帧数未超过第二阀值，则第五人脸7可能因为改变姿势或者被遮挡等原因而暂时未出现于图像中，故将于后续图像中继续寻找第五人脸7。
[0198]于是进行步骤S481，维持第五人脸7的追踪状态为丢失状态并更新第一人物信息，亦即仅标示第五人脸7暂时不存在于后续图像P3中而不做其他更动。
[0199]再者，于步骤S441中，将于第二追踪框33c与33d内检测到人脸图像，由于第三人脸5与第四人脸6于下一图像P2处于丢失状态，亦即并未于下一图像P2找到第三人脸5与第四人脸6，因此不确定后续图像P3中第二追踪框33c与33d内的图像是否为第三人脸5与第四人脸6的图像。
[0200]故先执行步骤S462，比较第三人脸5与第二追踪框33c所包含的人脸图像的脸部纹理相似度，以确认第二追踪框33c所包含的人脸图像是否就是第三人脸5。
[0201]而后再比较第四人脸6与第二追踪框33d所包含的人脸图像的脸部纹理相似度，以确认第二追踪框33d所包含的人脸图像是否就是第四人脸6。
[0202]而后执行步骤S472，检验脸部纹理相似度是否超过第三阀值。
[0203]于本较佳实施例中，第二追踪框33c所包含的人脸图像与第三人脸5的脸部纹理相似度大于第三阀值，因此判断第二追踪框33c所包含的人脸图像与第三人脸5为同一人，第二追踪框33c的位置即为第三人脸5于后续图像P3的出现位置。
[0204]于是进行步骤S482，将第三人脸5的追踪状态更改为持续追踪状态并更新数据库中第三人脸5的人物信息。
[0205]于步骤S482中，将以第二追踪框33c的位置、第二追踪框33c内的人脸图像的脸部纹理特征以及第二追踪框33c内的人脸图像的脸部下方的颜色特征更新数据库中第三人脸5的人物信息。
[0206]于本较佳实施例中，第二追踪框33d所包含的人脸图像与第四人脸6的脸部纹理相似度小于第三阀值，因此第二追踪框33d所包含的人脸图像与第一人脸3不是同一人。
[0207]亦即第二追踪框33b所包含的人脸图像是新增的一第六人脸8的图像，因此执行步骤S483，将对应于第二追踪框33d内的第六人脸8图像的人物信息存入数据库中。
[0208]第六人脸8的人物信息包括，但不限于，第六人脸8于每一图像的位置、第六人脸8于每一图像的追踪状态、第六人脸8的存在帧数、第六人脸8的脸部纹理特征以及第六人脸8的脸部下方的颜色特征。
[0209]第六人脸8于后续图像P3的位置为第二追踪框33d的位置，第六人脸8于后续图像P3的追踪状态则为持续追踪状态。
[0210]于本较佳实施例中，第四人脸6仍处于丢失状态，由于第四人脸6若长期处于丢失状态，第四人脸6可能已经离开电子看板2前方，则不需要再于后续图像中寻找第四人脸6。
[0211]于是执行步骤S484，检验第四人脸6处于丢失状态的帧数是否超过第二阀值。
[0212]若于步骤S484判断第四人脸6处于丢失状态的帧数超过第二阀值时，将不再于后续图像中寻找第四人脸6的位置，故进行步骤S485，更改第四人脸6的追踪状态为停止追踪状态并更新数据库中第四人脸6的人物信息。
[0213]若于步骤S484判断第四人脸6处于丢失状态的帧数未超过第二阀值时，第四人脸6可能因为改变姿势或者被遮挡等原因而暂时未出现于图像中，故仍须于后续图像中继续寻找第四人脸6。
[0214]因此进行步骤S486，维持第四人脸6的追踪状态为丢失状态并更新数据库中第四人脸6的人物信息。
[0215]本发明是于对固定帧数的后续图像P3?Pn执行第二人脸追踪步骤S4后，对后续图像Pn进行第二人脸检测步骤S5。
[0216]亦即于寻找数据库中处于持续追踪状态或者丢失状态的人脸图像是否出现于后续图像Pn中之后，将再次检验后续图像Pn中是否具有与数据库中已存在的人脸图像不同的新增的人脸图像，若有新增的人脸图像则将于后续图像Pn+a中一起寻找。
[0217]以下将以对后续图像P3进行第二人脸检测步骤S5的情形进行说明。
[0218]请同时参照图13至图14，图13为显示本发明一较佳实施例的第二人脸检测步骤S5的流程图，图14为显示本发明一较佳实施例的第二人脸检测步骤S5于后续图像P3检测到多个人脸的示意图。
[0219]首先执行步骤S50，对整幅后续图像P3进行人脸检测。
[0220]于本较佳实施例中可利用任何算法，利如Adaboost算法检测整幅后续图像P3，以得到若干个可能的人脸候选区域，而后删除或合并相邻的人脸候选区域，最后剩下的人脸候选区域即为具有人脸图像的区域。
[0221]于本较佳实施例中，将于后续图像P3中检测到如图14所示的第七人脸9、第八人脸10、第九人脸11以及第十人脸12。
[0222]而后进行比对步骤S51，以检验第七人脸9至第十人脸12与数据库中的所有人脸是否重复，于本较佳实施例中数据库中的所有人脸即为第一人脸3至第六人脸8。
[0223]由于已确认第一人脸3出现于后续图像P3中第二追踪框33aa之处、第三人脸5出现于后续图像P3中第二追踪框33c之处以及第六人脸8出现于后续图像P3中第二追踪框33d之处，故首先进行步骤S52，比较包含第七人脸9至第十人脸12的图像的第七人脸框A至第十人脸框D (如图14所示)的位置与第二追踪框33aa、33c以及33d (如图12所示)的位置。
[0224]首先，分别比较第七人脸框A的位置与处于持续追踪状态的第一人脸3、第三人脸5与第六人脸8于后续图像P3中的位置，于本较佳实施例中，第七人脸框A的位置与第二追踪框33aa、33c以及33d的位置皆未高比例重叠。
[0225]接着，比对第八人脸框B的位置与处于持续追踪状态的第一人脸3、第三人脸5与第六人脸8于后续图像P3中的位置，即后续图像P3中第二追踪框33aa、33c以及33d的位置。于本较佳实施例中，第八人脸框B的位置与第二追踪框33aa的位置高比例重叠，如图12以及图14所示，因此于步骤S53时，判断第八人脸10与第一人脸3为同一人，故执行步骤S54，以对应于第八人脸10的人物信息更新第一人脸3的人物信息。
[0226]于步骤S54中，将以第八人脸框B的位置、第八人脸10的脸部纹理特征以及第八人脸10的脸部下方的颜色特征更新第一人脸3于后续图像P3的位置、第一人脸3的脸部纹理特征以及第一人脸3的脸部下方的颜色特征。
[0227]接下来，比对第九人脸框C的位置与于后续图像P3中处于持续追踪状态的第三人脸5与第六人脸8于后续图像P3中的位置，由于第三人脸5于后续图像P3中的位置，即第二追踪框33c的位置与第九人脸框C的位置高比例重叠，因此判断第九人脸11与第三人脸5为同一人，故执行步骤S54，以对应于第九人脸11的人物信息更新第一人脸3的人物信
肩、O
[0228]最后，比对第十人脸框D的位置与处于持续追踪状态的第六人脸8于后续图像P3中的位置。于本较佳实施例中，第六人脸8于后续图像P3中的位置，即第二追踪框33d的位置与第十人脸框D的位置高比例重叠，因此判断第十人脸12与第六人脸8为同一人，故执行步骤S54，以对应于第十人脸12的人物信息更新第六人脸8的人物信息。
[0229]接下来请同时参照图13以及图14，由于第七人脸框A的位置与第二追踪框33aa、33c与33d的位置皆未高比例重叠，因此无法确定第七人脸9是否与第一人脸3至第六人脸8之中任一人为同一人，于是于步骤S53判断未高比例重叠后，将进行步骤S55，分别比较第七人脸9与数据库中所有人脸的脸部纹理相似度以及脸部下方的颜色相似度，于本较佳实施例中数据库中所有人脸即为第一人脸3至第六人脸8。
[0230]于本发明一较佳实施例中以脸部纹理相似度以及脸部下方的颜色相似度的加权总和计算最终相似度。
[0231]接着进行步骤S56，检验相似度是否超过第一阀值，于本较佳实施例中，第七人脸9与第一人脸3至第六人脸8的相似度皆未超过第一阀值，因此第七人脸9与第一人脸3至第六人脸8皆不是同一人。
[0232]因此执行步骤S57，由于第七人脸9第一次被找到，故将对应于第七人脸9的人物信息存入数据库，此时第七人脸9的追踪状态为持续追踪状态。
[0233]第七人脸9的人物信息包括，但不限于，第七人脸9于每一图像的位置、第七人脸9于每一图像的追踪状态、第七人脸9的存在帧数、第七人脸9的脸部纹理特征以及第七人脸9的脸部下方的颜色特征。
[0234]需要补充说明的是，若于其他较佳实施例中，当第七人脸9与第一人脸3至第六人脸8的其中一人脸的脸部纹理相似度以及脸部下方的颜色相似度超过第一阀值时，将判断第七人脸9与该人脸为同一人，而执行步骤S58，以第七人脸9的人物信息更新数据库中该人脸的人物信息。
[0235]于步骤S58中，将以第七人脸框A的位置、第七人脸9的脸部纹理特征以及第七人脸9的脸部下方的颜色特征更新该人脸于后续图像P3的位置、该人脸的脸部纹理特征以及该人脸的脸部下方的颜色特征。
[0236]请注意，以上皆以第二人脸检测步骤S5于后续图像P3中检测到四人脸图像的情形进行说明，但不论所检测到的人脸图像的数目为何，针对每一人脸图像执行的步骤皆相同。
[0237]以上步骤结束后将持续于固定帧数的后续图像Ρ4-Ρm中寻找已存入数据库中的所有人脸图像是否再次出现，并于固定帧数的后续图像PfPm的人脸追踪作业结束后，对后续图像Pm进行整幅图像的人脸检测作业。
[0238]此外，本发明一较佳实施例还包括人脸验证步骤S6，用以再次检验数据库中的所有人物息是否重复。
[0239]请参照至图15A以及图15B，图15A以及图15B为显示本发明一较佳实施例的人脸追踪的方法的人脸验证步骤S6的流程图。
[0240]首先，进行步骤S60，检验是否满足任一条件:(I)数据库中所有人物信息的数量到达第五阀值以及(2)已结束所有人脸追踪流程且数据库中的人物信息的数量不为O。
[0241]如果满足任一条件，则进行步骤S61，将数据库中所有人物信息移动至临时存储区域。
[0242]接着进行步骤S62，检验是否满足任一条件:(I)临时存储区域中所有人物信息的数量到达第五阀值以及(2)已结束所有人脸追踪流程且数据库中所有人物信息皆被移入临时存储区域。
[0243]如果满足任一条件，则进行步骤S63，将临时存储区域中任一人物信息X移动至合并结果存储区域，人物信息X可以是临时存储区域中的第一笔人物信息。
[0244]接着进行步骤S64，比对临时存储区域的另一人物信息Y与人物信息X的相似度，而后进行步骤S65，检验相似度是否大于第四阀值，并于相似度大于第四阀值时，执行步骤S66，以人物信息Y更新人物信息X，而于相似度小于第四阀值时，执行步骤S67，将人物信息Y加入合并结果存储区域。
[0245]接下来执行步骤S68，比对临时存储区域的人物信息Z与合并结果存储区域的所有人物信息的相似度。
[0246]而后进行步骤S69，检验人物信息Z与合并结果存储区域任一人物信息的相似度是否大于第四阀值。
[0247]如果相似度大于第四阀值，则进行步骤S70，将人物信息Z并入与其相似度最高的人物信息，否则，进行步骤S71，将人物信息Z加入合并结果存储区域。
[0248]重复自临时存储区域中取得任一人物信息并与合并结果存储区域的所有人物信息进行比对，即能将临时存储区域的所有人物信息并入或加入合并结果存储区域，以确认没有重复的人物信息。
[0249]最后输出合并结果存储区域的所有人物信息，即能得到该时间区间内于电子看板2前方停留的人数，并能依据每一人的存在帧数而得到每一人的停留时间。
[0250]此外，若于步骤S60或步骤S62时判断未满足任何条件，则进行步骤S72，结束人脸验证步骤。
[0251]再次强调，倘若可与本发明所达到的效果为实质上相同的，这些程序的步骤并不一定严格依循所示的步骤，也不需要是连续的，亦可以有其他的步骤插入其中。
[0252]由以上较佳实施例可知，本发明通过对一图像进行整幅图像的人脸检测并找到至少一人脸后，于后续固定帧数的图像利用比较追踪框相似度的方式寻找该人脸的可能出现位置，并检测可能出现位置是否具有人脸图像以进行确认。
[0253]而后于所述固定帧数的图像的最后一图像进行整幅图像的人脸检测，而不必于每一图像皆进行整幅图像的人脸检测，提高了整体的处理速度。
[0254]再者，本发明通过人脸验证步骤于数据库达容量临界值时将人物信息移入临时存储区域，再于临时存储区域达容量临界值时将人物信息移至合并结果存储区域进行比对，因此人物信息不会在人脸追踪过程中因数据库已满而被删除，增加了最终结果的准确度。
[0255]综合以上所述，本发明提供了改善公知缺点的运算快速的追踪同一区域的多个人脸的方法。
[0256]以上所述的实施例仅为说明本发明的技术思想与特点，其目的在使本领域技术人员能够了解本发明的内容并据以实施，当不能以之限定本发明的专利范围，即大凡依本发明所揭示的精神所作的等同变化或修饰，仍应涵盖在本发明的专利范围内。
【权利要求】
1.一种人脸追踪的方法，用以检测并追踪一时间区间内出现于同一区域的多个人脸，该方法包括: 一图像取得步骤，包括: 连续以同一视角拍摄同一区域以取得多个图像； 一第一人脸检测步骤，包括: 自该多个图像提取一当前图像； 检测整幅该当前图像是否具有人脸图像；以及 于检测到该当前图像中包含一第一人脸的图像时，将对应于该第一人脸的一第一人物信息存入一数据库；以及 一第一人脸追踪步骤，用以寻找该第一人脸是否存在于该当前图像的一下一图像中，包括: 于该当前图像中，以包含该第一人脸的一第一人脸框为中心设置多个第一追踪框； 提取该下一图像； 分别计算该下一图像中对应该多个第一追踪框之处所包含的图像与该第一人脸框内的图像的多个相似度；以及 于该下一图像中，对与该第一人脸框的图像具有最高相似度的该第一追踪框内的图像进行人脸检测，并于该具有最高相似度的该第一追踪框内包含一人脸图像时判断该人脸图像为该第一人脸图像并以对`应于该具有最高相似度的该第一追踪框的信息更新该第一人物信息，而于该具有最高相似度的该第一追踪框内未包含该人脸图像时，判断该第一人脸不存在于该下一图像中并更新该第一人物信息。
2.如权利要求1所述的人脸追踪的方法，其中该第一人物信息包括该第一人脸于每一图像的一位置、该第一人脸于每一图像的一追踪状态、该第一人脸的一存在帧数、该第一人脸的一脸部纹理特征以及该第一人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第一人脸的图像存在于一图像中时，该第一人脸的该追踪状态为该持续追踪状态，当该第一人脸的图像不存在于该图像中时，该第一人脸的该追踪状态为该丢失状态，而当该第一人脸的图像不存在于连续的多个图像中时，该第一人脸的该追踪状态则为该停止追踪状态。
3.如权利要求2所述的人脸追踪的方法，其中，于该第一人脸追踪步骤后还包括一第二人脸追踪步骤，用以寻找该第一人脸是否存在于该下一图像的一后续图像中，其中，于具有最高相似度的该第一追踪框具有人脸图像时，该第二人脸追踪步骤包括: 于该下一图像中分别以每一该第一追踪框为中心设置多个第二追踪框，其中以每一该第一追踪框为中心设置的该第二追踪框的数目依据每一该第一追踪框的图像与该第一人脸图像的该相似度而定； 提取该下一图像的一后续图像； 分别计算该后续图像中对应该多个第二追踪框之处所包含的图像与该下一图像中该具有最高相似度的该第一追踪框内的图像的多个相似度；以及 于该后续图像中，对与具有最高相似度的该第一追踪框的相似度最高的一第二追踪框内的图像进行人脸检测，并于该具有最高相似度的该第二追踪框内包含一人脸图像时，判断该人脸图像为该第一人脸的图像并以对应于该具有最高相似度的该第二追踪框的信息更新该第一人物信息，而于该具有最高相似度的该第一追踪框内未包含该人脸图像时，判断该第一人脸不存在于该下一图像中并更新该第一人物信息。
4.如权利要求3所述的人脸追踪的方法，其中，于该第二人脸追踪步骤之后还包括一第二人脸检测步骤，用以对该后续图像的全幅图像进行人脸检测，以检验该后续图像是否具有另一人脸图像。
5.如权利要求4所述的人脸追踪的方法，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸且该具有最高相似度的该第二追踪框具有该人脸图像时，进行一比对步骤以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括: 比较包含该第二人脸的一第二人脸框的位置与该具有最大相似度的该第二追踪框的位置； 于该第二人脸框的位置与该具有最大相似度的该第二追踪框的位置高比例重叠时，判断该第二人脸与该第一人脸为同一人并以对应于该第二人脸的一第二人物信息更新该第一人物信息，而于该第二人脸框的位置与该第二追踪框的位置未高比例重叠时，比对该第二人脸与该第一人脸的脸部纹理相似度以及该第二人脸与该第一人脸的脸部下方的颜色相似度；以及 于该第二人脸与该第一人脸的脸部纹理以及脸部下方的颜色相似度未超过一第一阀值时，判断第二人脸与第一人脸不是同一人并将对应于该第二人脸的该第二人物信息存入该数据库，而于该相似度超过该第一阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
6.如权利要求5所述的人脸追踪的方法，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的一脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
7.如权利要求4所述的人脸追踪的方法，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸且该具有最高相似度的该第二追踪框不具有一人脸图像时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括: 比对该第二人脸与该第一人脸的脸部纹理相似度以及该第二人脸与该第一人脸的脸部下方的颜色相似度；以及 于该第二人脸与该第一人脸的脸部纹理与脸部下方的颜色相似度未超过一第一阀值时，判断该第二人脸与该第一人脸不是同一人并将对应于该第二人脸的一第二人物信息存入该数据库，而于相似度超过该第一阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
8.如权利要求7所述的人脸追踪的方法，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的一脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
9.如权利要求2所述的人脸追踪的方法，其中，于该第一人脸追踪步骤后还包括一第二人脸追踪步骤，用以寻找该第一人脸是否存在于该下一图像的一后续图像中，其中，于具有最高相似度的该第一追踪框不具有人脸图像时，该第二人脸追踪步骤包括: 提取该下一图像的一后续图像，对该后续图像中以对应该当前图像的该第一人脸框之处为中心的局部区域内的一第二追踪框内的图像进行人脸检测； 于该第二追踪框内不具有人脸图像时，判断该第一人脸不存在于该后续图像中并检验该第一人脸处于该丢失状态的帧数是否超过一第二阀值，若该第一人脸处于该丢失状态的帧数超过该第二阀值则不再于该后续图像的后续图像中寻找该第一人脸； 于该第二追踪框检测内具有一人脸图像时，比较该第一人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度； 于该第一人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度大于一第三阀值时，判断该人脸图像与该第一人脸为同一人并以对应于该第二追踪框内的信息更新该第一人物信息； 于该脸部纹理相似度小于该第三阀值时，判断该第一人脸不存在于该后续图像中并检验该第一人脸处于该丢失状态的帧数是否超过该第二阀值，并于该第一人脸处于该丢失状态的帧数超过该第二阀值时不再于该后续图像的后续图像中寻找该第一人脸；以及 于该脸部纹理相似度小于该第三阀值时，判断该第二追踪框所包含的该人脸图像为不同于该第一人脸的一第三人脸的图像并将该第三人脸的一第三人物信息存入该数据库。
10.如权利要求9所述的人脸追踪的方法，其中该第三人物信息包括该第三人脸于每一图像的一位置、该第三人脸于每一图像的一追踪状态、该第三人脸的一存在帧数、该第三人脸的一脸部纹理特征以及该第三人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第三人脸的图像存在于一图像中时，该第三人脸的该追踪状态为该持续追踪状态，当该第三人脸的图像不存在于该图像中时，该第三人脸的该追踪状态为该丢失状态，而当该第三人脸的图像不存在于连续的多个图像中时，该第三人脸的该追踪状态则为该停止追踪状态。
11.如权利要求10所述的人脸追踪的方法，其中，于该第二人脸追踪步骤后还包括一第二人脸检测步骤，用以对该后续图像的全幅图像进行人脸检测，以检验该后续图像是否具有另一人脸图像。
12.如权利要求11所述的人脸追踪的方法，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框所包含的该人脸图像与该第一人脸为同一人时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括: 比较包含该第二人脸图像的一第二人脸框与该第二追踪框的位置； 若高比例重叠，则判断该第二人脸与该第一人脸为同一人并以对应于该第二人脸的一第二人物信息更新该第一人物信息，若未高比例重叠，则比较该第二人脸与该第二追踪框所包含的该人脸图像的脸部纹理相似度以及该第二人脸与该第二追踪框所包含的该人脸图像的脸部下方的颜色相似度；以及于该第二人脸与该第二追踪框所包含的该人脸图像的脸部纹理以及脸部下方的颜色相似度未超过一第三阀值时，判断该第二人脸与该第一人脸不是同一人并将对应于该第二人脸的该第二人物信息存入该数据库，而于该相似度超过该第三阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
13.如权利要求12所述的人脸追踪的方法，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
14.如权利要求11所述的人脸追踪的方法，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框所包含的该人脸图像为该第三人脸的图像时，进行一比对步骤，以检验该第二人脸与该第三人脸或该第一人脸是否为同一人，该比对步骤包括: 比较包含该第二人脸图像的一第二人脸框与该第二追踪框的位置； 若高比例重叠，则判断该第二人脸与该第三人脸为同一人，并以对应于该第二人脸的一第二人物信息更新该第一人物信息，若未高比例重叠，则分别比较该第二人脸与该第三人脸以及该第一人脸的脸部纹理相似度，并分别比较该第二人脸与该第三人脸以及该第一人脸的脸部下方的颜色相似度；以及 于该第二人脸与该第三人脸或该第一人脸的脸部纹理以及脸部下方的颜色相似度皆未超过一第三阀值时，判断该第二人脸与该第一人脸以及该第三人脸皆不是同一人，并将对应于该第二人脸的一第二人物信息存入该数据库，而于该第二人脸与该第三人脸或该第一人脸的脸部纹理以及脸部下方的颜色相似度超过该第三阀值时，判断该第二人脸与该第一人脸或该第三人脸为同一人，并以该第二人物信息更新该第一人物信息或该第三人物信肩、O
15.如权利要求14所述的人脸追踪的方法，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
16.如权利要求11所述的人脸追踪的方法，其中，于该第二人脸检测步骤于该后续图像中检测到一第二人脸，且该第二追踪框内不具有人脸图像时，进行一比对步骤，以检验该第二人脸与该第一人脸是否为同一人，该比对步骤包括: 比对该第二人脸与该第一人脸的脸部纹理相似度，并比对该第二人脸与该第一人脸的脸部下方的颜色相似度；以及 于该第二人脸与该第一人脸的脸部纹理以及脸部下方的颜色相似度未超过一第三阀值时，判断该第二人脸与该第一人脸并非同一人并将对应于该第二人脸的一第二人物信息存入该数据库，而于该相似度超过该第三阀值时，判断该第二人脸与该第一人脸为同一人并以该第二人物信息更新该第一人物信息。
17.如权利要求16所述的人脸追踪的方法，其中该第二人物信息包括该第二人脸于每一图像的一位置、该第二人脸于每一图像的一追踪状态、该第二人脸的一存在帧数、该第二人脸的脸部纹理特征以及该第二人脸的脸部下方的一颜色特征，其中该追踪状态包括一持续追踪状态、一丢失状态以及一停止追踪状态，当该第二人脸的图像存在于一图像中时，该第二人脸的该追踪状态为该持续追踪状态，当该第二人脸的图像不存在于该图像中时，该第二人脸的该追踪状态为该丢失状态，而当该第二人脸的图像不存在于连续的多个图像中时，该第二人脸的该追踪状态则为该停止追踪状态。
18.如权利要求1所述的人脸追踪的方法，更包括一人脸验证步骤，包括: 于满足一第一条件时，移动该数据库的所有人物信息至一临时存储区域； 于满足一第二条件时，移动该临时存储区域的一人物信息至一合并结果存储区域； 比对该临时存储区域的另一人物信息与该人物信息的相似度，于该相似度大于一第四阀值时，将该另一人物信息并入该人物信息，而于该相似度小于该第四阀值时，将该另一人物信息加入该合并结果存储区域；以及 重复自该临时存储区域中取得任一人物信息并与该合并结果存储区域的所有人物信息进行比对至该临时存储区域的所有人物信息被并入或加入该合并结果存储区域为止。
19.如权利要求18所述的人脸追踪的方法，其中该第一条件为该数据库的所有人物信息的数量到达一第五阀值。
20.如权利要求19所述的人脸追踪的方法，其中该第一条件为已完成所有人脸追踪流程且该数据库的人物信息的数量不为O。
21.如权利要求18所述的人脸追踪的方法，其中该第二条件为该临时存储区域的所有人物信息的数量到达一第五阀值。
22.如权利要求21所述的人脸追踪的方法，其中该第二条件为已完成所有人脸追踪流程，且该数据库的所有人物信息皆已被移入该临时存储区域。
【文档编号】G06K9/00GK103679125SQ201210357801
【公开日】2014年3月26日 申请日期:2012年9月24日 优先权日:2012年9月24日
【发明者】黄英杰, 刘旭华, 贾千文 申请人:致伸科技股份有限公司