分析装置、分析方法和程序与流程

本发明涉及分析装置、分析方法和程序。

背景技术：

专利文献1和2公开了检测车辆上的人的数量的装置。

专利文献1公开了这样一种装置，该装置通过分析从车辆的侧面捕捉的图像来检测人的侧面像，并基于检测结果来决定车辆上的人的数量。

专利文献2公开了这样一种装置，该装置通过对连续捕捉车辆图像而得到的多个图像中的每个图像进行分析来检测人，基于每个图像中车辆的外观来估计每个检测到的人坐在车辆中的哪个座位上，并且基于确定被坐着的座位的数量来决定车辆上的人的数量。

相关文献

专利文献

专利文献1：国际公开小册子no.wo2014/061195

专利文献2：国际公开小册子no.wo2014/064898

技术实现要素：

技术问题

本发明的目的是提供一种用于检测车辆上的人的数量的新技术。

技术方案

根据本发明，提供了一种分析装置，包括：图像分析单元，从通过对同一车辆从不同方向多次成像获得的多个图像的每个图像，检测车辆的预定部分和车辆上的人，并且检测多个人中的每个人在以检测到的预定部分作为参考的坐标系中的坐标；分组单元，基于坐标对从不同图像检测到的人进行分组；以及计数单元，对组的数量进行计数。

根据本发明，提供了一种由计算机执行的分析方法，该方法包括：图像分析步骤，从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测车辆的预定部分和车辆上的人，并且检测多个人中的每个人在以检测到的预定部分作为参考的坐标系中的坐标；分组步骤，基于坐标对从不同图像检测到的人进行分组；以及计数步骤，对组的数量进行计数。

根据本发明，提供了一种程序，所述程序使计算机用作：图像分析单元，从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测车辆的预定部分和车辆上的人，并且检测多个人中的每个人在以检测到的预定部分作为参考的坐标系中的坐标；分组单元，基于坐标对从不同图像检测到的人进行分组；以及计数单元，对组的数量进行计数。

发明的有益效果

根据本发明，实现了一种用于检测车辆上的人的数量的新技术。

附图说明

通过下面对优选示例实施例和附图的描述，前述以及其他目的、特征和优势将变得更加明显。

图1是示出当前示例实施例的分析装置的硬件配置示例的图。

图2是当前示例实施例的分析装置的功能模块图的示例。

图3是用于解释当前示例实施例的图像捕捉方法示例的图。

图4是用于解释当前示例实施例的车辆坐标系示例的图。

图5是示意性示出当前示例实施例的分析装置所生成的数据示例的图。

图6是示意性示出当前示例实施例的分析装置所生成的数据示例的图。

图7是示出当前示例实施例的分析装置的处理流程示例的流程图。

图8是用于解释当前示例实施例的分析装置所解决的问题示例的图。

图9是示意性示出当前示例实施例的分析装置所生成的数据示例的图。

具体实施方式

<第一示例实施例>

首先将描述当前示例实施例的分析装置的概要。分析装置基于对同一车辆连续成像获得的多个图像中的每个图像的分析结果，检测车辆上的人的数量。

首先，分析装置从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测车辆的预定部分和车辆上的人。进一步地，分析装置检测多个人中的每个人在基于检测到的车辆的预定部分的坐标系中的坐标。接着，分析装置基于坐标对从不同图像检测到的人进行分组。分析装置将坐标相近的人分组在一起。然后，分析装置对组的数量进行计数，并输出组的数量作为车辆上的人的数量。

根据上述示例实施例的分析装置，实现了一种用于检测车辆上的人的数量的新技术。进一步地，在采用根据当前示例实施例的分析装置的情况下，“针对每个检测到的人的面部，可以检测以检测到的车辆的预定部分作为原点的二维坐标系中的坐标，并且可以将坐标相近的人的面部分组在一起”，从而没有必要如专利文献2中所公开的技术那样检测“每个检测到的人坐在哪个座位上”。车辆中的座位布局根据车辆和车辆类型而不同，当使用预先掌握的关于座位布局的信息时，检测乘员数量的准确性可能不够。根据当前示例实施例的分析装置，检测乘员数量的准确性相比于专利文献2公开的技术有所提高。

此后，将详细描述分析装置的配置。首先将描述分析装置的硬件配置示例。当前示例实施例的分析装置中包括的每个功能单元通过硬件和软件的任意组合来实现，主要使用任意计算机的中央处理单元(cpu)、存储器、要加载到存储器中的程序、存储程序的诸如硬盘之类的存储单元(其可以存储在运输装置时预先存储的程序，也可以存储从诸如紧凑盘cd之类的存储介质或互联网上的服务器下载的程序)、以及网络连接接口。本领域技术人将理解，实现方法和装置中可以有各种修改。

图1是示出当前示例实施例的分析装置的硬件配置的框图。如图1所示，分析装置包括处理器1a、存储器2a、输入和输出接口3a、外围电路4a以及总线5a。外围电路4a包括各种模块。应当注意，分析装置可以通过物理上和/或逻辑上分离的多个设备进行配置。在这种情况下，该多个设备中的每个包括处理器1a、存储器2a、输入和输出接口3a、外围电路4a和总线5a。

总线5a是数据传输路径，处理器1a、存储器2a、外围电路4a以及输入和输出接口3a通过总线5a相互发送和接收数据。处理器1a例如是算术处理装置，诸如中央处理单元(cpu)或图形处理单元(gpu)。存储器2a例如是诸如随机存取存储器(ram)或只读存储器(rom)之类的存储器。输入和输出接口3a包括用于从输入设备(例如，键盘、鼠标、麦克风、物理键、触摸板显示器和码读取器)、外部装置、外部服务器、外部传感器等获取信息的接口，以及用于向输出设备(例如，显示器、扬声器、打印机和邮件收发器)、外部装置、外部服务器等输出信息的接口。处理器1a可以向每个模块发布命令并基于计算结果来执行计算。

接着将描述分析装置的功能配置。图2示出了分析装置10的功能框图示例。如图所示，分析装置10包括图像分析单元11、分组单元12和计数单元13。

图像分析单元11从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测车辆的预定部分和车辆上的人。应当注意，在本示例实施例中，检测人的面部。接着，图像分析单元11检测多个检测到的人的面部中的每个面部在二维坐标系中的坐标，该坐标系以检测到的车辆的预定部分作为参考(例如，原点)。此后，以检测到的车辆的预定部分作为原点的二维坐标系可以称为“车辆坐标系”。

首先，描述用于生成由图像分析单元11处理的多个图像的配置示例。如图3所示，传感器101和摄像机102沿着车辆穿行的道路安装。

传感器101检测到车辆已通过该道路的预定位置。传感器101的细节不受限制，只要能够实现这种检测即可。例如，传感器101可以包括在预定方向(例如，附图中箭头的方向)发射光线(例如，激光)的装置以及接收反射光的装置。然后，基于反射光的光接收状况，通过检测阻碍发射光行进的障碍物的存在来检测车辆的通过。此外，还可以利用重量传感器或类似装置检测车辆已通过预定位置。当传感器101检测到车辆已通过道路上的预定位置时，传感器101向摄像机102输入一个信号以指示这一事实。

当传感器101检测到车辆已通过时，摄像机102响应于该检测而捕捉图像。例如，摄像机102可以响应于传感器101的检测，连续捕捉预定数量的静态图像(例如，每秒大约几十到一百张图像)，以生成多个静态图像文件。此外，摄像机102可以响应于传感器101的检测，捕捉预定成像时间内的动态图像，以生成包括多个帧的动态图像。预定数量和预定成像时间可以根据摄像机102的规格、车辆的移动速度等预先任意确定。摄像机102的位置和朝向设置成通过响应于传感器101的检测进行捕捉，从而捕捉传感器101检测到的车辆。

摄像机102生成的图像文件通过实时处理或批处理输入到分析装置10。分析装置10和摄像机102可以配置成能够通过任何通信手段相互通信。

返回图2，图像分析单元11将通过对同一车辆成像而获得的多个图像设置为处理对象，并从该多个图像中的每个图像检测车辆和人的面部。例如，响应于传感器101的一次检测，可以处理由摄像机102捕捉的预定数量的静态图像或预定成像时间内的动态图像。

对车辆和人的面部的检测可以通过模板匹配来实现。此外，也可以通过检测器来实现，该检测器通过使用大量图像的机器学习而构造。作为检测器的例子，可以使用支持向量机器(svm)、线性判别分析(lda)、广义学习向量量化(glvq)、神经网络等等。

应当注意，要检测的人的面部可以是所检测的车辆中的人的面部，也即在检测到的车辆轮廓内的面部。通过这种方式，有可能仅检测车辆上的人的面部，将车辆外部的人(诸如过路人或交通向导员)的面部排除在检测对象之外。

在从多个图像中的每个图像检测到车辆之后，图像分析单元11从多个图像中的每个图像检测所检测车辆的预定部分和预定方向。接着，针对每个图像定义二维坐标系(车辆坐标系)，其中所检测的预定部分是原点，所检测的预定方向是x轴方向和y轴方向。

将描述预定部分和预定方向的示例，但不限于此。图4示出了针对一个图像f设置的车辆坐标系示例。在所图示的示例中，附在车身后部的保险杠的后端部用作预定部分，车辆的纵向方向和高度方向用作预定方向。建立以保险杠后端部为原点，车辆纵向为x轴，高度方向为y轴的车辆坐标系。

在为每个图像建立车辆坐标系之后，图像分析单元11检测从每个图像检测到的人的面部的坐标。在本示例实施例中，多个面部中的每个面部的坐标可以通过与检测人的面部的方法相应的方法来获得。

例如，在人的面部的检测处理中，在如图4所示检测到存在人的面部的区域b的情况下，可以获取区域b的代表性点(例如，中心、右上、左上、右下、左下等)作为区域b中存在的面部的坐标。此外，在人的面部的检测处理中，在检测到人的眼睛、鼻子、嘴巴等的情况下，可以获取眼睛、鼻子、嘴巴的坐标(例如，眼睛、鼻子、嘴巴所占据的区域的代表性坐标)作为具有该眼睛、鼻子、嘴巴的面部的坐标。

图像分析单元11的图像分析获得的分析结果如图5所示。在图5中，用于标识从多个图像检测到的多个面部中的每个面部的“面部标识符(id)”、该多个面部中的每个面部在车辆坐标系中的“坐标”、以及用于标识检测到每个面部的图像的“帧id”相互关联。

当同一人的面部存在于多个图像中时，不同的面部id被指派给从多个图像检测到的同一人的多个面部。下面将描述的分组单元12将附给同一人的面部的多个面部id分组在一起。

回到图2，分组单元12基于车辆坐标系中的坐标对从多个图像检测到的多个人进行分组。在本示例实施例中，分组单元12基于车辆坐标系中的坐标将从多个图像检测到的多个面部分组在一起。

分组单元12基于坐标对从不同图像检测到的人分组。分组单元12将车辆坐标系中坐标相近的人分组在一起。例如，分组单元12可以使用坐标之间的距离，对从多个图像检测到的多个面部进行分组。结果，例如获得如图6所示的数据。所获得的数据可以存储在诸如存储器之类的存储介质中。在图6所示的数据中，图像分析单元11检测到的多个面部中的每个面部与每个面部所属的组的id相关联。此外，同一组id与在车辆坐标系中坐标相近的面部的面部id相关联。此后，举例说明分组方法，不过也可以通过其他方法来执行分组。

“方法1”

分组单元12使得从待处理的多个图像中作为首先处理的图像的第一图像(例如，第一个捕捉的图像)检测到的一个或多个面部属于不同的组。例如，不同的组id与从第一图像检测到的每个面部的面部id相关联，并存储在诸如存储器之类的存储介质中。在从第一图像检测到m个面部(m是等于或大于1的整数)的情况下，分组单元12生成m个组，并使m个面部中的每个面部分别属于一个组。例如，生成m个新的组id，从第一图像检测到的m个面部中的每个面部的id分别与不同的组id相关联(参见图6)。

此后，分组单元12计算从第一图像检测到的一个或多个面部中的每个面部的坐标与从在第一图像之后立即捕捉的第二图像检测到一个或多个面部中的每个面部的坐标之间的距离。接着，分组单元12根据计算出的距离与预定值之间的比较，使所比较的两个人的面部属于同一组。例如，在满足计算出的距离小于预定值的距离条件的情况下，分组单元12使所处理的两个面部属于同一组。预定值可以是预先任意确定的。

例如，在从第二图像检测到的2-1面部的坐标与从第一图像检测到的1-1面部的坐标之间的距离满足距离条件的情况下，分组单元12使2-1面部与1-1面部属于同一组。例如，相同的组id与1-1面部的面部id和2-1面部的面部id相关联(参见图6)。

此外，在从第二图像检测到的2-2面部与从第一图像检测到的任一面部都不满足距离条件的情况下，分组单元12生成新的组，并使2-2面部属于该组。例如，生成新的组id，该组id与2-2面部的面部id相关联(参见图6)。

分组单元12针对由第n个图像和其后立即捕捉的第(n+1)个图像组成的所有对，执行上述处理，以对多个面部进行分组。

“方法2”

分组单元12使得从待处理的多个图像中作为首先处理的图像的第一图像(例如，第一个捕捉的图像)检测到的一个或多个面部属于不同的组。例如，不同的组id与从第一图像检测到的每个面部的面部id相关联，并存储在诸如存储器之类的存储介质中。在从第一图像检测到m个面部(m是等于或大于1的整数)的情况下，分组单元12生成m个组，并使m个面部中的每个面部分别属于一个组。例如，生成m个新的组id，从第一图像检测到的m个面部中的每个面部的id分别与不同的组id相关联(参见图6)。

此后，分组单元12基于车辆坐标系中的坐标，计算从第一图像检测到的一个或多个面部中的每个面部与从在第一图像之后立即捕捉的第二图像检测到的一个或多个面部中的每个面部在x轴方向上的距离和在y轴方向上的距离。接着，分组单元12使得满足距离条件“x轴方向上的距离小于第一预定值并且y轴方向上的距离小于第二预定值”的两个面部属于同一组。也即，在满足距离条件的情况下，分组单元12使得所处理的两个面部属于同一组。第一预定值和第二预定值可以是预先任意确定的。

例如，在从第二图像检测到的2-1面部与从第一图像检测到的1-1面部满足距离条件的情况下，分组单元12使2-1面部与1-1面部属于同一组。例如，相同的组id与1-1面部的面部id和2-1面部的面部id相关联(参见图6)。

此外，在从第二图像检测到的2-2面部与从第一图像检测到的任一面部都不满足距离条件的情况下，分组单元12生成新的组，并使2-2面部属于该组。例如，生成新的组id，该组id与2-2面部的面部id相关联(参见图6)。

分组单元12针对由第n个图像和其后立即捕捉的第(n+1)个图像组成的所有对，执行上述处理，以对多个面部进行分组。

“方法3”

分组单元12使得从待处理的多个图像中作为首先处理的图像的第一图像(例如，第一个捕捉的图像)检测到的一个或多个面部属于不同的组。例如，不同的组id与从第一图像检测到的每个面部的面部id相关联，并存储在诸如存储器之类的存储介质中。在从第一图像检测到m个面部(m是等于或大于1的整数)的情况下，分组单元12生成m个组，并使m个面部中的每个面部分别属于一个组。例如，生成m个新的组id，从第一图像检测到的m个面部中的每个面部的id分别与不同的组id相关联(参见图6)。

接着，分组单元12为每个组确定代表性坐标。例如，在成员数量为1的时刻，将成员的坐标设置为每个组的代表性坐标。成员是属于每个组的面部，也即，由与每个组id相关联的面部id所确定的面部。与同一组id相关联的面部id的数量就是成员数量。成员的坐标是每个面部在车辆坐标系中的坐标。

此后，分组单元12计算多个组中每个组的代表性坐标与不属于所述组的人的坐标之间的距离。也即，分组单元12计算从在第一图像之后立即捕捉的第二图像检测到的一个或多个面部中的每个面部与m个组中每个组的代表性坐标之间的距离。接着，分组单元12根据计算出的距离与预定值之间的比较，使得不属于组的面部分到预定组中。也即，分组单元12使得从第二图像检测到的一个或多个面部属于满足距离条件“距离小于预定值”的组。例如，满足距离条件的组的组id与从第二图像检测到的一个或多个面部中每个面部的面部id相关联(参见图6)。预定值可以是预先任意确定的。

此后，分组单元12重新确定添加了新成员的组的代表性坐标。作为一种当存在多个成员时确定代表性坐标的方法，举个例子，该多个成员的x坐标的统计值(例如，均值)设置为代表性坐标的x坐标，该多个成员的y坐标的统计值(例如，均值)设置为代表性坐标的y坐标，不过本发明不限于此。

应当注意，在没有组满足距离条件的情况下，分组单元12生成与从第二图像检测到的面部相对应的新组，并使该面部属于该组。例如，生成新的组id，该组id与该面部的面部id相关联(参见图6)。此外，分组单元12将该面部的坐标设置为该组的代表性坐标。

分组单元12针对待处理的多个图像中的所有图像执行上述处理，并对多个面部进行分组。

如上所述，分组单元12可以基于车辆坐标系中的坐标，计算一个或多个面部所属的多个组中每个组的代表性坐标与不属于组的面部之间的距离，并使不属于组的面部属于满足距离条件“距离小于预定值”的组。

“方法4”

分组单元12使得从待处理的多个图像中作为首先处理的图像的第一图像(例如，第一个捕捉的图像)检测到的一个或多个面部属于不同的组。例如，不同的组id与从第一图像检测到的每个面部的面部id相关联，并存储在诸如存储器之类的存储介质中。在从第一图像中检测到m个面部(m是等于或大于1的整数)的情况下，分组单元12生成m个组，并使m个面部中的每个面部分别属于一个组。例如，生成m个新的组id，从第一图像检测到的m个面部中的每个面部的id分别与不同的组id相关联(参见图6)。

接着，分组单元12为每个组确定代表性坐标。例如，在成员数量为1时，成员的坐标设置为每个组的代表性坐标。

此后，分组单元12计算多个组中每个组的代表性坐标与不属于组的人的坐标之间的距离。也即，分组单元12计算从在第一图像之后立即捕捉的第二图像检测到一个或多个面部中的每个面部与m个组中每个组的代表性坐标之间在x轴方向上的距离和在y轴方向上的距离。接着，分组单元12使得从第二图像检测到的一个或多个面部属于满足距离条件“x轴方向上的距离小于第一预定值并且y轴方向上的距离小于第二预定值”的组。例如，满足距离条件的组的组id与从第二图像检测到的一个或多个面部中每个面部的面部id相关联(参见图6)。第一预定值和第二预定值可以是预先任意确定的。

此后，分组单元12重新确定添加了新成员的组的代表性坐标。作为一种当存在多个成员时确定代表性坐标的方法，举个例子，该多个成员的x坐标的统计值(例如，均值)设置为代表性坐标的x坐标，该多个成员的y坐标的统计值(例如，均值)设置为代表性坐标的y坐标，不过本发明不限于此。

应当注意，在没有组满足距离条件的情况下，分组单元12生成与从第二图像检测到的面部相对应的新组，并使得该面部属于该组。例如，生成新的组id，该组id与该面部的面部id相关联(参见图6)。此外，分组单元12将该面部的坐标设置为该组的代表性坐标。

分组单元12针对待处理的多个图像中的所有图像执行上述处理，并对多个面部进行分组。

如上所述，分组单元12可以基于车辆坐标系中的坐标，计算一个或多个面部所属的多个组中每个组的代表性坐标与不属于组的面部之间在x轴方向上的距离和在y轴方向上的距离，并使得不属于组的面部属于满足距离条件“x轴方向上的距离小于第一预定值并且y轴方向上的距离小于第二预定值”的组。

回到图2，计数单元13对组的数量进行计数。例如，使用如图6中所示数据对组id的数量进行计数。分析装置10输出组的数量作为车辆上的人的数量。例如，分析装置10将计数值与图像等关联地存储在存储设备中。

此后，响应于用户操作，分析装置10可以从存储设置中提取通过捕捉其上的人数不满足预定条件(例如，两人或更多，三人或更多，或者四人或更多)的车辆而获得的图像，并输出所提取的图像。

接下来，参考图7的流程图来描述本示例实施例的分析装置10的处理流程。

在图像分析步骤s11中，图像分析单元11将通过对同一车辆从不同方向多次成像获得的多个图像设置为处理对象，并从多个图像中的每个图像检测车辆的预定部分和车辆上的人(例如，面部)。接着，图像分析单元11检测多个人中的每个人在坐标系中的坐标(例如，多个面部中的每个面部的坐标)，其中坐标系以检测到的车辆预定部分作为参考(例如，原点)。该多个图像例如是图3所示的摄像机102所捕捉的图像以及摄像机102响应于传感器101的一次检测而连续捕捉的图像。

在分组步骤s12中，分组单元12基于车辆坐标系中的坐标，对从不同图像检测到的人(例如，面部)进行分组。分组单元12将在车辆坐标系中坐标相近的人分组在一起。由此，存在于多个图像中的同一人的面部被分组在一起。

在计数步骤s13中，计数单元13对组的数量进行计数。分析装置10输出组的数量作为车辆上的人的数量。例如，分析装置10将计数值与图像等进行关联存储。

接下来，描述本示例实施例的有益效果。

根据本示例实施例的分析装置10，检测结果(乘员数量)可以基于对多个图像中每个图像的分析结果来确定。

例如，即使当车辆上有三个人a、b和c时，在第一时刻捕捉的第一图像中，人a也可能被障碍物(车辆的一部分、其他乘员等)遮挡，从而可能未包括在该图像中。然而，当在不同时刻捕捉图像时，车辆移动，并且摄像机、人a和障碍物之间的位置关系发生变化，从而在第一时刻未包括的人a可能包括在该图像中。

根据本示例实施例的分析装置10，即使在至少部分乘员由于摄像机、人和障碍物之间的位置关系而未包括在确定的图像中时，也可以基于对多个图像的分析结果来确定检测结果，这增加了对车辆上所有人计数的概率。结果，检测准确性得以提高。

此外，在采用根据本示例实施例的分析装置10的情况下，“对于每个检测到的面部，可以检测其在以检测到的车辆预定部分作为原点的车辆坐标系中的坐标，并且坐标相近的面部被分组在一起”，从而没有必要如专利文献2中所公开的技术那样检测“每个检测到的人坐在哪个座位上”。车辆中的座位布局根据车辆和车辆类型而不同，当使用预先掌握的关于座位布局的信息时，检测乘员数量的准确性可能不够。根据本示例实施例的分析装置，检测乘员数量的准确性相比于专利文献2公开的技术有所提高。

<第二示例实施例>

本示例实施例的分析装置10与第一示例实施例的不同之处在于图像分析单元11和分组单元12的功能配置。下面将进行描述。

分析装置10的硬件配置与第一示例实施例相同。

图2示出了本示例实施例的分析装置10的功能框图的示例。如图所示，分析装置10包括图像分析单元11、分组单元12和计数单元13。计数单元13的配置与第一示例实施例相同。

图像分析单元11具有提取包括在图像中的人的面部图像的特征值的功能。“包括在图像中的人”是指通过图像分析从图像中检测到的人。

当有个人(此后，有时称为“第一人”)基于距离条件而被确定属于多个组时，分组单元12基于第一人的面部(此后有时称为“第一面部”)的图像的特征值和属于每个组的面部的图像的特征值，确定第一面部所属的组。也即，第一人是根据距离与预定值之间的比较而属于多个组的人。

首先，描述分组处理通过第一示例实施例中描述的方法1和方法2来执行的情况。

在方法1和方法2中，分组单元12使得从第二图像检测到的一个或多个面部中的每个面部属于与在从紧挨在前的第一图像检测到的一个或多个面部中满足距离条件的组相同的组。

在对于从第二图像检测到的一个面部，存在多个面部(从第一图像检测到的面部)满足上述距离条件的情况下，从第二图像检测到的该面部是第一面部。在这种情况下，分组单元12基于该面部的图像的特征值来确定第一面部所属的组。

例如，假设从第二图像检测到的2-1面部与从第一图像检测到的1-1面部和1-2面部这两个面部都满足上述距离条件。在这种情况下，图像分析单元11提取1-1面部、1-2面部和2-1面部中每个面部的图像的特征值。接着，分组单元12将2-1面部的图像的特征值与1-1面部的图像的特征值进行对照。类似地，分组单元12将2-1面部的图像的特征值与1-2面部的图像的特征值进行对照。

接着，分组单元12使2-1面部属于与更类似于2-1面部的1-1面部或1-2面部的组相同的组。也即，作为对照的结果，2-1面部属于与2-1面部的图像的特征值具有更高相似度的面部的组相同的组。例如，在与2-1面部的图像的特征值具有更高相似度的面部是1-1面部的情况下，相同的组id与1-1面部的面部id和2-1面部的面部id相关联(参见图6)。

应当注意，当1-1面部和1-2面部中的任一个与2-1面部的相似度都未超过预定阈值时，分组单元12可以使2-1面部属于新的组。也即，2-1面部可以属于与1-1面部和1-2面部都不同的组。例如，分组单元12生成新的组id，将该组id与2-1面部的面部id相关联(参见图6)。

如上所述，在存在第一面部的情况下，图像分析单元11提取第一面部和相对于第一面部满足距离条件的多个面部中每个面部的图像的特征值。应当注意，图像分析单元11不会提取其他面部图像的特征值。接着，分组单元12基于面部图像的特征值的相似度，确定是否使第一面部属于任何组。

接下来，描述通过第一示例实施例中描述的方法3和方法4来执行分组处理的情况。

在方法3和方法4中，分组单元12使得从任意图像检测到的一个或多个面部中的每个面部属于当时存在的多个组中的、其代表性坐标满足与面部的距离条件的组。

接着，在存在相对于从任意图像检测到的一个面部满足上述距离条件的多个组的情况下，从该图像检测到的面部是第一面部。在这种情况下，分组单元12基于该面部图像的特征值来确定第一面部所属的组。具体地，分组单元12使第一面部属于在与第一面部满足上述距离条件的多个组中的、其成员的面部与第一面部最类似的组。

应当注意，在与第一面部满足上述距离条件的多个组具有多个成员的情况下，分组单元12可以从组中决定代表性成员，并且确定所决定的代表性成员与第一面部之间的相似程度。分组单元12可以基于包括第一人在内的图像的成像时刻来确定代表性成员。例如，分组单元12可以使用多个成员中的、与包括第一面部在内的图像具有最接近的成像时刻的图像中包括的成员作为代表性成员。此外，相对于包括第一人在内的图像的成像时刻在预定时间内捕捉的图像中包括的成员，或者相对于包括第一人在内的图像在预定帧数内捕捉的图像中包括的成员，可以用作代表性成员。

优选地，预定时间和预定帧数较小。在成像时刻间隔很近的情况下，很有可能在同一方向上、同一面部表情下捕捉到面部。因此，可以准确地确定他们是否是同一人。

图像分析单元11和分组单元12的其他配置与第一示例实施例中的那些相同。

根据上述示例实施例的分析装置10，可以实现与第一示例实施例相同的有益效果。

此外，根据本示例实施例的分析装置10，在对多个图像上的同一人进行分组的过程中，当存在无法基于距离条件来确定其所属组的面部(第一面部)时，可以基于面部图像的特征值来确定该面部所属的组。

也即，根据本示例实施例的分析装置10，多个图像上的同一人优先地使用距离条件进行分组，仅当不能通过距离条件确定分组时，才使用面部图像的特征值。相比于仅通过面部图像的特征值而不使用距离条件的分组过程，根据本示例实施例的这种分析装置10可以减小计算机上的处理负荷。此外，相比于仅通过距离条件而不使用面部图像的特征值的分组过程，分组的准确度得以提高。

进一步地，根据本示例实施例的分析装置10，即使在通过上述方法1到4中的任一方法进行分组时，确定第一面部和图像是否相互类似的过程也可以利用成像时刻与包括第一面部在内的图像接近的图像中包括的面部来执行。在成像时刻间隔很近的情况下，相比于成像时刻间隔很远的情况，很有可能面部朝向、面部表情等相同或变化不大。因此，有可能准确地检测图像与第一面部类似的面部所属的组，并使第一面部属于该组。

<第三示例实施例>

首先，描述本示例实施例的分析装置10要解决的问题。分析装置10所处理的图像从车辆的侧面捕捉，如图3所示。成像可以从斜前方、从侧面或从斜后方进行。通过调节摄像机光轴的方向，可以调节成像的方向。

在当前示例实施例中，在摄像机朝向固定的情况下对移动车辆进行成像。因此，成像时刻时摄像机光轴与车辆之间的相对关系随每个图像而变化。因此，车辆里并排的两个人(例如，司机座位和副驾驶座位，或者相邻的后座)在图像中的水平距离对于每个图像看起来都不同。

参考图8描述一个示例。图8示出了连续捕捉的三个图像f。成像顺序通过箭头指示。在图8中，示出了车辆里并排的两个人(人a1和a2)的捕捉方式如何转变。在图8中，仅提取并显示了这两个人的面部，省略了诸如车辆之类的其他内容。应当注意，车辆的行进方向在图8中是从左到右。图像中人a1和a2的位置(车辆位置)如图8中所示从左移动到右((1)→(2)→(3))。

图8是从斜前方对车辆成像的情形示例。在从斜前方对车辆成像的情况下，在连续成像期间(车辆包括在图像中时)，车辆与摄像机之间的位置关系随时间经过而相互靠近。相应地，图像中人a1和a2之间的水平距离dx逐渐减小。

尽管未图示，但在从斜后方对车辆成像的情况下，在捕捉图像时(车辆包括在图像中时)，车辆与摄像机之间的位置关系随着时间经过而相互远离。相应地，图像中车辆里并排的人a1和a2之间的水平距离dx逐渐增大。

尽管未图示，但在从车辆的侧面捕捉图像的情况下，在捕捉图像时(车辆包括在图像中时)，车辆与摄像机之间的位置关系随着时间经过而相互靠近，然后又相互远离。相应地，图像中车辆里并排的人a1和a2之间的水平距离dx逐渐减小，然后逐渐增大。

应当注意，在从斜前方或从斜后方对车辆成像的情况下，取决于如何设置摄像机光轴的方向，在捕捉图像时(车辆包括在图像中时)车辆与摄像机之间的位置关系可能随时间经过而相互靠近，然后又相互远离。因此，图像中车辆里并排的人a1和a2之间的水平距离dx逐渐减小，然后逐渐增大。

本示例实施例的分析装置10执行处理时考虑到上述现象，因此基于距离条件对多个图像上同一人的分组处理的准确度得以提高。

分析装置10的硬件配置与第一和第二示例实施例中的相同。

图2示出本示例实施例的分析装置10的功能框图的示例。如所示，分析装置10包括图像分析单元11、分组单元12和计数单元13。计数单元13的配置与第一和第二示例实施例相同。

图像分析单元11检测从图像检测到的多个人(例如，面部)中的每个人在图像中的位置。例如，图像分析单元11检测多个面部中的每个面部在二维坐标系中的坐标，在该坐标系中，图像的任意位置(例如，左下)设置为原点，任意方向(例如，水平和竖直方向)设置为x轴和y轴。通过本示例实施例的图像分析单元11的图像分析获得的分析结果如图9所示。图9的分析结果与第一示例实施例中描述的图5的分析结果的不同之处在于，它具有指示每个面部在帧中的位置的“帧内坐标”。

分组单元12基于图像中每个人(例如，面部)的坐标(帧内坐标)，修正从多个图像检测到的多个人(例如，面部)中的每个人在车辆坐标系中的坐标，并且基于修正后的坐标，对该多个人(例如，面部)进行分组。这将在下面描述。

首先，分组单元12确定从一个图像检测到的多个面部中，是否存在有在x轴方向(图像的水平方向)上的距离等于或小于预定值的一对面部。如果存在这样的一对面部，则包括在这对面部中的两个面部在车辆坐标系中的x坐标(车辆的前后方向上的坐标)基于这两个面部在图像中的位置进行修正。应当注意，预定值可以提前任意确定。

修正内容对应于这两个面部的帧内坐标的x坐标(图像的水平位置)的代表性值(例如，均值)。

在这两个面部的帧内坐标的x坐标的代表性值指示“图像中距离dx看起来较大的位置”时，修正车辆坐标系中的x坐标，使得距离dx变小。例如，将一个面部在车辆坐标系中的x坐标(较小的x值)与预定值相加，同时从另一个面部在车辆坐标系中的x坐标(较大的x值)中减去该预定值。该预定值可以根据帧内坐标的x坐标的代表性值来设置。

此外，在这两个面部的帧内坐标的x坐标的代表性值指示“图像中距离dx看起来较小的位置”时，修正车辆坐标系中的x坐标，使得距离dx变大。例如，从一个面部在车辆坐标系中的x坐标(较小的x值)中减去预定值，同时将另一个面部在车辆坐标系中的x坐标(较大的x值)与该预定值相加。该预定值可以根据帧内坐标的x坐标的代表性值来设置。

例如，分组单元12可以提前保持修正信息，在该修正信息中，修正内容根据帧内坐标的x坐标的代表性值而设置。然后，分组单元12可以使用修正信息来确定修正内容，并且可以执行所确定的修正。

基于修正后的车辆坐标系中的坐标对多个面部进行的分组处理与在第一和第二示例实施例中描述的基于车辆坐标系中的坐标对多个面部进行的分组处理相同。此外，图像分析单元11和分组单元12的其他配置与第一和第二示例实施例相同。

根据上述本示例实施例的分析装置10，可以实现与第一和第二示例实施例相同的有益效果。此外，根据本示例实施例的分析装置10，通过在执行处理时考虑到上面参考图8描述的现象，基于距离条件对多个图像上同一人的分组处理的准确度得以提高。

<第四示例实施例>

本示例实施例的分析装置10通过不同手段解决了与第三示例实施例相同的问题。这将在下面描述。

分析装置10的硬件配置与第一到第三示例实施例相同。

图2示出本示例实施例的分析装置10的功能框图的示例。如图所示，分析装置10包括图像分析单元11、分组单元12和计数单元13。图像分析单元11和计数单元13的配置与第一和第二示例实施例相同。

分组单元12通过第一示例实施例中描述的方法2对从图像检测到的多个面部进行分组。也即，分组单元12基于车辆坐标系中的坐标，计算从第一图像检测到的一个或多个面部中的每个面部与从在第一图像之后立即捕捉的第二图像检测到的一个或多个面部中的每个面部在x轴方向上的距离和在y轴方向上的距离，并且使满足距离条件“x轴方向上的距离小于第一预定值并且y轴方向上的距离小于第二预定值”的两个面部属于同一组。

接着，本示例实施例的分组单元12将第二预定值设置为固定值，将第一预定值设置为基于面部在图像中的位置而确定的可变值。

例如，在确定从第一图像检测到的第一面部与从第二图像检测到的第二面部是否满足距离条件时，分组单元12基于第一面部的帧内坐标的x坐标和第二面部的帧内坐标的x坐标来确定代表性值。例如，将两个帧内坐标的x坐标的均值用作该代表性值。应当注意，帧内坐标与第三示例实施例中的概念相同。

然后，分组单元12基于第一面部和第二面部的帧内坐标的x坐标的代表性值，确定第一预定值。

在第一面部和第二面部的帧内坐标的x坐标的代表性值指示“图像中距离dx看起来较大的位置”时，增大第一预定值。另一方面，在第一面部和第二面部的帧内坐标的x坐标的代表性值指示“图像中距离dx看起来较小的位置”时，减小第一预定值。通过这种方式，可以根据图像中多个人的外观来优化距离条件。

例如，分组单元12可以提前保持对应信息(表、函数等)，在该对应信息中，第一预定值根据第一面部和第二面部的帧内坐标的x坐标的代表性值来确定。然后，分组单元12可以使用对应信息来确定距离条件。

分组单元12的其他配置与第一和第二示例实施例相同。

根据上述本示例实施例的分析装置10，可以实现与第一和第二示例实施例相同的有益效果。此外，根据本示例实施例的分析装置10，通过在执行处理时考虑到上面参考图8描述的现象，基于距离条件对多个图像上同一人的分组处理的准确度得以提高。

以下附上各参考方面的示例。

1、一种分析装置，包括：

图像分析单元，从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测所述车辆的预定部分和所述车辆上的人，并且检测多个人中的每个人在以检测到的所述预定部分作为参考的坐标系中的坐标；

分组单元，基于所述坐标对从不同图像检测到的人进行分组；以及；以及

计数单元，对组的数量进行计数。

2、根据1所述的分析装置，

其中所述分组单元使用所述坐标之间的距离，对从不同图像检测到的人进行分组。

3、根据2所述的分析装置，

其中所述分组单元计算从第一图像检测到的一个或多个人中的每个人的坐标与从第二图像检测到的一个或多个人中的每个人的坐标之间的距离，并且根据所述距离与预定值的比较，对从不同图像检测到的人进行分组。

4、根据2所述的分析装置，

其中所述分组单元计算多个组中的每个组的代表性坐标与不属于所述组的人的坐标之间的距离，并且根据所述距离与预定值的比较，对从不同图像检测到的人进行分组。

5、根据3或4所述的分析装置，

其中在存在作为属于多个组的人的第一人的情况下，所述分组单元基于所述第一人的图像的特征值以及属于所述组中的每个组的人的图像的特征值，确定是否使所述第一人属于所述组中的任一个组。

6、根据5所述的分析装置，

其中所述分组单元基于以下项确定是否使所述第一人属于所述组中的任一个组：

基于包括所述第一人在内的图像的成像时刻而确定的图像中包括的人的图像的特征值；以及

所述第一人的图像的特征值。

7、根据3至6中任一项所述的分析装置，

其中所述图像是通过从所述车辆的侧面对所述车辆成像而获得的图像，并且

其中所述分组单元基于从多个图像检测到的多个人中的每个人在所述图像中的位置，修正每个人的坐标，并且基于经修正的坐标对所述多个人进行分组。

8、根据1至7中任一项所述的分析装置，

其中所述图像分析单元从所述图像检测人的面部，并且检测所述面部在所述坐标系中的坐标。

9、一种由计算机执行的分析方法，所述方法包括：

图像分析步骤，从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测所述车辆的预定部分和所述车辆上的人，并且检测多个人中的每个人在以检测到的所述预定部分作为参考的坐标系中的坐标；

分组步骤，基于所述坐标对从不同图像检测到的人进行分组；以及

计数步骤，对组的数量进行计数。

10、一种程序，使计算机用作：

图像分析单元，从通过对同一车辆从不同方向多次成像获得的多个图像中的每个图像，检测所述车辆的预定部分和所述车辆上的人，并且检测多个人中的每个人在以检测到的所述预定部分作为参考的坐标系中的坐标；

分组单元，基于所述坐标对从不同图像检测到的人进行分组；以及

计数单元，对组的数量进行计数。

本申请基于2017年7月4日提交的日本专利申请no.2017-131088要求优先权，其公开整体包含于此。