信息处理装置、存储介质及信息处理方法与流程

本发明涉及信息处理装置、存储介质及信息处理方法。

背景技术：

例如出于防止犯罪或销售等各种目的，需要判定某一图像中包含的人像与其他图像中包含的人像的相同性(两个人像是否对应于同一人)。

以往，根据这种需求，提出了判定人像的相同性的技术。例如，在非专利文献1中，公开了如下技术：从图像中截取人像部分，将截取的图像分割成若干区域，求出每个区域的颜色的直方图，根据两张图像中的各人像所对应的各区域的直方图之间的对比，判定人像的相同性。

另一方面，在非专利文献2中公开了不是用于判定人像的相同性的技术、但称为“openpose”的对图像内的人像的姿态(姿势)进行检测的技术。在openpose中，对图像中包含的一个或者多个人像的多个器官点(鼻子、颈部、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左脚、右腰、右膝、右脚、左眼、右眼、左耳、右耳18处)进行检测，并且识别与各人像相对应的各器官点的关系，在此基础上检测各人像的姿态(姿势)。

在先技术文献

非专利文献

非专利文献1：liangzheng,liyueshen,lutian,shengjinwang,jingdongwang,qitian,“scalablepersonre-identification:abenchmark”,thefourteenthieeeinternationalconfeienceoncomputeivision(iccv15).

非专利文献2：zhecao,tomassimon,shih-enwei,yasersheikh,“realtimemulti-person2dposeestimationusingpartaffinityfields”,arxiv:1611.08050v2.

技术实现要素：

发明所要解决的技术问题

在例如非专利文献1中所述的根据各区域的颜色的直方图对相同性的判定中，由于人像的背景色也要被考虑，因此相同性判定的精度有待改善。另一方面，在非专利文献2中，虽然执行各图像中的各人物的姿态的检测，但是未提及判定某一图像的人像与其他图像的人像的相同性。

本发明的目的在于，更高效并且更高精度地进行某一图像中包含的人像与其他图像中包含的人像的相同性的判定。

用于解决技术问题的方案

本发明涉及一种信息处理装置，其特征在于，具备：器官点检测部，检测第一图像中包含的第一人像相关的多个第一器官点以及第二图像中包含的第二人像相关的多个第二器官点；以及相同性判定部，基于所述第一图像中的所述多个第一器官点所对应的像素的颜色信息与所述第二图像中的所述多个第二器官点所对应的像素的颜色信息之间的对比，判定所述第一人像与所述第二人像的相同性。

优选地，信息处理装置的特征在于，所述第一图像及所述第二图像是从在同一视野中于不同时刻拍摄的多个拍摄图像中选出的图像，所述信息处理装置进一步具备位置似然度分布计算部，所述位置似然度分布计算部基于所述第一图像中的所述第一人像的位置、以及在所述第一图像之前拍摄的拍摄图像中的表示与所述第一人像为同一人的人像的位置，计算在所述第一图像之后拍摄的所述第二图像中表示与所述第一人像为同一人的人像所在的位置的似然度分布，所述相同性判定部进一步基于所述第二器官点的位置和所述似然度分布，判定所述第一人像与所述第二人像的相同性。

优选地，信息处理装置的特征在于，所述位置似然度分布计算部基于所述第一图像中的所述第一人像的颈部所对应的第一器官点的位置、以及在所述第一图像之前拍摄的拍摄图像中的表示与所述第一人像为同一人的人像的颈部所对应的器官点的位置，计算所述位置的似然度分布，所述相同性判定部基于所述多个第二器官点中所述第二人像的颈部所对应的第二器官点的位置以及所述似然度分布，判定所述第一人像与所述第二人像的相同性。

优选地，信息处理装置的特征在于，所述第一图像及所述第二图像为由同一摄像机拍摄的视频中包含的帧图像，所述器官点检测部及所述相同性判定部随着所述视频的播放而实时地执行处理。

另外，本发明涉及一种存储介质，其特征在于，存储有使计算机发挥作为器官点检测部及相同性判定部的功能的信息处理程序，其中，所述器官点检测部检测第一图像中包含的第一人像相关的多个第一器官点以及第二图像中包含的第二人像相关的多个第二器官点；所述相同性判定部基于所述第一图像中的所述多个第一器官点所对应的像素的颜色信息与所述第二图像中的所述多个第二器官点所对应的像素的颜色信息之间的对比，判定所述第一人像与所述第二人像的相同性。

另外，本发明涉及一种信息处理方法，其特征在于，包括：器官点检测步骤，计算机检测第一图像中包含的第一人像相关的多个第一器官点以及第二图像中包含的第二人像相关的多个第二器官点；以及相同性判定步骤，计算机基于所述第一图像中的所述多个第一器官点所对应的像素的颜色信息与所述第二图像中的所述多个第二器官点所对应的像素的颜色信息之间的对比，判定所述第一人像与所述第二人像的相同性。

发明效果

根据本发明，能够更高效并且更高精度地进行某一图像中包含的人像与其他图像中包含的人像的相同性的判定。

附图说明

图1是本实施方式的信息处理系统的结构概略图。

图2是本实施方式的服务器的结构概略图。

图3是示出从图像中检测出人像的多个器官点的情形的概念图。

图4是示出在各人像之间将对应的器官点之间的像素特征量进行对比的情形的概念图。

图5是示出各器官点之间的色差以及相似度的例子的图。

图6是示出第一人像a的位置的似然度分布的概念图。

图7是示出第二人像b以及第二人像c相对于第一人像a的颜色的相似度、位置的似然度以及综合似然度的图。

图8是示出本实施方式的服务器的处理的流程的流程图。

附图标记说明

10：信息处理系统

12：摄像机

14：用户终端

16：服务器

18：通信线路

20：通信部

22：存储部

24：控制部

26：器官点检测部

28：相同性判定部

30：位置似然度分布计算部

具体实施方式

下面，对本发明的实施方式进行说明。

在图1中，示出了本实施方式的信息处理系统10的结构概略图。信息处理系统10被构成为包括摄像机12、用户终端14以及作为信息处理装置的服务器16。摄像机12与服务器16之间以及用户终端14与服务器16之间通过lan或者互联网等的通信线路18可通信地连接。

摄像机12例如是防止犯罪摄像机或者监控摄像机。摄像机12例如拍摄街区或店内的情形。在本实施方式中，摄像机12被固定，并获取固定视野的图像。另外，摄像机12在本实施方式中为录像摄像机并且用于拍摄视频，但是也可以为间歇地获取静止画面的摄像机。由摄像机12拍摄的拍摄图像通过通信线路18发送至服务器16。

用户终端14是用户(对在服务器16中执行的两个图像中的人像的相同性的判定处理的结果进行确认的人)使用的终端。用户终端14例如可以为个人电脑或平板电脑终端等。用户终端14被构成为包括cpu(中央处理器)等处理部、硬盘、rom(只读存储器)或者ram(随机存取存储器)等存储部、液晶面板等显示部、鼠标、键盘、触摸面板等输入部、网络适配器等通信部等。用户终端14能够通过访问服务器16，来接收服务器16中的人像的相同性的判定处理的结果。

在图2中示出了服务器16的概略结构图。在本实施方式中，服务器16由计算机构成，但是信息处理装置只要具有如下所述的功能，可以是任何的装置。

通信部20例如由网络适配器等构成。通信部20发挥通过通信线路18与摄像机12以及用户终端14进行通信的功能。具体而言，通信部20从摄像机12接收拍摄图像。另外，通信部20根据来自用户终端14的请求，将下述的控制部24对人像的相同性的判定处理的结果发送至用户终端14。通过服务器16进行的信息的流转为以下流转：首先从摄像机12向服务器16发送拍摄图像，再从服务器16向用户终端14发送对该拍摄图像的处理结果。

存储部22是例如由rom、ram或者硬盘等构成的存储介质。在存储部22中存储用于使服务器16的各部分动作的信息处理程序。另外，在存储部22中存储从摄像机12发送来的拍摄图像。

控制部24例如被构成为包括cpu、微控制器或者图像处理用的专用ic等。控制部24按照存储在存储部22中的信息处理程序来控制服务器16的各部分。另外，如图2所示，控制部24也作为器官点检测部26、相同性判定部28以及位置似然度分布计算部30发挥其功能。

通过器官点检测部26、相同性判定部28以及位置似然度分布计算部30来实现人像的相同性的判定处理。在本实施方式中，控制部24从由摄像机12发送并存储在存储部22中的拍摄图像(动态图像)中选择两个帧图像，将所选择的一个帧图像作为第一图像，将另一个帧图像作为第二图像。即，第一图像以及第二图像可以认为是在同一视野中于不同时刻拍摄的图像。器官点检测部26、相同性判定部28以及位置似然度分布计算部30对该第一图像以及第二图像进行处理。此外，第一图像以及第二图像中包含人像。

器官点检测部26对第一图像施加图像处理，由此检测第一图像中包含的第一人像相关的多个第一器官点。同样地，器官点检测部26检测第二图像中包含的第二人像相关的多个第二器官点。在第一图像或者第二图像中包含有多个人像的情况下，器官点检测部26检测各图像中的多个人像相关的多个器官点。作为检测人像中的多个器官点的具体方法，能够应用非专利文献2中记载的openpose的技术。当然，只要能够检测人像中的多个器官点，也可以使用openpose以外的技术。

图3的(a)中示出了第一图像40的例子，图3的(b)中示出了第二图像42的例子。在本实施方式中，第一图像40中包含一个第一人像a，第二图像42中包含两个第二人像b以及c。

参照图3的(a)，在第一图像40中与第一人像a相关的多个第一器官点44a被检测出来。在本实施方式中，器官点检测部26检测鼻子、颈部、左肩、左肘、左手、右肩、右肘、右手、左腰、左膝、左脚、右腰、右膝、右脚、左眼、右眼、左耳、右耳18处作为人像的器官点。此外，器官点检测部26在识别出是与人像的哪个部位(鼻子、颈部等)相对应的器官点的基础上检测各器官点。另外，在本实施方式中，器官点检测部26检测第一图像40的一个像素的位置(坐标)作为各器官点的位置。此外，在第一图像40中包含多个第一人像的情况下，器官点检测部26检测与各第一人像相关的多个器官点。

参照图3的(b)，在第二图像42中，与第一图像40同样地，与第二人像b相关的多个第二器官点44b被检测出来。另外，与第二人像c相关的多个第二器官点44c被检测出来。

返回图2，相同性判定部28首先获取与器官点检测部26检测出的第一人像a相关的多个第一器官点所对应的各像素的颜色信息以及与第二人像b和c相关的多个第二器官点所对应的各像素的颜色信息。此外，颜色信息是指包含色相、明度(亮度)以及饱和度的概念。

如上所述，器官点检测部26检测出各器官点的位置作为第一图像40或者第二图像42的一个像素的位置时，在本实施方式中，相同性判定部28将以具有通过器官点检测部26检测出的一个像素为中心的固定面积的区域，作为各器官点所对应的像素(像素区域)。具体而言，各器官点所对应的像素区域大小为10(pixel)×10(pixel)。另外，也可以根据图像中的人像的大小来改变像素区域的面积。例如，也可以设置成图像中的人像越大就越增大图像区域的面积。

在本实施方式中，相同性判定部28在l*a*b*颜色空间中表现出各器官点所对应的像素区域中包含的各像素的颜色，在此基础上，求出各像素的颜色的代表值(例如，平均值、中位值、众数值)。而且，将求出的颜色的代表值作为该器官点的像素(区域)的颜色信息。此外，在l*a*b*颜色空间中表现各像素的颜色是因为l*a*b*颜色空间被设计为近似于人类的视觉。

此外，也可以采用上述以外的特征量作为各器官点的像素的颜色信息。例如，也可以计算器官点所对应的像素区域的hog(histogramsoforientedgradients：方向梯度直方图)特征量作为颜色信息。在此，hog特征量是指，将像素区域中的各像素的亮度的梯度方向直方图化的特征量。

以上述方式，获取第一图像40中包含的第一人像a的各第一器官点所对应的像素的颜色信息、以及第二图像中包含的第二人像b和c的各第二器官点所对应的像素的颜色信息。

接下来，相同性判定部28将第一人像a的多个第一器官点所对应的像素的颜色信息与第二人像b的多个第二器官点所对应的像素的颜色信息进行对比，并且将第一人像a的多个第一器官点所对应的像素的颜色信息与第二人像c的多个第二器官点所对应的像素的颜色信息进行对比，由此判定第一人像a与第二人像b及c的相同性。

具体而言，计算第一人像a的第一器官点44a、和与其对应的部位的第二人像b及c的第二器官点44b及44c之间的像素的颜色信息的差分(色差)。图4中示出了第一图像40中的第一人像a的面部的放大图、第二图像42中的第二人像b的面部的放大图以及第二图像42中的第二人像c的面部的放大图。如图4所示，例如，计算与第一人像a的鼻子相对应的像素的颜色信息和与第二人像b的鼻子相对应的像素的颜色信息之间的色差，并且对于其他部位(器官点)也同样地计算色差。同样地，计算与第一人像a的鼻子相对应的像素的颜色信息和与第二人像c的鼻子相对应的像素的颜色信息之间的色差，并且对于其他部位(器官点)也同样地计算色差。

在本实施方式中，根据cie2000色差公式计算各器官点的像素的颜色信息的色差。这是因为，cie2000色差公式是考虑了人眼的颜色识别区域的特征、即色相依赖性、明度依赖性以及饱和度依赖性的计算式。即，是因为基于cie2000色差公式的色差是接近基于人类视觉的颜色差的值。

在图5中示出了第一人像a的各第一器官点的像素的颜色信息与第二人像b的各第二器官点的像素的颜色信息之差(色差)。如图5所示，针对每个器官点计算色差。相同性判定部28基于计算出的色差，针对每个器官点计算相似度。具体而言，相同性判定部28以色差越小则相似度越大的方式进行计算。在本实施方式中，通过下式根据色差计算相似度。

【数学式1】

其中，d为色差，α及β为常数。通过适当设定α及β，能够调整相对于色差值的相似度值。

在图5中示出了针对每个器官点计算出的相似度。以这种方式，计算第一人像a与第二人像b之间关于多个(在本实施方式中为18个)器官点的多个相似度。相同性判定部28求出计算出的多个相似度的代表值(例如，平均值、中位值、众数值)。以这种方式求出的相似度的代表值成为第一人像a与第二人像b之间的相似度。此外，在由于第一图像40或者第二图像42中的不完全显示或者隐藏等而存在第一人像a或者第二人像b的多个器官点中的未被器官点检测部26检测出的器官点的情况下，将与该器官点相关的相似度设定为预先设定的值。在本实施方式中，如图3的(b)及图5所示，由于未检测出第二人像b的左腰的器官点，因此将第一人像a与第二人像b之间的与左腰相关的相似度设定为预先设定的值即50％。

同样地，相同性判定部28计算第一人像a与第二人像c之间的相似度。在第一图像40中包含有多个第一人像的情况下，相同性判定部28计算各第一人像与各第二人像之间的各相似度。

相同性判定部28将多个第二人像中的小于等于预先设定的相似度阈值的第二人像判定为不是与第一人像a同一人的像。在此基础上，在残留有多个第二人像的情况下(多个第二人像的相似度大于相似度阈值的情况下)，将其中的相似度最大的第二人像判定为是与第一人像a同一人的像。此外，在所有的第二人像的相似度小于等于相似度阈值的情况下，相同性判定部28判定为第二图像42中不包含与第一人像为同一人的像。另外，在第一图像40中包含有多个第一人像的情况下，相同性判定部28对各第一人像进行上述的相同性判定处理。

此外，在相同性判定部28的相同性判定处理之后，根据来自用户终端14的请求，服务器16将第一人像a与第二人像b及c的相同性的判定结果发送至用户终端14。由此，相同性的判定结果显示在用户终端14的显示部上，用户能够确认相同性的判定结果。

以上述方式，在第一图像40与第二图像42之间判定第一人像与第二人像的相同性。优选地，通过对摄像机12拍摄的视频中包含的、每个相邻的帧图像之间进行上述处理，能够在视频中追踪同一人。

在本实施方式中，检测第一人像的各器官点与第二人像的各器官点，将检测出的各器官点用作两个人像的像素的对比点。通过针对每个对应的各器官点计算相似度，不仅人像之间的相似度计算的精度得到提高，而且与对人像整体进行对比的情况相比用于相似度计算的运算量减小。也就是说，能够更加有效地判定两个人像的相同性。

另外，根据本实施方式，即使第一图像40中的第一人像的位置和表示与该第一人像为同一人的第二图像42中的第二人像的位置分离，也能够适当地判定为两个人像为同一人的像。因此，即使视频的帧率小(例如2fps(framespersecond：每秒帧数)左右)，也能够适当地进行两个人像的相同性的判定(即追踪)。这是本实施方式优于以往的要求视频的帧率较高的追踪技术(例如，粒子过滤等)之处。这样，在本实施方式中，由于在相同性的判定中不要求高帧率(即，第二图像42也可以为第一图像40的0.5秒左右之后的帧图像)，因此即使一次相同性判定处理需要一些时间，但是也能够随着视频的播放实时地判定第一人像与第二人像的相同性。

在第一图像40及第二图像42为从在同一视野中于不同时刻拍摄的多个拍摄图像中选出的图像的情况下(例如在第一图像40及第二图像42为摄像机12拍摄的视频中包含的帧图像的情况下)，优选地，相同性判定部28进一步考虑位置似然度分布计算部30的运算结果，由此能够更加高精度地判定两个人像的相同性。

位置似然度分布计算部30基于第一图像40中的第一人像a的位置以及在第一图像40之前拍摄的一个或者多个拍摄图像中的表示与第一人像a为同一人的人像的位置，计算在第一图像40之后拍摄的第二图像42中表示与第一人像a为同一人的人像所在的位置的似然度分布。

参照图6，进行详细说明。在图6的(a)中示出了与图3相同的第一图像40。在图6的(a)中进一步示出了紧接第一图像40之前的帧图像a’中的表示与第一人像a为同一人的人像a’的位置、以及比第一图像40靠前两个的帧图像a”中的表示与第一人像a为同一人的人像a”的位置。此外，通过相同性判定部28的上述处理，判定帧图像a”中的人像a”、帧图像a’中的人像a’以及第一图像40中的第一人像a之间的相同性。

在本实施方式中，如图6的(a)所示，将人像a”的颈部所对应的器官点44a”的位置设为人像a”的位置，将人像a’的颈部所对应的器官点44a’的位置设为人像a’的位置，将第一人像a的颈部所对应的第一器官点44a的位置设为第一人像a的位置。这是因为，多个器官点中的颈部所对应的器官点由人像姿态引起的位置变动最小。

在本实施方式中，位置似然度分布计算部30基于人像a”、人像a’以及第一人像a随时间的位置变动，计算第一图像40的下一个帧图像即第二图像42中的表示与第一人像a为同一人的人像(的颈部的位置)所在的预测位置50。预测位置50能够通过使用已知的方法进行计算。

接下来，位置似然度分布计算部30在第二图像42中，在与第一图像40中的预测位置50相同的位置上绘出预测位置50’，并形成以预测位置50’为中心的二维正态分布。该二维正态分布为表示与第一人像a为同一人的人像所在的位置的似然度分布52。也就是说，对于位置的似然度分布52来说，在预测位置50’上位置的似然度最大，并且距预测位置50’的距离越大，位置的似然度越小。此外，在本实施方式中，如图6的(b)所示，在位置的似然度分布52中，预测位置50’到与第一图像40中的第一人像a的颈部所对应的第一器官点44a的位置相当的位置的距离，被设定为正态分布中的σ。另外，可以适当地设定预测位置50’的位置的似然度的值。在本实施方式中，位置的似然度取0到1的值，预测位置50’的位置的似然度的值设为1。

相同性判定部28不仅基于第一人像a和第二人像b之间的颜色信息的相似度，而且基于第二人像b的位置的似然度，计算表示第一人像a与第二人像b为同一人的指标即综合似然度。

首先，根据位置的似然度分布52和第二人像b的位置，计算第二人像b的位置的似然度。在本实施方式中，基于位置的似然度分布52以及第二人像b的颈部所对应的第二器官点44b的位置，计算第二人像b的位置的似然度。参照图6的(b)，第二人像b的颈部所对应的第二器官点44b的位置越接近预测位置50’，第二人像b的位置的似然度被计算得越大。也就是说，第二人像b的颈部所对应的第二器官点44b的位置越接近预测位置50’，第二人像b被判断为表示与第一人像a为同一人的人像的可能性越大。

接下来，相同性判定部28基于通过上述处理计算出的第一人像a与第二人像b之间的颜色信息的相似度以及计算出的第二人像b的位置的似然度，计算第一人像a与第二人像b之间的综合似然度。在本实施方式中，通过将第一人像a与第二人像b之间的颜色信息的相似度乘以计算出的第二人像b的位置的似然度，来计算综合似然度。

同样地，相同性判定部28计算第一人像a与第二人像c之间的综合似然度。在图7中示出了计算出的综合似然度。

相同性判定部28将对多个第二人像计算出的综合似然度中的小于等于预先设定的综合似然度阈值的第二人像，判定为不是与第一人像a为同一人的像。在此基础上，在残留有多个第二人像的情况下(多个第二人像的综合似然度大于综合似然度阈值的情况下)，将其中的综合似然度最大的第二人像判定为是与第一人像a为同一人的像。此外，在这种情况下，在所有的第二人像的综合似然度小于等于综合似然度阈值的情况下，相同性判定部28判定为第二图像42中不包含与第一人像a为同一人的像。

通过还考虑各第二人像的位置的似然度来判定相同性，能够进一步提高相同性的判定精度。例如，考虑第一人像a和第二人像b是表示同一人的人像的情况。如图7所示，有时由于某种原因，第一人像a与第二人像c之间的颜色信息的相似度被计算得大于第一人像a与第二人像b之间的颜色信息的相似度。在这种情况下，如图6的(b)所示，由于第二人像b的位置距预测位置50’较近，因此作为位置的似然度计算出较大的值“0.33”(参照图7)，由于第二人像c的位置距预测位置50’较远，作为位置的似然度计算出较小的值“0.01”(参照图7)。因此，作为综合似然度，第一人像a与第二人像b之间的综合似然度大于第一人像a与第二人像c之间的综合似然度，其结果，能够准确判定为第二人像b是表示与第一人像a为同一人的人像。

下面，按照图8所示的流程图，对本实施方式的服务器16的处理的流程进行说明。

在步骤s10中，首先，控制部24从通过摄像机12拍摄并存储在存储部22中的多个图像中选择第一图像40及第二图像42。在本例中，从摄像机12拍摄的视频中选择两个帧，并将如图3所示的两个图像设为第一图像40及第二图像42。

在步骤s12中，器官点检测部26检测第一图像40中包含的第一人像a相关的多个第一器官点。

在步骤s14中，器官点检测部26检测第二图像42中包含的第二人像b相关的多个第二器官点。步骤s12以及s14相当于器官点检测步骤。

在步骤s16中，相同性判定部28获取在步骤s12中检测出的与第一人像a相关的多个器官点、以及在步骤s14中检测出的与第二人像b及c相关的多个器官点分别所对应的像素的颜色信息。

在步骤s18中，相同性判定部28计算第一人像a的多个第一器官点所对应的像素的颜色信息与第二人像b的多个第二器官点所对应的像素的颜色信息之间的色差，并且，计算第一人像a的多个第一器官点所对应的像素的颜色信息与第二人像c的多个第二器官点所对应的像素的颜色信息之间的色差。

在步骤s20中，相同性判定部28基于在步骤s18中计算出的每个器官点的色差，计算第一人像a与第二人像b之间的颜色的相似度、以及第一人像a与第二人像c之间的颜色的相似度。

在步骤s22中，位置似然度分布计算部基于第一图像40和紧接第一图像40之前的一个或者多个帧图像，计算在第二图像42中表示与第一人像a为同一人的人像所在的位置的似然度分布。

在步骤s24中，相同性判定部28基于在步骤s22中计算出的位置的似然度分布以及第二图像42中的第二人像b及c的位置，计算第二人像b及c的位置的似然度。

在步骤s26中，相同性判定部28基于在步骤s20中计算出的颜色相似度以及在步骤s24中计算出的位置的似然度，计算第一人像a与第二人像b之间的综合似然度以及第一人像a与第二人像c之间的综合似然度。

在步骤s28中，相同性判定部28基于在步骤s26中计算出的综合似然度，进行第一人像a与第二人像b及c的相同性的判定。步骤s28相当于相同性判定步骤。

以上，虽然对本发明的实施方式进行了说明，但是本发明不局限于上述实施方式，只要不脱离本发明的主旨，则能够进行各种变更。