半导体装置以及摄像机终端的制作方法
【专利摘要】本实施方式的半导体装置具备图像处理部和认证部。图像处理部取得摄像图像，能够改变摄像图像的像素值。认证部对摄像图像中包含的对象图像与参照图像之间的相似度进行认证。认证部将对象图像的坐标信息输出到图像处理部，并认证通过图像处理部改变了坐标信息的像素值后的对象图像与参照图像之间的相似度。
【专利说明】半导体装置以及摄像机终端
[0001]相关申请的交叉引用
[0002]本申请基于并主张于2015年3月16日提交的日本在先专利申请第2015-52006号的优先权，在此通过参照而弓I入其全部内容。
技术领域
[0003]本发明的实施方式涉及半导体装置以及摄像机终端。
【背景技术】
[0004]在脸部认证系统中，将由摄像机摄像到的被认证者的脸部图像与事先储存在终端中的脸部图像的词典数据进行比较。此外，判断被认证者的脸部图像是否与词典数据中的脸部图像一致。
[0005]但是，在以往的脸部认证系统中，摄像机的设置场所和/或照明条件较大地影响认证的精度，因此为了确保认证的精度，需要对摄像机的设置场所等的利用条件进行制约。因而，在以往的脸部认证系统中，有难以提高基于摄像图像的对象认识的便利性等的问题。
【发明内容】
[0006]本发明提供一种能够使基于摄像图像的对象认识的便利性提高的半导体装置以及摄像机终端。
[0007]技术方案提供一种半导体装置，具备:图像处理部，取得摄像图像，能够改变上述摄像图像的像素值；以及认证部，对上述摄像图像中包含的对象图像与参照图像之间的相似度进行认证，上述认证部将上述对象图像的坐标信息输出到上述图像处理部，通过上述图像处理部来认证改变了上述坐标信息的像素值后的对象图像与上述参照图像之间的相似度。
[0008]此外，技术方案提供一种摄像机终端，具备:摄像部，对被摄体进行摄像;认证部，对通过上述摄像部摄像到的摄像图像中包含的对象图像与参照图像之间的相似度进行认证，上述认证部在不能认证上述对象图像与上述参照图像之间的相似度的情况下，基于上述对象图像的坐标信息来认证改变了像素值后的对象图像与上述参照图像之间的相似度。
【附图说明】
[0009]图1是表示本实施方式的图像处理系统I的框图。
[0010]图2是表示图像处理系统I的动作例的流程图。
【具体实施方式】
[0011]本实施方式的半导体装置具备图像处理部和认证部。图像处理部取得摄像图像并能够改变摄像图像的像素值。认证部对包含在摄像图像中的对象图像与参照图像的相似度进行认证。认证部将对象图像的坐标信息输出到图像处理部，并对通过图像处理部改变了坐标信息的像素值后的对象图像与参照图像之间的相似度进行认证。
[0012]下面参照【附图说明】实施方式。本发明不限定于实施方式。
[0013]图1是表示本实施方式的图像处理系统I的框图。本实施方式的图像处理系统I能够用于例如用来许可向施设的进场的脸部认证。只要是基于摄像图像来认识(把握)对象的用途，图像处理系统I也可以适用于对象的认证(可信性的确认)以外的用途(例如手势(Gesture)输入等)。
[0014]如图1所示，图像处理系统I具备摄像部11、图像处理部12、认证部13和存储部14。存储部14中存储着用于后述的认证处理的参照图像。
[0015]图1的图像处理系统I是摄像机终端。摄像部11、图像处理部12、认证部13以及存储部14可以收容在单一的摄像机的壳体中。进而，图像处理部12、认证部13以及存储部14构成半导体装置10。半导体装置10可以是ISP(Image Signal Processor，图像信号处理器)。根据图1的图像传送系统1，能够以摄像机单体实现(自己解决，日语:自己完結)后述的认证处理。另外，本实施方式的图像处理系统也可以由摄像机终端和能够与摄像机终端进行数据通信的外部装置(例如服务器)构成。
[0016]摄像部11对被摄体进行摄像，将被摄体的摄像图像数据输出到图像处理部12。被摄体是例如人的脸部。摄像部11是由例如透镜和/或固体摄像元件构成的摄像机模块。固体摄像元件可以是例如CMOS平面图像传感器(area image sensor)。摄像部11可以与图像处理部12—起构成摄像机模块。即，图像处理部12可以配备在摄像机模块中。
[0017]图像处理部12具有像素值控制部121。图像处理部12从摄像部11取得摄像图像数据，并将所取得的摄像图像数据输入到像素值控制部121。像素值控制部121能够改变(改正、修正)摄像图像数据的像素值(即摄像图像的像素值)。像素值是例如亮度值。另外，通过改变摄像图像中的最大亮度值与最小亮度值之差，也能够改变对比度。像素值控制部121也能够改变色差值。图像处理部12将摄像图像数据输出到认证部13。
[0018]认证部13具有图像输入部131、对象图像检测部132、特征点检测部133、认证处理部134和控制部135。
[0019]图像输入部131将从图像处理部12输出的摄像图像数据输入。
[0020]对象图像检测部132基于由图像输入部131输入了的摄像图像数据来检测摄像图像中包含的对象图像。这里，所谓对象图像是指拍入到摄像图像中的图像且是成为后述的认证处理的对象的图像。例如，对象图像是人类的脸部图像。对象图像检测部132可以通过基于亮度差来检测对象图像的脸部轮廓从而检测对象图像。对象图像检测部132算出对象图像的坐标信息。
[0021]特征点检测部133检测事先所决定的对象图像的特征点。在对象图像是人的脸部图像的情况下，特征点可以是眼或鼻等。特征点检测部133算出特征点的区域的坐标信息。
[0022]认证处理部134基于由特征点检测部133检测出的对象图像的特征点和存储在存储部14中的参照图像来执行对象图像的认证处理。这里，所谓认证处理，是决定(判断)摄像图像中所包含的对象图像的特征点是否符合参照图像的处理。认证处理也能够是认证对象图像与参照图像之间的相似度的处理。即，认证处理部134决定摄像图像中包含的对象图像是否符合参照图像。所谓参照图像，是在认证处理时对照与对象图像的相似度的、事先被取得(登记)了的图像。例如，参照图像是被登记在词典数据中的眼的图像，对于认证处理而言，进行被认证者的眼的图像与词典数据的眼的图像之间的相似度的对照计算，进行脸部认证的判别。这里，对象图像符合参照图像是指，对象图像和参照图像的相似度一致，但不只是完全一致的情况，只要有规定以上的一致点即可。
[0023]在通过认证处理部134决定为对象图像不符合参照图像的情况下，控制部135对图像处理部12输出(反馈)表示对象图像的区域的坐标信息来指示像素值的改变(对象图像的加工)。并且，在通过特征点检测部133没有检测到特征点的情况下，控制部135也对图像处理部12输出表示对象图像的区域的坐标信息来指示对象图像的像素值的改变。这里，坐标信息所表示的对象图像的区域可以是对象图像的整个区域，或者在对象图像中检测出了特征点的情况下也可以是特征点的区域。
[0024]像素值控制部121进行对象图像的像素值的改变。在认证部13中对象图像不符合参照图像的情况下，将从控制部135得到的对象图像的坐标信息的像素值改变。即，在认证部13不能认证对象图像与参照图像之间的相似度的情况下，像素值控制部121进行像素值的改变。并且，在认证部13中没有检测出对象图像的特征点的情况下，改变从控制部135得到的对象图像的坐标信息的像素值。改变了像素值的对象图像被输出到认证部13。像素值的改变可以是，通过改变例如亮度或对比度来使图像鲜明。另外，不只是对象图像，也可以将包含改变了像素值后的对象图像在内的摄像图像向认证部13输出。并且，在检测到特征点的情况且不符合参照图像的情况下，可以改变特征点的坐标区域的像素值并将特征点的图像输出到认证部13。
[0025]认证部13比较基于坐标信息而改变了像素值后的对象图像和参照图像，再次进行认证处理。特征点检测部133检测对象图像的特征点。并且，认证处理部134执行对改变了像素值后的对象图像的认证处理。通过执行对改变了像素值后的对象图像的认证处理，能够使认证真正的认证对象的频率提高。另外，这些认证处理能够反复直到与参照图像一致。
[0026]接着，参照图2说明具有上述的构成的图像处理系统I的动作例。图2是表示图像处理系统I的动作例的流程图。
[0027]如图2所示，首先，摄像部11摄像被摄体(步骤SI)。图像处理部12对摄像图像数据实施规定的图像处理并输出到认证部13。
[0028]接着，图像输入部131将从图像处理部12输出了的摄像图像输入(图像输入)(步骤S2)。
[0029]接着，对象图像检测部132从摄像图像检测对象图像(步骤S3)。
[0030]接着，特征点检测部133检测对象图像的特征点(步骤S4)。
[0031 ]接着，认证处理部134判断是否检测出特征点(步骤S5)。此外，在检测出特征点的情况下(步骤S5:是)，认证处理部134基于所检测出的特征点将对象图像标准化(步骤S6)。标准化可以是将对象图像的角度(旋转)和/或大小(倍率)整合到参照图像的角度和/或大小的处理，以使例如能够将对象图像与参照图像进行比较。
[0032]接着，认证处理部134将被标准化后的对象图像与存储在存储部14中的参照图像进行对照(步骤S7)。对照可以是将对象图像和参照图像比较来计算对象图像相对于参照图像的相似度的处理。不限定相似度的具体的形态。例如，认证处理部134可以基于对象图像与参照图像之间坐标以及像素值相互一致的像素的个数等来计算相似度。
[0033]接着，认证处理部134基于对照的结果来决定(判断)对象图像是否符合参照图像(步骤S8)。即，认证处理部134(认证部13)认证对象图像与参照图像之间的相似度。此外，在决定为对象图像符合参照图像的情况下(步骤S8:是)，结束处理。该情况下，图像处理系统I对与图像处理系统I协同的安全系统(例如进场管理系统)可以发送对象图像符合参照图像(取得了本人确认)这一意思的信息。
[0034]另一方面，在没有检测出特征点的情况下(步骤S5:否)，控制部135将表示对象图像的区域的坐标信息输出到图像处理部12，并指示对象图像的加工(步骤S9)。另外，在存在多个要检测的特征点的情况下，可以取至少I个特征点没检测到的情况作为特征点没被检测出。
[0035]接着，像素值控制部121在坐标信息所示的对象图像的区域中改变对象图像的像素值(步骤S10)。此时，像素值控制部121在对象图像的区域中可以使对象图像的亮度值增加，或者也可以使对象图像的对比度增加。由此，通过基于表示对象图像的区域的坐标信息对摄像图像的一部分进行，能够将对象图像简便、适当且迅速地改变像素值。
[0036]此外，图像处理部12将改变了像素值后的对象图像输出到认证部13。并且，也可以以包含有改变了像素值后的对象图像的摄像图像的形态输出到认证部13。之后，反复图像输入(步骤S2)以后的处理。这里，仅对象图像被从图像处理部12输出到认证部13的情况下，不需要在对象图像检测部132中检测对象图像而能够谋求处理的缩短。
[0037]并且，在决定为对象图像不符合参照图像的情况下(步骤S8:否)，控制部135将表示对象图像的区域的坐标信息输出到图像处理部12(步骤Sll)。此时，控制部135也可以输出表示该对象图像的特征点的区域的坐标信息。
[0038]接着，像素值控制部121在坐标信息所表示的对象图像的区域中改变对象图像的像素值(步骤S12)。此时，像素值控制部121在对象图像的区域中可以使对象图像的亮度值增加，或者也可以使对象图像的对比度增加。由此，通过基于表示对象图像的区域的坐标信息对摄像图像的一部分进行，能够将对象图像简便、适当且迅速地改变像素值。
[0039]此外，图像处理部12将改变了像素值的对象图像输出到认证部13。并且，也可以以包含有改变了像素值的对象图像的摄像图像的形态输出到认证部13。之后，反复图像输入(步骤S2)以后的处理。这里，仅对象图像被从图像处理部12输出到认证部13的情况下，不需要在对象图像检测部132中检测对象图像而能够谋求处理的缩短。并且，在仅特征部区域的图像被输出到认证部13的情况下，不需要对象图像检测部132以及特征点检测部133中的处理，能够谋求进一步的处理的缩短。
[0040]根据摄像机终端的设置场所或照明条件，可能产生如下情况，S卩:通过对与参照图像的被摄体相同的被摄体进行摄像而得到的对象图像在像素值中与参照图像较大地不同。例如，有由于对象图像的被摄体在摄像时的照明条件较暗从而得到比参照图像更暗的对象图像的情况。在对象图像的像素值与参照图像的像素值较大地不同的情况下，会导致认证处理部134将本来应决定为符合参照图像的对象图像决定为不符合参照图像。
[0041]然而，通过改变对象图像的像素值，有可能能够决定为符合参照图像。从而，能够不重新取得摄像图像而使认证的频率提高，即能够降低对于真正的认证对象的误认证(拒绝本人)的可能。并且，通过设为对于对象图像增加了亮度值和/或对比度的图像，能够使认证的频率进一步提尚。
[0042]并且，根据摄像机终端的设置场所和/或照明条件，无论参照图像是相同的被摄体与否，有由于不能检测对象图像的特征点而对象图像不符合参照图像的情况。
[0043]然后，通过改变对象图像的像素值，有可能能够检测特征点。从而，通过改变对象图像的像素值，能够不重新取得摄像图像而使认证的频率进一步提高。
[0044]另外，只要在对象图像符合参照图像之前反复进行像素值的改变和认证处理即可，但优选的是对于反复的次数设置上限。通过对反复的次数设置上限，能够使得不白白地反复进行对于没有登记参照图像的认证对象的无用的认证处理。
[0045]如以上所述，根据本实施方式，通过改变对象图像的像素值，能够不重新取得摄像图像、无论摄像机终端的设置位置或照明条件如何、都迅速地确保对象图像的认证精度。由此，能够缓和摄像机终端的设置位置和/或照明条件的制约从而提高基于摄像图像的对象认识的便利性。
[0046]并且，根据实施方式，也能够以摄像机单体实现认证处理。以摄像机单体实现认证处理的情况下，与以高性能的娱乐终端(中规模或大规模的服务器)实现认证处理的情况相比较，能够削减成本且提高便利性。
[0047]说明了本发明的一些实施方式，但这些实施方式是作为例子提示的，并不是要限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。
【主权项】
1.一种半导体装置， 具备: 图像处理部，取得摄像图像，并能够改变上述摄像图像的像素值；以及 认证部，对上述摄像图像中包含的对象图像与参照图像之间的相似度进行认证， 上述认证部将上述对象图像的坐标信息输出到上述图像处理部，通过上述图像处理部来认证改变了上述坐标信息的像素值后的对象图像与上述参照图像之间的相似度。2.如权利要求1中记载的半导体装置， 上述认证部在不能认证上述对象图像与上述参照图像之间的相似度的情况下，进行上述像素值的改变。3.如权利要求1中记载的半导体装置， 上述认证部在不能检测出上述对象图像的特征点的情况下进行上述像素值的改变。4.如权利要求2中记载的半导体装置， 上述认证部在不能检测出上述对象图像的特征点的情况下进行上述像素值的改变。5.如权利要求1中记载的半导体装置， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。6.如权利要求2中记载的半导体装置， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。7.如权利要求3中记载的半导体装置， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。8.如权利要求4中记载的半导体装置， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。9.一种摄像机终端，具备: 摄像部，对被摄体进彳丁摄像；以及 认证部，对通过上述摄像部摄像到的摄像图像中包含的对象图像与参照图像之间的相似度进行认证， 上述认证部在不能认证上述对象图像与上述参照图像之间的相似度的情况下，基于上述对象图像的坐标信息来认证改变了像素值后的对象图像与上述参照图像之间的相似度。10.如权利要求9中记载的摄像机终端， 上述认证部在不能认证上述对象图像与上述参照图像之间的相似度的情况下进行上述像素值的改变。11.如权利要求9中记载的摄像机终端， 上述认证部在不能检测出上述对象图像的特征点的情况下进行上述像素值的改变。12.如权利要求1O中记载的摄像机终端， 上述认证部在不能检测出上述对象图像的特征点的情况下进行上述像素值的改变。13.如权利要求9中记载的摄像机终端， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。14.如权利要求1O中记载的摄像机终端， 上述像素值的改变是上述对象图像的亮度值或对比度的增加。15.如权利要求11中记载的摄像机终端，上述像素值的改变是上述对象图像的亮度值或对比度的增加。16.如权利要求12中记载的摄像机终端，上述像素值的改变是上述对象图像的亮度值或对比度的增加。
【文档编号】G06K9/62GK105991907SQ201610110121
【公开日】2016年10月5日
【申请日】2016年2月29日
【发明人】奥山智之
【申请人】株式会社东芝