成像装置及其成像方法、图像处理装置及其图像处理方法与流程

文档序号:16264341发布日期:2018-12-14 21:49阅读:199来源:国知局

本申请要求于2013年8月27日提交的日本在先专利申请JP2013-175770的权益,其全部内容通过引用的方式并入本文。

技术领域

本发明涉及成像装置及其成像方法、图像处理装置及其图像处理方法和程序,且具体地涉及能够利用低成本的构造来评估肌肤表面状况(skin surface condition)的成像装置及其成像方法、图像处理装置及其图像处理方法和程序。



背景技术:

已经研究了分析肌肤表面状况的方法,例如,肌肤光泽值和肌肤纹理。例如,已经提出了在光源侧和图像传感器侧准备偏振滤光器(polarization filters),以提供平行偏振状态和正交偏振状态,对各个状态中的肌肤成像,并基于它们之间的差分计算肌肤光泽值的方法(例如,参见日本专利申请公开号2010-273737(下文中称为专利文献1))。



技术实现要素:

为了实现上述方法,有必要准备三个(三种)偏振滤光器,将三个偏振滤光器中的两个放置在光源侧上以提供两种偏振:平行偏振和正交偏振,并将三个偏振滤光器中的一个放置在图像传感器侧上。可替代地,有必要准备两个(两种)偏振滤光器并将偏振滤光器分别放置在光源侧和图像传感器侧上,且利用旋转90度的光源或图像传感器执行成像的机构也是必要的。因此,希望提供一种方法,通过该方法,肌肤表面状况可以更低成本进行评估。

鉴于上述情况,期望利用较低成本构造来评估肌肤表面状况。

根据本公开的第一实施方式,提供了一种成像装置,其包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为经由第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向,成像元件还被配置为以时分方式对由无偏振发光部的光照射的被摄体和由偏振发光部的光照射的被摄体成像并输出作为成像的结果而获得的无偏振光图像和正交偏振光图像。

根据本公开的第一实施方式,提供了一种成像装置的成像方法,成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向;所述方法包括由成像装置:以时分方式对由无偏振发光部的光照射的被摄体和由偏振发光部的光照射的被摄体成像;并且输出无偏振光图像和正交偏振光图像。

在本公开的第一实施方式中,在成像装置中,以时分方式成像由无偏振发光部的光照射的被摄体和由偏振发光部的光照射的被摄体,并且输出无偏振光图像和正交偏振光图像。

根据本公开的第二实施方式,提供了一种图像处理装置,其包括镜面反射图像生成器,其被配置为获取由成像装置捕获的无偏振光图像和正交偏振光图像,并且从无偏振光图像和正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像,所述成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向。

根据本发公开的第二实施方式,提供了一种图像处理装置的图像处理方法,其包括:获取由成像装置捕获的无偏振光图像和正交偏振光图像;并从无偏振光图像和正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像,所述成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向。

根据本公开的第二实施方式,提供了一种使计算机执行处理的程序,所述计算机被配置为处理由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向;所述处理包括:从无偏振光图像和正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像。

在本公开的第二实施方式中,从无偏振光图像和正交偏振光图像生成作为具有的镜面反射成分的图像的镜面反射图像。

根据本公开的第三实施方式,提供了一种图像处理装置,其包括平行偏振光图像生成器,其被配置为获取由成像装置捕获的无偏振光图像和正交偏振光图像,并从无偏振光图像和正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像;所述成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向。

根据本公开的第三实施方式,提供了一种图像处理装置的图像处理方法,其包括:获取由成像装置捕获的无偏振光图像和正交偏振光图像,;并且从无偏振光图像和正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像;所述成像装置包括:无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向。

根据本公开的第三实施方式,提供了一种使计算机执行处理的程序,所述计算机被配置为处理由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括无偏振发光部,其被配置为发射具有无偏振成分的光;偏振发光部,其被配置为通过第一偏振滤光器发射具有预定偏振成分的光;和成像元件,其被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由无偏振发光部和所述偏振发光部中的一个的光照射,第一偏振滤光器和第二偏振滤光器具有彼此成正交关系的偏振方向;所述处理包括从无偏振光图像和正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像。

在本公开的第三实施方式中,从无偏振光图像和正交偏振光图像生成具有平行偏振成分的图像的平行偏振光图像。

应注意,程序可通过传输介质传输或记录在记录介质中来提供。

成像装置和图像处理装置可以是独立的装置或者可以是构成单个装置的内部块。

根据本公开的第一至第三实施方式,可以利用较低成本构造来评估肌肤表面状况。

应注意,并不一定限制于上述效果且可以是本公开中阐述的任何效果。

通过如附图中所示的其最佳模式的实施方式的以下详细描述,本公开的这些和其它的目的、特征和优点将变得更加显而易见。

附图说明

图1是示出根据本公开的第一实施方式的成像系统的框图;

图2是示出成像装置的镜筒部分的示图;

图3是示出由预处理器进行预处理的概要的示图;

图4是示出镜面反射图像生成器的详细构造实例的框图;

图5是说明由限幅器(clipper)进行的限幅处理的处理内容的示图;

图6是说明由光泽图像计算器进行的处理的内容的示图;

图7是示出存储在光泽评估器中的光泽评估值计算曲线图的实例的示图;

图8是示出评估结果呈现屏幕的实例的示图;

图9是示出评估结果呈现屏幕的另一实例的示图;

图10是解释根据第一实施方式的成像系统中的肌肤光泽评估处理的流程图;

图11是示出根据本发明第二实施方式的成像系统的框图;

图12是示出平行偏振光图像生成器的详细构成实例的框图;

图13是解释第一实施方式和第二实施方式之间的处理的差别的示图;

图14是解释第一实施方式和第二实施方式之间的处理的差别的示图;

图15是示出纹理分析器的详细构造实例的框图;

图16是示出表皮图像处理器和表皮图案检测器(epidermis pattern detector)的功能构造实例的框图;

图17是示出后天的要素分析器(acquired-element analyzer)的功能构造实例的框图;

图18是解释根据第二实施方式的成像系统中的肌肤纹理评估处理的流程图;

图19是解释纹理分析处理的细节的流程图;

图20是解释表皮图像处理的细节的流程图;

图21是解释表皮图案检测处理的细节的流程图;

图22是解释后天的要素分析处理的细节的流程图;

图23是示出皮丘区域(ridge region,皮脊)的尺寸的直方图的实例的示图;

图24是示出表皮尺寸分布分析器的归一化曲线的实例的示图;

图25是解释表皮形状分布分析处理1的细节的流程图;

图26是示出表皮层形状分布分析器的归一化曲线的实例的示图;

图27是解释表皮形状分布分析处理2的细节的流程图;

图28是解释参考形状的实例的示图;

图29是示出纹理评估结果的呈现实例的示图;

图30是示出物理评估结果的另一呈现实例的示图;

图31是示出根据本公开的第三实施方式的成像系统的框图;

图32是示出根据本发明的第四实施方式的成像系统的框图;以及

图33是示出根据本公开的一个实施方式的计算机的构造实例的框图。

具体实施方式

在下文中,将参考附图描述用于实施本公开的实施方式(以下称为实施方式)。应注意,其描述将按以下列顺序进行。

1.第一实施方式(评估肌肤光泽(skin shine)的成像系统)

2.第二实施方式(评估肌肤纹理(skin texture)的成像系统)

3.第三实施方式(评估肌肤光泽和纹理的成像系统)

4.第四实施方式(在服务器执行图像处理的成像系统)

<1.第一个实施方式>

<成像系统的框图>

图1是示出根据本发明第一实施方式的成像系统的框图。

图1中所示的成像系统1包括:成像装置11、图像处理装置12和显示装置13。成像系统1是捕获肌肤图像并评估作为肌肤表面状况的肌肤光泽的系统。

成像装置11捕获受检者的肌肤图像并将所捕获的肌肤图像提供给图像处理装置12。更具体而言,成像装置11捕获无偏振光图像IT和正交偏振光图像IPV的二种(两个)图像作为肌肤图像并将它们提供给图像处理装置12。

图2是示出成像装置11的镜筒部分的示图。

成像装置11的镜筒41包括环状形式的多个发光部42。镜筒41包括其中心处的图像传感器43。图像传感器43由成像元件(例如)互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD))配置。图像传感器43在其前表面上设有偏振滤光器。

发光部42包括无偏振发光部42A和偏振发光部42B。无偏振发光部42A对受检者的肌肤发射具有无偏振成分的光。偏振发光部42B对受检者的肌肤发射具有预定偏振成分的光。各个无偏振发光部42A包括发射白光的发光二极管(LED)光源。另一方面,各个偏振发光部42B包括发射白光的LED光源和设置在其前表面上的偏振滤光器。偏振发光部42B的偏振滤光器和图像传感器43的偏振滤光器附接,使得其偏振方向相互正交。

以相对于如图2所示的图像传感器43的点对称方式布置无偏振发光部42A和偏振发光部42B。

虽然四个无偏振发光部42A和四个偏振发光部42B被设置成图2的实例,但是无偏振发光部42A和偏振发光部42B的数量不限于此。设置成点对称方式仅需要至少两个无偏振发光部42A和两个偏振发光部42B。可替代地,六个无偏振发光部42A和六个偏振发光部42B可被设置成点对称方式。

应注意,为了消除亮度不均匀性,期望以点对称方式提供无偏振发光部42A和偏振发光部42B并将无偏振发光部42A的数量和偏振发光部42B数量设置为相等。然而,其它布置也是可能的。

首先,在其中作为被摄体(subject)的受检者的肌肤由无偏振发光部42A的光照射的状态下通过经由第一偏振方向(水平方向)的偏振滤光器对受检者的肌肤成像的图像传感器43,成像装置11生成受检者肌肤的无偏振光图像IT。然后,成像装置11将无偏振光图像IT提供给图像处理装置12。

接下来,通过在其中肌肤经由第二偏振方向(垂直方向)的偏振滤光器被偏振发光部42B的光照射的状态下对受检者的肌肤成像的图像传感器43,成像装置11生成受检者肌肤的正交偏振光图像IPV。然后,成像装置11将正交偏振光图像IPV提供给图像处理装置12。

因此,与其中准备三个(三种)偏振滤光器,三个偏振滤光器中的两个被放置在光源侧,使得可提供平行偏振和正交偏振的两种类型的偏振,且三个偏振滤光器中的一个被放置在图像传感器侧的情况比较,只有两种偏振滤光器是必要的。

此外,与其中准备两个(两种)偏振滤光器,偏振滤光器分别被放置在光源侧和图像传感器侧,且由光源或图像传感器旋转90度执行成像的情况比较,旋转功能可省略。

因此,根据本技术,可以获得利用低成本的构造评估肌肤表面状况所需的肌肤图像,并且因此能够以低成本构造来评估肌肤表面状况。

应注意,由无偏振发光部42A成像和由偏振发光部42B成像的顺序可以是相反的。因此,成像装置11仅需要能够以时分方式由无偏振发光部42A执行成像和由偏振发光部42B来执行成像,从而生成无偏振光图像IT和正交偏振光图像IPV。

只要第一偏振方向和第二偏振方向处于彼此正交关系,图像传感器43和偏振发光部42B的偏振方向不受限制。

返回参考图1,图像处理装置12包括:预处理器21、镜面反射图像生成器22、光泽分析器23和评估结果呈现单元24。光泽分析器23包括:光泽图像计算器31、光泽值计算器32和光泽评估器33。

预处理器21被提供有由成像装置11捕获的两个(两种)肌肤图像,即,来自成像装置11的无偏振光图像IT和正交偏振光图像IPV。

预处理器21执行使其易于在后续阶段对从成像装置11提供的无偏振光图像IT和正交偏振光图像IPV进行处理的预处理。具体而言,预处理器21将两个图像的亮度水平调整到最佳亮度水平(平均亮度)。

<预处理器21的概要>

图3是示出由预处理器21进行预处理的概要的示图。

假设所获取图像的亮度值的平均值由src_avg指示且作为图像的平均亮度的期望水平由标准值std_val指示,预处理器21根据下面表达式将调整前的图像的预定像素的亮度值src_val调整为调整后的图像的亮度值dst_val。

dst_val=src_val+(std_val-src_avg)

更具体而言,预处理器21根据下面表达式(1)基于无偏振光图像IT的像素(x,y)的调整之前的亮度值IT(x,y)计算调整之后的亮度值ITP(x,y)。

进一步,预处理器21根据下面表达式(2)基于正交偏振光图像IPV的像素(x,y)的调整之前的亮度值IPV(x,y)计算调整之后的亮度值IPVP(x,y)。

作为各表达式(1)和(2)中的分数的分母的N指示无偏振光图像IT或正交偏振光图像IPV的像素的数量。应注意,标准值std_val被预先设定并输入为固定值。

预处理器21将预处理后的无偏振光图像ITP和正交偏振光图像IPVp提供给镜面反射图像生成器22。此外,预处理器21也将预处理后的无偏振光图像ITp提供给评估结果呈现单元24。

使用从预处理器21提供的预处理之后的无偏振光图像ITP和正交偏振光图像IPVP,镜面反射图像生成器22生成作为具有镜面反射成分的图像的镜面反射图像Is。然后,镜面反射图像生成器22将镜面反射图像Is提供到光泽图像计算器31和光泽值计算器

<镜面反射图像生成器22的构造>

图4是示出镜面反射图像生成器22的详细构造例的框图。

镜面反射图像生成器22包括增益乘法器51、减法器52和限幅器53。

增益乘法器51根据下面表达式(3)将增益Gainpp乘以正交偏振光图像IPVP并获得增益乘法运算之后的正交偏振光图像IPVP,G

IPVP,G(x,y)=GainPP·IPVP(x,y)…(3)

在这里,用于使无偏振光图像IT的平均亮度等于正交偏振光图像IPV的平均亮度的值被设定为增益Gainpp。然而,在本实施方式中,两个图像的平均亮度已经由预处理器21被调整到同一值,并因此可设定Gainpp=1.0。

换言之,预处理器21可被省略。在这种情况下,用于使无偏振光图像IT的平均亮度等于正交偏振光图像IPV的平均亮度的增益Gainpp由另一个块(block)计算或从外部设备输入并根据表达式图像(3)乘以正交偏振光图像IPVP。可替代地,根据将在后面描述的第二实施方式中的表达式(6)计算的值可被用作增益Gainpp。

减法器52从无偏振光图像ITP中减去增益乘法运算之后的正交偏振光图像IPVP,G并生成差分图像IDiff1。具体而言,减法器52根据下面表达式(4)对无偏振光图像ITP的每个像素进行计算。

IDiff1(x,y)=ITP(x,y)-IPVP,G(x,y)…(4)

根据表达式(4),图像的变动成分(fluctuating component),例如,表面的微细结构,或者镜面反射成分可被提取。

限幅器53进行限幅由减法器52计算的差分图像IDiff1的限幅处理,使得图像在适当范围内。然后,限幅器53输出限幅处理之后的图像作为镜面反射图像IS。

图5示出指示由限幅器53进行限幅处理的处理内容的转换曲线图。图5中,横轴指示差分图像IDiff1的像素(x,y)的亮度值IDiff1(x,y)且纵轴指示限幅处理之后的镜面反射图像IS的亮度值IS(x,y)。

如图5所示,限幅器53执行将由减法器52的差分计算所产生的负亮度值设定为0的处理。

如上所述,镜面反射图像生成器22利用从预处理器21提供的预处理之后的无偏振光图像ITP和正交偏振光图像IPVP计算镜面反射图像IS。然后,镜面反射图像生成器22将镜面反射图像IS提供给光泽图像计算器31和光泽值计算器32。

<光泽分析器23的构造>

返回参考图1,光泽分析器23使用从镜面反射图像生成器22提供的镜面反射图像IS分析肌肤光泽。

光泽图像计算器31基于从镜面反射图像生成器22提供的镜面反射图像IS计算光泽图像IG。光泽图像IG是指示受检者的皮脂量的图像。

图6是示出由光泽图像计算器31处理的相对于镜面反射图像Is的像素(x,y)的亮度值IS(x,y)的内容的示图。在图6中,横轴指示镜面反射图像IS的像素(x,y)的亮度值IS(x,y),且纵轴指示光泽图像IG的像素(x,y)的亮度值IG(x,y)。

如图6所示,光泽图像计算器31通过将镜面反射图像IS的亮度值从Is_th_min到亮度值Is_th_max的范围映射到从0到255的亮度值来计算光泽图像IG。

返回参考图1,光泽值计算器32基于从镜面反射图像生成器22提供的镜面反射图像IS计算光泽值(皮脂量)Gloss_val。根据下面表达式(5)计算光泽值Gloss_val。

在表达式(5)中,分母N指示镜面反射图像Is的像素的数量。因此,光泽值Gloss_val可基于镜面反射图像Is的平均亮度来计算。

由光泽图像计算器31计算的光泽图像IG和由光泽值计算器32计算的光泽值Gloss_val被提供给光泽评估器33。

光泽评估器33使用存储在其中的光泽评估值计算曲线图,根据由光泽值计算器32计算的光泽值Gloss_val计算光泽评估值Gloss_eval。

图7示出存储在光泽评估器33中的光泽评估值计算曲线图的实例。

例如,如图7中所示,光泽评估值计算曲线图是以下曲线图:将0作为光泽评估值Gloss_eval分配到小于第一值gloss_val_th_min的光泽值Gloss_val、将从0到100的光泽评估值Gloss_eval分配到等于或大于第一值loss_val_th_min并等于或小于第二值gloss_val_th_max的光泽值Gloss_valg,并将100的光泽评估值Gloss_eval分配到大于第二值gloss_val_th_max的光泽值Gloss_val。由此,光泽值Gloss_val被转换为采取从0到100的任何值的光泽评估值Gloss_eval。应注意,光泽评估值计算曲线图不限于图7的实例。

光泽评估33将基于光泽评估值计算曲线图计算的光泽评估值Gloss_eval连同由光泽图像计算器31提供的光泽图像IG一起提供到评估结果呈现单元24。

评估结果呈现单元24使用从预处理器21提供的预处理之后的无偏振光图像ITP和从光泽评估器33提供的光泽评估值Gloss_eval和光泽图像IG使显示装置13显示指示受检者的肌肤光泽的评估结果的信息。

显示装置13包括液晶显示器(LCD)、有机电致发光(EL)显示器等。显示装置13基于从评估结果呈现单元24提供的图像信号显示预定图像。

应注意,显示装置13可被包括作为图像处理装置12的一部分或者可以是具有显示功能之外的功能的装置,例如便携式信息终端,诸如蜂窝电话或电视机接收器。换言之,至少具有显示功能的任何类型的装置都可被用作显示装置13。

<评估结果呈现屏幕(screen,画面)的实例>

参考图8和图9,将描述在显示装置13上显示由评估结果显示单元24显示的评估结果呈现屏幕的实例。

图8示出使用光泽评估值Gloss_eval呈现受检者的肌肤光泽的评估结果的评估结果呈现屏幕的实例。

图8中所示的评估结果显示屏幕60包括:消息呈现部分61、含水量呈现部分62、含油量呈现部分63和肌肤状况图呈现部分64。

在消息呈现部分61中,示出基于受检者的含油量和含水量而从预先准备的多个消息中选择的预定消息。在图8的实例中,示出“最敏感状况下的肌肤。积极的保湿肌肤以避免肌肤烦恼!”的消息。

在含水量呈现部分62中,示出受检者的含水量的测量结果。受检者的含水量通过例如以静电电容方式测量肌肤的含水量的含水量测量仪(测量单元)测量。所测量的含水量被提供到评估结果呈现单元24。在图8的实例中,“0”被示为含水量。

在含油量呈现部分63中,示出受检者的含油量的测量结果。从光泽评估器33提供的光泽评估值Gloss_eval被作为受检者的含油量示于含油量呈现部分63中。在图8的实例中,“51”被示为含油量。

在肌肤状况图呈现部分64中,受检者的含油量和含水量被显示成横轴上指示含油量和纵轴上指示含水量的二维图(two-dimensional map)。肌肤状况被分类为分别对应于二维图的象限的“正常肌肤”、“油性肌肤”、“油性和干性肌肤”和“干性肌肤”。具体而言,当含水量小于50且含油量小于50时,肌肤状况被认为是“干性肌肤”,当含水量小于50且含油量等于至或大于50时,肌肤状况被认为是“油性和干性肌肤”,当含水量等于或大于50且含油量小于50时,肌肤状况被认为是“正常肌肤”,且当含水量等于或大于50且含油量等于或大于50时,肌肤状况被认为是“油性肌肤”。在对应于二维图上的受检者的含油量和含水量的点上,示出指示受检者的肌肤状况的文字“您”。

图9示出呈现受检者的肌肤光泽的评估结果的评估结果显示屏幕的另一实例。

图9中所示的评估结果显示屏幕70包括:光泽评估值呈现部分71、消息呈现部分72和肌肤图像呈现部分73。

在光泽评估值呈现部分71中,示出从光泽评估器33提供的光泽评估值Gloss_eval。图9是其中从光泽评估器33提供的光泽评估值Gloss_eval是75的情况的实例,“光泽评估值:75/100”被示于光泽评估值呈现部分71中。

在消息呈现部分72中,示出基于受检者的光泽评估值Gloss_eval而从预先准备的多个消息中选择的预定消息。在图9的实例中,示出“非常有光泽。注意减少皮脂。”的消息。

在肌肤图像呈现部分73中,示出从预处理器21提供的预处理之后的无偏振光图像ITP上重叠了从光泽评估器33提供的光泽图像IG的图像。光泽图像IG在有光泽区域(shinier region)中具有更高亮度。因此,受检者可很容易地检查肌肤表面状况。

<肌肤光泽评估处理>

接下来,参考图10中的流程图,将描述根据第一实施方式的成像系统1中的肌肤光泽评估处理。

首先,在步骤S1中,成像装置11捕获肌肤图像。具体而言,成像装置11通过在以时分方式对无偏振发光部42A和偏振发光部42B发射光的同时对受检者的肌肤成像生成二种(两个)图像:无偏振光图像IT和正交偏振光图像IPV。成像装置11将产生的捕获图像提供到图像处理装置12。

在步骤S2中,预处理器21执行使其易于在后续阶段对从成像装置11提供的无偏振光图像IT和正交偏振光图像IPV进行处理的预处理。具体而言,预处理器21根据表达式(1)和(2)调整亮度值,使得图像的平均亮度取最佳值。预处理之后的无偏振光图像ITP和正交偏振光图像IPVP被提供到镜面反射图像生成器22。预处理之后的无偏振光图像ITP也被提供给评估结果呈现单元24。

在步骤S3中,镜面反射图像生成器22的增益乘法器51根据上面的表达式(3)将增益Gainpp和正交偏振光图像IPVP相乘。增益乘法运算之后的正交偏振光图像IPVP,G被提供到减法器52。

在步骤S4中,减法器52通过从正交偏振光图像IPV中减去增益乘法运算之后的正交偏振光图像IPVP,G生成差分图像。具体而言,减法器52对正交偏振光图像IPV的每个像素执行上面表达式(4)的计算。

在步骤S5中,限幅器53执行将减法器52计算的差分图像IDiff1限幅使得图像被包括在适当范围内的限幅处理。然后,限幅器53将限幅处理之后的图像作为镜面反射图像IS输出到光泽图像计算器31和光泽值计算器32。

在步骤S6中,光泽分析器23的光泽图像计算器31基于从镜面反射图像生成器22提供的镜面反射图像Is计算光泽图像IG。更具体而言,如图6所示,光泽图像计算器31通过将镜面反射图像IS的从亮度值Is_th_min到亮度值Is_th_max的范围映射到从0到255的亮度值来计算光泽图像IG。

在步骤S7中,光泽分析器23的光泽值计算器32基于从镜面反射图像生成器22提供的镜面反射图像IS根据上面表达式(5)计算光泽值Gloss_val。

在步骤S8中,光泽分析器23的光泽评估器33基于由光泽图像计算器31计算的光泽值Gloss_val评估光泽。具体而言,使用图7中所示的光泽评估值计算曲线图,光泽评估器33基于光泽值Gloss_val计算光泽评估值Gloss_eval。所计算的光泽评估值Gloss_eval与从光泽图像计算器31提供的光泽图像IG一起从光泽评估器33提供到评估结果呈现单元24。

在步骤S9中,评估结果呈现单元24使显示装置13显示受检者的肌肤光泽的评估结果。更具体而言,使用从预处理器21提供的预处理之后的无偏振光图像ITP、从光泽评估器33提供的光泽评估值Gloss_eval和光泽图像IG等,评估结果呈现单元24使显示装置13显示在图8中所示的评估结果显示屏幕和图9中所示的评估结果显示屏幕。

以这种方式,完成了肌肤光泽评估处理。

通过上述肌肤光泽评估处理,可使用由成像装置11获得的无偏振光图像IT和正交偏振光图像IPV评估肌肤表面状况,因此能够以低成本构造来评估肌肤表面状况。

根据上述第一实施方式,可在不对由成像装置11获取的无偏振光图像IT和正交偏振光图像IPV二值化(binarizing)的情况下评估光泽值,因此能够在不丢失信息的情况下更准确地评估肌肤表面状况。

<2.第二实施方式>

<成像系统的框图>

接下来,将描述根据第二实施方式的成像系统。

图11是示出根据本公开的第二实施方式的成像系统的框图。

应注意,在图11中,对应于上述第一实施方式的那些的部分将用相同参考标号来表示且其描述将被适当地省略。

如在第一实施方式中一样,图11的成像系统1包括:成像装置11、图像处理装置12和显示装置13。然而,在图像处理装置12具有的构造部分不同于第一实施方式中的构造。

即,在第二实施方式中,图像处理装置12包括:预处理器21、平行偏振光图像生成器81、纹理分析器82和评估结果呈现单元83。通过这种构造,图像处理装置12将肌肤纹理作为受检者的肌肤表面状况进行评估。

使用从预处理器21提供的预处理之后的无偏振光图像ITP和正交偏振光图像IPVP,平行偏振光图像生成器81生成作为具有平行偏振成分的图像的平行偏振光图像IPP。平行偏振光图像生成器81将平行偏振光图像IPP提供到纹理分析器82。

使用由平行偏振光图像生成器81计算的平行偏振光图像IPP,纹理分析器82执行分析受检者的肌肤纹理的纹理分析处理。纹理分析器82将所得到的分析结果提供到评估结果呈现单元83。

使用从纹理分析器82提供的分析结果,评估结果呈现单元83使显示装置13显示指示受检者的肌肤纹理状况的评估结果的信息。

<平行偏振光图像生成器81的构造>

图12是示出平行偏振光图像生成器81的详细构造实例的框图。

平行偏振光图像生成器81包括:增益计算器91、增益乘法器92、减法器93和偏移加法器94。

从预处理器21提供的预处理之后的无偏振光图像ITP被输入到增益计算器91和减法器93中,且预处理之后的正交偏振光图像IPVP被输入到增益计算器91和增益乘法器92中。

增益计算器91计算增益GainPP以由增益倍增器92用以与正交偏振光图像IPVP相乘。增益GainPP可以基于以下概念来计算。即,无偏振光图像ITP基于二色反射模型由表面反射成分和的内部反射成分组成。表面反射成分具有表面的微细结构且镜面反射成分和高频成分是相对支配的。与此相反,内部反射成分指示肌肤内部的颜色,因此低频成分是支配的。因此,通过根据以下表达式(6)计算增益GainPP,可获得具有表面反射成分的图像。

表达式(6)中的Argmax{}指示确定使{}中的计算值最大的变量的函数。表达式(6)示出计算局部对比度Contrast(Δd(x,y))的总和最大的增益Gainpp。

在这里,Δd(x,y)根据下面的表达式(7)计算并表达由减法器93利用增益Gainpp(未知数)进行减法的处理内容。

Δd(x,y)=ITP(x,y)-GainPP·IPVP(x,y)…(7)

局部对比度Contrast(Δd(x,y))通过采用将差分滤光器应用于Δd(x,y)并获得响应作为局部对比度的响应的方法来根据表达式(8)计算。

根据表达式(8),准备用于水平方向和垂直方向上的二种3*3的差分滤光器,在水平方向和垂直方向的每个中执行卷积运算,并且将各自取绝对值的值进行相加,从而确定局部对比度Contrast(Δd(x,y))。应注意,在表达式(8)中,ΔD指示对应于由减法器93进行减法处理之后的差分图像的区域的Δd(x,y)的全体集合且由圆(○)包含的叉号(×)指示卷积运算。应注意,局部对比度Contrast(Δd(x,y))可由不同于表达式(8)的方法来计算。

所计算的增益Gainpp从增益计算器91提供到增益乘法器92。

增益乘法器92根据下面的表达式(9)将由增益计算器91计算的增益Gainpp乘以预处理之后的正交偏振光图像IPVP。增益乘法器92计算增益乘法运算之后的正交偏振光图像IPVP,G并将正交偏振光图像IPVP,G提供到减法器93。

IPVP,G(x,y)=GainPP·IPVP(x,y)…(9)

减法器93根据下面的表达式(10)通过从无偏振光图像ITP中减去增益乘法运算之后的正交偏振光图像IPVP,G生成差分图像IDiff2。减法器93提供因此产生的差分图像IDiff2至偏移加法器94。

IDiff2(x,y)=ITP(x,y)-IPVP,G(x,y)…(10)

偏移加法器94通过将偏移值std_val加到从减法器93提供的差分图像IDiff2来计算平行偏振光图像IPP。即,偏移加法器94根据下面的表达式(11)进行计算。所计算的平行偏振光图像IPP提供到纹理分析器82。

IPP(x,y)=IDiff2(x,y)+std_val…(11)

<第一实施方式和第二实施方式之间的差异>

参考图13和图14,将描述第一实施方式和第二实施方式之间的处理差异。

图13是示出上述第一实施方式中的镜面反射图像IS的计算的概念的图。

在图13的图中,横轴指示图像的预定线上的像素位置x且纵轴指示像素位置x处的亮度值(像素值)。

发射到受检者的肌肤并反射的光的成分包括:在肌肤的表面上反射的表面反射成分和进入肌肤之后反射的内部反射成分。总反射成分是包括表面反射成分和内部反射成分两者的反射成分。

总反射成分可获得作为在使无偏振发光部42A发射光时捕获的无偏振光图像IT。内部反射成分可获得作为在使偏振发光部42B发射光时捕获的正交偏振光图像IPV。

通过从作为总反射成分的无偏振光图像IT中减去作为内部反射成分的正交偏振光图像IPV,根据第一实施方式的图像处理装置12计算作为由图13中的实线示出的表面反射成分的镜面反射图像IS。此时所计算的镜面反射图像IS的正的区域(其由图13中的阴影示出)对应于肌肤光泽部分。

与此相反,图14是示出第二实施方式中的平行偏振光图像IPP的计算的概念的示图。

根据第二实施方式的平行偏振光图像生成器81通过将偏移值std_val加到表面反射成分(其通过从作为总反射成分的无偏振光图像IT中减去作为内部反射成分的正交偏振光图像IPV获得)计算作为表面反射成分的平行偏振光图像IPP,以将表面反射成分调整到与总反射成分等的亮度水平相同的亮度水平。虽然用于将表面反射成分调整到与总反射成分等的亮度水平相同的亮度水平的偏移值对应于总反射成分(无偏振光图像IT)和内部反射成分(正交偏振光图像IPV)的平均值,但无偏振光图像IT和正交偏振光图像IPV的亮度值已经由预处理器21调整到标准值std_val,并因此标准值std_val可以被用作偏移值。

<纹理分析器82的构造>

图15是示出纹理分析器82的详细构造实例的框图。

纹理分析器82包括表皮图像处理器101、表皮图案检测器102、后天的要素分析器103和纹理评估器104。

表皮图像处理器101被提供有由平行偏振光图像生成器81计算的平行偏振光图像IPP。应注意,平行偏振光图像IPP在以下描述中也被称为表皮图像。

表皮图像处理器101使表皮图像经受预定图像处理,诸如校正和噪声去除。表皮图像处理器101将图像处理之后的表皮图像提供到表皮图案检测器102和后天的要素分析器103。

表皮图案检测器102检测表皮图像中的表皮图案(在下文中称为表皮图案),表皮图像由表皮上的皮沟(沟真皮,sulcus cutises)和皮丘(脊真皮,crista cutises)形成。表皮图案检测器102检测出的检测结果(在下文中称为表皮图案检测结果)供给后天的要素分析器103。

后天的要素分析器103基于图像处理之后的表皮图像和表皮图案检测结果来分析指示肌肤纹理状况的要素中的后天的要素。后天的要素分析器103将分析结果提供到纹理评估器104。

纹理评估器104基于由后天的要素分析器103的分析结果评估受检者的肌肤纹理状况。纹理计算器104将评估结果提供到评估结果呈现单元83(图11)。

<表皮图像处理器101和表皮图案检测器102的构造>

图16是示出表皮图像处理器101和表皮图案检测器102的功能构造的实例的框图。

表皮图像处理器101包括:图像校正器121、单通道提取器122和噪声去除器123,此外,表皮图案检测器102包括二值化器131和标记处理单元132。

图像校正器121执行表皮图像的诸如失真校正的预定图像校正和缩小。图像校正器121将校正之后的表皮图像提供到单通道提取器122。

单通道提取器122从校正的表皮图像提取预定通道的信号成分。单通道提取器122将所提取的信号成分的表皮图像(以下称为单通道表皮图像)提供到噪声去除器123。

噪声去除器123从单通道表皮图像中去除噪声。噪声去除器123将噪声去除之后的单通道表皮图像(以下称为噪声去除表皮图像)提供到表皮图案检测器102的二值化器131和后天的要素分析器103。

二值化器131对噪声去除表皮图像执行二值化处理。二值化器131将所产生的二值化图像(以下称为二值化表皮图像)提供到标记处理单元132。

标记处理单元132通过对二值化表皮图像执行标记处理来检测表皮图案。更具体而言,标记处理单元132检测表皮图像中皮丘的区域(以下称为皮丘区域)作为表皮图案。进一步,标记处理单元132计数皮丘区域在表皮图像中的数量。进一步,标记处理单元132将指示皮丘区域和皮丘数量的检测结果的表皮图案检测结果提供给后天的要素分析器103。

<后天的要素分析器103的构造实例>

图17是示出后天的要素分析器103的功能构造实例的框图。

后天的要素分析器103包括:表皮尺寸分布分析器151、表皮形状分布分析器152、表皮形状分布分析器153和表皮方向性分析器154。

表皮尺寸分布分析器151分析表皮图案的尺寸的分布。更具体而言,表皮尺寸分布分析器151分析皮丘区域的尺寸的分布并计算指示皮丘区域的尺寸的均匀性的表皮尺寸分布评估值。表皮尺寸分布分析器151将所计算的表皮尺寸分布评估值提供到纹理评估器104。

表皮形状分布分析器152分析表皮图案的形状的分布。更具体而言,表皮形状分布分析器152分析皮丘区域的形状的分布并计算指示皮丘区域的形状的均匀性的表皮形状分布评估值。表皮形状分布分析器152将所计算的表皮形状分布评估值提供到纹理评估器104。

表皮形状分布分析器153从不同于表皮形状分布分析器152的观点(perspective)分析表皮图案的形状的分布。更具体而言,表皮形状分布分析器153比较每个皮丘区域与预定参考形状并确定指示皮丘区域具有的形状类似于参考形状的比率的表皮形状分布信息。表皮形状分布分析器153将确定的表皮形状分布信息提供到纹理评估器104。

表皮方向性分析器154分析表皮图案的方向性。更具体而言,表皮方向性分析器154通过将四个方向的边缘滤光器(例如,0度、45度、90度和135度)应用到噪声去除表皮图像来分析皮丘区域的边缘方向的分布,并计算指示皮丘区域的边缘方向的分布的均匀性的表皮方向性评估值。表皮方向性分析器154将所计算的表皮方向性评估值提供到纹理评估器104。

应注意,皮丘的尺寸、形状、边缘方向由于年老、健康状况、肌肤护理等而以后天方式(acquired manner)变化。因此,表皮尺寸分布评估值、表皮形状分布评估值、表皮形状分布信息和表皮方向性评估值是评估肌肤纹理状况的后天特性的指标。

<肌肤纹理评估处理>

接下来,参考图18中的流程图,将描述根据第二实施方式的成像系统中的肌肤纹理评估处理。

首先,在步骤S21中,成像装置11捕获肌肤图像。具体而言,成像装置11通过在以时分方式使无偏振发光部42A和偏振发光部42B发射光的同时对受检者的肌肤成像生成二种(两个)图像:无偏振光图像IT和正交偏振光图像IPV。成像装置11将产生的捕获图像提供到图像处理装置12。

在步骤S22中,预处理器21执行使其易于在后续阶段对从成像装置11提供的无偏振光图像IT和正交偏振光图像IPV进行处理的预处理。具体而言,预处理器21根据表达式(1)和(2)调整亮度值,使得图像取最佳平均亮度值。预处理之后的无偏振光图像ITP和正交偏振光图像IPVP被提供到平行偏振光图像生成器81。

在步骤S23中,平行偏振光图像生成器81的增益计算器91计算增益GainPP以由增益倍增器92与正交偏振光图像IPVP相乘。

在步骤S24中,增益乘法器92将由增益计算器91计算的增益GainPP与预处理之后的正交偏振光图像IPVP相乘,并将增益乘法运算之后的正交偏振光图像IPVP,G提供到减法器93。具体而言,增益乘法器92根据上述表达式(9)进行计算。

在步骤S25中,减法器93通过从无偏振光图像ITP中减去增益乘法运算之后的正交偏振光图像IPVP,G生成差分图像IDiff2并将差分图像IDiff2提供到偏移加法器94。即,减法器93与无偏振光图像ITP的每个像素根据上面表达式(10)执行计算。

在步骤S26中,偏移加法器94根据表达式(11)通过将偏移值std_val加到差分图像IDiff2生成平行偏振光图像IPP。然后,偏移加法器94将所产生的平行偏振光图像IPP提供到纹理分析器82。

在步骤S27中,纹理分析器82使用在步骤S26中产生的平行偏振光图像IPP(表皮图像)执行分析受检者的肌肤纹理的纹理分析处理并将所产生的分析结果提供到评估结果呈现单元83。将在后面参考图19等描述步骤S27中的纹理分析处理的细节。

在步骤S28中,评估结果呈现单元83使用从纹理分析器82提供的分析结果使显示装置13显示指示受检者的肌肤纹理状况的评估结果的信息并终止处理。

<纹理分析处理>

图19示出图18的步骤S27中的纹理分析处理的详细流程图。

在处理中,首先,在步骤S41中,表皮图像处理器101执行表皮图像处理,使作为表皮图像的平行偏振光图像IPP经受诸如校正和噪声去除的预定图像处理。将参考图20描述表皮图像处理的细节。

在步骤S42中,表皮图案检测器102检测表皮图像中的表皮图案(其由表皮上的皮丘或皮沟形成),并执行将表皮图案检测结果输出作为检测结果的表皮图案检测处理。将在后面参考图21描述表皮图案检测处理的细节。

在步骤S43中,后天的要素分析器103基于图像处理之后的表皮图像和表皮图案检测结果执行分析指示肌肤纹理状况的要素中的后天的要素的后天的要素分析处理。将在后面参考图22描述后天的要素分析处理的细节。

在步骤S44中,纹理评估器104基于后天的要素分析器103的分析结果评估受检者的肌肤纹理状况并计算纹理评估值作为评估结果。所计算的纹理评估值提供到评估结果呈现单元83。纹理分析处理终止。再次参考图18,处理进行到步骤S28。

以这种方式,肌肤纹理状况可基于纹理的均匀性和作为指示肌肤纹理状况的后天的要素的皮丘的形状而评估。其结果是,能够更准确地评估肌肤纹理状况。

<表皮图像处理>

接下来,参考图20的流程图,将详细描述图19的步骤S41中的表皮图像处理。

在步骤S61中,图像校正器121校正图像。例如,假设阴影失真、透镜失真等在表皮图像的周缘产生。因此,图像校正器121对表皮图像进行例如阴影校正和透镜失真校正或从表皮图像中切出中央区域。

例如,为了降低处理成本,图像校正器121缩小校正后的图像。

在下文中,除非另有明确说明,否则假设校正后的表皮图像具有垂直160像素*水平120像素的尺寸。

图像校正器121将校正后的表皮图像提供到单通道提取器(single channel extractor)122。

在步骤S62中,单通道提取器122从校正的表皮图像中提取预定通道的信号成分。例如,单通道提取器122从校正的表皮图像中提取B(蓝色)通道的信号成分。然后,单通道提取器122向噪声去除器123提供由所提取的信号成分组成的单通道表皮图像。

在步骤S63中,噪声去除器123从单通道表皮图像中去除噪声。例如,噪声去除器123将平滑滤波器施加于单通道表皮图像。

更具体而言,为了去除皮丘或皮沟上的随机噪声和纹理成分,例如,噪声去除器123对单通道表皮图像施加边缘保留平滑滤波器。作为这个边缘保留平滑滤波器,使用例如具有3*3像素内核大小和σspace=15和σcolor=15的双边滤波器。

接下来,例如,为了去除由于汗腺等的影响引起的高亮度区域和镜面反射成分,噪声去除器123将孤立点去除滤波器施加于单通道表皮图像。作为这种孤立点去除过滤器,使用例如具有3*3像素的中值滤波器。

应注意,这种噪声去除处理在很大程度上取决于成像环境和成像装置11的性能,因此期望根据成像环境和成像装置11的性能适当地改变所适用的滤波器、参数等。

因此,噪声去除器123将作为噪声去除之后的单通道表皮图像的噪声去除表皮图像提供到表皮图案检测器102的二值化器131和后天的要素分析器103的表皮方向性分析器154。

然后,表皮图像处理终止且处理返回到图19中的纹理分析处理。

<表皮图案检测处理>

接下来,参考图21的流程图,将详细描述图19的步骤S42中的表皮图案检测处理。

在步骤S71中,二值化器131执行二值化处理。具体而言,假设在一样的光源下的表皮图像的亮区域是前侧上的皮丘且表皮图像的暗区域是深侧上的皮沟,为了执行皮丘和皮沟的分割,二值化器131二值化噪声去除的表皮图像。然后,二值化器131将通过二值化噪声去除的表皮图像获得的二值化的表皮图像提供到标记处理单元(labeling processing unit)132。

在步骤S72中,标记处理单元132对来自外部的二值化的图像表皮执行4或8连接的标记处理。此时,标记处理单元132检测由最外侧的白色轮廓包围的区域作为一个区域,并且忽略黑色区域或该区域内的由另一个白色轮廓包围的区域(即使其存在)。由此,例如,由于在皮丘等内侧存在凹部而是暗的区域被忽略,且因此能够准确地检测皮丘区域。

应注意,在下文中,在标记处理中标记的区域将被称为标记区域。

进一步,平均人体肌肤的皮沟之间的间隔是0.25mm至0.5mm。考虑一个事实,即大多数皮丘具有三角或四角形状,假设皮丘具有约0.031至0.25mm2的面积。

因此,标记处理单元132基于成像装置11的图像传感器43的尺寸等计算表皮图像中的皮丘的尺寸的适当范围。然后,标记处理单元132从检测的标记区域中检测各自具有所计算适当范围内的尺寸的区域作为皮丘区域。

进一步,标记处理单元132计数检测皮丘区域的数量作为皮丘的数量Nridge。

然后,标记处理单元132将指示皮丘区域和皮丘的数量Nridge的检测结果的表皮图案检测结果提供到后天的要素分析器103的表皮尺寸分布分析器151、表皮形状分布分析器152和表皮形状分布分析器153。

然后,表皮图案检测处理终止。将返回图19的纹理分析处理。

<后天的要素分析处理>

接下来,参考图22的流程图,将详细描述图19的步骤S43中的后天的要素分析处理。

在步骤S81中,表皮尺寸分布分析器151分析表皮图案的尺寸分布。

具体而言,首先,表皮尺寸分布分析器151创建皮丘区域的尺寸的直方图。图23示出皮丘区域的尺寸(面积)的直方图的实例。在图中,横轴指示皮丘区域的尺寸且纵轴指示直方图的各组距(each bin)的频数frqn。

接下来,表皮尺寸分布分析器151根据下面表达式(12)计算皮丘区域的尺寸的平均值Havg。

应注意,n指示各组距的中值。

进一步,表皮尺寸分布分析器151根据下面表达式(13)计算皮丘区域的尺寸的方差Hvar。

此外,表皮尺寸分布分析器151基于图24中所示的归一化曲线计算表皮尺寸分布评估值Eevalsize,其中方差Hvar被归一化到从0到1的范围。图中,Size_th_min和Size_th_max是阈值,其中每个都确定归一化曲线。

表皮尺寸分布评估值Eevalsize随皮丘区域的尺寸的方差Hvar减小而增加。换言之,表皮尺寸分布评估值Eevalsize随皮丘区域尺寸的变化(variation)减小而增加。因此,表皮尺寸分布评估值Eevalsize是指示皮丘区域的尺寸的均匀性的指数。

表皮尺寸分布分析器151将表皮尺寸分布评估值Eevalsize提供到纹理评估器104。

在步骤S82中,表皮形状分布分析器152执行表皮形状分布分析处理1。

<表皮形状分布分析处理1>

现在,参考图25的流程图,将详细描述步骤S82中的表皮形状分布分析处理1。

在步骤S101中,表皮形状分布分析器152选择参考区域。具体而言,表皮形状分布分析器152选择其尚未被设置为参考区域的一个皮丘区域并将皮丘区域设置为参考区域。

在步骤S102中,表皮形状分布分析器152选择比较区域。具体而言,表皮形状分布分析器152选择其尚未与参考区域的形状比较的一个皮丘区域并将皮丘区域设置为比较区域。

在步骤S103中,表皮形状分布分析器152计算参考区域和比较区域之间的形状差异度。

例如,表皮形状分布分析器152使用Hu不变矩来数字化参考区域和比较区域的形状并基于数字化值计算参考区域和比较区域之间的形状差异度。虽然计算差异度的方法没有特别限制,但是差异度随参考区域的形状与比较区域的形状变得更接近彼此而减小。

应注意,例如在由M-K.Hu.的“Visual Pattern Recognition by Moment Invariants,”IRE Trans.action on Information Theory,1962年2月,第8卷,第179-187页中描述了Hu不变矩的细节。

在步骤S104中,表皮形状分布分析器152积分差异度。具体而言,表皮形状分布分析器152将新计算的差异度加到已计算的皮丘区域的差异度的积分值。

在步骤S105中,表皮形状分布分析器152确定是否残存未与参考区域比较的皮丘区域。如果确定残存有未与参考区域比较的皮丘区域,则处理返回到步骤S102。

此后,在步骤S105中,重复执行步骤S102至步骤S105的处理,直到确定不再残存有未与参考区域比较的皮丘区域。

如果在步骤S105中确定没有残存的未与参考区域比较的皮丘区域,则处理进行到步骤S106。

在步骤S106中,表皮形状分布分析器152确定是否残存为被设置为参考区域的皮丘区域。如果确定残存未被设置为参考区域的皮丘区域,则处理返回到步骤S101。

此后,重复进行步骤S101至步骤S106的处理,直到在步骤S106中确定不再残存未被设置为参考区域的皮丘区域。其结果是,对所有皮丘区域的组合计算差异度且进一步计算差异度的累加值。

如果在步骤S106中确定未被设置为参考区域的皮丘区域不再残存,则处理进行到步骤S107。

在步骤S107中,表皮形状分布分析器152根据下面表达式(14)计算差异度的平均值Diffavg。

应注意,Ri和Rj分别指示标记i和标记j的皮丘区域。因此,表达式(14)右侧的分母变成所有皮丘区域的组合的形状差异度的累加值。进一步,Ncomp根据下面表达式(15)而计算并指示皮丘区域的形状的比较的数量。

在步骤S108中,表皮形状分布分析器152计算评估值。具体而言,表皮形状分布分析器152基于图26中所示的归一化曲线计算表皮形状分布评估值Eevalshape,其中差异度的平均值Diffavg被归一化到从0到1的范围。在图中,Shape_th_min和Shape_th_max是其中各自确定归一化曲线的阈值。

表皮形状分布评估值Eevalshape随皮丘区域的形状的差异度的平均值Diffavg减小而增加。换言之,表皮形状分布评估值Eevalshape随皮丘区域的形状的变化的减小而增加。因此,表皮形状分布评估值Eevalshape是指示皮丘区域的形状的均匀性的指数。

表皮形状分布分析器152将表皮形状分布评估值Eevalshape提供到纹理评估器104。

此后,表皮形状分布分析处理1终止。

返回参考图22,在步骤S83中,表皮形状分布分析器153执行表皮形状分布分析处理2。

<表皮形状分布分析处理2>

现在,参考图27的流程图,将详细描述步骤S83中的表皮形状分布分析处理2。

在步骤S121中,表皮形状分布分析器153选择参考形状。

在一般情况下,理想的是,皮丘具有三角形或菱形的形状。相反,分支成两股以上的形状和细长形状被认为是不理想的形状。

因此,表皮形状分布分析器153将例如图28中所示的Shape0到Shape3设置为参考形状。参考形状Shape0和Shape1分别是三角形和菱形的形状,其类似于皮丘的理想形状。另一方面,参考形状Shape2和Shape3分别是分支为两股的形状和细长形状,其类似于皮丘的非理想形状。

然后,表皮形状分布分析器153选择一个参考形状,其还没有与皮丘区域比较。

在步骤S122中,表皮形状分布分析器153选择比较区域。具体而言,表皮形状分布分析器152选择尚未与参考形状比较的一个皮丘区域并将皮丘区域设置为比较区域。

在步骤S123中,表皮形状分布分析器153计算参考形状和比较区域之间的形状差异度。应注意,与图25的步骤S103中的皮丘区域的参考区域和比较区域之间的差异度的计算相同的方法(上面描述的)被用于计算此时的差异度。

在步骤S124中,表皮形状分布分析器153积分差异度。具体而言,表皮形状分布分析器153将新计算的差异度添加到先前计算的皮丘区域与当前差异形状的差异度的积分值。

在步骤S125中,表皮形状分布分析器153确定是否残存未与当前差异参考形状比较的皮丘区域。如果确定残存未与当前差异参考形状比较的皮丘区域,则处理返回到步骤S122。

此后,重复进行步骤S122到步骤S125的处理,直到在步骤S125中确定不残存未与当前差异参考形状比较的皮丘区域。

如果在步骤S125中确定不残存未与当前差异参考形状比较的皮丘区域,则处理进行到步骤S126。

在步骤S126中,表皮形状分布分析器153确定是否残存未进行比较的参考形状。如果确定残存未进行比较的参考形状,则处理返回到步骤S121。

此后,重复进行步骤S121到步骤S126中的处理,直到在步骤S126中确定不残存未进行比较的参考形状。其结果是,如下面表达式(16)中所示,计算皮丘区域的形状与参考形状的差异度的累加值Diffi。

应注意,Si指示ID值为i的参考形状。

如果在步骤S126中确定未比较的参考形状不存在,则处理进行到步骤S127。

在步骤S127中,表皮形状分布分析器153计算皮丘区域的形状比率。具体而言,表皮形状分布分析器153根据下面表达式(17)计算指示皮丘区域的形状比率的表皮形状分布信息ShapeRatioi。

其中NRS指示参考形状的总数。

因此,表皮形状分布信息ShapeRatioi指示皮丘区域具有类似于ID值为i的参考形状的形状的比率。

表皮形状分布分析器152将表皮形状分布信息ShapeRatioi提供到纹理评估器104。

此后,表皮形状分布分析处理2终止。

返回参考图22,在步骤S84中,表皮方向性分析器154通过将四个方向(例如,0度、45度、90度和135度)的边缘滤光器适用到噪声去除表皮图像来分析表皮图案的方向性。更具体而言,表皮方向性分析器154计算指示皮丘区域的边缘方向分布的均匀性的表皮方向性评估值Eevaldirection,当皮丘区域的边缘方向没有均匀地分布在四个方向上时所述值取小于1的值。

然后,后天的要素分析处理终止且处理返回到图19中的纹理分析处理并进行到在随后的步骤S44中由纹理评估器104计算纹理评估值。

<纹理评估值的计算>

接下来,将详细描述由纹理评估器104进行的纹理评估值的计算

例如,纹理计算器104根据下面表达式(18)计算出纹理评估值eval1total。

eval1total=Eevalsize*Eevalshape*Eevaldirection…(18)

纹理评估值eval1total随皮丘的尺寸的均匀性、皮丘的形状的均匀性和皮丘的方向均匀性增大而增大,即,当纹理大体地更平滑时(纹理均匀性增大)。此外,由于年老、健康状态、肌肤护理等,皮丘的尺寸的均匀性、皮丘的形状的均匀性和皮丘的方向的均匀性以后天的方式变化。因此,纹理评估值eval1total是用于评估肌肤纹理的均匀性的指数,其以后天的方式改变。

纹理的这种均匀性与纹理的细度一样显著影响肌肤的美观。即,即使纹理很细时,如果纹理大体光滑,则肌肤的外观(appearance)不好。另一方面,即使纹理不细,如果纹理大致光滑,则肌肤外观很好。

替代纹理评估值eval1total或与纹理评估值eval1total一起的纹理评估值eval2total可根据下面表达式(19)计算。

eval2total=Eevalsize*Eevalshape*Eevaldirection*ShapeRatioideal…(19)

ShapeRatioideal根据例如下面表达式(20)计算。

ShapeRatioideal=ShapeRatio0*ShapeRatio1…(20)

ShapeRatio0是关于图28中三角形的参考形状Shape0的ShapeRatio。ShapeRatio1是关于图28中的菱形的参考形状Shape1的ShapeRatio。即,ShapeRatioideal示出皮丘区域具有被认为是理想形状的三角形或菱形的形状的比率。

因此,除了纹理的均匀性之外,eval2total随皮丘具有理想形状的比率增大而增大。因此,与纹理评估值eval1total比较,纹理评估值eval2total是用于更详细地评估影响肌肤纹理状况的后天的要素的指数。

然后,纹理评估器104将肌肤纹理状况的评估结果提供到评估结果呈现单元83。此时,纹理评估器104向评估结果呈现单元83不仅提供纹理评估值eval1total和纹理评估值eval2total,而且还提供在计算纹理评估值eval1total和纹理评估值eval2total时所使用的评估值。

<纹理评估结果的呈现实例>

将描述评估结果呈现单元83的纹理评估结果的呈现实例。

例如,评估结果呈现单元83使显示装置13显示图29中所示的屏幕。在本实例中,雷达图示出皮丘的尺寸的均匀性、皮丘的形状的均匀性、皮丘的方向的分布的均匀性的当前评估值和与在前评估值个别比较的当前评估值的纹理的细度。作为本雷达图中的值,使用表皮尺寸分布评估值Eevalsize、表皮形状分布评估值Eevalshape、表皮方向性评估值Eevaldirection和皮丘数量评估值Eevalnum。

进一步,在本实例中,示出在前(preceding)肌肤纹理状况和当前肌肤纹理状况之间的综合确定(判定)的变化。该综合确定值基于通过比较通过综合评估表皮尺寸分布评估值Eevalsize、表皮形状分布评估值Eevalshape、表皮方向性评估值Eevaldirection和皮丘数量评估值Eevalnum所获得的纹理评估值eval3total与在前纹理评估值eval3total获得的结果而显示。

由此,受检者可立即知道肌肤状况且也从先前的肌肤状况中知道肌肤状况的变化。

可替代地,如图30所示,基于表皮形状分布信息ShapeRatioi,也可呈现指示皮丘的形状的分布的圆形图。

以上述方式,在由纹理分析器82进行的纹理分析处理中,能够独立评估肌肤纹理状况的后天的特性和先天的特性。此外,基于后天的特性和先天特性能够更详细地评估肌肤纹理状况。

根据上述肌肤纹理分析处理,能够使用由成像装置11获取的无偏振光图像和正交偏振光图像来评估肌肤表面状况,并因此能够以低成本构造评估肌肤表面状况。

<3.第三实施方式>

<成像系统的框图>

图31是示出根据本公开的第三实施方式的成像系统的框图。

根据第三实施方式的成像系统1是用作上述第一实施方式中评估肌肤光泽的功能和上述第二实施方式中评估肌肤纹理的功能的系统。

因此,图31中的图像处理装置12包括:预处理器21、镜面反射图像生成器22、光泽分析器23和评估结果呈现单元24和平行偏振光图像生成器81、纹理分析器82和评估结果呈现单元83。

根据第三实施方式的图像处理装置12是能够使用从成像装置11提供的二种(两个)图像(无偏振光图像IT和正交偏振光图像IPV)进行评估肌肤光泽的处理和评估肌肤纹理的处理。

根据第三实施方式的图像处理装置12也可根据由操作者选择的指令、初始设置等进行评估肌肤光泽的处理和评估肌肤纹理的处理中的任一个。

图像处理装置12的构造和操作与上述第一和第二实施方式的那些相同,因此其描述将被省略。

<4.第四实施方式>

<成像系统的框图>

图32是示出根据本公开的第四实施方式的成像系统的框图。

虽然上述第一实施方式到第三实施方式是其中放置在距离成像装置11近处的图像处理装置12经由电缆等获取图像信号并进行图像处理的实施方式,但由图像处理装置12执行的功能可通过云服务器等来执行。

图32中所示的成像系统1代表其中由图像处理装置12执行的上述功能由云服务器执行的构造实例。

根据本公开的第四实施方式的成像系统1包括成像装置201和服务器202。

成像装置201包括:成像单元221、发射器/接收器222和显示单元223。服务器202包括发射器/接收器241和图像处理单元242。

成像单元221具有与上述成像装置11的那些单元相同的功能。成像单元221捕获无偏振光图像IT和正交偏振光图像IPV的两种(两个)图像作为肌肤图像并将这些图像提供到发射器/接收器222。

发射器/接收器222将从成像单元221提供的两个图像经由网络(诸如局域网(LAN)和互联网)传输到服务器202。

发射器/接收器222接收从服务器202传输的指示肌肤光泽评估结果或肌肤纹理评估结果的信息,并将信息提供到显示单元223。

显示单元223基于从发射器/接收器222提供的信息显示肌肤光泽评估结果或肌肤纹理评估结果。

服务器202的发射器/接收241接收从成像装置201的发射器/接收器222传输的无偏振光图像IT和正交偏振光图像IPV的两种(两个)图像。

发射器/接收器241获取由图像处理单元242进行图像处理所获得的指示肌肤光泽评估结果或肌肤纹理评估结果的信息,并且将信息发送到成像设备201。

图像处理单元242具有与根据上述第一至第三实施方式中任一个的图像处理装置12的那些单元相同的功能并基于两种无偏振光图像IT和正交偏振光图像IPV的图像进行肌肤光泽评估或肌肤纹理评估。

在上面的描述中,根据第一至第三实施方式的图像处理装置12的所有功能由服务器202的图像处理单元242执行。然而,由服务器202执行的处理的内容可适当地设定。具体而言,服务器202可进执行图像处理装置12的一些功能。在这种情况下,可任意设定成像装置11侧上的图像处理和服务器202侧上的图像处理的共享。

<计算机的构造实例>

上述一系列图像处理可由硬件执行或由软件来执行。如果一系列图像处理由软件执行,构成软件的程序安装在计算机上。计算机包括植入专用硬件中的计算机、通用个人计算机(例如能够通过安装各种程序等执行各种功能)等。

图33是示出根据程序执行上述一系列图像处理的计算机的硬件的构造实例的框图。

在计算机中,中央处理器(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303经由总线304彼此连接。

此外,输入/输出接口305连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接到输入/输出接口305。

输入单元306包括键盘、鼠标、麦克风等。输出单元307包括显示器、扬声器等。存储单元308包括硬盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动可移动介质311,诸如磁盘、光盘、磁光盘和半导体存储器。

在这样配置的计算机中,通过经由输入/输出接口305和总线304将存储在例如存储单元308中的程序加载在RAM303中并执行加载的程序的CPU301,执行上述一系列图像处理。

在计算机中,程序可通过安装在驱动器310上的可移动介质311经由输入/输出接口305安装在存储单元308上。可替代地,程序可经由有线或无线通信介质(诸如局域网、互联网和数字卫星广播)由通信单元309接收并安装在存储单元308上。此外,程序可预先安装在ROM302和存储单元308上。

这里,流程图中描述的步骤可按照遵循描述顺序的时间序列进行,当然并不必需按时间序列进行处理。这些步骤可并行或在需要的定时(例如当进行调用时)执行。

应注意,在本说明书中阐述的“系统”是指多个组件(装置、模块(组件)等)的集合且所有组件可能或不需要被包括在单个壳体内。因此,容纳在各自壳体中且经由网络彼此连接的多个装置和包括容纳在单个壳体中的多个模块的单个装置两者都是系统。

本公开的实施方式不限于上述实施方式且可在不脱离本发明的主旨的情况下作出各种变形。

例如,能够采用组合上述实施方式中的一些或所有的实施方式。

例如,本公开可采用其中单个功能经由网络被多个装置共享和协作处理的云计算构造。

进一步,参考流程图描述的步骤可由单个装置执行或可由多个装置共享并执行。

此外,如果单个步骤包括多个处理,包括在单个步骤中的多个处理可由单个装置执行或可由多个装置共享并执行。

应注意,在本说明书中阐述的效果仅是示例性的,而不是限制,且可提供本说明书中阐述的那些效果之外的效果。

应注意,本公开也可采取以下配置。

(1)一种成像装置,包括:

无偏振发光部,被配置为发射具有无偏振成分的光;

偏振发光部,被配置为经由第一偏振滤光器发射具有预定偏振成分的光;以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,

所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向,所述成像元件进一步被配置为以时分方式对由所述无偏振发光部的光照射的被摄体和由所述偏振发光部的光照射的被摄体成像并输出作为成像的结果而获得的无偏振光图像和正交偏振光图像。

(2)根据(1)所述的成像装置,其中

所述无偏振发光部和所述偏振发光部包括:以所述成像元件为中心的点对称方式布置的多个无偏振发光部和多个偏振发光部。

(3)根据(1)或(2)所述的成像装置,其中

所述无偏振发光部和所述偏振发光部包括:以所述成像元件为中心的环形方式布置的多个无偏振发光部和多个偏振发光部。

(4)一种成像装置的成像方法,所述成像装置包括

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向,所述方法包括由所述成像装置:

以时分方式对由所述无偏振发光部的光照射的被摄体和由所述偏振发光部的光照射的被摄体成像;并且

输出无偏振光图像和正交偏振光图像。

(5)一种图像处理装置,包括

镜面反射图像生成器,被配置为

获取由成像装置捕捉的无偏振光图像和正交偏振光图像,并且所述成像装置包括:

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向,并且

从所述无偏振光图像和所述正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像。

(6)根据(5)所述的图像处理装置,其中,

所述镜面反射图像生成器包括:

增益乘法器,被配置为将增益与正交偏振光图像相乘,

减法器,被配置为从所述无偏振光图像减去增益乘法运算之后的所述正交偏振光图像以产生第一差分图像,以及

限幅器,被配置为将所述第一差分图像限幅为具有预定范围内的亮度值。

(7)根据(5)或(6)所述的图像处理装置,进一步包括

光泽分析器,被配置为使用由所述镜面反射图像生成器生成的所述镜面反射图像来分析肌肤光泽。

(8)根据(7)所述的图像处理装置,其中

所述光泽分析器包括:

光泽图像计算器,被配置为基于所述镜面反射图像计算作为指示受检者的皮脂量的图像的光泽图像。

(9)根据(7)或(8)所述的图像处理装置,其中

所述光泽分析器包括:光泽值计算器,被配置为基于所述镜面反射图像计算受检者的皮脂量。

(10)根据(9)所述的图像处理装置,其中

所述光泽分析器进一步包括:光泽评估器,被配置为基于由所述光泽值计算器计算的所述皮脂量来计算用于评估受检者的光泽的光泽评估值。

(11)根据(7)至(10)中的任一项所述的图像处理装置,进一步包括:

结果呈现单元,被配置为呈现由所述光泽分析器分析的受检者的肌肤光泽的分析结果,其中

所述结果呈现单元被配置为呈现所述受检者的肌肤的光泽图像和皮脂量作为分析结果。

(12)根据(5)至(11)中的任一项所述的图像处理装置,进一步包括:

预处理器,设置在所述镜面反射图像生成器的前级并且被配置为调整所述无偏振光图像和所述正交偏振光图像的亮度水平并向所述镜面反射图像生成器提供调整之后的所述无偏振光图像和所述正交偏振光图像。

(13)一种图像处理装置的图像处理方法,包括:

获取由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括:

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向;并且

从所述无偏振光图像和所述正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像。

(14)一种使计算机执行处理的程序,所述计算机被配置为处理由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括:

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向,所述处理包括:

从所述无偏振光图像和所述正交偏振光图像生成作为具有镜面反射成分的图像的镜面反射图像。

(15)一种图像处理装置,包括:平行偏振光图像生成器,被配置为:

获取由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括:

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向,并且

从所述无偏振光图像和所述正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像。

(16)根据(15)所述的图像处理装置,其中

所述平行偏振光图像生成器包括:

增益计算器,被配置为计算增益,

增益乘法器,被配置为将所述增益与所述正交偏振光图像相乘,

减法器,被配置为从所述无偏振光图像减去增益乘法运算之后的所述正交偏振光图像以产生第二差分图像,以及

偏移加法器,被配置将预定偏移值加到所述第二差分图像。

(17)根据(15)或(16)所述的图像处理装置,进一步包括:

纹理分析器,被配置为使用由所述平行偏振光图像生成器生成的所述平行偏振光图像来分析肌肤纹理。

(18)根据(15)至(17)中的任一项所述的图像处理装置,进一步包括:

预处理器,设置在所述平行偏振光图像生成器的前级并且被配置为调整所述无偏振光图像和所述正交偏振光图像的亮度水平并向所述平行偏振光图像生成器提供调整之后的所述无偏振光图像和所述正交偏振光图像。

(19)一种图像处理装置的图像处理方法,包括:

获取由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括:

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过所述第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向;并且

从所述无偏振光图像和所述正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像。

(20)一种使计算机执行处理的程序,所述计算机被配置为处理由成像装置捕获的无偏振光图像和正交偏振光图像,所述成像装置包括

无偏振发光部,被配置为发射具有无偏振成分的光,

偏振发光部,被配置为通过第一偏振滤光器发射具有预定偏振成分的光,以及

成像元件,被配置为通过第二偏振滤光器对被摄体成像,所述被摄体由所述无偏振发光部和所述偏振发光部中的一个的光照射,所述第一偏振滤光器和所述第二偏振滤光器具有彼此成正交关系的偏振方向;所述处理包括:

从所述无偏振光图像和所述正交偏振光图像生成作为具有平行偏振成分的图像的平行偏振光图像。

本领域技术人员应理解,可根据设计要求和其它因素进行各种变形、组合、子组合和修改,只要它们在所附权利要求或其等同物的范围内即可。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1