表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
【技术领域】
[0001]本发明例如涉及一种作为有经时变化的可能性的表面，根据时间经过，依次拍摄肌肤表面、各种植物(包含蔬菜、水果)的叶子、果实、茎、树干、根等的表面、动物的特定部位的表面、经时劣化的无机物的表面等状态经时变化的表面，以可阅览的方式管理所拍摄到的图像数据或其分析结果等的表面状态测定分析信息管理系统及表面状态测定分析信息管理方法。
【背景技术】
[0002]—般，在肌肤保养用化妆品或美容器具(肌肤保养装置:保养美容装置)的销售中，例如为了了解肌肤状态，进行如下动作:使用肌肤用照相机，将肌肤放大拍摄，掌握肌肤状态后，再销售对应肌肤状态的皮肤保养用化妆品、洗脸用品等或皮肤保养用器具。
[0003]此时，需要前往设置有肌肤用照相机，并且能够根据所拍摄到的图像数据来判定肌肤状态，能够根据肌肤状态来建议肌肤保养方法的店员的店铺。但是，由于要去店铺很麻烦，或者去店铺接受如上所述的服务之后被推销购买商品也很麻烦，因此不易定期拍摄肌肤状态。
[0004]因此，提出了如下的方案:在便携电话、智能手机、平板电脑等能够经由无线电话线路或其他无线通信线路访问因特网的便携式无线终端中，连接肌肤用数字照相机作为周边机器，或例如在便携式无线终端的内置数字摄像头上安装具备肌肤拍摄用转换镜头(convers1n lens)的镜头模块，可由用户自己进行肌肤拍摄。
[0005]并且，提出了如下的系统:使用便携式无线终端，将所拍摄到的图像数据，传送至根据肌肤的图像数据来分析肌肤状态的业务者的服务器，由此即使未前往化妆品销售店铺，也能够分析肌肤状态(例如，参照专利文献I?5)。此时，在接收到测定数据的服务器中，例如自动进行测定结果的分析，或显示测定数据而使操作人员输入分析结果。
[0006]此时，虽然需要购买肌肤用数字照相机或肌肤用镜头模块等，但是通过使用这样的肌肤测定用系统，不会对用户造成较大负担，能够定期地进行肌肤测定。
[0007]此外，即使是肌肤以外，也可以将上述肌肤拍摄用拍摄机应用于例如测定或记录成为农作物的植物叶子或果实的表面状态变化，或测定或记录墙壁等构造物的表面的长期劣化的状态。
[0008]此时，例如农民测定农作物的表面状态变化时，或一般家庭对家庭菜园的蔬菜或观叶植物表面状态变化进行拍摄并记录时，不需要较大的设备投资，即而能够低成本地进行拍摄及记录。
[0009]现有技术文献
[0010]专利文献
[0011 ] 专利文献I:日本特开2005-148797号公报
[0012]专利文献2:日本特开2004-354207号公报
[0013]专利文献3:日本特开2005-56165号公报
[0014]专利文献4:日本特开2002-15068号公报
[0015]专利文献5:日本特开2002-366651号公报
【发明内容】
[0016]发明要解决的课题
[0017]但是，在进行肌肤状态测定时，例如能够通过对脸部的相同位置定期拍摄并分析，存储肌肤状态变化，根据所存储的结果，来判断肌肤状态改善或变差或没有改变。
[0018]例如，通过使用肌肤保养用品等，可判断已恶化的肌肤状态是否成为良好状态等。此外，可判定斑点等变深或变大，相反地，斑点变淡或变小。
[0019]在此，例如脸部肌肤由于是大幅弯曲的曲面，因此难以将大范围拍摄成一样放大的状态，基本上对狭窄范围进行拍摄。此时，用户例如即使在每天I次或2次程度拍摄肌肤，也难以对与之前拍摄的场所为相同场所进行拍摄，并且，若拍摄间隔变长，难以对相同场所进行拍摄。此外，即使定期拍摄多个部位，各部位的位置也往往含糊不清。
[0020]比较而言，有比较明确的斑点时，虽可一边以镜子确认斑点位置一边进行拍摄，但是即使如此，拍摄位置每次拍摄时也稍微偏移。因此，虽然也认为从定期依序拍摄的肌肤图像能够读取斑点的颜色或形状变化的情况，但是即使如此，若斑点近接地存在多个，则在拍摄范围内有可能分不清楚是哪一个斑点的图像。此外，关于肌肤的纹理状态等，有部分恶化的部分时，在拍摄到恶化部分时和未拍摄到时，无法判断出是肌肤状态伴随时间经过的变化还是因拍摄位置不同所造成的变化。因此，即使定期拍摄肌肤，也难以掌握伴随时间经过的肌肤的纹理或斑点的状态变化。
[0021]此外，在存储定期拍摄到的肌肤的图像数据时，通过将该图像数据显示为动态图像或幻灯片播放(slideshow)，例如可看到肌肤状态逐渐改善的样子。由此，吸引用户的兴趣，有可能达成用户的增加。此外，可催促用户定期拍摄肌肤。
[0022]但是，所拍摄到的图像在每次拍摄时，拍摄位置上下左右偏移，即使在拍摄位置较为一致的情形下，向上下左右的偏向大而不可能作为动态图像来观看，即使进行幻灯片播放，在每次拍摄位置也有偏移，因此难以得知幻灯片前后关系，并不一定可确认肌肤状态变化。此外，拍摄位置不相一致时，存在在前面的幻灯片与后面的幻灯片中没有重叠的部分的情况，例如，在肌肤粗糙部位与肌肤良好部位相混的状态下进行显示，由此难以确认肌肤状态变化。
[0023]不仅是肌肤，在对植物或其他进行拍摄时，基本上除了将照相机固定在三脚架等来进行拍摄之外，会发生与上述肌肤拍摄时相同的问题。
[0024]本发明是鉴于上述问题而提出的，其目的是提供在对成为对象的表面持续定期拍摄时，可有效利用所拍摄到的图像数据，并且显示为动态图像或幻灯片播放的表面状态测定分析信息管理系统及表面状态测定分析信息管理方法。
[0025]解决问题的方法
[0026]本发明的表面状态测定分析信息管理系统的特征在于，具备:
[0027]拍摄单元，其不固定拍摄位置地对成为测定对象的表面进行拍摄并生成图像数据；
[0028]图像存储单元，其存储上述图像数据和该图像数据的拍摄日期；以及
[0029]位置决定单元，其隔着期间通过上述拍摄单元进行多次拍摄，将成为拍摄对象的上述表面上的拍摄位置偏移后的多个上述图像数据存储在上述图像存储单元中时，比较存储在上述图像存储单元中的多个上述图像数据，决定多个上述图像数据在一个坐标系中的相对位置，
[0030]能够将决定了上述坐标系的相对位置的各图像数据按照拍摄日期顺序配置在上述坐标系的相对位置并进行显示。
[0031]在本发明的上述结构中，优选的是在互相比较的上述图像数据有大致一致的图像区域时，上述位置决定单元根据上述图像区域，决定多个上述图像数据在一个上述坐标系中的相对位置。
[0032]此外，在本发明的上述结构中，优选的是，具备:重叠检测单元，其对依次存储在上述图像存储单元中的上述图像数据之间进行比较，判定在上述图像数据之间是否具有互相大致一致的上述图像区域，
[0033]在有互相大致一致的上述图像区域时，上述位置决定单元设定以一方的上述图像数据为基准的上述坐标系，并决定将互相大致一致的上述图像区域与该一方的上述图像数据重叠的状态下的另一方的上述图像数据在上述坐标系中的位置，
[0034]上述重叠检测单元比较通过上述位置决定单元已决定了上述坐标系的位置的上述图像数据与尚未决定上述坐标系的位置的上述图像数据，来判定是否有互相大致一致的上述图像区域，
[0035]在相对于决定了上述坐标系的位置的上述图像数据，存在具有大致一致的上述图像区域的未决定上述坐标系的位置的上述图像数据时，
[0036]上述位置决定单元根据将决定了上述坐标系的位置的上述图像数据和未决定上述坐标系的位置的上述图像数据配置成互相大致一致的上述图像区域互相重叠的情况下的上述图像数据之间的互相的位置关系，来决定未决定上述坐标系的位置的上述图像数据在上述坐标系的位置。
[0037]本发明的表面状态测定分析信息管理方法，其由具备拍摄单元和图像存储单元的表面状态测定分析信息管理系统进行，其中，该拍摄单元不固定拍摄位置地对成为测定对象的表面进行拍摄并生成图像数据，该图像存储单元存储上述图像数据和该图像数据的拍摄日期，该表面状态测定分析信息管理方法的特征在于，具备:
[0038]位置决定步骤，隔着期间通过上述拍摄单元进行多次拍摄，将成为拍摄对象的上述表面上的拍摄位置偏移后的多个上述图像数据存储在上述图像存储单元中时，比较存储在上述图像存储单元中的多个上述图像数据，决定多个上述图像数据在一个坐标系中的相对位置，
[0039]能够将决定了上述坐标系的相对位置的各图像数据按照拍摄日期顺序配置在上述坐标系的相对位置并进行显示。
[0040]在本发明的上述结构中，优选的是，在上述位置决定步骤中，在互相比较的上述图像数据中有大致一致的图像区域时，根据上述图像区域，决定多个上述图像数据在一个上述坐标系中的相对位置。
[0041]此外，在本发明的上述结构中，优选的是，具备:重叠检测步骤，对依次存储在上述图像存储单元中的上述图像数据之间进行比较，判定在上述图像数据之间是否具有互相大致一致的上述图像区域，
[0042]在上述位置决定步骤中，在有互相大致一致的上述图像区域时，设定以一方的上述图像数据为基准的上述坐标系，并决定将互相大致一致的上述图像区域与该一方的上述图像数据重叠的状态下的另一方的上述图像数据在上述坐标系中的位置，
[0043]在上述重叠检测步骤中，比较在上述位置决定步骤中已决定了上述坐标系的位置的上述图像数据与尚未决定上述坐标系的位置的上述图像数据，来判定是否有互相大致一致的上述图像区域，
[0044]在上述位置决定步骤中，在相对于决定了上述坐标系的位置的上述图像数据，存在具有大致一致的上述图像区域的未决定上述坐标系的位置的上述图像数据时，
[0045]根据将决定了上述坐标系的位置的上述图像数据和未决定上述坐标系的位置的上述图像数据配置成互相大致一致的上述图像区域互相重叠的情况下的上述图像数据之间的互相的位置关系，来决定未决定上述坐标系的位置的上述图像数据在上述坐标系的位置。
[0046]根据这样的结构，根据所拍摄到的图像重叠的状态决定所拍摄的各图像的相对位置，例如，将成为拍摄对象的表面设为肌肤表面时，可判别肌肤粗糙的部分与不粗糙的部分是否为各自取得的图像、或随着时间经过，肌肤粗糙的部分是否成为不粗糙的状态。
[0047]因此，在对肌肤定期拍摄时，即使拍摄位置稍微不均，应判定因时间经过所致的肌肤状态的变化。即，即使可每次通过任何手段来对肌肤的相同位置进行拍摄，即使在拍摄到肌肤的图像数据分别有位置偏移，也可以通过各图像数据之中已决定了位置的数据，在配置这些图像数据的范围内，能够某种程度地掌握肌肤状态的分布，可判别肌肤状态的变化是因图像数据的拍摄范围的位置不同所致还是因时间经过所致。
[0048]由此，即使未设置勉强地使肌肤的拍摄范围成为相同的结构，例如也可以有意识地尽可能对相同位置进行拍摄，由此能够容易得知肌肤状态因时间经过所造成的变化。
[0049]此外，即使成为对象的表面为肌肤表面以外，同样地即使未将照相机固定在三脚架等，也能够有意识地尽可能对相同位置进行拍摄，由此得知表面状态是因时间经过而改变还是因位置而改变，能够容易得知表面状态因时间经过所致之变化。另外，作为肌肤之外的对象物，例如有各种植物的表面，尤其叶子或果实的表面等，并且也可以是无机物的表面，将因成长、生病、劣化等，表面状态会经时改变的东西作为对象。
[0050]此外，图像存储单元并非必须是I个装置，也可以由暂时保存所拍摄到的图像的缓冲区那样的暂时图像存储单元和移动并存储暂时存储在该图像存储单元中的图像的图像存储单元构成。此时，也可以将与所拍摄且已决定了位置的图像比较的之前的图像数据存储在暂时图像存储单元中。并且，也可以在暂时图像存储单元中存储与决定了位置的图像数据相比未决定位置的图像数据。
[0051]此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，上述重叠检测单元在判定上述图像数据之间是否有互相大致一致的上述图像区域时，提取出与上述图像数据的被上述拍摄单元拍摄到的对象物的种类对应的特征点的位置，比较每个上述图像数据的上述特征点的配置图案，在有上述特征点的配置图案大致一致的部分时，判定为有互相大致一致的上述图像区域。
[0052]此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，在上述重叠检测步骤中，在判定上述图像数据之间是否有互相大致一致的上述图像区域时，提取出与上述图像数据的被上述拍摄单元拍摄到的对象物的种类对应的特征点的位置，比较每个上述图像数据的上述特征点的配置图案，在有上述特征点的配置图案大致一致的部分时，判定为有互相大致一致的上述图像区域。
[0053]根据这样的结构，提取出各图像数据中的特征点的位置，识别特征点的配置图案，由此能够容易识别在图像数据之间是否有重叠的部分。另外，优选的是，特征点存在于成为对象的表面的任意一个，能够根据图像数据进行识别。例如，将成为对象的表面设为肌肤时，考虑将毛孔的中心作为特征点。此外，若为植物的叶子，则将叶脉的分岔点作为特征点。
[0054]另外，若能够从多个叶子中确定要拍摄的叶子，则能够根据构成叶脉的粗主脉和细侧脉之中主要由主脉的分岔点确定叶子表面的位置，在厚叶中也可以对应于从表面难以看到侧脉的叶子。此外，若在果实的表面有图案或凹凸，则可以根据这些决定特征点。在无机物中，例如也可以在大理石等颜色有变化的物体中，决定特征点。
[0055]此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，将成为上述拍摄单元的拍摄对象的上述表面设为肌肤的表面，
[0056]通过上述重叠检测单元从上述图像数据提取出的上述特征点为上述肌肤表面上的各毛孔的预定部位。
[0057]此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，将成为上述拍摄单元的上述拍摄对象的上述表面设为肌肤的表面，
[0058]上述重叠检测步骤中从上述图像数据提取出的上述特征点为上述肌肤表面上的各毛孔的预定部位。
[0059]根据这样的结构，即使是作为图像缺乏成为比较对象的特征部分的肌肤图像，也可以提取出毛孔作为特征部分，根据各毛孔的配置比较2个肌肤图像，可找出成为互相大致相同的图像的部分，可判定各图像数据的重叠。另外，预定部位例如是设定有毛孔的中心位置、重心位置、图像上的右端位置、左端位置、上端位置、下端位置等的位置。在此，由于例如以坐标系的坐标设定特征点的位置，因此若在包含所拍摄到的特征点的部分(毛孔)有面积，则将预定的位置作为特征点。
[0060]此外，基本上，例如观看脸部肌肤时，除了鼻、眼、耳、口等以外，即使对任何部位进行拍摄，也成为不太有特征的图像，将位置错开来对多个图像进行拍摄时，虽然难以判定各图像的哪个部分重叠，但是可根据毛孔的配置，比较容易判定各图像的哪个部分重叠。但是，例如，根据场所会有些微改变，但是在肌肤大致一样地配置有毛孔，并且健康的毛孔在没有毛时呈闭合，难以识别。因此，也可以根据肌肤的毛孔识别长出的毛，毛成为前端侧细且毛孔侧粗的形状，因此将毛粗的端部视为毛孔，将该毛孔的预定位置设为特征点。此时，长毛而被识别的毛孔和没有毛而未被识别的毛孔，毛孔的配置图案根据肌肤的场所而不同。
[0061]此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，将成为上述拍摄单元的拍摄对象的上述表面设为肌肤的表面，
[0062]通过上述重叠检测单元从上述图像数据提取的上述特征点为上述肌肤表面上的预定尺寸以下的各斑点的预定部位。
[0063]此外，在本发明的上述表面状态测定分析信息管理方法中，优选的是，将成为上述拍摄单元的上述拍摄对象的上述表面设为肌肤的表面，
[0064]上述重叠检测步骤中从上述图像数据提取出的上述特征点为上述肌肤表面上的预定尺寸以下的各斑点的预定部位。
[0065]根据这样的结构，即使作为图像缺乏成为比较对象的特征部分的肌肤图像，也可以根据作为特征点的斑点的配置图案，判定各图像数据的重叠。
[0066]在此，预定尺寸以下的斑点主要是形成在毛孔部分的较小斑点，黑色素滞留在毛孔部分。因此，如上所述将毛孔作为特征点时，例如对于如上所述根据毛的肌肤侧的端部识别毛孔的方法，取代将预定尺寸以下的斑点识别为毛孔的方法，能够进行组合。若组合，则例如能够分为特征点为仅有毛的点、仅有斑点的点、毛与斑点双方点等来比较配置图案。
[0067]此外，在本发明的上述表面状态测定分析信息管理系统中，优选的是，具备:图像显示单元，其将存储在上述