br>[0175]化妆品公司服务器具备:根据上述详细诊断结果，决定向用户推荐的化妆品的推荐化妆品决定部63;以及根据详细诊断结果，决定用于建议肌肤的保养方法或有效于肌肤保养的保养用品等的建议内容的建议决定部64。
[0176]详细诊断结果数据库5e将上述详细诊断结果与顾客ID关联起来登记，登记进行了详细诊断日子即诊断日期时间(也可以包含请求详细诊断的测定数据的测定日期时间)及详细诊断结果的数据。此外，与详细诊断结果对应的登记所选择的建议数据或推荐化妆品(肌肤保养用品)的数据。
[0177]但是，在该表面状态测定分析信息管理系统及表面状态测定分析信息管理方法中，在使用肌肤图像的分析中，可定期进行拍摄来取得肌肤图像，由此得知肌肤状态的经时变化。作为经时变化的显示方法，将拍摄图像作为动态图像或幻灯片播放而输出较为有效。但是，为了实现这些，若在肌肤用照相机或智能手机3的数字摄像头安装上述镜头模块而大致定期拍摄肌肤，则很难在每次拍摄时对相同范围进行拍摄。
[0178]例如，若在智能手机3的内置数字摄像头安装转换镜头来进行拍摄，则在拍摄时难以自身观看智能手机3的显示器，例如难以使用镜子来观看智能手机3的显示器来确定肌肤状的位置。
[0179]S卩，在肌肤上并没有成为肌肤上的位置基准的特征部分，例如即使在可清楚看到肌肤拍摄位置的状态下，也无法判断是否对与上次拍摄的场所相同的场所进行拍摄的可能性高。但是，对斑点进行拍摄时，以斑点为基准，每次能够对大致相同位置进行拍摄的可能性变高，但是即使如此也难以每次对相同位置进行拍摄。
[0180]此外，在智能手机3通过USB接口13等与肌肤用照相机连接时，使用USB线缆，使肌肤用照相机相对智能手机3移动，因此可一边直接观看智能手机3的显示器，一边决定肌肤上的拍摄位置，但是若没有如上所述作为明确目标的特征部分，则难以每次对相同位置定期拍摄。如上所述，在智能手机3直接安装肌肤镜头的方式中，更难以进行同一部分的拍摄。
[0181]此外，若每次拍摄时肌肤上的拍摄位置大幅偏移时，难以得知肌肤状态的变化是因时间经过所造成的变化还是因位置不同所造成的变化。在该实施方式中，作为解决如上所示的问题的方法，若设定拍摄点(point)，对该拍摄点依序拍摄时，作为通过算出所被拍摄到的图像数据22的相对位置可掌握图像上的肌肤状态不同是因时间经过所造成还是因位置不同所造成，提高肌肤状态的分析精度，并且按照摄顺序显示图像数据22作为幻灯片播放(动态图像)时，根据各图像数据22的相对位置来进行显示，由此在各幻灯片(帧(frame))的画面上的各部位显示相同的肌肤的位置。即，在各幻灯片中，相同毛孔(图示于图9、图10)20在任何幻灯片均被显示在相同位置。
[0182]以下说明若决定成为上述拍摄对象的肌肤的拍摄点，并且在该拍摄点依序拍摄多个图像，则算出所被拍摄到的各图像数据22的相对位置的处理及根据该相对位置进行图像数据22的显示的处理的概要。
[0183]在该表面状态测定分析信息管理系统中，当定期对被摄体进行拍摄时，首先，若将被摄体设为脸部肌肤，则在脸部全体的图像上设定表示肌肤上的拍摄范围的中心的拍摄点，在拍摄时等，例如图8的智能手机3的显示画面3e、3f、3g所示，可在脸部全体的图像上确认拍摄点(在图面上，包围作为拍摄张数的数值的圆圈)。另外，脸部的图像既可以是对实际用户脸部进行拍摄后的实际图像，也可以是根据实际图像而图解后的绘画。或者，若脸部的图像为绘画，则也可以预先存储多种脸部绘画，从多种脸部绘画中选择要使用的绘画。
[0184]关于拍摄点，将脸部图像的例如成为2个外眼角相连接的线段中央的点设为脸部全体坐标系的原点位置，以XY坐标系或极坐标系显示各拍摄点的位置。在此，例如使用极坐标系，将连接外眼角的线段作为坐标的角度(偏角)的基准。另外，该脸部全体坐标系用于在脸部的图像上显示拍摄点。
[0185]若用户在上述脸部图像上通过触摸等来设定拍摄点，则算出并存储脸部全体坐标系上的坐标。用户对所决定的拍摄点进行拍摄时，在脸部图像上指定根据上述坐标所显示的脸部全体坐标系上的拍摄点并进行拍摄。
[0186]因此，用户在拍摄时在脸部图像上确认拍摄点，可在拍摄时抑制拍摄部位成为与拍摄点分离的位置的情况。
[0187]在所被拍摄的图像数据22中，设定以图像数据22上的中心位置为原点的极坐标系，算出在图像数据22所拍摄的毛孔20的位置。另外，若使用正交坐标系并且图像数据22的图像的形状为矩形时，也可将原点设为图像左端的下端。
[0188]将在设定拍摄点之后最初拍摄到的图像数据22的上述各毛孔20的坐标位置存储为与下次指定相同的拍摄点并被拍摄的图像数据22的毛孔20的配置图案的比较用毛孔数据。若输入下次被拍摄的图像数据22，则同样地算出以图像数据22上的中心为原点的极坐标系中的各毛孔20的坐标，生成登记了这些坐标的毛孔坐标表。
[0189]另外，在该阶段，毛孔数据和毛孔坐标表是将各自的图像数据22的中心为原点的毛孔20的坐标的表，但是毛孔坐标表为I个图像数据22的毛孔20的坐标，相对于此，毛孔数据是依序追加登记决定了中心位置的图像数据22的毛孔20的坐标的数据。
[0190]基本上，如图9所示最初被拍摄到的图像数据22(以符号21a为中心的图像)与下个被拍摄到的图像数据22(以符号21b为中心的图像)即使如箭头24所示有偏移，一部分区域重叠的可能性高。由此，在进行比较的2个图像数据22的毛孔20的配置图案中产生大致一致的部分。该毛孔20的配置图案相一致的部分为在2个图像数据22相重叠的部分。此时，将最初被拍摄到的图像数据22设为基准图像，设定以该基准图像的中心为原点的拍摄点坐标系。另外，后面叙述在最初被拍摄到的图像数据22和下个被拍摄到的图像数据22中没有毛孔20的配置图案相一致的部分的情况。
[0191]如上所示与成为基准图像的图像数据22相重叠的图像数据22的毛孔20的坐标系被转换成上述拍摄点坐标系的坐标，与被登记在毛孔数据中的毛孔20的坐标不相重叠的毛孔20的坐标被追加在毛孔数据中。此外，求出拍摄点坐标系中的图像数据22的中心位置21b的坐标(图像中心的位置坐标)，决定图像数据22的位置。之后，在每次输入所被拍摄到的图像数据22时，求出毛孔坐标表，与毛孔数据相比较，若有毛孔20的配置图案相一致的部分，则如上所述转换毛孔坐标表的坐标，并且追加登记被转换成毛孔数据的毛孔20的坐标，并且决定图像数据22的中心位置的拍摄点坐标系中的坐标。
[0192]另外，在将图像数据22中的图像外形设为圆形，但是也可以设为矩形。此外，即使是一次被判定为在毛孔坐标表没有毛孔数据与毛孔20的配置图案相一致的部分的图像数据22，也在毛孔数据中追加登记毛孔20的坐标，根据被追加登记的毛孔数据，产生毛孔20的配置图案相一致的部分的可能性，因此，每次在毛孔数据中追加登记毛孔20的坐标时，将没有与毛孔数据中的毛孔20的配置图案相一致的毛孔20的配置图案的图像数据22的毛孔坐标表与毛孔数据进行比较。此时，若有毛孔20的配置图案相一致的部分，则将该图像数据22的毛孔20的坐标如上所述进行坐标转换而追加登记在毛孔数据中，并且决定该图像数据22的图像中心的位置坐标。
[0193]如上所示，是在相同拍摄点被拍摄到的图像数据22且有毛孔数据与毛孔20的配置图案相一致的部分的图像数据22被决定相对位置。即，如图10所示、在各图像数据22中，若有毛孔数据中的毛孔20的配置与毛孔20的配置相一致的部分，则决定拍摄点坐标系中的位置。由此，得知各图像数据22的拍摄日期时间及作为各图像数据22的相对位置的图像中心的位置坐标，在分析肌肤状态时，防止将明显不同位置的肌肤状态误认为大致相同位置的肌肤状态，能够更高精度高地判定肌肤状态。
[0194]在进行幻灯片播放的显示时，例如若将以符号26表示的矩形范围设为显示图像数据22的显示画面的位置，则能够在该显示画面设定上述拍摄点坐标系，使各图像数据22显示在其图像中心为拍摄点坐标系所对应的坐标。此时，相同的毛孔20即使在不同的图像数据22中也被显示在大致相同的位置。此时，在各幻灯片中会有图像欠缺的部分，但是被一次显示的图像残留至被覆盖为止，由此在图像欠缺的部分显示之前的图像数据22，形成为容易观看的画面显示。
[0195]此时，例如将照相机固定在三脚架等上，在进行微速度拍摄之后，形成快转再生的图像。另外，也可以根据前后的图像数据22来插补各幻灯片的图像欠缺部分。
[0196]接着，说明在如上所述的相同拍摄点对多个图像进行拍摄并且进行再生的处理所使用的各数据与各数据库的关系。首先，按每个用户可登记的最大拍摄点的数量(最大登记拍摄点数量)如图5所示，在入会时被登记在顾客个人信息管理数据库5a中。另外，用户可登记的拍摄点例如免费会员与收费会员等那样，根据会员种类可变更的设定，例如免费会员仅可设定I个拍摄点，收费会员可设定3个拍摄点。此外，也可以按照拍摄点的数量而分别产生不同的费用。拍摄点的数量可任意设定，也可以按照各种条件决定用户可利用的拍摄点的数量。
[0197]决定拍摄点并被拍摄到的图像数据22如图6所示，被登记在肌肤历史数据库5b的输入肌肤图像的项目(表5bl)中。另外，在图像数据22有纹理诊断用图像、斑点诊断用图像、肌肤图像，在求出图像数据22的位置时，也可以使用这些图像数据22的种类中的任意一个，但例如尚未使用肌肤图像。另外，在进行I个拍摄点的拍摄时，由于拍摄上述纹理、斑点、肌肤这3种图像数据22，因此若决定I种的图像数据22的位置(图像中心的位置坐标)，则其他种类的图像数据22的图像中心的位置坐标也被决定。
[0198]上述脸部全体坐标系中的拍摄点的坐标如图6的表5bl所示，在肌肤历史数据库5b的输入肌肤图像的项目中作为拍摄点(中心坐标)与各图像相对应地被登记，可检索各图像数据22是对哪一个拍摄点进行拍摄。
[0199]此外，根据与同一拍摄点的其他图像数据22(肌肤图像数据)的关联性，求出以各拍摄点为目标所拍摄到的各图像数据22的中心位置，该各图像数据22的中心位置作为“图像中心的位置坐标”被登记在肌肤历史数据库5b的输入肌肤图像的项目(表5bl)中。由此，可知在相同拍摄点被依序拍摄到的图像数据22的相对位置。
[0200]在此，“图像中心的位置坐标”的坐标系并非是脸部全体坐标系，而是针对该拍摄点决定基准图像时以基准图像的中心为原点的上述拍摄点坐标系。若利用极坐标，则可将基准图像的水平设为角度的基准。此外，若决定各图像数据22的位置，则并不一定必须按照拍摄顺序决定位置。因此，对于决定了图像中心的位置坐标的图像数据22，将位置决定标志设为开(ON)，在图像中心的位置坐标尚未决定的图像数据22中使位置决定标志保持关(OFF)。该位置决定标志被登记在肌肤历史数据库5b的输入肌肤图像的项目(表5bl)中。另夕卜，在对相同拍摄点进行了拍摄的图像数据22中，除了上下左右的位置偏移之外也有旋转方向的位置偏移，因此基本上基准图像中的水平成为坐标的角度(偏角)的基准，其他图像数据22根据毛孔数据与毛孔20的配置图案相一致的区域来决定图像数据22的角度。
[0201]在拍摄点数据库5c中，与顾客ID关联起来存储拍摄点的登记数量(登记拍摄点数量)。该拍摄点的登记数量并非为上述最大值，而是在最大值的范围内用户已经登记的拍摄点的数量，是由O至最大值的任何值。
[0202]在拍摄点数据库5c中，与顾客ID关联起来与被登记的各拍摄点相对应地登记拍摄点的中心坐标作为脸部全体坐标系的坐标。此外，在拍摄点数据库5c中，与拍摄点的中心坐标(脸部全体坐标系)关联起来登记被登记(拍摄)的图像数据的个数、登记有拍摄点的日期、基准图像的数据编号以及上述毛孔数据。基准图像的数据编号是在测定各测定数据时对作为各测定数据的每个图像数据22附加而被登记在肌肤历史数据库5b中的数据编号之中的成为基准图像的图像数据22的数据编号。
[0203]毛孔数据是与毛孔坐标表相同的坐标的表，表示该拍摄点的拍摄点坐标系中的各图像数据22的各毛孔20的位置的坐标系如图6的表5b4所示，以极坐标的向径(radial )(rn)与偏角(θη)登记。另外，如上所述在图像数据22之间，配置图案相一致的毛孔20作为相同的毛孔20而被登记坐标。
[0204]接着，参照图7、图8、图12的流程图，说明关于拍摄点的登记的登记拍摄点的追加/变更处理。登记拍摄点的追加/变更处理是以智能手机3进行的处理，但是根据智能手机3中的登记拍摄点的追加/变更处理被追加或变更的拍摄点的中心坐标被传送至数据管理服务器5，数据管理服务器5在拍摄点数据库5c中重新登记追加或变更后的拍摄点的中心坐标。另外，在拍摄点的变更中，通过一起进行拍摄点的追加和拍摄点的删除，来取代被删除的拍摄点而登记被追加的拍摄点。
[0205]如图7所示，在智能手机3中，使专用应用软件5j启动而使显示在显示画面3a中所示的主菜单时，在选项中可选择诊断美容作为用于进行基于肌肤状态测定装置I的测定的选项。选择诊断美容，显示在显示画面3b中所示的诊断美容菜单。在诊断美容菜单中，可选择使用肌肤状态测定装置I的肌肤诊断，若选择肌肤诊断，则显示在显示画面3c中所示的肌肤诊断菜单，可选择肌肤诊断照相机(肌肤用照相机)作为肌肤状态测定装置1，若选择肌肤诊断用照相机，则显示在图8的显示画面3d中所示的拍摄种类菜单，可选择拍摄的种类。[°206]在此，拍摄的种类有2种，可选择持续肌肤拍摄及定点(pinpoint)拍摄。持续肌肤拍摄是在肌肤上设定拍摄点，对所设定的拍摄点定期地拍摄。此外，在定点拍摄中，不进行持续性的拍摄，针对所拍摄的肌肤图像接受简易诊断。另外，简易诊断也在持续肌肤拍摄的情况下进行。在定点拍摄中，尝试对肌肤的在意部分进行拍摄并接受简易诊断。此外，也可以利用在请用户的朋友尝试接受肌肤的简易诊断的情况。
[0207]在智能手机3中，判定在拍摄种类菜单中是否选择了持续肌肤拍摄(步骤SI)。
[0208]在未选择持续肌肤拍摄而选择了定点拍摄时，接着以肌肤用照相机对肌肤进行拍摄，将所拍摄到的图像数据22传送至数据管理服务器5而接受基于图像数据22的简易诊断。
[0209]在选择了持续肌肤拍摄时，从数据管理服务器5下载拍摄点数据库5c的数据，在有已经被登记在拍摄点数据库5c中的拍摄点时，根据拍摄点数据库5c的所登记的拍摄点的中心坐标、在该拍摄点拍摄到的图像个数、该拍摄点的登记日，如图8的显示画面3e所示，在脸部的图像上显示拍摄点、拍摄点的登记日、在拍摄点的拍摄张数，并且显示登记拍摄点的追加/变更按键。即，生成显示画面3e并显示(步骤S2)。另外，若拍摄点未被登记时，虽然显示无拍摄点的脸部的图像，但是也可以向步骤S5转移。
[0210]另外，如上所述在脸部的图像上设定有将链接2个外眼角而得的线段的中央点作为原点的极坐标系(脸部全体坐标系)，在拍摄点数据库5c存储有脸部全体坐标系的极坐标作为拍摄点。
[0211]判定是否触摸了所显示的拍摄点的I个(步骤S3)。
[0212]若没有触摸所显示的拍摄点，则判定否触摸了登记拍摄点的追加/变更按键(步骤S4)。
[0213]若触摸了所显示的拍摄点，则结束该处理，显示图8的显示画面3g。在显示画面3g中，在脸部的图像上仅显示被触碰的拍摄点，催促对该拍摄点进行拍摄，向拍摄处理转移。若触摸了登记拍摄点的追加/变更按键，则显示图8的显示画面3f(步骤S5)。
[0214]在显示画面3f中，在基本上与显示画面3e相同的图像中显示催促新拍摄点的输入的显示。作为新拍摄点的输入，判定用户是否触摸了显示画面3e上的脸部的图像(步骤S6)。
[0215]在被触碰时，求出被触摸到的位置的上述脸部的图像上的坐标系的位置(脸部全体坐标系)(步骤S7)。
[0216]此外，判定是否为设定有现状拍摄点的登记数的上限値，例如3个(步骤S8)，若少于3个时，即在可重新登记拍摄点时，在已下载的拍摄点数据库5c中，设定新拍摄点的项目，在该拍摄点的项目中登记拍摄点的中心坐标及今天的日期作为登记日，将所拍摄到的肌肤图像个数设为O (步骤S9)。
[0217]此外，将被覆盖的拍摄点数据库5c传送至数据管理服务器5，并且生成基于被覆盖的拍摄点数据库5c的显示画面3e并显示(步骤S10)，返回至步骤S3。另外，在数据管理服务器5中，以将拍摄点数据库5c置换成所接收到的拍摄点数据库5c的方式进行更新。
[0218]是被设定现状的拍摄点的登记数的上限值时，由于无法重新增加拍摄点，因此显示使用户输入指示要删除的拍摄点或取消拍摄点的输入