一种实现时尚体验的智能眼镜系统及个性化时尚体验方法
【专利摘要】本发明涉及一种实现自然交互的个性化时尚体验的智能眼镜系统及个性化时尚体验方法，包括以下部分：目镜屏，能够使可见光透过所述镜片，同时将图像信息叠加在人的真实视野上；识别模块，该识别模块包括面部识别模块和服饰识别模块；所述面部识别模块用于目标人的面部识别，在识别成功后，可将目标人面部图片与数据库中用户的面部图片调换；所述服饰识别模块用于提取服装信息，并与数据库中的服装进行搜索与匹配；人机交互模块；数据处理单元。本发明提供的基于光学头戴显示穿戴设备开发的自然交互时尚建议模式，只需朝视野中时尚商品的方向看去即可调用本系统。自然地为用户提供个性化的时尚搭配建议，提供了快捷丰富的时尚体验。
【专利说明】一种实现时尚体验的智能眼镜系统及个性化时尚体验方法
【技术领域】
[0001]本发明涉及一种智能穿戴设备领域，尤其涉及一种实现自然交互的个性化时尚体验的智能眼镜系统及个性化时尚体验方法。
【背景技术】
[0002]在今天，实时获取基于网络的时尚建议(比如购物信息和服装建议)是一个低效率的用户体验。用户必须至少用一只手从口袋或包中取出智能手机，然后开机、启动应用，再拍照或输入文字，最后等待结果。这样就无法让用户在购物中、浏览衣橱或在街上行走时，自然地用双手双眼得到数字时尚建议。这是技术的问题。
[0003]尝试解决这些问题的其他方案有“数字魔镜”。这些设备可以安装在店铺中，并有摄像头和面向用户的大屏幕。用户出现在设备前就能以虚拟试穿的方式获得个性化的时尚建议和其他购物信息。不过，其局限性在于:(1)用户必须本人出现在镜子前，并放下目前的事，(2)她们有可能被别人看到，所以体验不是隔离的，(3)最后她们无法在家中或街上获得时尚建议。
【发明内容】
[0004](一 )要解决的技术问题
[0005]本发明的目的是提供一种实现时尚体验的智能眼镜系统及时尚体验方法，该智能眼镜系统能够使用户在购物中、浏览衣橱或在街上行走等各种场景下通过双眼即可快速、自然体验个性化的时尚建议。
[0006]( 二 )技术方案
[0007]本发明是通过以下技术方案实现:一种实现时尚体验的智能眼镜系统，包括以下部分:
[0008]目镜屏，该目镜屏设有可透视智能型镜片，能够使可见光透过所述镜片，同时将图像信息叠加在人的真实视野上；
[0009]摄像头，该摄像头用于目标的拍摄；数据库，用于储存个人信息、个人的服装品味数据和服装信息；
[0010]识别模块，该识别模块包括面部识别模块和服饰识别模块；所述面部识别模块用于目标人的面部识别，在识别成功后，可将目标人面部图片与数据库中用户的面部图片调换；所述服饰识别模块用于提取服装信息，并与数据库中的服装进行搜索与匹配；
[0011]人机交互模块，用于接收用户的指令；
[0012]数据处理单元，用于接收摄像头、数据库、识别模块和人机交互模块的数据并进行处理，从而控制目镜屏的显示。
[0013]其中，还包括内置的GPS导航装置和室内导航装置。
[0014]优选地，所述服饰识别模块采用ANN分类器。
[0015]优选地，所述面部识别模块采用基于哈尔特征的层叠分类器。
[0016]其中，所述人机交互模块包括:
[0017]麦克风，用于语音输入，以支持语音操作；
[0018]触摸板，用于触碰信号输入，以支持手势触碰操作。
[0019]本发明还提供一种采用上述的智能眼镜系统的个性化时尚体验方法，包括以下步骤:
[0020]SI向数据库中导入用户的肖像图片并识别；
[0021]S2用户可通过识别模块将摄像头拍摄照片或数据库中储存的服装照片调取出来，在目镜屏上显示用户真人的虚拟换装，或在目镜屏上显示风格推荐模特的服装搭配建议。
[0022]其中，所述步骤SI中，通过智能手机自拍用户的半身像，再将该半身像图片上传至数据库；或者，利用所述摄像头在平面镜前完成半身像的自拍。
[0023]其中，所述步骤SI具体包括以下步骤:
[0024]Sll将肖像图片采用层叠分类器确定肖像图片的面部区域矩形；
[0025]S12采用前景分割算法加上反锯齿化和像素羽化技术实现面部区域的识别；
[0026]S13通过面部识别模块识别出用户面部区域的轮廓、肤色、性别和年龄个人信息。
[0027]进一步，所述步骤S2具体包括以下步骤:
[0028]S21通过摄像头对目标人拍照而获取图片，并对目标人的面部区域通过基于哈尔特征的层叠分类器进行面部识别，识别成功后，即与用户的面部区域对位调换；
[0029]S22基于目标人的服装通过服饰识别模块提取其上身和下身的服装，再与数据库中的衣服进行搜索和匹配；
[0030]S23提取目标人的时尚信息，通过数据库存储其上身和下身区域的色彩和图案信息，并更新数据库中的风格推荐模特。
[0031]其中，所述步骤S2中，通过服饰识别模块来确定摄像头拍摄的对象是否属于服装；若为否，则提取非时尚对象的颜色和图案，并与数据库中的服装进行匹配，使目镜屏显示带有所拍摄对象图案的各种衣服。
[0032]或者，所述步骤S2具体包括以下步骤:
[0033](I)在初始阶段获取衣橱中的衣物图片，通过识别模块识别，并存入数据库；
[0034](2)通过摄像头对衣橱中衣物拍摄照片，并通过服饰识别模块确定照片中的衣物是否与初始阶段的数据库中衣物匹配；
[0035](3)在目镜屏上通过风格推荐模特显示衣物搭配建议。
[0036]其中，所述步骤(3)中，通过参照用户的个人信息、个人的服装品味数据、着装天气、时间和地点信息提供服饰颜色和图案的搭配方案。
[0037]进一步，还包括后端网络挖掘方法，其具体方法如下:
[0038]吸收时尚电子商务网站的内容，并分析目录的衣物图片，采用识别模块进行匹配识别后加入电子商务购物的匹配数据库。
[0039](三)有益效果
[0040]与现有技术和产品相比，本发明有如下优点:
[0041]本发明提供的基于光学头戴显示(Optical Head-Mounted Display,简称0HMD)穿戴设备开发的自然交互时尚建议模式，即带有摄像头和目镜屏的智能眼镜，可以让用户腾出双手，只需朝视野中时尚商品的方向看去即可调用本系统。这样就能在各种场景下，比如在购物中、浏览衣橱或在街上行走时，自然地为用户提供个性化的时尚建议，并给出时尚搭配建议，提供了快捷丰富的时尚体验。
【专利附图】
【附图说明】
[0042]图1为本发明的智能眼镜系统的模块结构示意图；
[0043]图2为本发明提供的智能眼镜系统实现的个性化时尚体验方法步骤示意图。
【具体实施方式】
[0044]为了便于本领域普通技术人员理解和实施本发明，下面结合附图及【具体实施方式】对本发明作进一步的详细描述。
[0045]实施例一
[0046]如图1所示，本实施例提供一种实现时尚体验的智能眼镜系统，包括以下部分:
[0047]目镜屏，该目镜屏设有可透视智能型镜片，能够使可见光透过所述镜片，同时将图像信息叠加在人的真实视野上；
[0048]摄像头，该摄像头用于目标的拍摄；
[0049]数据库，用于储存个人信息、个人的服装品味数据和服装信息；
[0050]识别模块，该识别模块包括面部识别模块和服饰识别模块；所述面部识别模块用于目标人的面部识别；在识别成功后，可将目标人面部图片与数据库中用户的面部图片调换；服饰识别模块用于识别服饰信息，并对数据库中的服装进行搜索与匹配；
[0051]人机交互模块，用于接收用户的指令，从而控制目镜屏的显示信息。其中，该人机交互模块包括:麦克风，用于语音输入，以支持语音操作；触摸板，用于触碰信号输入，以支持手势触碰操作。
[0052]数据处理单元，用于接收摄像头、数据库、识别模块和人机交互模块的数据并进行处理，从而控制目镜屏的显示。
[0053]其中，该智能眼镜系统还包括内置的GPS导航装置和室内导航装置。该智能眼镜系统通过网络连接，可提供服装搭配的购买建议。基于OHMD的服装电子商务:让用户在实体店中试穿，也可以在线购买；基于OHMD的服装实体商务:让商户能以优惠券等形式向零售店内的消费者进行促销，并提供室外和室内导航。用户在室外可以通过内置的GPS导航，或通过iBeacon或Wifi加惯性测量单元传感器等室内导航系统前往附近的店铺。
[0054]其中，用户拍摄的图片是否为服饰，需要服饰识别模块进行判断。服饰识别模块可优选采用ANN(人工神经网络)分类器，其原理为:通过ANN分类器去判断一个图片内的物体是某一种服饰的可能性有多高。我们会提前去训练一个ANN分类器识别上千种服饰类别(如短裙，长裙，高跟鞋，运动鞋等)，当用户拍摄一张新照片后，这个ANN分类器会去判断照片上的物体属于某一种服饰类别的可能性有多高；如果没有任何服饰类别具有足够高的可能性，那么就判断此物体不是一个服饰。
[0055]其中，该人机交互模块包括:麦克风，用于语音输入，以支持语音操作；触摸板，用于触碰信号输入，以支持手势触碰操作。
[0056]所述智能眼镜系统的交互采用自然用户界面。这可以通过麦克风的语音指令实现，比如在拿起服装进行搭配时说“搭配这些衣服”。此外，用户还可以用刷过目镜屏侧边触摸板的手势进行用户界面中的导航，比如在需要隔离环境的电子商务购买场景下。
[0057]实施例二
[0058]如图2所示，本实施例提供一种采用智能眼镜系统实现的个性化时尚体验方法，包括以下步骤:
[0059]SI向数据库中导入用户的肖像图片并识别；
[0060]S2用户可通过识别模块将摄像头拍摄照片或数据库中储存的服装照片调取出来，在目镜屏上显示用户真人的虚拟换装，或在目镜屏上显示风格推荐模特的服装搭配建议。
[0061]具体地，时尚体验的方法可分为以下具体应用模式。
[0062](一)、初始校正模式:
[0063]因为它会提供其他模式所需的基本属性。通过智能手机自拍用户的半身像，再将该半身像图片上传至数据库；或者，利用所述摄像头在平面镜前完成半身像的自拍。具体包括以下步骤:
[0064]Sll将肖像图片采用基于哈尔特征的层叠分类器等面部识别算法确定肖像图片的面部区域矩形；
[0065]S12采用前景分割算法加上反锯齿化和像素羽化技术实现面部区域的识别；
[0066]S13通过面部识别模块识别出用户面部区域的体型、肤色、性别和年龄个人信息，具体可以通过人工神经网络(artificial neural network,简称ANN)模块的管理学习实现。
[0067](二)、街头时尚模式
[0068]通过摄像头对目标人拍照而获取图片，并对目标人的面部区域通过基于哈尔特征的层叠分类器进行面部识别，识别成功后，即与用户的面部区域对位调换。该模式可以通过摄像头对感兴趣的目标人拍照来实现。目标人的面部区域可以用基于哈尔特征的层叠分类器等面部识别算法来侦测，一旦识别成功后即可与用户的面部调换。调换包括面部对位程序，使用户的面部与目标人通过鼻、眼、口、颏等关键点对位。对位将需要缩放和旋转，还要补光调整以保证面部尽量自然，结果将显示在目镜屏上。
[0069]基于目标人的服装通过服饰识别模块提取其上身和下身的服装，再与数据库中的衣服进行搜索和匹配，将搜索的结果显示在目镜屏上；
[0070]此外，提取目标人的时尚品味，通过数据库存储其上身和下身区域的色彩和图案信息，并更新数据库中的风格推荐模特，改善自己的搭配建议。
[0071]目标人的时尚品味可以通过几种方式综合获取:1)通过目标人使用本产品的历史行为，例如她会频繁地查看某一种类型的服饰，则代表她喜欢这种风格的服饰；2)通过目标人拍摄其自身的服饰照片，判断她喜欢的服饰风格；3)通过目标人在其个人信息里填与的内容，比如她喜欢哪一种品牌的服饰。获取目标人的时尚品味后，可以针对其时尚品味提供个性化的时尚推荐。
[0072]采用上述时尚体验的方法，创新开发地为现有的服装试穿等场景带来了新的价值。例如，本项发明让用户在虚拟试衣时，通过注视店内或他人身上的衣服就能在视域中看到自己穿上的样子。
[0073](三)、衣橱模式
[0074](I)在初始阶段获取衣橱中的衣物图片，通过识别模块识别，并存入数据库。通常，此时用户需要将其衣橱中的衣物放在床铺等平面上，并通过摄像头对他们拍照或扫描。系统将识别这些衣物，并存入数据库。
[0075](2)通过摄像头对衣橱中衣物拍摄照片，为实现对衣橱中衣物的识别,通过服饰识别模块确定所拍摄的服饰的类型；
[0076](3)在目镜屏上通过风格推荐模特显示衣物搭配建议。
[0077]具体地，步骤(3)中，通过参照用户的个人信息、个人的服装品味数据、着装天气、时间和地点信息提供服饰颜色和图案的搭配方案。
[0078](四)、购物助手模式
[0079]所述购物助手模式后端网络挖掘方法，其具体方法如下:
[0080]吸收服饰电子商务网站的内容，并分析目录的衣物图片，采用识别模块进行匹配识别后加入电子商务购物的匹配数据库。
[0081]实现搜索功能的第一步是通过服饰识别模块浏览摄像头所拍的照片，确定服装类型。然后用匹配算法确定电子商务衣物数据库中与之最接近的匹配。
[0082]目镜屏中显示的衣服可以在设备上购买，或通过可以显示最初挖掘到的电子商务页面的内嵌网址，或通过对挖掘到的网页的API进行适配后的界面。
[0083]穿戴装有所述智能眼镜系统的顾客进店后，商户会通过定位技术得到通知(如果用户希望如此)。通过网络连接，顾客也可以知道是否有可用的优惠券。优惠券将在柜台通过用户复述的目镜屏上的编码进行兑换。用户在室外也可以通过OHMD内置的GPS导航，或通过iBeacon或Wifi加惯性测量单元传感器等OHMD室内导航系统前往附近的店铺。用户在看到一件衣服时就可以获得价格信息，并通过本设备完成在线购买，或由GPS或室内导航进入实体店购买。
[0084]智能眼镜系统的交互模块采用自然用户界面。这可以通过语音指令实现，比如在拿起服装进行搭配时说“搭配这些衣服”。此外，用户还可以用刷过目镜屏侧边的手势进行用户界面中的导航。
[0085](五)、可应变搜索模式
[0086]对于摄像头拍摄的照片，可通过服饰识别模块来确定对象是否属于服装；若为否，则提取非服饰对象的颜色和图案，并与数据库中的服装进行匹配，使目镜屏显示带有所拍摄对象图案的各种衣服。识别非服装物的颜色和形状(如花朵)后与服装进行美化匹配，而非无结果，这提升了智能眼镜系统的搜索功能。
[0087]以上实施例仅为本发明的一种实施方式，其描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。其具体结构和尺寸可根据实际需要进行相应的调整。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
【权利要求】
1.一种实现时尚体验的智能眼镜系统，其特征在于，包括以下部分: 目镜屏，该目镜屏设有可透视智能型镜片，能够使可见光透过所述镜片，同时将图像信息叠加在人的真实视野上； 摄像头，该摄像头用于目标的拍摄； 数据库，用于储存个人信息、个人的服装品味数据和服装信息； 识别模块，该识别模块包括面部识别模块和服饰识别模块；所述面部识别模块用于目标人的面部识别，在识别成功后，可将目标人面部图片与数据库中用户的面部图片调换；所述服饰识别模块用于提取服装信息，并与数据库中的服装进行搜索与匹配； 人机交互模块，用于接收用户的指令； 数据处理单元，用于接收摄像头、数据库、识别模块和人机交互模块的数据并进行处理，从而控制目镜屏的显示。
2.根据权利要求1所述的实现时尚体验的智能眼镜系统，其特征在于，还包括内置的 导航装置和室内导航装置。
3.根据权利要求1所述的实现时尚体验的智能眼镜系统，其特征在于，所述服饰识别模块采用灿咖分类器。
4.根据权利要求1所述的实现时尚体验的智能眼镜系统，其特征在于，所述面部识别模块采用基于哈尔特征的层叠分类器。
5.根据权利要求1?4任一项所述的实现时尚体验的智能眼镜系统，其特征在于，所述人机交互模块包括: 麦克风，用于语音输入，以支持语音操作； 触摸板，用于触碰信号输入，以支持手势触碰操作。
6.一种采用权利要求1?5任一项所述的智能眼镜系统的个性化时尚体验方法，其特征在于，包括以下步骤: 51向数据库中导入用户的肖像图片并识别； 32用户可通过识别模块将摄像头拍摄照片或数据库中储存的服装照片调取出来，在目镜屏上显示用户真人的虚拟换装，或在目镜屏上显示风格推荐模特的服装搭配建议。
7.根据权利要求6所述的个性化时尚体验方法，其特征在于，所述步骤31中，通过智能手机自拍用户的半身像，再将该半身像图片上传至数据库；或者，利用所述摄像头在平面镜前完成半身像的自拍。
8.根据权利要求6所述的个性化时尚体验方法，其特征在于，所述步骤51具体包括以下步骤: 811将肖像图片采用层叠分类器确定肖像图片的面部区域矩形； 812采用前景分割算法加上反锯齿化和像素羽化技术实现面部区域的识别； 313通过面部识别模块识别出用户面部区域的轮廓、肤色、性别和年龄个人信息。
9.根据权利要求8所述的个性化时尚体验方法，其特征在于，所述步骤32具体包括以下步骤: 321通过摄像头对目标人拍照而获取图片，并对目标人的面部区域通过基于哈尔特征的层叠分类器进行面部识别，识别成功后，即与用户的面部区域对位调换； 822基于目标人的服装通过服饰识别模块提取其上身和下身的服装，再与数据库中的衣服进行搜索和匹配； 323提取目标人的时尚信息，通过数据库存储其上身和下身区域的色彩和图案信息，并更新数据库中的风格推荐模特。
10.根据权利要求6所述的个性化时尚体验方法，其特征在于，所述步骤32中，通过服饰识别模块来确定摄像头拍摄的对象是否属于服装；若为否，则提取非时尚对象的颜色和图案，并与数据库中的服装进行匹配，使目镜屏显示带有所拍摄对象图案的各种衣服。
11.根据权利要求6所述的个性化时尚体验方法，其特征在于，所述步骤32具体包括以下步骤: (1)在初始阶段获取衣橱中的衣物图片，通过识别模块识别，并存入数据库； (2)通过摄像头对衣橱中衣物拍摄照片，并通过服饰识别模块确定照片中的衣物是否与初始阶段的数据库中衣物匹配； (3)在目镜屏上通过风格推荐模特显示衣物搭配建议。
12.根据权利要求11所述的个性化时尚体验方法，其特征在于，所述步骤(3)中，通过参照用户的个人信息、个人的服装品味数据、着装天气、时间和地点信息提供服饰颜色和图案的搭配方案。
13.根据权利要求6所述的个性化时尚体验方法，其特征在于，还包括后端网络挖掘方法，其具体方法如下: 吸收时尚电子商务网站的内容，并分析目录的衣物图片，采用识别模块进行匹配识别后加入电子商务购物的匹配数据库。
【文档编号】G06F3/0488GK104345886SQ201410527758
【公开日】2015年2月11日 申请日期:2014年10月9日 优先权日:2014年10月9日
【发明者】黄鼎隆, 马修罗伯特斯科特, 王文娟 申请人:深圳码隆科技有限公司