基于Kinect人体骨骼识别的方法
【专利摘要】本发明公开一种基于Kinect人体骨骼识别的方法，包括以下步骤：获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点；建立空间之间坐标系，定位头部、四肢及关节处骨骼点坐标，并将骨骼点坐标与人体影像进行绑定；经数据处理转化将人体影像的各部位骨骼点与虚拟场景中的三维模型对应位置进行绑定。本发明的提供一种基于Kinect人体骨骼识别的方法，是基于Kinect进行二次开发，可以很好的捕捉并绑定距离体感设备最近玩家的身体骨骼，避免干扰骨骼信息影响人机交互体验。
【专利说明】
基于K i nect人体骨骼识别的方法
技术领域
[0001]本发明涉及虚拟试衣技术领域，尤其涉及一种基于Kinect人体骨骼识别的方法。
【背景技术】
[0002]随着在电子商务的兴起，在线虚拟试衣系统不受时间、空间的局限，为消费者在线上通过虚拟模型进行服装展示，通过观察试穿决定购买意向。这对于线上购买人群提供了极大的便利，仅需通过鼠标点击就能购买到合适的服饰，对工作繁忙的人来说无意是最有效率的。
[0003]线下实体店销售往往需要配备多名导购员进行引导购买，但是在销售旺季或节假日时，导购员业务繁忙无暇照顾全部的消费者，这就会给部分消费者带来不被重视的感觉，实体店往往因此损失该部分销售业绩。并且由于消费者过多，试衣间数量有限，这就会出现排队等候试衣的情况，这也是造成实体店拥堵的主要原因。
[0004]随着科学技术的发展，人机交互技术在越来越多的领域得以应用。骨骼跟踪技术是人机交互领域的一项重要技术，而以往传统的人机交互设备是包括键盘、鼠标和操作杆等来实现，其在使用的自然性和真实性等方面有一定的局限性。
【发明内容】
[0005]本发明的提供一种基于Kinect人体骨骼识别的方法，是基于Kinect进行二次开发，可以很好的捕捉并绑定距离体感设备最近玩家的身体骨骼，避免干扰骨骼信息影响人机交互体验。
[0006]为解决上述问题，本发明实施例提供一种基于Kinect人体骨骼识别的方法，包括以下步骤:
[0007]获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点；
[0008]建立空间之间坐标系，定位头部、四肢及关节处骨骼点坐标，并将骨骼点坐标与人体影像进行绑定；
[0009]经数据处理转化将人体影像的各部位骨骼点与虚拟场景中的三维模型对应位置进行绑定。
[0010]进一步地，所述获取现实环境深度图并捕捉深度影像，具体包括以下步骤:
[0011 ]设定捕捉区域，当玩家进入可捕捉区域，骨骼识别系统自动绑定距离体感设备最近玩家的身体骨骼；
[0012]设定最佳测量距离，当被绑定骨骼到达最佳测量处时，触发扫描功能，通过红外收录玩家身体信息。
[0013]作为一种可实施方式，所述根据捕捉到的深度影像识别头部、四肢及关节处骨骼点包括设定最佳识别姿势，便于系统捕捉区分各个骨骼点。
[0014]进一步地，所述最佳识别姿势为保持直立姿势，双手下垂与身体躯干保持45°夹角，双腿分开，双脚间距小于肩宽。
[0015]进一步地，所述获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点，还包括用于稳定获取骨骼信息的RGB色彩算法。
【附图说明】
[0016]图1是本发明实施例的虚拟试衣镜系统的硬件结构图；
[0017]图2是本发明实施例的虚拟试衣镜系统的结构框图；
[0018]图3是本发明实施例的基于Kinect人体骨骼识别的方法的步骤图；
[0019]图4是本发明实施例的进入虚拟试衣镜系统时的流程图；
[0020]图5是本发明实施例的虚拟试衣系统的流程图；
[0021 ]图6是本发明实施例的助手搭配系统的流程图；
[0022]图7是本发明实施例的虚拟模型换脸方法的步骤图；
[0023]图8是本发明实施例的自选服饰系统的流程图；
[0024]图9是本发明实施例的智能推送系统的流程图；
[0025]图10是本发明实施例的摄像模块的流程图。
[0026]附图标注:1、柜体;2、电动门；21、电动门控制器;31、推送杆控制器;4、体感设备；
5、显示屏;6、计算机;7、串口分配器;8、云服务器。
【具体实施方式】
[0027]下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。
[0028]—种虚拟试衣镜系统，包括硬件部分和软件部分，硬件部分包括智能推送衣柜、计算机6、串口分配器7、显示屏5、体感设备4、电源控制器，软件部分包括骨骼识别系统、虚拟试衣系统、助手搭配系统、自选服饰系统、智能推送系统。
[0029]如图1至2所示，智能推送衣柜包括含电动门2及电动门控制器21的柜体I，柜体I内设有若干推送杆及控制各个推送杆的推送杆控制器31，电动门控制器21和若干推送杆控制器31均电连接串口分配器7。显示屏5设于柜体I表面，用于实现人机相互并具有触摸屏功能。计算机6分别连接显示屏5、串口分配器7，用于接收数据并发送相关控制指令。体感设备4设于柜体I表面并电连接计算机6，用于捕捉手部动作，在本发明中，体感设备4采用微软公司的Kinect设备，安装时，体感设备4的最佳高度为1.65米，最佳测量距离为2.5?3.5米，体感摄像头水平放置，红外摄像头居中放置。
[0030]骨骼识别系统识别并绑定第一个进入识别范围内的身体骨骼，通过肢体动作控制虚拟场景的立体模型动作。其方法如下:
[0031]如图3所示，一种基于Kinect人体骨骼识别的方法，包括以下步骤:
[0032]S100:获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点；
[0033]步骤SlOO的作用是通过捕捉深度影像识别人体轮廓获取相应头部、四肢及关节处的骨骼点。其具体步骤包括:
[0034]SlOl:设定捕捉区域，当玩家进入可捕捉区域，骨骼识别系统自动绑定距离体感设备4最近玩家的身体骨骼；
[0035]S102:设定最佳测量距离，当被绑定骨骼到达最佳测量处时，触发扫描功能，通过红外收录玩家身体信息；
[0036]S103:设定最佳识别姿势，最佳识别姿势为保持直立姿势，双手下垂与身体躯干保持45°夹角，双腿分开，双脚间距小于肩宽。玩家保持最佳识别姿势时，身体各个躯干姿势特征明显，便于捕捉区分。
[0037]S200:建立空间之间坐标系，定位头部、四肢及关节处骨骼点坐标，并将骨骼点坐标与人体影像进行绑定。
[0038]S300:经数据处理转化将人体影像的各部位骨骼点与虚拟场景中的三维模型对应位置进行绑定。
[0039]由于虚拟场景中骨骼信息的稳定程度受环境光影响和玩家服饰颜色影响，环境光强度越暗、玩家服饰颜色越深识别越不稳定，故我们在试衣镜系统中增加了画面灰度RGB色彩增强算法，在环境光偏暗的情况下，亦可将灰度区分强度增到最大，将误差降到最小。
[0040]如图4所示，玩家进入感应区域后，跳转至主界面，玩家选择相应年龄段选项按钮(包括“青春少女(25岁以下)”、“魅力淑女(25?40岁以下)”、“美丽妈妈(40以上)”)并扫描二维码获取验证码登陆骨骼识别系统，当玩家进入可捕捉区域，骨骼识别系统自动绑定距离体感设备4最近玩家的身体骨骼(虚拟试衣镜系统给定最佳测量距离为:距体感设备42.5米处，场景内给予骨骼三维坐标定为距离坐标原点对应三米距离处)，当被绑定骨骼到达场景中三米测量处时，骨骼识别系统将触发扫描功能，通过红外对玩家身体信息(身高、宽度、深度)收录，身体信息收录时，玩家需保持最佳识别姿势。
[0041 ]捕捉完成后，玩家身体各信息自动被骨骼识别系统获取，玩家身体做出动作时，虚拟场景中已绑定玩家数据信息的骨骼即实时跟随玩家做出对应姿势。
[0042]骨骼扫描完成后，进入模式选择界面，主要包括以下四个模式:虚拟试衣系统、助手搭配系统、自选服饰系统、智能推送系统。
[0043]虚拟试衣系统包括类型选择模块，类型选择模块中包括衣服款式选择模块、调整模块、在线商城模块。
[0044]如图5所示，进入虚拟试衣系统界面，界面内包括9种服饰类型的类型图标，分别为:上衣、长裙、短袖套装、长袖套装、毛衣、裤子、大衣外套、手提包、短裙。玩家可通过手掌挥动控制场景中手掌图标进行移动选取，为防止错选，手掌图标在每个类型图标上停留约两秒以上方为确认。玩家选中对应类型后，系统将自动跳转至试穿界面，无需玩家手动选取，系统自动将一套当前类型服饰穿在玩家身上。试穿界面上具有衣服款式选择按钮，玩家可挥动右手控制图标选择对应款式服装进行试穿。玩家在试穿过程中如发现有服装对应大小、尺码、位置不适，可通过左手触发设置按钮，进入设置界面手动调整。玩家在试穿完成一件服装之后，可通过选择在线商城在线下单。当玩家不喜欢当前服装时，可通过触发删除按钮功能取消试穿当前服装，亦可通过返回功能返回上一界面重新选择款式。虚拟试衣系统主要用于场景中的体感模型试穿，试穿过程通过体感手势进行控制。
[0045]助手搭配系统包括设置模块、服饰搭配模块。
[0046]如图6所示，进入助手搭配系统界面，界面中间位置会出现一个虚拟模型供玩家控制。玩家可根据自身身高、体重、肤色等选择对应尺寸，从而对虚拟模型进行调整，也可通过设置模块对虚拟模型所处场景进行切换。界面上具有服装按钮，玩家可触摸该图标点开包括上装、下装、配饰和其它按钮，通过触屏点选方式选择对应款式服装在虚拟模型上进行试穿和展示(所选服饰与虚拟试衣系统内容相同)。助手搭配系统根据玩家资料自动推荐3?5款搭配好服饰，只需要通过选择即可在虚拟模型上进行展示。助手搭配系统主要用于虚拟模型试穿，试穿过程通过触屏进行控制。
[0047]助手搭配系统支持换脸功能，即捕捉玩家面部信息，以贴图的方式贴到虚拟模型面部，让玩家感受到是与自身对应的模型在虚拟场景中。其方法以下:
[0048]如图7所示，一种虚拟模型换脸方法，包括以下步骤:
[0049]S400:捕捉玩家呈像；
[0050]S401:通过体感设备4动态获取玩家骨骼点从而确定玩家头部位置信息；
[0051 ] S402:拍照及保存玩家头部信息，通过图像处理算法将玩家面部以外图像扣除；
[0052]S403:将面部图像贴到虚拟模型的面部；
[0053]S404:通过烘焙面部图像，将玩家面部信息完美融入虚拟模型头部。
[0054]自选服饰系统包括输入条码模块。
[0055]如图8所示，进入自选服饰系统界面，玩家可在当前实体店内选好实体服装，输入服装吊牌上对应条码无需试衣间也可试穿当前服装，省去来回换衣的繁琐过程。自选服饰系统主要用于场景中体感模型试穿，试穿过程通过触屏或手势进行控制。
[0056]智能推送系统包括虚拟服装模块。
[0057]如图1-2和9所示，进入智能推送系统界面，玩家可通过手掌挥动触发虚拟服装的图标选择喜欢的衣服款式，在实体店中，会有智能推送衣柜，衣柜中囊括智能推送系统中的服装款式，智能推送系统会向智能推送衣柜发送对应指令，通过串口协议控制衣柜自动开门并经推送杆将玩家所选服饰推送出来。智能推送系统可通过触屏或手势进行控制。
[0058]作为另一种可实施方式，智能推送系统也可以设置类似于自选服饰系统输入条码模块的条码输入模块，可在智能推送系统中支持条码调取相应服饰，缩短服饰筛选时间。
[0059]作为另一种可实施方式，智能推送系统可设置数据读取模块，用于智能推送衣柜中的推送杆信息及该推送杆悬挂服装的相关信息的录入，避免手动输码工作，缩短工作时间，降低劳动强度。
[0060]如图10所示，玩家在体验过程中，包括体感模型试穿、虚拟模型试穿、自选服装试穿、推送实体服装试穿等状态下，都可以手动选择界面右上角拍照按钮(摄像模块)进行拍照，拍照时会给玩家预留3秒时间做准备，待拍照完成后会将照片保存至相册内，玩家可选择照片查看、删除和分享到朋友圈。由于本系统中设有体感设备4，体感设备4具有摄像和拍照功能，因此，不用单独设置摄像模块。
[0061]数据记录模块，即客户每次来体验完后，虚拟试衣镜系统会通过云服务器8自动记录玩家每次体验的服装类型和次数。
[0062]作为另一种可实施方式，虚拟试衣镜系统还包括扫码模块，扫码模块设于柜体I内，用于自动扫描柜体I内悬挂在推送杆的服装吊牌，记录包括服装信息及其位置信息的相关信息，相关信息实时上传至云服务器8，并将数据库的数据进行同步更新，避免推送杆与服装的唯一绑定，减少数据录入，不局限服装悬挂的特定推送杆。
[0063]本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
【主权项】
1.一种基于Kinect人体骨骼识别的方法，其特征在于，包括以下步骤: 获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点； 建立空间之间坐标系，定位头部、四肢及关节处骨骼点坐标，并将骨骼点坐标与人体影像进行绑定； 经数据处理转化将人体影像的各部位骨骼点与虚拟场景中的三维模型对应位置进行绑定。2.如权利要求1所述的基于Kinect人体骨骼识别的方法，其特征在于，所述获取现实环境深度图并捕捉深度影像，具体包括以下步骤: 设定捕捉区域，当玩家进入可捕捉区域，骨骼识别系统自动绑定距离体感设备最近玩家的身体骨骼； 设定最佳测量距离，当被绑定骨骼到达最佳测量处时，触发扫描功能，通过红外收录玩家身体信息。3.如权利要求1所述的基于Kinect人体骨骼识别的方法，其特征在于，所述根据捕捉到的深度影像识别头部、四肢及关节处骨骼点包括设定最佳识别姿势，便于系统捕捉区分各个骨骼点。4.如权利要求3所述的基于Kinect人体骨骼识别的方法，其特征在于，所述最佳识别姿势为保持直立姿势，双手下垂与身体躯干保持45°夹角，双腿分开，双脚间距小于肩宽。5.如权利要求1或2所述的基于Kinect人体骨骼识别的方法，其特征在于，所述获取现实环境深度图并捕捉深度影像，根据捕捉到的深度影像识别头部、四肢及关节处骨骼点，还包括用于稳定获取骨骼信息的RGB色彩算法。
【文档编号】G06T17/00GK105913482SQ201610199994
【公开日】2016年8月31日
【申请日】2016年3月31日
【发明人】郭圣
【申请人】上海晋荣智能科技有限公司