本发明涉及一种显示技术，且特别是一种可适用在服饰的即时试穿比对场合的互动式服饰试穿方法及其显示系统。
背景技术：
消费者到实体店面采买衣服或是饰品配件时，往往需要反复地试穿、试戴，以挑选出满意的商品。然而，在反复试穿的过程中消费者除了感到耗时耗力，同时也增加了更衣室的占用时间。现有技术提出一种虚拟穿衣产品，其利用摄影机撷取使用者身体或头部影像后再叠加虚拟衣服的影像上去，而此种模拟穿衣的虚拟衣服影像常无法与不同身材身形的使用者相匹配，相当不真实。现有技术中也有做法为撷取使用者试穿各种服饰时的照片或影片，再以离线回顾的方式自行比较试穿不同服饰的样子，而此种方式不但不方便，并且也增加使用者比对的负担，因此使用者体验并不佳。
随着信息科技与生活逐渐的密不可分，智能产品的开发已然成为趋势主流。因此，将此类产品有效地应用于实体店面提供即时且互动视的试穿比对以优化使用者的购物体验，已成为提供智能生活的方式之一。
技术实现要素：
有鉴于此，本发明提供一种互动式服饰试穿方法及其系统，其可在使用者试穿服饰的过程中，提供即时且互动式的比对。
在本发明的一实施例中，上述的互动式服饰试穿方法适用于具有影像撷取装置以及屏幕的显示系统，并且包括下列步骤。当使用者穿戴第一服饰时，将利用影像撷取装置不断地撷取使用者的影像，以产生第一影像序列，其中构成第一影像序列的各张第一影像对应于使用者的不同姿态。当使用者穿戴第二服饰时，将利用影像撷取装置不断地撷取使用者的影像，而当影像撷取装置撷取到使用者对应于特定姿态的第二比对影像时，将自第一影像序列中搜寻对应于特定姿态的第一比对影像，并且同时将第一比对影像以及第二比对影像显示于屏幕。
在本发明的一实施例中，上述的显示系统包括影像撷取装置、屏幕、存储器以及处理器，其中处理器耦接至影像撷取装置、屏幕以及存储器，而影像撷取装置设置于与屏幕同一侧。影像撷取装置用以撷取影像。屏幕用以显示画面。存储器用以储存数据。当使用者穿戴第一服饰时，处理器将利用影像撷取装置不断地撷取使用者的影像，以产生第一影像序列，其中构成第一影像序列的各张第一影像对应于使用者的不同姿态。当使用者穿戴第二服饰时，处理器将利用影像撷取装置不断地撷取使用者的影像，而当影像撷取装置撷取到使用者对应于特定姿态的第二比对影像时，将自第一影像序列中搜寻对应于特定姿态的第一比对影像，并且同时将第一比对影像以及第二比对影像显示于屏幕。
基于上述实施例可知，本发明具有如下技术效果：
在使用者分别穿戴不同服饰时进行影像撷取，并且依照使用者目前所呈现的姿态自对应于其它服饰的影像中搜寻出与目前姿态最为相近的影像，以提供使用者进行即时且互动式的试穿比对。本发明可减少使用者不断地重复地试穿试戴进而缩短使用者的购物时间，从而在现今的实体店面中大幅地优化使用者的购物体验。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图说明书附图作详细说明如下。
附图说明
图1为根据本发明一实施例所绘示的显示系统的方块图。
图2为根据本发明的一实施例所绘示的互动式服饰试穿方法的流程图。
图3a为根据本发明的一实施例所绘示的第一比对影像以及第二比对影像的示意图。
图3b为根据本发明的另一实施例所绘示的第一比对影像以及第二比对影像的示意图。
图4a为根据本发明的一实施例所绘示判断身体的姿态角度的示意图。
图4b为根据本发明一实施例所绘示判断脸部的姿态角度的示意图。
图5为根据本发明的一实施例所绘示建立码书的示意图。
图6为根据本发明的一实施例所绘示记录模式下的互动式服饰试穿方法的流程图。
图7为根据本发明的一实施例所绘示自动比对模式下的互动式服饰试穿方法的流程图。
图8为根据本发明的一实施例所绘示手动比对模式下的互动式服饰试穿方法的流程图。
附图标记说明：
100：显示系统
110：影像撷取装置
120：屏幕
125：深度感测器
130：存储器
140：处理器
s202～s208：互动式服饰试穿方法的流程
img31、img32、img33、img34：影像
a31、a32、a33、a34：服饰
p、p’：姿态
obs：使用者
f11、f12、f21、f22：特征点
n：鼻子
x、y、z：轴线
img51、img52、img53、img54：影像
r1、r2：参考点
rl：参考线
d：参考距离
s602～s610：记录模式下的互动式服饰试穿方法的流程
s702～s708：自动比对模式下的互动式服饰试穿方法的流程
s802～s806：手动比对模式下的互动式服饰试穿方法的流程
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法以及系统以及电脑可读取媒体的范例。
图1是根据本发明一实施例所绘示的显示系统的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍显示系统中的所有构件以及配置关系，详细功能将配合图2一并公开。
请参照图1，显示系统100包括影像撷取装置110、屏幕120、存储器130以及处理器140，其中处理器140耦接至影像撷取装置110、屏幕120以及存储器130，而影像撷取装置110设置于与屏幕120同一侧。在本实施例中，显示系统100可以是将影像撷取装置110、屏幕120、存储器130以及处理器140整合为单一整合式全功能(all-in-one)的显示器。在另一实施例中，显示系统100可以是具有屏幕120、存储器130以及处理器140的电脑系统，而影像撷取装置110则是外接于电脑系统。在其它的实施例中，显示系统100也可以例如是智能手机、平板电脑等具有影像撷取功能以及显示功能的电子装置，本发明不在此设限。
影像撷取装置110用以撷取屏幕120前方的影像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(chargecoupleddevice，ccd)、互补性氧化金属半导体(complementarymetal-oxidesemiconductor，cmos)元件或其他元件，本发明不在此设限。
屏幕120用以显示影像撷取装置110所撷取到的画面而提供给使用者观看。因此，当使用者观看屏幕120时，屏幕120可提供使用者如同照镜子般的功能。在本实施例中，屏幕120例如是液晶显示器(liquidcrystaldisplay，lcd)、发光二极管(light-emittingdiode，led)显示器、有机发光二极管(organiclight-emittingdiode，oled)显示器、场发射显示器(fieldemissiondisplay，fed)或其他种类的显示器。
存储器130用以储存影像、程序码等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘或其他类似装置、集成电路及其组合。
处理器140用以控制显示系统100的构件之间的作动，其可以例如是中央处理单元(centralprocessingunit，cpu)，或是其他可程序编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuits，asic)、可程序化逻辑装置(programmablelogicdevice，pld)或其他类似装置或这些装置的组合。
以下即搭配图1的显示系统100的各元件列举实施例，以说明显示系统100执行其显示方法的详细步骤。
图2为根据本发明的一实施例所绘示的互动式服饰试穿方法的流程图。
请同时参照图1以及图2，首先当使用者穿戴第一服饰并且位于屏幕120前时，处理器140将利用影像撷取装置110不断地撷取使用者的影像，以产生第一影像序列(步骤s202)，并储存于存储器130。在此，影像的撷取时间可以例如是10秒，而在这10秒期间会因为使用者摆出不同的姿势、使用者的脸部朝向不同的角度方向而使得第一影像序列中的各张影像分别对应于使用者的不同姿态。为方便说明，以下将构成第一影像序列的各张影像称为「第一影像」。此外，本领域具通常知识者应明了，影像撷取装置110不断地撷取影像的同时，处理器140亦会将所撷取到的影像显示于屏幕120，以提供使用者如同照镜子般地观看穿戴第一服饰的效果。
接着，当使用者穿戴第二服饰并且位于屏幕120前时，处理器140将利用影像撷取装置110不断地撷取使用者的影像(步骤s204)。当处理器140判断影像撷取装置110撷取到使用者对应于特定姿态的影像(以下称为「第二比对影像」)时，处理器140将自第一影像序列中搜寻对应于特定姿态的影像(以下称为「第一比对影像」)(步骤s206)，并且同时将第一比对影像以及第二比对影像显示于屏幕120(步骤s208)。详细来说，当影像撷取装置110不断地撷取穿戴第二服饰的使用者的影像时，处理器140将一面通过所撷取的影像来判断使用者目前的姿态，接着自使用者穿戴第一服饰时所撷取到的第一影像序列中搜寻出与目前的姿态最接近的影像，并且以分割视窗的形式于屏幕120上同时呈现出两张影像，以让使用者比对第一服饰与第二服饰之间的差异。此外，当穿戴第二服饰的使用者改变姿态时，处理器140将会重新自第一影像序列中搜寻出与改变后的姿态最接近的影像，以让使用者可即时且互动地进行比对。
具体来说，图3a以及图3b为根据本发明的一实施例所绘示的第一比对影像以及第二比对影像的示意图。
在此先说明的是，本实施例中的显示装置100还可以额外于与屏幕120的同侧增设深度感测器125，以提供深度信息来辅助处理器140更精确地判断出使用者的姿态。深度感测器125用以侦测屏幕120前方的深度信息，其可以分为主动式深度感测器以及被动式深度感测器。主动式深度感测器可通过主动发出光源、超音波、激光等作为信号来计算屏幕120前方的深度信息。另一方面，被动式深度感测器可以例如是另一个影像撷取装置，并且与影像撷取装置110以不同视角同时撷取屏幕120前方的两张影像，以利用两张影像的视差来计算屏幕120前方的深度信息。
请先参照图3a，假设第一服饰以及第二服饰分别为眼镜a31以及眼镜a32。当使用者obs试戴眼镜a31时，影像撷取装置110将会撷取到使用者戴着眼镜a31的第一影像序列。接着，当使用者obs试戴眼镜a32并且脸部正向屏幕120时，影像撷取装置110将会撷取到影像img32(即，第二比对影像)。此时，处理器140将自第一影像序列中搜寻使用者obs试戴a31时脸部同样正向屏幕120的影像img31(即，第一比对影像)，并且同时将影像img31以及影像img32以分割画面的形式显示于屏幕120。
请再参照图3b，假设第一服饰以及第二服饰分别为洋装a33以及洋装a34。当使用者obs试穿洋装a33时，影像撷取装置110将会撷取到使用者穿着洋装a33的第一影像序列。接着，当使用者obs穿着洋装a34并且以90度侧身的站姿p’站在屏幕120前时，影像撷取装置110将会撷取到影像img34(即，第二比对影像)。此时，处理器140将自第一影像序列中搜寻使用者obs穿着洋装a33时同样以90度侧身的站姿p站在屏幕120前时所撷取到的影像img33(即，第一比对影像)，并且同时将影像img33以及影像img34以分割画面的形式显示于屏幕120。
在此必须说明的是，前述的实施例亦可以延伸至三个以上的服饰比对，以让使用者可以在同一屏幕的多个分割画面中同时试穿比对多种服饰(也就是说，其中一个分割画面是显示现在使用者试穿某件服饰的即时影像，其它分割画面则是显示先前试穿其它服饰所储存的存档影像之中与该即时影像中使用者姿态相对应的影像)。此外，在一实施例中，显示系统100也可利用操作界面(未绘示)提供使用者选择其它服饰的存档影像，以方便与目前所穿戴的服饰来进行比对。而此操作界面可以是触控屏幕、鼠标或是遥控器等输入装置。以图3b为例，假设使用者已试穿过洋装a33以及洋装a34。当使用者再试穿与洋装a33样式类似的另一洋装时，使用者可通过操作界面来选择洋装a33的影像来做为与目前所试穿的洋装的影像进行比对。
为了使得显示系统100可提供具有精确以及强健的试穿比对方式，处理器140可利用已撷取到的影像序列来建立码书(codebook)。以第一影像序列为例，处理器140将利用影像分析来萃取使用者于各张影像中的姿态所对应的特征来建立码书(以下称为「第一码书」)。上述特征可以例如是多个特征点所形成的姿态角度、特定比对点与参考物件之间参考距离等，以下将分序说明。
以姿态角度而言，处理器140可通过影像分析先获得使用者于影像序列中的各张影像的特征点来判断例如是试穿衣服时身体所呈现的姿势或是试戴眼镜时脸部相对于屏幕120的角度方向。举例来说，图4a为根据本发明的一实施例所绘示判断身体的姿态角度的示意图，而图4b为根据本发明一实施例所绘示判断脸部的姿态角度的示意图。
请先参照图4a，处理器140可利用一般影像辨识的方式自影像萃取出使用者左右两肩的特征点f11、f12以及左右腰侧的特征点f21以及f22，其中特征点f11、f12的连线与水平线之间的夹角为θ1，而特征点f21以及f22的连线与水平线之间的夹角为θ2。因此，处理器140将以夹角θ1以及夹角θ2视为使用者于影像中所呈现的姿态角度，以做为建立码书的参数。
请再参照图4b，处理器140可利用一般影像辨识的方式自影像萃取出使用者脸部的固定特征点(例如鼻子n)，再判断其相对于代表上下转角(pitch)的x轴、代表左右转角(yaw)的y轴以及代表滚动角(roll)的z轴的角度(θx,θy,θz)，而处理器140将以此三个角度视为使用者于影像中所呈现的姿态角度，以做为建立码书的参数。
由于单以影像中的特征点来估算姿态角度的方式会受到使用者晃动、光影变化等外在因素的影响而使得计算出的姿态角度产生误差，本实施例中的处理器140还可进一步地基于时间分割法来建立强健的码书。以下将以第一影像序列来进行说明，并且假设第一影像序列中每张第一影像的内容为使用者的脸部。附带说明的是，为了方便处理器140进行更为精确的计算，存储器130将预先储存具有不同姿态的示范影片。影像撷取装置110在撷取使用者的影像之前或是当下，处理器140更可于屏幕120上播放示范影片，以导引使用者做出与示范影片中相同的姿态，还利于码书的建立。
首先，假设脸部的转动速度为线性。处理器140在利用例如是图4b的方式萃取出使用者脸部于每张第一影像中的固定特征点并且估算出脸部于每张第一影像中所呈现的姿态角度(θx,θy,θz)后，将会取得对应于x轴的姿态角度极值θxmax以及θxmin、对应于y轴的姿态角度极值θymax以及θymin、对应于z轴的姿态角度极值θzmax以及θzmin。接着，处理器140将根据前述姿态角度极值以及第一影像的总数来取得第一影像序列的平均姿态角度变化δθx、δθy以及δθz，其计算方法可以如下所示：
其中n为第一影像的总数。
以图5根据本发明的一实施例所绘示建立码书的示意图为例，假设使用者脸部仅相对于y轴进行左右转动。使用者脸部正面朝向屏幕120时所对应的影像为img52以及姿态角度为(0,0,0)，而姿态角度极值θymax、θymin为60度以及-60度。假设使用者脸部由0度分别转向至60度与-60度之间的时间均为2秒，并且假设影像撷取装置110每秒的画面更新率(framespersecond)为30张影像。使用者脸部由0度转向至60度时将产生60张影像，并且每张影像的平均姿态角度变化为1度，同理地使用者脸部由0度转向至-60度时将产生60张影像，并且每张影像的平均姿态角度变化为-1度。此外，假设使用者脸部亦有相对于其它轴进行转动时，亦可以类似的方法计算出基于其它轴线的平均姿态角度变化，于此不再赘述。
处理器140在取得第一影像序列的平均姿态角度变化后，会将其设定为姿态角度变化门槛值，以自所有第一影像中筛选出用以建立码书的影像(以下称为「关键影像」)。详细来说，处理器140将判断每张第一影像的姿态角度变化是否大于或等于姿态角度变化门槛值。若是，则处理器140会将其设定为关键影像。在此每张第一影像的姿态角度变化是指其与前一张影像的姿态角度(在此称为「参考姿态角度」)之间的差值。假设目前进行判断的第一影像fi所对应的姿态角度为fθ，而参考姿态角度为fr，姿态角度变化门槛值为thθ。当|fθ-fr|≥thθ时，处理器140会将第一影像为fi设定为关键影像，再将参考姿态角度fr更新为fθ，以重新进行关键影像的判断，直到第一影像序列中的每张第一影像完成关键影像的判断为止。以图5为例，姿态角度极值为60度以及-60度，并且姿态角度变化门槛值为1度，则在理想状态下将会有121张关键影像。
除了姿态角度，特定比对点与参考点之间参考距离亦为另一个可建立码书的重要参数。在此的比对点以及参考点将不会因脸部表情或是身体姿势的变化而飘动，也不会因为脸部或是身体的转向而消失。首先，处理器140可以利用第一影像中的至少两个固定参考点来定义参考线，再计算各张第一影像中的比对点与参考线的距离，以取得各张第一影像所对应的参考距离。在另一实施例中，为了降低运算量，处理器140可以仅针对关键影像来进行参考距离的计算。以图5的影像为img54为例，使用者左右两肩的特征点r1、r2可做为参考点，此两参考点的中垂线rl可做为参考线，而使用者的鼻子n可做为比对点。因此，影像img54所对应的参考距离则是比对点n与中垂线rl之间的距离d。
处理器140在筛选完用以建立码书的关键影像后，会将各张关键影像其及所对应的姿态角度以及参考距离储存于第一码书，如此一来，处理器140可进行精确以及强健的试穿比对。以图2的步骤s206而言，影像撷取装置110撷取到使用者对应于特定姿态的第二比对影像时，处理器140可利用影像分析取得使用者于特定姿态所对应的姿态角度以及参考距离(以下分别称为「特定姿态角度」以及「特定参考距离」)，再根据第一码书来搜寻姿态角度及参考距离最接近特定姿态角度以及特定参考距离的第一影像，以做为第一比对影像。举例来说，假设特定参考距离为100个像素，而特定姿态角度为(0,10,0)。处理器140可以先是自关键影像中搜寻参考距离为100个像素上下的第一影像，再从中搜寻与(0,10,0)具有最小欧氏距离(euclideandistance)的姿态角度所对应的第一影像来做为第一比对影像。
基于码书的建立，显示系统100得以提供使用者以下三种模式：记录模式、自动比对模式以及手动比对模式，其将分别说明如下。
图6为根据本发明的一实施例所绘示记录模式下的互动式服饰试穿方法的流程图。在本实施例中将以穿戴第一服饰的使用者来进行说明。
请参照图6，当使用者穿戴第一服饰时，显示系统100的处理器140先于屏幕120上播放具有不同姿态的示范影片(步骤s602)，以导引使用者做出与示范影片中相同的姿态。接着，影像撷取装置110在撷取使用者的影像后(步骤s604)，处理器140将会据以建立码书(步骤s606)。步骤s602～步骤s606的详细步骤请参照前述实施例中的相关说明，于此不再赘述。
另一方面，当影像撷取装置110所撷取到的使用者对应于预设姿态的第一预设影像时，影像撷取装置110将对第一预设影像进行自动拍照(s608)。举例来说，假设预设姿态为90度的侧身站姿，而当处理器140判断影像撷取装置110撷取到的影像中使用者呈现90度的侧身站姿时，会将此影像判定为第一预设影像，并且将其进行自动拍照。之后，处理器140可将第一预设影像储存于存储器130或是利用额外设置的传输模块(未绘示)上传至云端以供使用者下载。
除此之外，处理器140还可针对各张第一影像中的使用者脸部进行表情辨识以及心跳辨识至少之一，据以判定使用者对于第一服饰的喜好程度(步骤610)。在此，处理器140可利用影像辨识的方式来辨识出使用者于各张第一影像中是否呈现出笑脸。此外，考量使用者在购物时的表情比较不会有显著变化，处理器140也会将各张第一影像的脸部区域的绿色像素变化来进行心跳辨识，以结合心跳侦测的辅助来确定使用者对于第一服饰的喜好。处理器140会将所辨识出的表情以及心跳特征输入至支持向量机(supportvectormachines，svm)的情绪分类器，以分析出情绪分类结果，从而得知使用者对于第一服饰的喜好程度以做为推荐商品类型的依据。
当使用者对于第一服饰的喜好程度高时，处理器140将显示关联于第一服饰的其它服饰以做为推荐商品于屏幕120，以达到广告推播的效果。举例来说，此些其它服饰可以是与第一服饰的样式或色系相同的其它服饰、购买第一服饰的使用者所购买的其它服饰、第一服饰的其它穿搭建议等。
另一方面，图7为根据本发明的一实施例所绘示自动比对模式下的互动式服饰试穿方法。在本实施例中，将以正在穿戴第二服饰的使用者来进行说明。此外，假设使用者在穿戴第二服饰前已穿戴过第一服饰。
请参照图7，当使用者穿戴第二服饰并且位于显示系统100的屏幕120前时，处理器140将利用影像撷取装置110不断地撷取使用者的影像(步骤s702)，并且针对所撷取到的影像进行姿势角度的估算(步骤s704)。接着，利用第一服饰的第一码书进行比对(步骤s706)，以自第一影像序列搜寻出对应的第一影像，并且一面地将所搜寻出的第一影像与目前所撷取到的使用者的影像同时显示于屏幕120(步骤s708)，以让使用者得以同时对第一服饰以及第二服饰进行穿戴比对。步骤s702～s708的详细步骤请参照前述实施例中的相关说明，于此不再赘述。
图8为根据本发明的一实施例所绘示手动比对模式下的互动式服饰试穿方法。手动比对模式与图7的自动比对模式相似，差异点在于此模式可让使用者在影像撷取完毕时(即，试穿后)提供选择操作来进行离线(offline)比对。在本实施例中，假设使用者已试穿完第一服饰以及第二服饰。换言之，存储器130中已储存第一影像序列以及第二影像序列及其所分别对应的第一码书以及第二码书。
请参照图8，处理器140将先利用第一码书以及第二码书针对两个影像序列进行比对(步骤s802)，以将具有相似姿态的影像进行配对，使得在后续步骤中屏幕120的分割视窗内将分别显示穿戴第一服饰以及第二服饰并且呈现相同姿态的两张影像。在此，处理器140将会挑选其中一个码书做为参考码书并且另一个码书进行配对，以产生多组已配对的影像组合。接着，处理器140将自操作界面接收使用者的选择操作(步骤s804)，进而改变屏幕120上所显示的影像组合(步骤s806)。
举例来说，使用者可以滑动手势来改变屏幕120上的分割视窗中所显示的两张影像。假设目前屏幕120所显示的两张影像的脸部角度皆为θf。当使用者的手势往右滑动时，屏幕120所显示脸部角度皆为(θf+δ)的两张影像，其中δ代表姿态角度变化。另一方面，当使用者的手势往左滑动时，屏幕120所显示脸部角度皆为(θf-δ)的两张影像。基此，使用者可以在穿戴完服饰后进行离线的比对。
本发明另提供一种非暂态的电脑可读取媒体，此电脑可读取媒体可储存多数个程序码片段(例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段)，并且这些程序码片段在载入例如是显示系统100的处理器140中并执行之后，即可完成上述互动式服饰试穿方法的步骤。
综上所述，本发明所提出的互动式服饰试穿方法及其显示系统与电脑可读取记录媒体，其在使用者分别穿戴不同服饰时进行影像撷取，并且依照使用者目前所呈现的姿态自对应于其它服饰的影像中搜寻出与目前姿态最为相近的影像，以提供使用者进行即时且互动式的试穿比对。如此一来，可减少使用者不断地重复地试穿试戴进而缩短使用者的购物时间，从而在现今的实体店面中大幅地优化使用者的购物体验。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的变动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。