专利名称：眼镜虚拟试戴互动服务系统与方法
技术领域：
本发明涉及ー种提供真人影像的眼镜三维(3D)虚拟试戴互动服务系统与方法，特别涉及一种用于电子商务互动系统上的眼镜3D试戴互动服务系统与方法。
背景技术：
随着电子商务的蓬勃发展，越来越多的消费者也越来越依赖电子商务互动平台系统来选择自己喜爱的货物与商品。而商品与模特的合并展示图片、电子商品试戴系统与软件，也越来越吸引消费者的注意，进而引起消费者的购买欲望。而提供真人影像的眼镜试戴系统更是受到消费者注目与欢迎的试戴系统之一，使用者只要应用自己的照片，便可从数以万计的眼镜商品中找到自己喜爱与合适的眼镜。然而，传统的眼镜试戴系统多为ニ维(2D)平面，使用者只能观看自己试戴眼镜的正面影像，而无法由左右侧面来观看自己试戴眼镜的侧面影像。且传统的眼镜试戴系统也无法随着消费者脸部的移动与转动，适当地将眼镜与消费者的脸部作合成。因此，往往造成 所合成的影像过于突兀或不真实。因此，鉴于传统眼镜试戴系统与方法缺乏有效且经济机制来解决传统的问题，因此亟需提出一种新颖的眼镜虚拟试戴互动服务系统与方法，能够经过精确的模拟与运算，来解决上述的问题。
发明内容
为解决上述问题，本发明提供真人影像的眼镜虚拟试戴互动服务系统与方法，经过精确的模拟与运算，解决当消费者脸部的移动与转动时，无法将眼镜与消费者的脸部作适当的合成，从而产生合成影像过于突兀或不真实的问题。根据具体实施例，本发明提供真人影像的一种眼镜虚拟试戴互动服务方法，其特征包括透过画面内的框架以定位人脸，并取得第一人脸影像；对该第一人脸影像的眼睛，取得多个第一特征点；在每个第一特征点周围取样多个第一特征信息，并储存该多个第一特征信息；利用画面对比判断该人脸是否有动态移动，并透过下ー个该画面取得该第二人脸影像；结合搜寻对比范围与追踪特征信息方法取得该第二人脸影像内多个第二特征点，进而取得多个第二特征点定位信息；对比该第一人脸影像与该第二人脸影像的相对位置信息差异，来判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置；以及将预设的眼镜模型合成于该多个第二特征点的位置。根据该具体实施例，本发明提供真人影像的一种眼镜虚拟试戴互动服务系统，其特征包括影像撷取单元，透过画面内的框架来定位人脸，并取得第一人脸影像；处理单元，耦接该影像撷取单元，对该第一人脸影像的眼睛，取得多个第一特征点，且在每个第一特征点周围设计取样模式以取得有利的多个第一特征信息，并储存该多个第一特征信息，且利用画面对比判断该人脸是否有动态移动，并透过下ー个该画面取得该第二人脸影像，结合搜寻对比范围与追踪特征信息方法并取得该第二人脸影像内多个第二特征点，进而取得多个第二特征点定位信息；分析単元，耦接该处理单元，用以对比该第一人脸影像与该第二人脸影像的相对位置信息差异，以判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置；以及合成単元，耦接该分析単元，将预设的一虚拟眼镜模型合成于该多个第二特征点的位置。后续以此方法类推取得动态的第三、第四的特征点的位置。根据另一具体实施例，本发明提供一种隐形眼镜虚拟试戴互动服务方法，其特征包括透过画面内的框架来定位一人脸，并取得第一人脸影像；对该第一人脸影像的眼睛瞳孔，取得多个第一特征点；在每个第一特征点周围取样多个第一特征信息，并储存该多个第一特征信息；以及将预设的隐形眼镜模型合成于该多个第二特征点的位置。后续以此方法类推取得动态的第三、第四的特征点的位置。为进一歩对本发明有更深入的说明，并借以下图示、图号说明及发明详细说明，希望能够对审查工作有所帮助。
图1A、图IB是根据本发明具体实施例的一种眼镜虚拟试戴互动服务方法；图2A 图2D是根据图I方法的操作手段；图3A 图3C显示人脸的倾斜、转动与移动角度；图4是眼镜合成人脸的状态示意图；图5A 图5C是根据本发明具体实施例的三维眼镜制作方法；图6A 图6B是根据本发明的另ー实施例的一种隐形眼镜虚拟试戴互动服务方法;图7A 图7B是根据图6方法的操作手段；图8是根据本发明的具体实施例的一种眼镜虚拟试戴互动服务系统。附图标记步骤SlOl sl07步骤S6Ol S6O781影像撷取单元82处理单元83分析单元84合成单元85眼镜数据库
具体实施例方式配合下列图式说明本创作的详细结构，及其连结关系。图I是根据本发明的具体实施例的真人影像一种眼镜虚拟试戴互动服务方法，其特征包括透过画面内的框架来定位人脸，并取得第一人脸影像(步骤SlOl)，例如，如图2A所示，本具体实施例在画面中显示一虚线框架并要求使用者脸部正面进入框架，以符合虚线框大小并将双眼对齐横线，来定位使用者的脸部，并拍摄下该第一人脸影像。接着，对该第一人脸影像的眼睛特征处，例如两侧眼角，取得多个第一特征点(步骤sl02)，此多个第一特征点可以但不限于包括左右眼的两侧眼角以及嘴角两侧。例如，如图2B中画叉所示，本具体实施例，可以手动点选该第一人脸影像的左右眼的两侧眼角点以及嘴角两侧点，以分别取得ー个或多个第一特征点。另外，在另ー具体实施例也可以使用人脸辨识方式让程序自动抓取特征点。此外，本实施例在此步骤(sl02)之后，更可根据多个第一特征点，来判断该第一人脸影像是否符合人脸逻辑，若不符合，则重新取得该第一人脸影像或该多个第ー特征点。若符合，则进行下ー步动作，应用搜寻运算，来判断该多个第一特征点是否位于该框架内，若不是，则重新取得该第一人脸影像或该多个第一特征点，若是，则进行下一歩动作。其中，判断特征点位置是否符合人脸逻辑的方式有左(右)眼的两侧眼角点是否在虚线框左(右)半边、同一只眼的内外眼角是否相隔一定间距、同一只眼的内外眼角或左右嘴角高度是否差距过大等。若有ー项不符合上述限定条件，则要求重新取得该第一特征点或该第一人脸影像。接下来，在每个第一特征点周围设计取样模式以取得有利的多个第一特征信息，并储存该多个第一特征信息(步骤sl03)，且特征包括同时储存该多个第一特征点与该多个第一特征点间的点间距。取样模式进ー步而言，该特征信息为像素色彩信息，且该像素色 彩信息由每ー个该特征点辐射出m个方向，并在每ー个方向上取得n个像素点，以作为色彩信息，且该m与n为正整数。或者是，该像素色彩信息是由每一个该特征点呈半圆辐射出m个方向，并在姆ー个方向上取得n个像素点，以作为色彩信息，且该m与n为正整数以及该半圆至少涵盖一眼角。如图2C所示，本具体实施例以取样模式的方法抓取特征点的邻近像素色彩信息，同时记录各特征点之间的点间距。例如，由特征点以半圆辐射扩散的方式向外延伸8个方向，并分别取7个点共56个色彩信息当作此特征点的特征信息，且该半圆至少完全涵盖一眼角。或者是，如图2D所示，在另一具体实施例，该取样模式由特征点以辐射扩散的方式向外延伸8个方向，并分别取7个点共56个色彩信息当作此特征点的特征信息。接着，取得下ー个画面中该第二人脸影像，并利用画面对比判断该人脸是否有动态移动(步骤sl04)。其中在时间间隔内，对比该画面与下ー个该画面中的人脸，并动态追踪该多个第一特征点是否有移动轨迹。例如，本具体实施例，该画面与下ー个该画面像素以相减的方式对比在此时间间隔内移动的物体，若特征点附近有明显移动痕迹，表示人脸在这段时间有动作，则进行后续步骤与运算。反之，如果人脸没有动作，则不做后续追踪处理。在另一具体实施例中，还可以以ー背景图与该画面相减的方式，对比在该时间间隔内移动的物体。或者是，经过前后画面像素差的特征信息中的白点(动点)数量决定目前影像中移动量的程度，若白点数量多，则表示人脸正在移动，则进行后续步骤与运算。反之，如果特征点附近没有白点，表示人脸没有明显移动痕迹，则不作后续追踪处理。接着，应用噪声滤除法，来滤除下ー个该画面内的噪声，以避免后面对比过程中受到噪声干扰而提高失误率，且该噪声滤除法为高斯模糊法、中值法与均值法的其中之一。当前述有移动痕迹时，将进一步结合搜寻对比范围并追踪特征信息，进而取得该第二人脸影像内多个第二特征点，进而取得多个第二特征信息(步骤sl05)，并且对比该第一人脸影像与该第二人脸影像的相对位置信息差异，来判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置(步骤sl06)。其中，至少预设ー对比范围，来对比该多个第一特征信息与该多个第二特征信息，并取该多个第一特征信息与该多个第二特征之间多个误差值，且排序该复数个误差值，并取得前i个最小误差值，进而取得该多个第二特征点的位置。在本具体实施例中，根据两种不同的状态而有不同的决定法(I)搜寻状态当刚点选完特征点第一次开始侦测时或追踪失败时会进入此状态，在此状态下，对比的范围是静态的，仅局限在使用者初次点选特征点的邻近范围内作对比，意即强迫使用者脸对着虚线框的位置，才有可能进入对比范围。(2)追踪状态在前ー个画面有成功对比到特征点的情况下则为追踪状态，在此状态下，对比的区域为上ー个画面中对比到的特征点的邻近区域，意即此区域是动态的会跟着目前追到的特征点移动的。且在对比的范围内，会包含依设计的取样模式取N个像素，每个像素会以取样模式的方法来取得该像素点的临近56个点，将这些点的RGB与YCbCr色彩信息与起初录制的第一特征信息作对比，两者误差值为Error I Error N,将该这N个值作排序,取最小误差的前i个像素为候选点,例如10个，且再作一次分群去除离群值，最后平均这些较集中的像素值坐标，该结果即是最后追踪結果。如果，在N个点中找出的Error值都太大，则表示使用者移动程度已超出追踪范围，或有额外的遮蔽物出现在特征点前，此时则判定追踪失败，不再进行后面的运算。
此外，本实例更可进行几何计算，例如，根据该多个第一特征点与该多个第二特征点的位置，以斜率计算该人脸的傾斜度、根据该多个第一特征点间的距离与该多个第二特征点间的距离，以长度变化计算该人脸的远近比例以及根据该多个第一特征点与该多个第ニ特征点的比例，以比例变化计算该人脸的旋转角度与俯仰角度。若该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过预设允许值，则重新取得该第二人脸影像。如图3A所示，根据该第一人脸影像中的两眼两侧眼角点的坐标位于水平轴，而该第二人脸影像的两眼两侧眼角点坐标则为上仰角度，因此，可以用斜率计算该人脸的傾斜度。如图3B所示，根据该第一人脸影像中两眼眼角间的距离Dl与该第二人脸影像中两眼眼角间的距离D2，以长度变化计算该人脸的远近比例。如图3C所示，根据该第一人脸影像中两眼两侧眼角的比例II与该第二人脸影像中两眼眼角的比例相比于该第一人脸影像中两眼两侧眼角的比例为1.1 : I或1.2 : 1，以比例变化计算该人脸的旋转角度以及根据该第一人脸影像中两眼与嘴巴位于水平轴，而该第二人脸影像中两眼与嘴巴相比较在该第一人脸影像中两眼与嘴巴之比例为I : I. 1，则以比例变化计算该人脸的俯仰角度。接着，由预设的眼镜数据库提取预设的眼镜模型，来合成该多个第二特征点的位置(步骤sl07)，且根据该人脸的尺寸、该多个第一特征点与误差值，以缩放与旋转该眼镜模型，进而合适地合成到该人脸，且该眼镜数据库用于储存眼镜模型的数据。如图4所示，由上述步骤所计算出的三维空间信息，即可将眼镜模型智能性地旋转到符合目前使用者动向的位置，又由于人脸大小不同，需配合该多数的第一特征点坐标对眼镜尺寸作缩放与旋转，并合成在该人脸上。在此步骤之后，可结束该方法，或者是继续下一个搜寻与追踪的步骤。本具体实施例，该眼镜模型为三维(3D)眼镜模型，其制作方法可透过摄像装置(例如，数字相机)由ー实体眼镜的正面、正左侧面与正右侧面三个方向个别取得该实体眼镜的平面影像(如图5A与5B所示)，但不受限于此。或者是，将该实体眼镜作正负90度旋转，以取得该实体眼镜的正面、正左侧面与正右侧面三个平面影像。接着，将所取得的该三个平面影像应用影像合成软件与硬件，将其组合成该三维眼镜模型(如图5C所示)。当该三维眼镜模型制作完成后，还可应用各种參数(例如，旋转參数、色彩參数、比例參数与透明度參数等)，用于调整该三维眼镜的位置与顔色，或者是应用选项(例如，选择正面视图或左右侧视图)来欣赏该三维眼镜模型(如图5C所示)。本具体实施例仅考虑不具有眼镜镜片三维镜框的制作，然而，熟悉该技术人员都应明白本发明也可用于制作具有眼镜镜片的眼镜模型。图6根据本发明另一具体实施例是隐形眼镜虚拟试戴互动服务方法。本具体实施例与上述具体实施例差异在于本实施例是以眼睛瞳孔为特征点与结合取样模式来取得特征信息，且适用于虚拟模拟试戴隐形眼镜，而其余方法与运算都与上述具体实施例近似，故在本实例仅详述这些差异处的细节，而与上述具体实施例近似的步骤与方法，则不再赘述。本具体实施例的3D模拟方法特征包括透过画面内一框架以定位人脸，并取得第一人脸影像(步骤s601)。对该第一人脸影像的眼睛瞳孔特征处，取得多个第一特征点(步骤s602)，且多个第一特征点包括左右眼的瞳孔以及嘴角两侧，例如，如图7A中画叉所示，在本具体实施例中，手动点选该第一人脸影像的左右眼的瞳孔点以及嘴角两侧点，来分别所取得一个或多个第一特征点。在每个第一特征点周围取样多个第一特征信息，并储存该多个第一特征信息(步骤s603)。而本具体实施例，判断特征点位置是否符合人脸逻辑的方式有左(右)眼的瞳孔是否在虚线框左(右)半边、同一只眼的瞳孔与两侧眼角是否相隔一定间距、眼睛的瞳孔与左右嘴角高度是否差距过大等。若有ー项不符合上述限定条件，则要求重 新取得该第一特征点或该第一人脸影像。接着，取得下ー个画面中该第二人脸影像，并判断该人脸是否有动态移动(步骤s604)，然后，搜寻对比范围并追踪特征信息，进而取得该第二人脸影像内多个第二特征点，进而取得多个第二特征信息(步骤s605)，且特征包括同时储存该多个第一特征点之间的点间距。如图7B所示，在本具体实施例取样的方法抓取特征点的邻近像素色彩信息，同时记录各特征点之间的点间距，例如，由特征点来辐射扩散的方式向外延伸8个方向，并分别取7个点共56个色彩信息当作此特征点的特征信息。对比该第一人脸影像与该第二人脸影像，来判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置(步骤s606)，例如，根据该第一人脸影像中瞳孔点的坐标位于水平轴，而该第二人脸影像瞳孔点坐标则为上仰角度，因此，可以用斜率计算该人脸的傾斜度。例如，根据该第一人脸影像中两眼瞳孔间的距离与该第二人脸影像中两眼瞳孔间的距离，以长度变化计算该人脸的远近比例。例如，根据该第一人脸影像中两眼瞳孔与该第二人脸影像中两眼瞳孔的比例，来比例变化计算该人脸的旋转角度以及根据该第一人脸影像中两眼瞳孔与嘴巴与该第二人脸影像中两眼瞳孔与嘴巴之间的比例，相比较该第一人脸影像中两眼与嘴巴的比例，来比例变化计算该人脸的旋转角度与俯仰角度。如果该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过ー预设允许值，则重新取得该第二人脸影像。以及将预设的隐形眼镜模型合成在该多个第二特征点的位置(步骤607)，且根据该人脸的尺寸与该多个第一特征点，来缩放与旋转该眼镜模型，进而合适地合成到该人脸。在此步骤之后，可结束该方法，或者是继续下一个搜寻■与追踪的步骤。图8根据本发明的具体实施例是眼镜虚拟试戴互动服务系统。该系统特征包括撷取单元81、处理单元82、分析单元83与合成单元84。该撷取单元81透过画面内的框架来定位人脸，并取得第一人脸影像，且该撷取単元81可为ー摄影装置，例如，网络摄影机等。该处理単元82，耦接该撷取单元81，对该第一人脸影像的眼睛特征处如两侧眼角，取得多个第一特征点，且在每个第一特征点周围依取样模式取样多个第一特征信息，并储存该多个第一特征信息，且取得下ー个画面中该第二人脸影像，并判断该人脸是否有动态移动，且取得该第二人脸影像内多个第二特征点，进而取得多个第二特征信息，且多个第一特征点包括但不限于左右眼的两侧眼角以及嘴角两侧。且处理単元82特征包括根据多个第ー特征点，来判断该第一人脸影像是否符合人脸逻辑，若不符合，则重新取得该第一人脸影像。若符合，则进行下ー步动作，该处理単元82特征包括应用的搜寻运算，以判断该多个第一特征点是否位于该框架内，若不是，则重新取得该第一人脸影像，若是，则进行下ー步动作。上述取样模式中该特征信息为像素色彩信息，且该处理单元82是由每一个该特征点辐射出m个方向，并在姆ー个方向上取得n个像素点，以作为色彩信息,其中该m与n为正整数。或者是，该处理单元82由每ー个该特征点呈半圆辐射出m个方向，并在每ー个方向上取得n个像素点，以作为色彩信息，且该半圆至少涵盖一眼角，其中该m与n为正整数。该分析単元83，耦接该处理单元82，用以对比该第一人脸影像与该第二人脸影像的相对位置信息的差异，来判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第ニ特征点的位置。该分析単元83于时间间隔内，对比该画面与下ー个该画面中的人脸，并追踪该多个第一特征点是否有移动轨迹，并应用噪声滤除法，来滤除下ー个该画面内的噪声，且该噪声滤除法为高斯模糊法、中值法与均值法其中之一。该分析单元还用于预设至少ー对比范围，以对比该多个第一特征信息与该多个第二特征信息，并取该多个第一特征信 息与该多个第二特征之间复数个误差值，且排序该多个误差值，并取得前i个最小误差值，进而取得该多个第二特征点的位置，上述的i是正整数。该分析単元根据该多个第一特征点与该多个第二特征点的位置，以斜率计算该人脸的傾斜度、根据该多个第一特征点间的距离与该多个第二特征点间的距离，以长度变化计算该人脸的远近比例以及根据该多个第一特征点与该多个第二特征点的比例，以比例变化计算该人脸的旋转角度与俯仰角度，且若该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过预设容许值，则重新取得该第二人脸影像。合成単元84，耦接该分析単元83，由预设的眼镜数据库85提取预设的一眼镜模型并将预设的该眼镜模型合成于该多个第二特征点的位置，且该合成単元根据该人脸的尺寸与该多个第一特征点，以缩放与旋转该眼镜模型，进而合成至该人脸。本实例的眼镜试戴虚拟仿真系统，透过适当的修改操作与步骤也可适用于隐形眼镜虚拟试戴互动服务系统。以上所述，只是本发明的最佳实施例而已，不能以此来限定本发明所实施的范围，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1.一种眼镜虚拟试戴互动服务方法，其特征在干， 透过一画面中的框架来定位一人脸，并取得第一人脸影像； 在眼睛特征部位，依照取样模式取得多个第一特征点与特征信息并储存该多个第一特征信息与该多个第一特征点间的点间距； 用动态影像判断与搜寻追踪该特征信息取得下ー个画面中的第二人脸影像，并取得该第二人脸影像内多个第二特征点，从而取得多个第二特征信息； 对比该第一人脸影像与该第二人脸影像的相对位置信息的差异，以判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置；以及将预设的眼镜模型合成于该多个第二特征点的位置。
2.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在干，该多个第一特征点包括左右眼的两侧眼角。
3.如权利要求2所述的眼镜虚拟试戴互动服务方法，其特征在干，该多个第一特征点特征包括嘴角两侧。
4.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，根据该多个第一特征点，来判断该第一人脸影像是否符合人脸逻辑，若不符合，则重新取得该第一人脸影像或该多个第一特征点。
5.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在干，应用搜寻运算，来判断该多个第一特征点是否位于该框架内，若没有，则重新取得该第一人脸影像或该复数个第一特征点。
6.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在干，该技术特征为像素色彩信息。
7.如权利要求6所述的眼镜虚拟试戴互动服务方法，其特征在干，该像素色彩信息是由每ー个特征点辐射出m个方向，并在每ー个方向上取得η个像素点，来作为色彩信息，且该m与η为正整数。
8.如权利要求6所述的眼镜虚拟试戴互动服务方法，其特征在干，该像素色彩信息是由每ー个特征点呈半圆辐射出m个方向，并在每ー个方向上取得η个像素点，以作为色彩信息，且该m与η为正整数以及该半圆至少涵盖一眼角。
9.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，在时间间隔内，对比该画面与下ー个该画面中的人脸，并动态追踪该多个第一特征点是否有移动轨迹。
10.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，应用一噪声滤除法，来滤除下ー个该画面内的噪声。
11.如权利要求10所述的眼镜三维试戴互动服务方法，其特征在于，该噪声滤除法是高斯模糊法、中值法与均值法其中之一。
12.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，预设ー对比范围，来对比该多个第一特征信息与该多个第二特征信息，并取该多个第一特征信息与该多个第ニ特征资之间多个误差值，且排序该多个误差值，并取得前i个最小误差值，进而取得该多个第二特征点的位置。
13.如权利要求I所述的眼镜虚拟互动服务方法，其特征在于，根据该多个第一特征点与该多个第二特征点的位置，以斜率计算该人脸的傾斜度。
14.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，根据该多个第一特征点间的距离与该多个第二特征点间的距离，以长度变化计算该人脸的远近比例。
15.如权利要求I所述的眼镜虚拟试戴互动服务方法，其特征在于，根据该多个第一特征点与该多个第二特征点的比例，以比例变化计算该人脸的旋转角度与俯仰角度。
16.如权利要求13、14或15项所述的眼镜虚拟试戴互动服务方法，其特征在干，若该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过预设容许值，则重新取得该第二人脸影像。
17.如权利要求I所述的眼镜虚拟互动服务方法，其特征在于，根据该人脸的尺寸与该多个第一特征点，以缩放与旋转该眼镜模型，进而合成到该人脸。
18.如权利要求I所述的眼镜虚拟互动服务方法，其特征在干，该眼镜模型是一三维眼镜模型。
19.如权利要求18所述的眼镜三维虚拟互动服务方法，其特征在于，透过ー摄像装置，由至少三个方向拍摄ー实体眼镜，并取得该三个方向的平面影像；以及组合该三个方向的平面影像，来取得该三维眼镜模型。
20.一种眼镜虚拟试戴互动服务系统，其特征在干， 一撷取单元，透过一画面中的框架以定位一人脸，并取得第一人脸影像； 处理单元，耦接该撷取单元，位于眼睛特征处，依取样模式取得多个第一特征点与特征信息并储存该多个第一特征信息与该多个第一特征点间的点间距，且利用动态影像判断与搜寻追踪特征信息取得下ー个画面中的第二人脸影像，并取得该第二人脸影像内多个第二特征点，进而取得多个第二特征信息； 分析単元，耦接该处理单元，用以对比该第一人脸影像与该第二人脸影像的相对位置信息的差异，来判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置； 合成単元，耦接该分析単元，将预设的一眼镜模型合成于该多个第二特征点的位置；以及一眼镜数据库，该数据库储存眼镜模型的数据。
21.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该撷取单元是可为ー摄影装置。
22.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该多个第一特征点包括左右眼的两侧眼角。
23.如权利要求22所述的眼镜虚拟试戴互动服务系统，其特征在干，该多个第一特征点还包括嘴角两侧。
24.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该处理単元特征包括根据多个第一特征点，来判断该第一人脸影像是否符合人脸逻辑，若不符合，则重新取得该第一人脸影像或该多个第一特征点。
25.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该处理単元特征包括应用ー搜寻运算，来判断该多个第一特征点是否位于该框架内，若没有，则重新取得该第一人脸影像或该多个第一特征点。
26.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该特征信息是像素色彩信息，且该处理单元是由每一个该特征点辐射出m个方向，并在每ー个方向上取得η个像素点，以作为色彩信息，其中该m与η是正整数。
27.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该特征信息是像素色彩信息，且该处理单元由每ー个该特征点呈半圆辐射出m个方向，并在每ー个方向上取得η个像素点，以作为色彩信息，且该半圆至少涵盖一眼角，其中该m与η是正整数。
28.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该分析単元在时间间隔内，对比该画面与下ー个该画面中的人脸，并追踪该多个第一特征点是否有移动轨迹，并应用一噪声滤除法，以滤除下ー个该画面内的噪声。
29.如权利要求28所述的眼镜虚拟试戴互动服务系统，其特征在干，该噪声滤除法是高斯模糊法、中值法与均值法其中之一。
30.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该分析単元预设ー对比范围，以对比该多个第一特征信息与该多个第二特征信息，并取该多个第一特征信息与该多个第二特征资之间多个误差值，且排序该多个误差值，并取得前i个最小误差值，进而取得该多个第二特征点的位置。
31.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该分析単元根据该多个第一特征点与该多个第二特征点的位置，以斜率计算该人脸的傾斜度、根据该多个第一特征点间的距离与该多个第二特征点间的距离，以长度变化计算该人脸的远近比例以及根据该多个第一特征点与该多个第二特征点的比例，来比例变化计算该人脸的旋转角度与俯仰角度，并且如果该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过预设允许值，则重新取得该第二人脸影像。
32.如权利要求20所述的眼镜虚拟试戴互动服务系统，其特征在干，该合成単元根据该人脸的尺寸与该多个第一特征点，以缩放与旋转该眼镜模型，进而合成到该人脸。
33.一种眼镜虚拟试戴互动服务方法，其特征在干， 透过一画面中的一框架来定位一人脸，并取得第一人脸影像； 在眼睛瞳孔特征处，依取样模式取得多个第一特征点与特征信息并储存该多个第一特征信息与该多个第一特征点间的点间距； 利用动态影像判断与搜寻追踪特征信息取得下ー个画面中的该第二人脸影像，并取得该第二人脸影像内多个第二特征点，进而取得多个第二特征信息； 对比该第一人脸影像与该第二人脸影像的相对位置信息的差异，以判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置；以及将预设的ー隐形眼镜模型合成在该多个第二特征点的位置。
34.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在干，该多个第一特征点特征包括嘴角两侧。
35.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在于，根据多个第一特征点，来判断该第一人脸影像是否符合人脸逻辑，若不符合，则重新取得该第一人脸影像或该多个第一特征点。
36.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在于，应用ー搜寻运算，来判断该多个第一特征点是否位于该框架内，若没有，则重新取得该第一人脸影像或该多个第一特征点。
37.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在干，该特征信息是像素色彩信息，且该像素色彩信息是由每一个该特征点辐射出m个方向，并在每ー个方向上取得η个像素点，以作为色彩信息，且该m与η是正整数。
38.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在于，在时间间隔内，对比该画面与下ー个该画面中的人脸，并动态追踪该多个第一特征点是否有移动轨迹，并应用一噪声滤除法，以滤除下ー个该画面内的噪声。
39.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在于，预设ー对比范围，来对比该多个第一特征信息与该多个第二特征信息，并取该多个第一特征信息与该多个第ニ特征资之间多个误差值，且排序该多个误差值，并取得前i个最小误差值，进而取得该多个第二特征点的位置。
40.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在干，根据该多个第一特征点与该多个第二特征点的位置，以斜率计算该人脸的傾斜度、根据该多个第一特征点间的距离与该多个第二特征点间的距离，以长度变化计算该人脸的远近比例以及根据该多个第一特征点与该多个第二特征点的比例，以比例变化计算该人脸的旋转角度与俯仰角度，并且如果该人脸的傾斜度、远近比例、旋转角度或俯仰角度超过预设容许值，则重新取得该第二人脸影像。
41.如权利要求33所述的眼镜虚拟试戴互动服务方法，其特征在于，根据该人脸的尺寸与该多个第一特征点，以缩放与旋转该眼镜模型，进而合成到该人脸。
全文摘要
本发明涉及一种以真人为服务对象的眼镜虚拟试戴互动服务系统与方法。该方法包括透过画面内的框架来定位人脸，并取得相应的人脸影像，进而取得多个第一特征点位置。并且在每个第一特征点周围取样多个第一特征信息。并利用画面对比判断该人脸是否有动态移动，而透过下一个该画面取得第二人脸影像。结合搜寻对比范围与追踪特征信息方法取得该第二人脸影像内多个第二特征点，进而取得复数个第二特征点定位信息。然后利用该第一人脸影像与该第二人脸影像的相应位置信息差异，以判断该人脸的位置、移动状态与缩放比例，进而计算出该多个第二特征点的位置。以及将预设的眼镜模型合成于该多个第二特征点的位置。
文档编号G06F19/00GK102867321SQ201110192119
公开日2013年1月9日 申请日期2011年7月5日 优先权日2011年7月5日
发明者吴念祖, 池瑞敏, 刘启能, 周久善, 陈伟铭 申请人:艾迪讯科技股份有限公司, 小林钟表眼镜股份有限公司