专利名称：在连续影像中计算非结构化物体位置的方法
技术领域：
本发明是有关于一种在连续影像中计算非结构化物体位置的方法，尤指一 种初始化目标物体样板后，利用追踪算法计算出下个时间点的搜寻空间，并使 用运动和边缘的影像特征信息来计算与样板的相似程度，藉此追踪定位出目标 物体位置的方法。
背景技术：
在人机互动的接口中，单纯以影像处理来辨识使用者的活动，相对于穿戴 式、接触式的感测工具辅助较为困难，而且影像处理所需要的内存和处理时间 需求很大，要达成实时反应的效果相对不易；除了希望追踪定位的特定对象外， 往往含有许多背景、噪声、光线变化等干扰因素，因此目前技术多需要用架设 多台摄影机、配合其它感测组件，或要求单纯的背景环境等方式来达到良好的 辨识率。
就现有专利而言，如美国发明专利第6434255号"Hand pointing apparatus",该案提出一种手部指向的方法，以3D视觉方式定位的，需要二 台影像撷取装置计算3D空间信息。
如美国发明专禾y第6600475号"Single camera system for gesture—based i叩ut and target indication"，该案提出单一摄影机系统下以姿态为基础 的目标指向，其是以空间几何的关是来定位追踪，且定位追踪物体前需要设定 四个参考点。
如美国发明专利第7148913号"Vision-based pointer tracking and object classification method and apparatus" ， i亥案提出以丰见觉为基石出的 指向追踪和物体分类的方法，以追踪算法縮小搜寻区域，再使用预测方式追踪 物体，且以辨识该区域有无该物体来确认其位置。
如中国台湾发明专利申请第91118146号"指动式指针输入装置"，该案 所提出的输入装置，需要安装二台影像位置感知器， 一用以侦测手部水平位移，一用以侦测手部垂直位移，且该专利仅能针对手部位置的定位。
再如中国台湾新型专利申请第95217697号"计算机指针操作装置"，该 案所提出的指针操作装置，使用者必须于指尖配戴指环以作为定位追踪的依 据，换言之，该专利只能追踪定位配戴有指环的物体。
据此可知，如何利用最少的装置，使用最自然的方式与机器达到互动，无 须任何标记或感测工具，且不限定物体形状，即可快速追踪出物体位置，是急 需解决的重要课题。
发明内容
有鉴于现有技术的缺失，本发明的目的在于提出一种在连续影像中计算非 结构化物体位置的方法，仅需要一台影像撷取装置，使用者不需事先做冗长的 训练，无须佩戴或设置任何标记、感应器或感测工具，即可快速追踪出物体位 置；不限定特殊形状的物体，而且非结构化的物体亦可以定位其位置；使用者 可以利用最少的装置，使用最自然的方式与机器达到互动的目的。
为达到上述目的，本发明提出一种在连续影像中计算非结构化物体位置的 方法，其是首先建立目标物体的线条样板，并分析出其中特征部分的位置；而 后撷取目标物体的连续影像，并利用该连续影像中特征部分周围的亮度变化， 计算出目前影像特征部分的候选位置；接着计算该候选位置周围影像于该连续 影像中的差异程度，以及该候选位置周围影像与目标物体的线条样板的相似 度；再利用所计算出的差异程度，以及与目标物体的线条样板的相似度，计算 出目标物体的特征部分在影像中的位置。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的 限定。
图l是本发明的演算流程图； 图2是本发明的架构示意图。
其中，附图标记 20影像撷取装置 30使用者31手部 311食指
32头部 33身体 40屏幕 41特定区域
具体实施例方式
以下将参照随附的图式来描述本发明为达成目的所使用的技术手段与功 效，而以下图式所列举的实施例仅为辅助说明，以利审査员了解，但本案的技 术手段并不限于所列举图式。
请参阅图1所示本发明提供的在连续影像中计算非结构化物体位置的方
法的演算流程图
歩骤101:定位追踪程序开始。
步骤102:初始化使用者欲定位追踪的目标物体样板。请参阅图2所示，
其显示藉由一影像撷取装置20撷取使用者30的影像，并显示于一屏幕40上， 于该屏幕40上设有一特定区域41，该特定区域41是供设定初始化使用者欲 定位追踪的目标物体样板，如图所示，该凸伸食指311的手部31是预定位追 踪的目标物体，使用者30自行调整位置，使该手部31可完全位于该特定区域 41内，再由系统分析该手部31的边缘特征，作为初始化物体样板，并设定一 初始化权重值。
步骤103:系统于目标物体(亦即图2所示该凸伸食指311的手部31)上定 位一参考点位置，并纪录该参考点的亮度，作为系统追踪之用。该参考点位置 可依所需设定，通常是位于分析所得目标物体的轮廓线条较为突显的部位，如 图2所示，该参考点位置是位于食指311的指尖。
步骤104:侦测参考点的周围像素亮度变化，包含该影像的灰阶梯度，计 算与原参考点亮度变化最接近的位置坐标。
步骤105:若得到与原参考点亮度变化最接近的新位置坐标，则将原参考 点移至新位置坐标；反之，则表示追踪失败。
步骤106:若环境亮度变化太大或其它因素，例如原目标物体消失，或原初始化目标物体外型改变过大，而无法追踪到下个时刻参考点的新位置时，则 必须重新初始化物体样板，回到步骤102。
步骤107:当追踪到下个时刻参考点的新位置时，则以新的参考点位置设 定为目前的搜寻空间大小和位置，藉此縮小需要搜寻空间，有效地节省搜寻的 时间。
步骤108:计算初始样板在搜寻区域中的运动程度。于正常情况下，相对
于背景、环境中的其它物体，例如使用者30的头部32、身体33，或窗户、家 具(图中未示出)等等，该凸伸食指311的手部31必然是屏幕40上运动量最大 的物体，因此可经由计算搜寻区域中初始物体样板具有运动程度最高的位置， 得出目标物体的新位置坐标。
步骤109:计算搜寻区域中的目标物体的边缘特征和初始样板的相似度， 并撷取相似度最高的位置坐标；就图2所示该该凸伸食指311的手部31而言， 即使手部31及该食指311于移动过程中产生角度变化，或食指311的弯曲度 改变，基本上均可维持与初始化物体样板相近似的边缘特征；换言之，使用者 30于进行步骤102初始化物体样板前，必须选定最适当的目标物体形状，且 于定位过程中不再大幅度改变原目标物体形状。
步骤110:确认搜寻空间中以运动程度和边缘特征计算出权重值最高的位 置坐标。
步骤lll:计算搜寻结果得到的权重值是否低于初始化权重值；若低于初 始化权重值，代表找不到相似的物体样板，则必须重新初始化物体样板(步骤 106)，回到步骤102。
步骤112:若搜寻结果得到的权重值高于初始化时的权重值，则将新定位
到的样板位置更新参考点。
根据上述流程，可归纳出本发明所提出的在连续影像中计算非结构化物体
位置的方法具有以下主要步骤
A. 建立目标物体的线条样板，并分析出其中特征部分的位置；可先过滤出 目标物体前景后，再建立目标物体的线条样板；再者，所建立目标物体的线条 样板，可包含计算出目标物体亮度变化较大的线条信息，以及计算出目标物体 色彩变化较大的线条信息，以取得最佳化线条样板。
B. 撷取目标物体移动时的连续影像，并利用该连续影像中特征部分周围的亮度变化，包含该连续影像的灰阶梯度，以计算出目前影像特征部分的候选位置。
C. 计算该候选位置周围影像于该连续影像中的差异程度，包含分析该目标 物体于该连续影像中的运动程度，并使用权重累计该候选位置坐标周围影像于 该连续影像中的差异程度；以及，该候选位置周围影像与目标物体的线条样板 的相似度，包含在接收连续影像输入并计算目标物体的特征部分在影像中位置 的同时，重新建立目标物体的线条样板。
D. 利用步骤C所计算出的差异程度，以及与目标物体的线条样板的相似 度，并采用权重累加差异程度与相似度以计算出目标物体的特征部分在影像中 的位置。
综上所述，本发明所提供的在连续影像中计算非结构化物体位置的方法， 利用最少的装置，使用最自然的方式与机器达到互动，无须任何标记或感测工 具，且不限定物体形状，即可快速追踪出物体位置；可运用于不同产业领域， 例如
(1) 游戏玩具相关产业只需单一摄影机，更容易放置于体积较小的玩具 中，有机会让玩具具备视觉，提升让使用者能以简单手势控制玩具的可行性。 对家庭游戏而言，单一摄影机可装置于屏幕或游戏主机上，不须对家庭环境做 额外的更动。
(2) 运动休闲相关产业运动休闲目前发展趋势强调个人适性化，不需冗 长的事先训练时间，更容易达到自动适应每个使用者的手势或姿态。
(3) 互动展示相关产业对于互动展示可进一步提升直觉性，透过无接触 式的感测，让使用者可以对互动展示的内容做类似鼠标一般的控制，可进一步 拓展互动展示市场的应用范围。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1. 一种在连续影像中计算非结构化物体位置的方法，其特征在于，包含下列步骤A. 建立目标物体的线条样板，并分析出其中特征部分的位置；B. 撷取目标物体的连续影像，并利用该连续影像中特征部分周围的亮度变化，计算出目前影像特征部分的候选位置；C. 计算该候选位置周围影像于该连续影像中的差异程度，以及该候选位置周围影像与目标物体的线条样板的相似度；D. 利用步骤C所计算出的差异程度，以及与目标物体的线条样板的相似度，计算出目标物体的特征部分在影像中的位置。
2. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤A是先过滤出目标物体前景后，再建立目标物体的线条样 板。
3. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤A所建立目标物体的线条样板，是包含计算出目标物体亮度变化较大的线条信息。
4. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤A所建立目标物体的线条样板，是包含计算出目标物体色 彩变化较大的线条信息。
5. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该歩骤B是撷取该目标物体移动时的连续影像。
6. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤B所利用的连续影像中特征部分周围的亮度变化，是包含 该连续影像的灰阶梯度。
7. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤C所计算的该候选位置坐标周围影像于连续影像中的差异 程度，是包含分析该目标物体于该连续影像中的运动程度。
8. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤C所计算的该候选位置坐标周围影像于连续影像中的差异程度，是包含使用权重累计该候选位置坐标周围影像于该连续影像中的差异程度。
9. 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其特 征在于，其中该步骤C所计算的该候选位置周围影像与目标物体的线条样板的 相似度，是包含在接收连续影像输入并计算目标物体的特征部分在影像中位置 的同时，重新建立目标物体的线条样板。
10、 如权利要求1所述的在连续影像中计算非结构化物体位置的方法，其 特征在于，其中该歩骤D更包含使用权重累加差异程度与相似度以计算出目标 物体的特征部分在影像中的位置。
全文摘要
一种在连续影像中计算非结构化物体位置的方法，其首先建立目标物体的线条样板，并分析出其中特征部分的位置；而后撷取目标物体的连续影像，并利用该连续影像中特征部分周围的亮度变化，计算出目前影像特征部分的候选位置；接着计算该候选位置周围影像于该连续影像中的差异程度，以及该候选位置周围影像与目标物体的线条样板的相似度；再利用所计算出的差异程度，以及与目标物体的线条样板的相似度，计算出目标物体的特征部分在影像中的位置。
文档编号G06F3/01GK101424972SQ20071016593
公开日2009年5月6日 申请日期2007年11月2日 优先权日2007年11月2日
发明者王科翔, 陈志昌, 陈柏戎 申请人:财团法人工业技术研究院