一种交互式投影方法、装置及系统的制作方法
【专利摘要】本发明提供一种交互式投影方法、装置及系统，该方法包括对图像进行投影；采集投影图像，选取特征点,并获取选定特征点的位置信息，建立坐标转换模型及获得参数信息；实时采集包括手势作用点的投影图像信息,得到对应的位置信息；在原始数据输入界面上的相应位置点执行相应的控制。该发明能够实现投影画面下手势作用点的准确识别，不受投影环境不断变化的限制。
【专利说明】一种交互式投影方法、装置及系统
【技术领域】
[0001] 本发明涉及投影领域，尤其涉及交互式投影方法、装置及系统。
【背景技术】
[0002] 互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影 显示技术，用户可以直接使用脚或手与投影区域上的虚拟场景进行交互，来营造一种动感 的交互体验。互动投影系统通过图像采集设备对目标影像进行采集拍摄，然后由影像数据 处理系统处理，来识别、判断目标手势作用点的方法，具有自然、简洁、直接的特点，在虚拟 现实、人机交互、视觉监控等领域均有着广泛的应用前景。
[0003] 但是现有便携式人机互动产品，如投影互动手机等所应用的手势识别主要基于红 外技术，通过检测固定平面区域内是否有阻挡物来计算确定手势作用点，互动效果受到投 影环境不断变化这些因素的限制，动态手势难以实时准确定位，不能够实现随时随处地进 行人机交互。
【发明内容】
[0004] 针对上述技术问题，本发明的目的在于提供一种交互式投影方法、装置及系统，能 够实现投影画面下手势作用点的准确识别，不受投影环境不断变化这些因素的限制。为实 现上述目的，本发明采用了如下技术方案：
[0005] -种交互式投影方法，所述方法包括以下步骤：
[0006] (1)使用投影装置对图像进行投影；
[0007] (2)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集 的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置 信息，利用采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，建 立坐标转换模型及获得坐标转换参数信息；
[0008] (3)实时采集包括手势作用点的投影图像信息，将采集的位置信息通过坐标系的 对应转换关系算法进行数据处理，得到手势作用点位置信息；以及
[0009] (4)根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相 应位置点执行相应的控制。
[0010] 优选地，所述步骤（2)进一步包括：
[0011] (2a)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采 集的投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息；
[0012] (2b)建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应 转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数 信息，完成采集装置的标定；
[0013] (2c)建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应 转换关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数 信息，完成投影装置的标定。
[0014] 优选地，所述步骤（2b)所述投影图像空间的物理坐标系与采集装置成像面的像 素坐标系的对应转换关系模型为：
[0015]
【权利要求】
1. 一种交互式投影方法，所述方法包括以下步骤： (1) 使用投影装置对图像进行投影； (2) 使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的 投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信 息，利用采集装置成像面上的图像位置信息，以及投影装置物平面上的图像位置信息，建立 坐标转换模型及获得坐标转换参数信息； (3) 实时采集包括手势作用点的投影图像信息，将采集的位置信息通过坐标系的对应 转换关系算法进行数据处理，得到手势作用点位置信息；以及 (4) 根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位 置点执行相应的控制。
2. 根据权利要求1所述的交互式投影方法，其特征在于，所述步骤（2)进一步包括： (2a)使用采集装置采集投影的图像，并从已知的投影图像中选取特征点，对所采集的 投影图像进行处理提取其中已选定的特征点，获得选定特征点的位置信息； (2b)建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换 关系模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息， 完成采集装置的标定； (2c)建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换 关系模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息， 完成投影装置的标定。
3. 根据权利要求2所述的交互式投影方法，其特征在于，步骤（2b)所述建立的投影图 像空间的物理坐标系与采集装置成像面的像素坐标系的对应转换关系模型为：
其中，（X，Y，Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点 的物理坐标系的横坐标值、纵坐标值和径向坐标值；为采集装置成像面上点的像素坐 标，i和?'分别为采集装置成像面上点的列像素坐标值和行像素坐标值;w表示采集装置成 像的景深参数，且w = Ζ ;(^和cy分别表示采集装置成像面上点的横向偏移量和纵向偏移 量；fx和f y分别表示采集装置成像面上点的横向焦距参数和纵向焦距参数W = ?, ? 为采集装置成像面上点的旋转矩阵；P = [Px，Py，Pz]T为采集装置成像的平移矩阵；所述的 采集装置内部参数为：采集装置成像面上点的横向偏移量cx和纵向偏移量cy，以及采集装 置成像面上点的横向焦距参数f x和纵向焦距参数fy ;所述的采集装置外部参数为：旋转矩 阵Λ = ? ?]和平移矩阵 P = [Px，Py，ΡΖ]Τ。
4. 根据权利要求2所述的交互式投影方法，其特征在于步骤（2c)所述建立的投影图像 空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系模型为：
其中，（X，Y，Z)表示投影图像空间点的物理坐标，X、Y和Z分别为所述投影图像空间点 的物理坐标系的横坐标值、纵坐标值和径向坐标值；(U，V)表示投影装置物平面上点的像 素坐标；s表示尺度比例系数；cx'和c y'分别表示投影装置物平面上点的像素坐标系上点 的横向偏移量和纵向偏移量；fx'和f y'分别表示投影装置物平面上点的横向焦距参数和纵 向焦距参数；= ξ'，?']为投影装置物平面上点的旋转矩阵；P' = [Px'，py'，Ρζ' ]τ为投 影装置物平面上点的平移矩阵；所述的投影装置内部参数为：投影装置物平面上点的像素 坐标系上点的横向偏移量cx'和纵向偏移量cy'，以及投影装置物平面上点的横向焦距参数 fx'和纵向焦距参数fy' ；所述的投影装置外部参数为：旋转矩阵= 和平移矩阵 Ρ，= [ρχ，，ρ/，ρζ，]τ。
5. 根据权利要求2所述的交互式投影方法，其特征在于，所述步骤（3)进一步包括： (3a)利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所 选特征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在 采集装置成像面的像素坐标系中的坐标，通过步骤（2b)中得到的投影图像空间的物理坐 标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图像空间 的物理坐标系中的坐标； (3b)根据步骤（2c)中得到的投影图像空间的物理坐标系与投影装置物平面的像素坐 标系的对应转换关系，由步骤（3a)中得到的手势作用点在投影图像空间的物理坐标系中 的坐标以及采集装置和投影装置的实时外部参数信息，计算出手势作用点在投影装置物平 面上的像素坐标； (3c)根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投影装置物 平面上对投影画面的实时作用点位置信息。
6. 根据权利要求5所述的交互式投影方法，其特征在于，所述步骤（4)进一步包括：系 统模拟触控屏幕的操作控制，根据（3c)步骤中确定的手势作用点在投影装置物平面上对 投影画面的实时作用点位置信息，确定实时作用点在系统输入装置中的位置信息，系统中 的应用程序在接收到与相应位置信息相对应的控制信息后完成相应位置的输入控制。
7. -种交互式投影装置，所述装置包括： 对图像进行投影的投影模块； 采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投影图像进行处理 提取其中已选定的特征点，得到选定特征点在投影图像空间上的位置信息，采集装置成像 面上的图像位置信息，以及投影装置物平面上的图像位置信息，并将数据传送到数据处理 单元，建立坐标转换模型及获得坐标转换参数信息的采集模块； 实时采集包括手势作用点的投影图像信息，将采集的位置信息通过坐标系的对应转 换关系算法进行数据处理，得到手势作用点位置信息的处理模块；以及 根据数据处理单元处理的手势作用点的位置信息在原始数据输入界面上的相应位置 点执行相应的控制的输入模块。
8. 根据权利要求7所述的交互式投影装置，其特征在于，所述采集模块进一步包括： 使用采集装置来采集投影的图像，并从已知的投影图像中选取特征点，对所采集的投 影图像进行处理提取其中已选定的特征点，获得投影图像上选定特征点的位置信息的数据 采集模块； 建立投影图像空间的物理坐标系与采集装置成像面上的像素坐标系的对应转换关系 模型，结合选定特征点在投影图像空间上的位置信息，获得采集装置内外部参数信息，完成 采集装置的标定的采集装置模型建立模块； 建立投影图像空间的物理坐标系与投影装置物平面上的像素坐标系的对应转换关系 模型，结合选定特征点在投影图像空间上的位置信息，获得投影装置内外部参数信息，完成 投影装置的标定的投影装置模型建立模块。
9. 根据权利要求8所述的交互式投影装置，其特征在于，所述处理模块进一步包括： 利用采集装置实时采集包括手势作用点的投影图像位置信息，结合原始图形上所选特 征点的相应信息，确定采集装置和投影装置的实时外部参数信息，获得手势作用点在采集 装置成像面的像素坐标系中的坐标，通过采集装置模型建立模块中得到的投影图像空间的 物理坐标系与采集装置成像面的像素坐标系的对应转换关系计算出手势作用点在投影图 像空间的物理坐标系中的坐标的手势作用点投影图像物理坐标计算模块； 利用投影装置模型建立模块中得到的投影图像空间的物理坐标系与投影装置物平面 的像素坐标系的对应转换关系，由手势作用点投影图像物理坐标计算模块得到的手势作用 点在投影图像空间的物理坐标系中的坐标以及采集装置和投影装置的实时外部参数信息， 计算出手势作用点在投影装置物平面上的像素坐标的手势作用点投影装置物平面上的像 素坐标计算模块；根据手势作用点在投影装置物平面上的像素坐标，标定手势作用点在投 影装置物平面上对投影画面的实时作用点位置信息的手势作用点定位模块。
10. -种交互式投影系统，包括： 投影单元，配置成对图像进行投影； 与投影单元耦合的数据采集单元，配置成采集投影图像，并从已知的投影图像中选取 特征点，对所采集的投影图像进行处理提取其中已选定的特征点，得到选定特征点在投影 图像空间的位置信息，图像采集单元成像面上的位置信息，以及投影系统物平面图像位置 信息，并将数据传送到数据处理单元； 与数据采集单元耦合的数据处理单元，配置成将数据采集单元采集的位置信息通过 坐标系的对应转换关系算法进行数据处理，并得到对应的执行位置信息；以及 与数据处理单元耦合的执行单元，配置成根据数据处理单元处理的执行位置信息在原 始数据输入界面上的相应位置点执行相应的控制。
【文档编号】G06F3/01GK104090664SQ201410366802
【公开日】2014年10月8日 申请日期:2014年7月29日 优先权日:2014年7月29日
【发明者】杨伟樑, 高志强, 林清云, 王东平 申请人:广景科技有限公司