一种投影交互方法、装置、系统及终端设备与流程

本申请属于数据处理技术领域，尤其涉及一种投影交互方法、装置、系统及终端设备。

背景技术：

随着科技的发展，交互式投影技术逐渐进入了人们的生活中。当前常见的交互式投影技术多采用背投式投影，投影幕与计算机连接，在投影幕中设置了压力传感器或光栅结构等识别装置，当触控笔或手指与投影幕接触时，投影幕通过识别装置检测到触控笔或手指的位置后，将触控笔或手指的操作输入计算机，代替鼠标对投影操作界面进行操作。

但是，使用压力传感器或光栅结构等识别装置实现交互式投影时，投影幕需要安装压力传感器或光栅结构等识别装置，提高了投影成本，并且当投影仪移动时，需要将特制的投影幕也一起移动，否则无法实现交互式投影，使的交互式投影系统难以便携移动。

综上，现有的交互式投影系统的投影成本高，且难以便携移动。

技术实现要素：

有鉴于此，本申请实施例提供了一种投影交互方法、装置、系统及终端设备，以解决现有的交互式投影系统的投影成本高，且难以便携移动的问题。

本申请实施例的第一方面提供了一种投影交互方法，包括：

获取图像采集装置在投影面采集到的投影图像，对所述投影图像进行处理得到光斑的光斑变化轨迹，其中，所述光斑为控制装置发射的光线照射到投影面生成的光斑；

根据所述光斑变化轨迹以及所述投影图像与投影操作界面的坐标变换关系得到操作轨迹，根据所述操作轨迹生成操作指令；

根据所述操作指令对所述投影操作界面进行操作。

本申请实施例的第二方面提供了一种投影交互装置，包括：

光斑轨迹模块，用于获取图像采集装置在投影面采集到的投影图像，对所述投影图像进行处理得到光斑的光斑变化轨迹，其中，所述光斑为控制装置发出的光线照射到投影面生成的光斑；

操作指令模块，用于根据所述光斑变化轨迹以及所述投影图像与投影操作界面的坐标变换关系得到操作轨迹，根据所述操作轨迹生成操作指令；

指令控制模块，用于根据所述操作指令对所述投影操作界面进行操作。

本申请实施例的第二方面提供了一种投影交互系统，包括：投影仪、控制装置、图像采集装置以及上述任意一种投影交互装置；

所述投影仪和所述图像采集装置分别与所述投影交互装置通信连接；

所述控制装置用于发射光线至投影面。

本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本申请实施例的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：

本申请的投影交互方法中，对图像采集装置采集到的投影图像进行处理得到光斑的光斑变化轨迹，根据投影图像与投影操作界面的坐标变换关系，将光斑变化轨迹变换为操作轨迹，根据操作轨迹生成操作指令，根据操作指令对投影操作界面进行操作，在投影交互的过程中，无需使用特制的投影幕，降低了投影成本，同时在移动过程中也不需要带着特制的投影幕一起移动，提高了便捷性，解决了现有的交互式投影系统的投影成本高，且难以便携移动。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种投影交互方法的实现流程示意图；

图2是本申请实施例提供的一种投影交互装置的示意图；

图3是本申请实施例提供的一种投影交互的系统结构示意图；

图4是本申请实施例提供的终端设备的示意图；

图5是本申请实施例提供的九宫格划分标定区域的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一：

下面对本申请实施例一提供的一种投影交互方法进行描述，请参阅附图1，本申请实施例一中的投影交互方法包括：

步骤s101、获取图像采集装置在投影面采集到的投影图像，对所述投影图像进行处理得到光斑的光斑变化轨迹，其中，所述光斑为控制装置发射的光线照射到投影面生成的光斑；

本实施例的投影交互方法中，投影仪将投影操作界面的图像投影至投影面，当用户需要进行投影交互时，可以通过控制装置对投影面的投影图像进行操作。

控制装置可以发出光线，用户可以操作控制装置，发出光线照射到投影面形成光斑。

图像采集装置可以采集投影面上显示的投影图像，获取图像采集装置在投影面采集到的投影图像，对投影图像进行处理可以得到光斑的光斑变化轨迹。

控制装置可以选择为发光触控笔，触控笔的形状可以为任意便于用户抓拿的形状，触控笔的发光端具有光线发生装置，当触控笔的发光端与投影面接触时，光线发生装置会被触发，从而发出光线照射到投影面上形成光斑。

具体地，发光触控笔可以选择为红外触控笔，触控笔发出的光线为红外光，红外光照射到投影面生成红外光斑。

步骤s102、根据所述光斑变化轨迹以及所述投影图像与投影操作界面的坐标变换关系得到操作轨迹，根据所述操作轨迹生成操作指令；

投影图像与投影操作界面存在坐标变换关系，就可以根据投影图像与投影操作界面存在坐标变换关系将投影图像的光斑变化轨迹映射至投影操作界面，得到操作轨迹，根据操作轨迹生成操作指令，例如，光斑变化轨迹为从下至上的线段，则映射至投影操作界面的操作轨迹为从下至上的线段，可以根据此操作轨迹生成页面向上滑动的操作指令，光斑变化轨迹为始终在同一个位置，则操作轨迹也始终在同一位置，生成点击操作的操作指令，并且根据投影图像与投影操作界面存在坐标变换关系可得知操作轨迹所在的坐标，确定点击操作的操作指令的点击位置。

步骤s103、根据所述操作指令对所述投影操作界面进行操作。

根据操作指令可以对投影操作界面进行操作，例如，页面向上滑动的操作指令可以控制投影操作界面的页面内容向上滑动，点击操作的操作指令可以在投影操作界面的指定的点击位置执行点击操作。

进一步地，所述投影图像与所述投影操作界面的坐标变换关系通过以下方法得到：

a1、将所述投影操作界面的第一图像投影至所述投影面，所述第一图像的标定区域内设置有三个以上标定点；

当需要标定投影图像与投影操作界面的坐标变换关系时，可将第一图像投影至投影面，第一图像是用于标定投影图像与投影操作界面的坐标变换关系的图像，在第一图像的标定区域内设置有三个以上标定点。

a2、获取所述图像采集装置在所述投影面采集到的第二图像，对所述第二图像进行处理得到各个标定点在所述第二图像上的坐标，所述第二图像为所述第一图像的投影图像；

第二图像是第一图像的投影图像，获取图像采集装置在投影面上采集到的第二图像，对第二图像进行处理得到各个标定点在第二图像上的坐标。

a3、根据所述标定点在所述第一图像上的坐标和所述标定点在所述第二图像上的坐标对所述第一图像与所述第二图像的二维几何变换方程进行求解，得到所述坐标变换关系。

二维几何变换包括旋转、平移和缩放，通过求解第一图像与第二图像的二维几何变换方程可以得到投影图像与投影操作界面的坐标变化关系，通过坐标变换关系可以将投影图像上的内容映射至投影操作界面上。

第一图像与第二图像的二维几何变换方程可以表示为以下形式：

xl＝xt(sxcosθ)+yt(-sysinθ)+(txcosθ-tysinθ)

yl＝xt(sxsinθ)+yt(sycosθ)+(txsinθ+tycosθ)

其中，(xl，yl)为第二图像上的坐标(xt，yt)映射至第一图像的坐标，sx和sy为缩放变化参数，tx和ty为平移变换参数，θ为旋转变化参数。

上述二维几何变化方程包括sx、sy、tx、ty和θ这五个位置参数，需要建立五个以上的方程进行参数求解，每一个标定点在第一图像上的坐标和在第二图像上的坐标可以建立两个方程，因此，需要3个以上的标定点即可求解二维几何变换方程，得到投影图像与投影操作界面的坐标变换关系。

由于上述方程涉及三角函数的计算，运算较为复杂，因此，可以通过换元法对上述方程进行简化，将上述方程变换为以下形式：

xl＝axt+byt+c

yl＝dxt+eyt+f

其中，a、b、c、d、e和f为带求解的参数，虽然待求解的参数由五个变为六个，但是不用进行三角函数的计算，更适合处理器计算，并且六个参数的求解所需的标定点数量与五个参数的求解需要的标定点的数量一致。

进一步地，在所述将第一图像投影至所述投影面之前还包括：

b1、将所述第一图像划分为预置数量的标定区域，分别计算各个标定区域的坐标变换关系。

在实际应用的过程中，由于图像采集装置的摄像头和投影面存在于三维空间中，摄像头会因为光学透镜的特性使得成像存在径向畸变，并且由于装配的过程中，成像传感器与镜头并非完全平行，因此成像存在切向畸变。

如果需要消除径向畸变和切向畸变，则需要通过复杂的矩阵运算求取摄像头的内参和外参，耗费时间长，并且在后续使用投影图像中的坐标时，每个坐标都需要根据内参和外参进行一次校正运算，严重降低处理速度，使得投影交互过程不流畅。

因此，如需减小径向畸变和切向畸变的影响，可以将第一图像划分为多个的标定区域，每个标定区域包括三个以上的标定点，每个区域单独进行坐标变换关系的求解，从而在不求解摄像头内参和外参的情况下实现高精度的标定。

随着标定区域数量的增多，标定的精度也随之提高，但是计算耗时也随之增长，因此，可以根据实际情况确定预置数量的具体数值，例如，预置数量可以设置为9，如图5所示，以九宫格的形式进行标定区域的划分，将第一图像划分为9个标定区域，以黑白棋盘的形式进行展示，每个标定区域可以选择该区域的3个角点作为标定点进行该区域的坐标变换关系的计算，后续将光斑变化轨迹映射为操作轨迹的过程中，根据光斑变化轨迹所在的标定区域选择对应的坐标变换关系进行计算。

本实施例一提供的投影交互方法中，对图像采集装置采集到的投影图像进行处理得到光斑的光斑变化轨迹，根据投影图像与投影操作界面的坐标变换关系，将光斑变化轨迹变换为操作轨迹，根据操作轨迹生成操作指令，根据操作指令对投影操作界面进行操作，在投影交互的过程中，投影仪可以跟其他无交互功能的投影仪一样，在任何较为平整的平面进行投影，无需使用特制的投影幕，降低了投影成本，同时在移动过程中也不需要带着特制的投影幕一起移动，提高了便捷性，解决了现有的交互式投影系统的投影成本高，且难以便携移动。

投影图像与投影操作界面的坐标变换关系可以通过三个以上的标定点在第一图像的坐标和在第二图像的坐标进行二维几何变换方程的求解得到。

为了进一步提高标定的精确度，可以将第一图像划分为多个标定区域，每个标定区域分别计算投影图像与投影操作界面的坐标变换关系，减小摄像头径向畸变和切向畸变的影响。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二：

本申请实施例二提供了一种投影交互装置，为便于说明，仅示出与本申请相关的部分，如图2所示，投影交互装置包括，

光斑轨迹模块201，用于获取图像采集装置在投影面采集到的投影图像，对所述投影图像进行处理得到光斑的光斑变化轨迹，其中，所述光斑为控制装置发出的光线照射到投影面生成的光斑；

操作指令模块202，用于根据所述光斑变化轨迹以及所述投影图像与投影操作界面的坐标变换关系得到操作轨迹，根据所述操作轨迹生成操作指令；

指令控制模块203，用于根据所述操作指令对所述投影操作界面进行操作。

进一步地，所述装置还包括：

标定投影模块，用于将所述投影操作界面的第一图像投影至所述投影面，所述第一图像的标定区域内设置有三个以上标定点；

坐标获取模块，用于获取所述图像采集装置在所述投影面采集到的第二图像，对所述第二图像进行处理得到各个标定点在所述第二图像上的坐标，所述第二图像为所述第一图像的投影图像；

坐标变换模块，用于根据所述标定点在所述第一图像上的坐标和所述标定点在所述第二图像上的坐标对所述第一图像与所述第二图像的二维几何变换方程进行求解，得到所述坐标变换关系。

进一步地，所述装置还包括：

区域划分模块，用于将所述第一图像划分为预置数量的标定区域，分别计算各个标定区域的坐标变换关系。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

实施例三：

本申请实施例三提供了一种投影交互系统，为便于说明，仅示出与本申请相关的部分，如图3所示，投影交互系统包括：投影仪1、控制装置2、图像采集装置3以及上述任意一种投影交互装置4；

所述投影仪1和所述图像采集装置3分别与所述投影交互装置4通信连接；

所述控制装置2用于发射光线至投影面。

图像采集装置3中摄像头的视场角应大于投影仪1的投射角，以便摄像头能捕捉到完整的投影图像。摄像头可以采用高清摄像头，采集帧率可以选择为大于24帧每秒的帧率，曝光可以根据实际需要进行调节。

进一步地，所述控制装置2具体为红外触控笔。

进一步地，所述图像采集装置3的摄像头的镜头外侧覆盖有滤光片5。

当控制装置2为红外触控笔时，可以在图像采集装置3的摄像头的镜头外侧覆盖滤光片5，滤光片5可以采用带通材质，滤除环境中的干扰光线，例如，红外触控笔发射的红外光可以选择波长为940nm的红外光，滤光片5可以采用940±20nm的带通材质，滤除其余波长的干扰光线，提高投影交互系统的抗干扰能力。

实施例四：

图4是本申请实施例四提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述投影交互方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块201至203的功能。

示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成光斑轨迹模块、长度比较模块以及指令控制模块，各模块具体功能如下：

光斑轨迹模块，用于获取图像采集装置在投影面采集到的投影图像，对所述投影图像进行处理得到光斑的光斑变化轨迹，其中，所述光斑为控制装置发出的光线照射到投影面生成的光斑；

操作指令模块，用于根据所述光斑变化轨迹以及所述投影图像与投影操作界面的坐标变换关系得到操作轨迹，根据所述操作轨迹生成操作指令；

指令控制模块，用于根据所述操作指令对所述投影操作界面进行操作。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。