一种数据投影方法以及装置与流程

文档序号:13686582阅读:324来源:国知局
一种数据投影方法以及装置与流程

本发明涉及电子设备技术领域,尤其涉及一种数据投影方法以及装置。



背景技术:

目前的增强现实(augmentedreality,ar)技术的一般流程为:先使用摄像头进行环境图像采集,然后对环境图像进行分析与处理,然后将需要显示的虚拟影像信息叠加到显示屏幕中的环境图像中的特定位置,给人一种真实图像与虚拟影像混合在一起的感觉。但是由于目前的增强现实技术的最终展示区域只能处于显示屏幕中,所以导致最终展示区域具有一定的局限性,进而导致显示效果比较单一。



技术实现要素:

本发明实施例提供一种数据投影方法以及装置,可以使最终展示区域不再局限于显示屏幕中,进而可以丰富显示效果。

本发明实施例提供了一种数据投影方法,包括:

获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息;

根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域。

相应地,本发明实施例还提供了一种数据投影装置,包括:

物体确定模块,用于获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

三维数据获取模块,用于获取所述目标物体的三维数据;

展示信息获取模块,用于获取与所述目标物体相关联的展示信息;

区域确定模块,用于根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域;

投影模块,用于根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据投影方法的流程示意图;

图1a是本发明实施例提供的一种数据投影的场景示意图;

图1b是本发明实施例提供的另一种数据投影的场景示意图;

图2是本发明实施例提供的另一种数据投影方法的流程示意图;

图2a是本发明实施例提供的又一种数据投影的场景示意图;

图3是本发明实施例提供的又一种数据投影方法的流程示意图;

图4是本发明实施例提供的一种数据投影装置的结构示意图;

图5是本发明实施例提供的一种三维数据获取模块的结构示意图;

图6是本发明实施例提供的一种区域确定模块的结构示意图;

图7是本发明实施例提供的一种区域分析确定单元的结构示意图;

图8是本发明实施例提供的一种投影模块的结构示意图;

图9是本发明实施例提供的另一种数据投影装置的结构示意图;

图10是本发明实施例提供的又一种数据投影装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参见图1,是本发明实施例提供的一种数据投影方法的流程示意图,所述方法可以包括:

s101,获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

具体的,本发明实施例提供了一种数据投影装置,所述数据投影装置可以包括一个具有投影仪和摄像机的电动云台,该电动云台可以自由转动,通过控制电动云台的转动角度,可以控制投影仪的投影角度或摄像机的拍摄角度。所述数据投影装置通过摄像机可以获取环境图像信息,并基于预设视觉算法在所述环境图像信息中识别出与预设的目标物体类型信息对应的物体图像,并将所述物体图像对应的物体确定为目标物体。例如,所述数据投影装置可以采集某桌面的环境图像信息,该环境图像信息包括桌面上的所有物体的图像信息,若所述预设的目标物体类型信息为书本类型信息,则可以基于预设视觉算法识别出所述环境图像信息中的书本图像。

可选的,在s101步骤之前,所述数据投影装置可以获取用户语音输入信息,并识别所述用户语音输入信息中的目标关键词,并在预设的物体类型信息匹配库中查找与所述目标关键词对应的目标物体类型信息;所述物体类型信息匹配库包括至少一个关键词与至少一个物体类型信息之间的映射关系。例如,若用户输入的用户语音输入信息为“查一下这本书”,则可以识别出所述用户语音输入信息中的目标关键词为“书”,并在预设的物体类型信息匹配库中查找出与所述目标关键词“书”对应的目标物体类型信息为书本类型信息。例如,所述物体类型信息匹配库中的关键词“书”、关键词“日记本”等关键词均可以映射到书本类型信息;关键词“茶杯”、关键词“水杯”等关键词均可以映射到杯子类型信息。

可选的,本发明实施例还可以通过其他方式确定所述目标物体,例如,用户可以操作外部设备(如手机、激光笔)发射激光,并将激光映射在某个区域上,此时,所述数据投影装置可以跟踪该区域上的激光点并识别激光点的移动轨迹内的范围,进而将所识别出的该范围内的物体确定为目标物体(如激光点在平面上画一个圈,且该圈内有一本书,则所述数据投影装置可以识别该圈的区域,并将该圈内的书本确定为目标物体)。又例如,若用户语音输入信息可以仅包含方向关键字(如用户语音输入信息为“向右边扫描”),则所述数据投影装置可以控制摄像机转至右侧,并根据右侧所采集到的环境图像信息将整个右侧区域确定为目标物体。

s102,获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息;

具体的,所述数据投影装置获取所述目标物体的三维数据的方式可以为:对所述环境图像信息进行分割,得到多个环境图像片段,并在所述多个环境图像片段中获取包含所述目标物体的片段图形特征(如目标物体为一个杯子,其中一个环境图像片段包含该杯子的杯柄,该杯柄就为片段图形特征)的至少一个目标环境图像片段,将所述至少一个目标环境图像片段组合为目标区域图像,再向所述目标区域图像对应的目标区域投影预设的测试图案,并通过所述摄像机在所述目标区域中采集覆盖有所述测试图案的所述目标物体对应的图像信息,并作为待测试图像信息,并继续对所述待测试图像信息进行视觉测量,以得到在所述目标区域中的所述目标物体的三维数据,以及所述目标物体周边的三维数据。

可选的,所述数据投影装置获取所述目标物体的三维数据的方式还可以为:基于tof(timeofflight,飞行时间)的三维数据测量,即传感器发出经调制的近红外光,遇目标物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算与被拍摄的目标物体的距离,以产生深度信息,并根据所述深度信息计算出目标物体的三维数据。因此,若所述摄像机为tof摄像机,则所述数据投影装置就可以通过所述摄像机直接获取到所述目标物体的三维数据。同样的,若所述摄像机为深度摄像机或双目摄像机,则所述数据投影装置也可以通过所述摄像机直接获取到所述目标物体的三维数据。

所述数据投影装置同时还可以获取与所述目标物体相关联的展示信息。例如,若所述目标物体是一本书,则所述数据投影装置可以通过互联网搜索与这本书相关联的展示信息,该展示信息可以包括购买网站、价格、简介等等。又例如,若所述目标物体是一个棋盘,则所述数据投影装置可以启动象棋应用,并获取需要与用户进行对弈的虚拟棋子,即与棋盘相关联的展示信息包括所获取到的虚拟棋子。

s103,根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域;

具体的,所述数据投影装置可以根据所述三维数据确定所述目标物体上的可投影表面区域以及与所述目标物体相邻的可投影相邻区域,并分析所述展示信息在所述可投影表面区域和/或所述可投影相邻区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;所述数据投影装置可以进一步生成与所述展示信息对应的投影图像,并根据所述目标物体对应的目标投影区域,调整投影仪的角度,并根据所述三维数据对所述投影图像的形状和尺寸进行调整(如根据所述三维数据识别出书本形状为正方形,则可以将投影图像调整为正方形,并将投影图像的尺寸调整至与该书本封面尺寸相同),并控制电动云台调整投影仪的角度,并控制已调整角度的投影仪将调整后的投影图像投影至所述目标物体对应的目标投影区域,其中,所述投影图像携带所述展示信息中的图案信息和/或文字信息。

请一并参见图1a,是本发明实施例提供的一种数据投影的场景示意图。在图1a中,目标物体是书本a1(且书本a1的书名为“nationalgeographic”),且书本a1和数据投影装置100均水平放置在桌面上,所述数据投影装置100包括摄像机100a和投影仪100b,所述书本a1对应的目标投影区域a包括书本a1的可投影表面区域(即书本a1的封面)和与书本a1相邻的可投影相邻区域a3;其中,与所述书本a1相关联的展示信息包括书名中文翻译“国家地理”、购买网站“xx网购商场”、价格“35元”、书本简介,所述数据投影装置100对所述展示信息分析后,可以确定用于显示书名中文翻译“国家地理”、购买网站“xx网购商场”以及价格“35元”的信息展示区域即为所述书本a1的可投影表面区域中的区域a2,并确定用于显示所述书本简介的信息展示区域即为所述可投影相邻区域a3,所述数据投影装置100可以进一步根据书名中文翻译“国家地理”、购买网站“xx网购商场”、价格“35元”、书本简介分别对应的信息展示区域,对书名中文翻译“国家地理”、购买网站“xx网购商场”、价格“35元”、书本简介进行排版,以生成对应的投影图像,并根据所述书本a1的三维数据对所述投影图像的形状和尺寸进行调整,所述数据投影装置100再通过投影仪100b将调整后的投影图像投影到所述目标投影区域a中,使得投影图像中的“国家地理”、“xx网购商场”以及“35元”这些文字信息在区域a2中显示,并使得投影图像中的书本简介的文字信息在所述可投影相邻区域a3中显示,从而实现真实书本a1与虚拟的投影图像进行混合显示,进而丰富了显示效果。

可选的,所述数据投影装置还可以根据所述目标物体的三维数据以及与所述目标物体相邻的物体的三维数据,生成三维空间模型;并当接收到对所述三维空间模型的修改指令时,根据所述修改指令在所述三维空间模型中查找新投影区域,并将所述目标投影区域更新为所述新投影区域,并根据所述修改指令将所述展示信息更新为新展示信息;并将携带所述新展示信息的投影图像投影至所述新投影区域。

再请一并参见图1b,是本发明实施例提供的另一种数据投影的场景示意图。在图1b中,若所述目标物体是衣柜300,而用户想要扫描整个房间,则所述数据投影装置200可以在获取到所述衣柜300的三维数据后,可以进一步获取与所述衣柜相邻的墙面、天花板、地板的三维数据,并将所有三维数据进行合并处理以生成三维空间模型,当用户想要将目标物体修改为区域b中的墙面b1和长椅b2时,所述数据投影装置200可以通过所述三维空间模型将投影仪转动到与所述区域b相对的位置,并将相应的投影图像投影到所述区域b上,使得用户可以直观看到墙面b1的颜色和花纹、以及长椅b2的颜色和花纹;当用户想要修改区域b中的墙面b1和长椅b2的颜色和花纹时,所述数据投影装置200可以通过所述三维空间模型修改投影在墙面b1和长椅b2上的颜色和花纹,给用户身临其境的感觉;通过构建三维空间模型,可以使得在更新投影图像或更新目标物体时,所述数据投影装置200无需重新计算三维数据,即所述数据投影装置200可以通过所述三维空间模型高效地完成更新后的投影。

其中,生成所述三维空间模型的过程可以包括如下四步:

第一步,将所述数据投影装置在不同姿态下获得的三维数据拼接到统一坐标系下;

第二步,使用双边滤波对所有的三维数据进行处理,以过滤空间噪点;

第三步,使用自动区域生长算法,在空间选取一定种子点进行区域生长,其中,生长条件为点云法向量误差在一定范围内;

第四步,针对初步分割的平面,若平面方程相似,则根据距离进行合并,对整理后的平面进行合并以得到其统计特征,进而可得到所述三维空间模型。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果。

再请参见图2,是本发明实施例提供的另一种数据投影方法的流程示意图,所述方法可以包括:

s201,获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

s202,获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息;

其中,s201和s202步骤的具体实施方式可以参见上述图1对应实施例中的s101和s102步骤,这里不再进行赘述。

s203,根据所述三维数据确定所述目标物体上的可投影表面区域以及与所述目标物体相邻的可投影相邻区域;

例如,若目标物体为一本书,且这本书是正面朝上并水平的放置在桌面上,则所述数据投影装置分析出这本书的三维数据后,即可确定这本书的正面为可投影表面区域,并确定这本书周围的桌面为可投影相邻区域。

s204,当所述目标物体属于实时交互类型时,获取位于所述目标物体上的交互类物体在所述可投影表面区域上的位置坐标;

具体的,当所述目标物体为棋盘或其他游戏对弈道具时,可以确定所述目标物体属于实时交互类型的物体,此时,数据投影装置可以获取位于所述目标物体上的交互类物体在所述可投影表面区域上的位置坐标(通过扫描可投影表面的图像,即可分析出位于可投影表面区域上的交互类物体的位置坐标),如所述数据投影装置可以获取棋盘中用户所操作的实体棋子(即交互类物体)在该棋盘表面的位置坐标。

s205,根据所述交互类物体的位置坐标和预设的交互逻辑,分析所述展示信息中的交互类子信息在所述可投影表面区域上的位置坐标;

例如,若所述目标物体为棋盘,且所述数据投影装置识别出该棋盘属于中国象棋棋盘,则所述数据投影装置可以启动中国象棋应用,此时,所述数据投影装置可以根据棋盘中用户所操作的实体棋子(即交互类物体)在该棋盘表面的位置坐标、预设的象棋规则以及预设的人工智能等级(可决定象棋的难易程度),分析与用户进行对弈的虚拟棋子(即所述展示信息中的交互类子信息)在该棋盘上移动后的位置坐标。

s206,根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;

s207,根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域;

例如,所述数据投影装置根据虚拟棋子的位置坐标,可以确定虚拟棋子在棋盘上的信息展示区域,并将该信息展示区域确定为与该棋盘对应的目标投影区域,并将携带虚拟棋子的投影图像投影至该棋盘对应的目标投影区域,使得用户可以与所述数据投影装置所投影的虚拟棋子进行对弈。其中,所述根据所述三维数据调整携带所述展示信息的投影图像并将调整后的投影图像投影至所述目标物体对应的目标投影区域的具体过程可以参见上述图1对应实施例中的s103,这里不再进行赘述。

可选的,所述数据投影装置也可以直接启动中国象棋应用,然后所述数据投影装置直接在一个水平区域(如桌面)上投影一个虚拟棋盘,使得用户可以将真实的棋子放在虚拟棋盘上与所述数据投影装置所投影的虚拟棋子进行对弈。

进一步的,请一并参见图2a,是本发明实施例提供的一种数据投影的场景示意图。在图2a中,目标物体是棋盘c,且棋盘c和数据投影装置400均水平放置在桌面上,所述数据投影装置400包括摄像机400a和投影仪400b,所述棋盘c对应的目标投影区域即为棋盘c的正表面;所述数据投影装置400可以获取位于所述棋盘c上的实体棋子c2在棋盘c正表面上的位置坐标,并根据预设的人工智能和象棋规则分析与用户进行对弈的虚拟棋子c1在棋盘c正表面上的位置坐标,并根据虚拟棋子c1在棋盘c正表面上的位置坐标,确定虚拟棋子c1在棋盘c正表面上的信息展示区域,进而将携带虚拟棋子c1图像的投影图像投影到棋盘c对应的目标投影区域(如图2a所示的两个虚拟棋子c1在棋盘c上的投影),以实现所述数据投影装置400与用户进行象棋对弈,即用户操作实体棋子c2,所述数据投影装置400投影虚拟棋子c1,其中,所述数据投影装置400可以投影虚拟棋子c1的动态走位图像(具体通过投影虚拟棋子c1从位置a到位置b的过程中的每一帧数据图像,即可实现投影虚拟棋子c1的动态走位图像)。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果;而且用户还可以通过操作实体物体与所投影的虚拟影像中的虚拟物体进行交互。

再请参见图3,是本发明实施例提供的又一种数据投影方法的流程示意图,所述方法可以包括:

s301,获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

s302,获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息;

其中,s301和s302步骤的具体实施方式可以参见上述图1对应实施例中的s101和s102步骤,这里不再进行赘述。

s303,根据所述三维数据确定所述目标物体上的可投影表面区域以及与所述目标物体相邻的可投影相邻区域;

s304,当所述目标物体属于实时交互类型的物体时,获取所述展示信息所携带的交互类子信息的虚拟位置坐标;

具体的,当所述目标物体为棋盘或其他游戏对弈道具时,可以确定所述目标物体属于实时交互类型的物体,此时,若用户要与远程用户进行象棋对弈,则数据投影装置可以将位于棋盘(即目标物体)上的实体棋子在棋盘表面上的位置坐标上传到服务器,由所述服务器将所述实体棋子的位置坐标转发至远程用户的终端设备上进行显示,使得远程用户可以操作该远程用户的棋子进行对弈,因此,远程用户的终端设备可以将操作后的棋子的虚拟位置坐标反馈到所述服务器,再由所述服务器将所述虚拟位置坐标发送到所述数据投影装置,使得所述数据投影装置可以获取到需要投影的虚拟棋子(即交互类子信息)的虚拟位置坐标,即获取所述展示信息所携带的交互类子信息的虚拟位置坐标。

s305,将所述交互类子信息的虚拟位置坐标转换为在所述可投影表面区域上的位置坐标;

s306,根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;

s307,根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域;

具体的,所述数据投影装置可以根据虚拟棋子的虚拟位置坐标,确定需要投影的虚拟棋子在所述棋盘表面上的信息展示区域,进而将虚拟棋子投影到棋盘表面上的信息展示区域(即目标投影区域),以实现基于所述数据投影装置使得用户可以与远程用户进行象棋对弈,即用户操作实体棋子,所述数据投影装置投影远程用户所传输的虚拟棋子。其中,所述根据所述三维数据调整携带所述展示信息的投影图像并将调整后的投影图像投影至所述目标物体对应的目标投影区域的具体过程可以参见上述图1对应实施例中的s103,这里不再进行赘述。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果;而且用户还可以通过操作实体物体与所投影的虚拟影像中的虚拟物体进行交互。

请参见图4,是本发明实施例提供的一种数据投影装置的结构示意图。所述数据投影装置1可以包括:语音获取识别模块16、物体类型查找模块17、物体确定模块11、三维数据获取模块12、展示信息获取模块13、区域确定模块14、投影模块15;

所述语音获取识别模块16,用于获取用户语音输入信息,并识别所述用户语音输入信息中的目标关键词;

所述物体类型查找模块17,用于在预设的物体类型信息匹配库中查找与所述目标关键词对应的目标物体类型信息;所述物体类型信息匹配库包括至少一个关键词与至少一个物体类型信息之间的映射关系;

例如,若用户输入的用户语音输入信息为“查一下这本书”,则所述语音获取识别模块16可以识别出所述用户语音输入信息中的目标关键词为“书”,并由所述物体类型查找模块17在预设的物体类型信息匹配库中查找出与所述目标关键词“书”对应的目标物体类型信息为书本类型信息。

所述物体确定模块11,用于获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

具体的,所述物体确定模块11可以基于预设视觉算法在所述环境图像信息中识别出与预设的目标物体类型信息对应的物体图像,并将所述物体图像对应的物体确定为目标物体。例如,若环境图像信息包括桌面上的所有物体的图像信息,且所述预设的目标物体类型信息为书本类型信息,则所述物体确定模块11可以基于预设视觉算法识别出所述环境图像信息中的书本图像。

可选的,所述物体确定模块11还可以通过其他方式确定所述目标物体,例如,用户可以操作外部设备(如手机、激光笔)发射激光,并将激光映射在某个区域上,此时,所述物体确定模块11可以跟踪该区域上的激光点并识别激光点的移动轨迹内的范围,进而将所识别出的该范围内的物体确定为目标物体(如激光点在平面上画一个圈,且该圈内有一本书,则所述物体确定模块11可以识别该圈的区域,并将该圈内的书本确定为目标物体)。又例如,若用户语音输入信息可以仅包含方向关键字(如用户语音输入信息为“向右边扫描”),则所述数据投影装置1可以控制摄像机转至右侧,并由所述物体确定模块11根据右侧所采集到的环境图像信息将整个右侧区域确定为目标物体。

所述三维数据获取模块12,用于获取所述目标物体的三维数据;

所述展示信息获取模块13,用于获取与所述目标物体相关联的展示信息;

所述区域确定模块14,用于根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域;

所述投影模块15,用于根据所述三维数据调整携带所述展示信息的投影图像,并将调整后的投影图像投影至所述目标物体对应的目标投影区域。

进一步的,请一并参见图5,是所述三维数据获取模块12的结构示意图,所述三维数据获取模块12可以包括:分割单元121、获取组合单元122、测试投影采集单元123、视觉测量单元124;

所述分割单元121,用于对所述环境图像信息进行分割,得到多个环境图像片段;

所述获取组合单元122,用于在所述多个环境图像片段中获取包含所述目标物体的片段图形特征的至少一个目标环境图像片段,将所述至少一个目标环境图像片段组合为目标区域图像;

所述测试投影采集单元123,用于向所述目标区域图像对应的目标区域投影预设的测试图案,并在所述目标区域中采集覆盖有所述测试图案的所述目标物体对应的图像信息,并作为待测试图像信息;

所述视觉测量单元124,用于对所述待测试图像信息进行视觉测量,得到在所述目标区域中的所述目标物体的三维数据;

其中,所述分割单元121、所述获取组合单元122、所述测试投影采集单元123以及所述视觉测量单元124的具体实现功能可以参见上述图1对应实施例中的s102,这里不再进行赘述。

进一步的,再请一并参见图6,是所述区域确定模块14的结构示意图,所述区域确定模块14可以包括:区域初始确定单元141、区域分析确定单元142;

所述区域初始确定单元141,用于根据所述三维数据确定所述目标物体上的可投影表面区域以及与所述目标物体相邻的可投影相邻区域;

例如,若目标物体为一本书,且这本书是正面朝上并水平的放置在桌面上,则所述三维数据获取模块12计算出这本书的三维数据后,所述区域初始确定单元141即可确定这本书的正面为可投影表面区域,并确定这本书周围的桌面为可投影相邻区域。

所述区域分析确定单元142,用于分析所述展示信息在所述可投影表面区域和/或所述可投影相邻区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;

进一步的,请一并参见图7,是所述区域分析确定单元142的结构示意图,所述区域分析确定单元142可以包括:第一坐标获取子单元1421、坐标分析子单元1422、第一区域确定子单元1423、第二坐标获取子单元1424、坐标转换子单元1425、第二区域确定子单元1426;

所述第一坐标获取子单元1421,用于当所述目标物体属于实时交互类型的物体时,获取位于所述目标物体上的交互类物体在所述可投影表面区域上的位置坐标;

所述坐标分析子单元1422,用于根据所述交互类物体的位置坐标和预设的交互逻辑,分析所述展示信息中的交互类子信息在所述可投影表面区域上的位置坐标;

所述第一区域确定子单元1423,用于根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;

其中,所述第一坐标获取子单元1421、所述坐标分析子单元1422以及所述第一区域确定子单元1423的具体实现功能可以参见上述图2对应实施例中的s204-s206,这里不再进行赘述。

所述第二坐标获取子单元1424,用于当所述目标物体属于实时交互类型的物体时,获取所述展示信息所携带的交互类子信息的虚拟位置坐标;

所述坐标转换子单元1425,用于将所述交互类子信息的虚拟位置坐标转换为在所述可投影表面区域上的位置坐标;

所述第二区域确定子单元1426,用于根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域;

其中,所述第二坐标获取子单元1424、所述坐标转换子单元1425以及所述第二区域确定子单元1426的具体实现功能可以参见上述图3对应实施例中的s304-s306,这里不再进行赘述。

其中,所述第一坐标获取子单元1421、所述坐标分析子单元1422以及所述第一区域确定子单元1423可以用于实现用户与所述数据投影装置1之间的对弈类交互(如下象棋);所述第二坐标获取子单元1424、所述坐标转换子单元1425以及所述第二区域确定子单元1426可以实现用户与远程用户之间的对弈类交互(如所述数据投影装置1可以将远程用户的棋子图像投影到用户眼前的棋盘上)。所述第一坐标获取子单元1421、所述坐标分析子单元1422以及所述第一区域确定子单元1423在执行相应操作时,所述第二坐标获取子单元1424、所述坐标转换子单元1425以及所述第二区域确定子单元1426可以停止执行操作;同样的,所述第二坐标获取子单元1424、所述坐标转换子单元1425以及所述第二区域确定子单元1426在执行相应操作时,所述第一坐标获取子单元1421、所述坐标分析子单元1422以及所述第一区域确定子单元1423可以停止执行操作。

进一步的,请一并参见图8,是所述投影模块15的结构示意图,所述投影模块15可以包括:图像生成单元151、调整单元152、控制投影单元153;

所述图像生成单元151,用于生成与所述展示信息对应的投影图像;所述投影图像携带所述展示信息中的图案信息和/或文字信息;

所述调整单元152,用于根据所述目标物体对应的目标投影区域,调整投影仪的角度,并根据所述三维数据对所述投影图像的形状和尺寸进行调整;

所述控制投影单元153,用于控制已调整角度的投影仪将调整后的投影图像投影至所述目标物体对应的目标投影区域;

其中,所述图像生成单元151、所述调整单元152以及所述控制投影单元153的具体实现功能可以参见上述图1对应实施例中的s103,这里不再进行赘述。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果;而且用户还可以通过操作实体物体与所投影的虚拟影像中的虚拟物体进行交互。

再请参见图9,是本发明实施例提供的另一种数据投影装置的结构示意图。所述数据投影装置1可以包括上述图4对应实施例中的语音获取识别模块16、物体类型查找模块17、物体确定模块11、三维数据获取模块12、展示信息获取模块13、区域确定模块14、投影模块15,进一步的,所述数据投影装置1还可以包括:模型生成模块18、更新模块19;

所述模型生成模块18,用于根据所述目标物体的三维数据以及与所述目标物体相邻的物体的三维数据,生成三维空间模型;

所述更新模块19,用于当接收到对所述三维空间模型的修改指令时,根据所述修改指令在所述三维空间模型中查找新投影区域,并将所述目标投影区域更新为所述新投影区域,并根据所述修改指令将所述展示信息更新为新展示信息;

所述投影模块15,还用于将携带所述新展示信息的投影图像投影至所述新投影区域。

其中,所述模型生成模块18和所述更新模块19的具体实现功能可以参见上述图1b对应实施例中对三维空间模型的描述过程,这里不再进行赘述。

通过构建三维空间模型,可以使得在更新投影图像或更新目标物体时,数据投影装置1无需重新计算三维数据,即所述数据投影装置1可以通过所述三维空间模型高效地完成更新后的投影。

请参见图10,是本发明实施例提供的又一种数据投影装置的结构示意图。如图10所示,所述数据投影装置1000可以包括:至少一个处理器1001,例如cpu,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002以及电动云台1006。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(display)、键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。其中,电动云台1006可选的可以包括至少一个摄像机和至少一个投影仪。如图10所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。

在图10所示的数据投影装置1000中,网络接口1004主要用于连接服务器,与所述服务器进行数据通信;而用户接口1003主要用于为用户提供输入的接口,获取用户输出的数据;而电动云台1006主要用于控制摄像机的拍摄角度和控制投影仪的投影角度;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,并具体执行以下步骤:

控制摄像机获取环境图像信息,并基于预设视觉算法在所述环境图像信息中确定目标物体;

获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息;

根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据所述三维数据调整携带所述展示信息的投影图像,并控制投影仪将调整后的投影图像投影至所述目标物体对应的目标投影区域。

在一个实施例中,所述处理器1001在执行获取环境图像信息之前,还执行以下步骤:

获取用户语音输入信息,并识别所述用户语音输入信息中的目标关键词;

在预设的物体类型信息匹配库中查找与所述目标关键词对应的目标物体类型信息;所述物体类型信息匹配库包括至少一个关键词与至少一个物体类型信息之间的映射关系;

则所述基于预设视觉算法在所述环境图像信息中确定目标物体,具体包括:

基于预设视觉算法在所述环境图像信息中识别出与所述目标物体类型信息对应的物体图像,并将所述物体图像对应的物体确定为目标物体。

在一个实施例中,所述处理器1001在执行获取所述目标物体的三维数据时,具体执行以下步骤:

对所述环境图像信息进行分割,得到多个环境图像片段;

在所述多个环境图像片段中获取包含所述目标物体的片段图形特征的至少一个目标环境图像片段,将所述至少一个目标环境图像片段组合为目标区域图像;

控制投影仪向所述目标区域图像对应的目标区域投影预设的测试图案,并控制摄像机在所述目标区域中采集覆盖有所述测试图案的所述目标物体对应的图像信息,并作为待测试图像信息;

对所述待测试图像信息进行视觉测量,得到在所述目标区域中的所述目标物体的三维数据。

在一个实施例中,所述处理器1001在执行根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域时,具体执行以下步骤:

根据所述三维数据确定所述目标物体上的可投影表面区域以及与所述目标物体相邻的可投影相邻区域;

分析所述展示信息在所述可投影表面区域和/或所述可投影相邻区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域。

在一个实施例中,所述处理器1001在执行分析所述展示信息在所述可投影表面区域和/或所述可投影相邻区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域时,具体执行以下步骤:

当所述目标物体属于实时交互类型的物体时,获取位于所述目标物体上的交互类物体在所述可投影表面区域上的位置坐标;

根据所述交互类物体的位置坐标和预设的交互逻辑,分析所述展示信息中的交互类子信息在所述可投影表面区域上的位置坐标;

根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域。

在一个实施例中,所述处理器1001在执行分析所述展示信息在所述可投影表面区域和/或所述可投影相邻区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域时,具体执行以下步骤:

当所述目标物体属于实时交互类型的物体时,获取所述展示信息所携带的交互类子信息的虚拟位置坐标;

将所述交互类子信息的虚拟位置坐标转换为在所述可投影表面区域上的位置坐标;

根据所述交互类子信息在所述可投影表面区域上的位置坐标,确定所述展示信息在所述可投影表面区域上的信息展示区域,并将所述信息展示区域确定为所述目标物体对应的目标投影区域。

在一个实施例中,所述处理器1001在执行根据所述三维数据调整携带所述展示信息的投影图像,并控制投影仪将调整后的投影图像投影至所述目标物体对应的目标投影区域时,具体执行以下步骤:

生成与所述展示信息对应的投影图像;所述投影图像携带所述展示信息中的图案信息和/或文字信息;

根据所述目标物体对应的目标投影区域,控制电动云台1006调整投影仪的角度,并根据所述三维数据对所述投影图像的形状和尺寸进行调整;

控制已调整角度的投影仪将调整后的投影图像投影至所述目标物体对应的目标投影区域。

在一个实施例中,所述处理器1001还执行以下步骤:

根据所述目标物体的三维数据以及与所述目标物体相邻的物体的三维数据,生成三维空间模型;

当接收到对所述三维空间模型的修改指令时,根据所述修改指令在所述三维空间模型中查找新投影区域,并将所述目标投影区域更新为所述新投影区域,并根据所述修改指令将所述展示信息更新为新展示信息;

控制投影仪将携带所述新展示信息的投影图像投影至所述新投影区域。

本发明实施例通过在所述环境图像信息中确定出目标物体,并获取所述目标物体的三维数据,并获取与所述目标物体相关联的展示信息,从而可以根据所述三维数据和所述展示信息确定所述目标物体对应的目标投影区域,并根据三维数据调整携带展示信息的投影图像,并将调整后的投影图像投影至目标物体对应的目标投影区域。由于可以将投影图形投影到实物上,使得虚拟影像可以与真实物体混合在一起,避免了最终展示区域只能处于显示屏幕中,即最终展示区域可以位于真实环境中的任意区域,进而可以丰富显示效果;而且用户还可以通过操作实体物体与所投影的虚拟影像中的虚拟物体进行交互。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1