增强现实实时交互系统及方法
【专利摘要】一种增强现实实时交互系统及其方法，其特征在于，该交互系统包括远程采集端和控制终端，远程采集端实时采集现实世界的视频信息，形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息，并将该源信息远程传送给所述控制终端，控制终端接收由远程采集端发送过来的源信息，其将接收到的源信息与相对应的虚拟世界对象的详细信息组合而形成增强现实图像，并在增强现实中输出所形成的增强现实图像。此外，远程采集端设有驱动器，控制终端设有控制器，控制器可通过无线向驱动器发出运动控制信号以控制驱动器运动，使得控制终端可远程控制所述远程采集端进行运动，使远程采集端被控运动而可按用户需要实时的连续的采集所需视角状态下的现实世界的视频信息。
【专利说明】
増强现实实时交互系统及方法
【技术领域】
[0001]本发明涉及增强现实技术，特别涉及一种关于远程的增强现实实时交互系统及方法。
【【背景技术】】
[0002]增强现实(AR)是将用户眼中示出的现实世界与带有附加信息的虚拟世界组合在一起并且将组合后的世界作为一个图像示出的一种虚拟现实。尽管这样的增强现实与虚拟现实有部分相似，但虚拟现实仅向用户提供虚拟的空间和对象，而增强现实则在现实世界输入的基础上合成虚拟信息，并且提供通过仅从显示现实世界难以获得的附加信息所加强的合成信息。与基于完美的虚拟世界的虚拟现实不同，增强现实可以通过向现实世界的环境添加虚拟世界对象来为用户提供更加生动的现实感。现有的增强现实技术通常都是以用户当前所处位置的眼前的现实世界为基础而与虚拟世界对象进行合成的，其只能使用户体验到用户当前所能到达的位置的基于当前眼前现实世界的增强现实图像，而对于用户无法亲自到达的位置，则无法实现增强现实的体验；而实际中，很多场所是用户无法亲自到达的。
【
【发明内容】
】
[0003]本发明旨在解决上述问题，而提供一种基于非眼前现实世界的增强现实实时交互系统及方法。
[0004]为实现上述目的，本发明提供了一种增强现实实时交互系统，其特征在于，其包括远程采集端和控制终端，所述远程采集端其实时采集现实世界的视频信息，形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息，并将该源信息远程传送给控制终端;所述控制终端接收由远程采集端发送过来的源信息，其根据接收到的源信息查询出存储于控制终端内的与该源信息相匹配的虚拟世界对象的详细信息，并将该详细信息与所述源信息组合，形成由现实世界的视频信息和虚拟世界对象组合而成的增强现实图像，并在增强现实中输出所形成的增强现实图像。
[0005]进一步地，所述控制终端设有控制器，所述远程采集端设有驱动器，所述控制器和所述驱动器通过无线连接，所述控制器可通过无线向所述驱动器发出运动控制信号以控制驱动器运动，从而使得所述控制终端可远程控制所述远程采集端进行运动。
[0006]进一步地，所述远程采集端实时接收由所述控制终端发送过来的运动控制信号，其根据所述运动控制信号按预定的运动模式运动，并在运动过程中不间断的实时的采集现实世界的视频信息及实时的传送经采集而形成的源信息。
[0007]进一步地，所述远程采集端包括第一无线传输单元、视频采集单元，所述视频采集单元实时采集现实世界中的视频信息并形成所述源信息，所述第一无线传输单元分别与所述视频采集单元及驱动器连接，该第一无线传送单元实时地将视频采集单元实时采集的源信息无线发送至所述控制终端，并实时地接收由所述控制终端发送过来的运动控制信号。
[0008]进一步地，所述控制终端包括增强现实数据库、第二无线传输单元、匹配单元及显示单元，所述增强现实数据库存储虚拟世界对象的详细信息，所述匹配单元根据控制终端接收到的源信息查询出存储于增强现实数据库中的与该源信息相匹配的虚拟世界对象的详细信息，所述显示单元将存储于所述增强现实数据库中的详细信息与控制终端接收到的源信息组合而形成增强现实图像，并在增强现实中输出所形成的增强现实图像，所述第二无线传输单元分别与所述匹配单元及控制器连接，该第二无线传输单元实时的接收由远程采集端发送的采集于现实世界的源信息，并实时的向所述远程采集端发送运动控制信号以控制远程采集端运动。
[0009]进一步地，所述第一无线传输单元和第二无线传输单元包括wifi无线传输单元、射频无线传输单元、蓝牙无线传输单元、3G无线传输单元、4G无线传输单元。
[0010]进一步地，所述远程采集端根据所述控制终端发送的运动控制信号可进行包括前进、后退、上升、下降、转弯、转动、变换形状、发出声音、变焦、打开补光灯在内的运动。
[0011]本发明还旨在提供一种增强现实实时交互方法，其特征在于，该方法包括以下步骤:
[0012]A、由远程采集端实时采集现实世界的视频信息，并形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息；
[0013]B、远程采集端实时的发送所述源信息；
[0014]C、控制终端实时的接收所述源信息；
[0015]D、根据接收到的源信息查询出与该源信息相匹配的虚拟世界对象的详细信息；
[0016]E、将所述详细信息与所述源信息组合，形成由现实世界的视频信息和虚拟世界对象组合而成的增强现实图像；
[0017]F、在增强现实中输出并显示所述形成的增强现实图像。
[0018]进一步地，步骤A还包括以下步骤:
[0019]远程采集端实时接收由控制终端发送过来的运动控制信号；
[0020]远程采集端在实时采集过程中实时的根据运动控制信号进行运动；
[0021]远程采集端在运动过程中不间断的实时的采集现实世界的视频信息。
[0022]进一步地，所述远程采集端根据所述控制终端发送的运动控制信号可进行包括前进、后退、上升、下降、转弯、转动、变换形状、发出声音、变焦、打开补光灯在内的运动
[0023]本发明的有益贡献在于，其有效解决了上述问题。本发明利用远程采集端实时的采集远方的现实世界的视频信息，并通过无线技术无线传输给用户当前所使用的控制终端，使得控制终端可实时的输出由非眼前的现实世界的视频信息和虚拟世界对象组合而成的增强现实图像，使得用户不需到达远程采集端所处的位置便可真实的体验远程采集端周围的场景。此外，本发明通过在远程采集端设置驱动器，在控制终端设置控制器，从而使得用户可通过控制终端实时的控制远程采集端的运动，使得远程采集端采集到用户所希望看到的远方的现实世界的场景，进而使增强现实与现实世界之间达到实时交互，达到通过远程实时而准确的采集到所需的远方现实世界的视频信息的目的。由于远程采集端不与控制终端集成在一个设备上，因而远程采集端可设置在离控制终端很远的距离或用户无法到达的地方，且远程采集端可受控运动而按需采集，从而使得增强现实图像中的现实世界不局限于用户眼前所见的现实世界，进而大大扩大增强现实技术的应用范围。【【附图说明】】
[0024]图1是本发明的结构框图。
[0025]图2是本发明的方法流程图。
【【具体实施方式】】
[0026]下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
[0027]如图1所示，本发明的增强现实实时交互系统包括远程采集端I和控制终端2。
[0028]所述远程采集端I用于实时采集现实世界的视频信息，并将该信息远程传送给所述控制终端2;所述控制终端2用于根据接收到的现实世界的视频信息而将其与虚拟世界对象进行组合，以形成增强现实图像，并在增强现实中输出该增强现实图像，使用户切实的感受到由远方的现实世界和虚拟世界对象组合而形成的增强现实感。
[0029]具体地，本发明的远程采集端I包括驱动器11、第一无线传输单元12、视频采集单元13。所述控制终端2包括控制器21、增强现实数据库22、第二无线传输单元23、匹配单元24及显示单元25。
[0030]所述视频采集单元13用于实时的采集该远程采集端I所处位置的现实世界中的视频信息，并将该视频信息形成可以传输的、并可与虚拟世界对象进行组合而形成增强现实图像的源信息。该源信息所包含的具体内容信息及存储格式或传输格式，可根据需要或场景情况而设定，其不应被限制。所述视频采集单元13可选用公知的摄像头、麦克风等部件。
[0031]所述第一无线传输单元12用于与控制终端2进行无线通讯，所述第二无线传输单元23用于与远程采集端I进行无线通信。所述远程采集端I和控制终端2通过第一无线传输单元12和第二无线传输单元23建立连接而使得远程采集端I可接收由控制终端2发送过来的运动控制信号及向控制终端2发送由视频采集单元13所采集的视频信息，使得控制终端2可接收由远程采集端I发送的源信息及向远程采集端I发送运动控制信号。
[0032]所述第一无线传输单元12分别与所述驱动器11及视频采集单元13连接。所述驱动器11用于驱动所述远程采集端I运动，其通过第一无线传输单元12接收由控制终端2发送过来的运动控制信号，其根据运动控制信号而实时的驱动远程采集端I按照指令进行运动。所述驱动器11可采用公知的驱动器11，如电机类的驱动等。
[0033]所述控制器21用于远程控制所述远程采集端I运动，其与所述第二无线传输单元23连接，其通过所述第二无线传输单元23与远程采集端I进行无线连接，从而向所述远程采集端I的驱动器11发送运动控制信号，控制远程采集端I运动。通过所述控制器21可远程控制远程采集端I进行如下但不局限于如下的运动:使远程采集端I前进、后退、加速、转弯、转动、上升、下降、打开补光灯、发出声音、变换形状、变焦等运动。用户可通过所述控制器21，在任意需要的时间点对远程米集端I进行运动控制，当远程米集端I在运动时，其视频米集单元13不间断的工作，从而使得视频采集单元13可采集到连续的现实世界场景。
[0034]所述增强现实数据库22用于存储虚拟世界对象的详细信息。所述虚拟世界对象可以包括人物对象、产品对象或特定位置对象等。所述虚拟世界对象可以是一个或多个。在一些实施例中，所述增强现实数据库22可以将所述虚拟世界对象的详细信息映射到该增强现实数据库22中的对应字段名中，根据该增强现实数据库22的字段值的格式来转换数据类型和格式，并存储所转换的数据类型和格式。
[0035]所述匹配单元24用于根据控制终端2接收到的源信息而查询出存储在增强现实数据库22中的与该源信息相匹配的虚拟世界对象的详细信息。例如，在汽车维修的增强现实应用实例中，现实世界场景为待维修的汽车，虚拟世界对象为各部件的维修演示，那么，在增强现实数据库22中便存储有与每个汽车部件相对应的维修演示，如部件I对应维修演示I，部件2对应维修演示2……等；当视频采集单元13在采集现实世界场景时采集到当前的部件为部件3时，所述匹配单元24则从增强现实数据库22中的维修演示详细信息中查找出与部件3相对应的维修演示3的详细信息。
[0036]所述显示单元25用于将存储于所述增强现实数据库22中的详细信息与控制终端2接收到的源信息组合而形成增强现实图像，并在增强现实中输出所形成的增强现实图像。例如，当匹配单元24查找出与部件3相对应的维修演示3时，所述显示单元25则将维修演示3的详细信息与部件3的源信息进行组合，从而形成部件3的维修演示结果，并最终显示出该部件的维修演示过程的图像，使用户切实而直观的体验到该部件3是如何进行维修的。所述显示单元25在现实世界中的形态，可以是多样的，例如可以是智能手机的显示屏，平板电脑的显示屏，头戴式头盔的投影装置等。
[0037]藉此，便构成了本发明的增强现实实时交互系统。远程采集端I在控制终端2的控制下按要求调整方位，并实时的采集现实世界的视频信息，然后通过第一无线传输单元12发送至控制终端2，控制终端2实时接收现实世界的视频信息，并将其与存储在控制终端2内的与之相对应的虚拟世界对象进行合成，从而形成由现实世界和虚拟世界对象组成的增强现实图像，并在增强现实中输出所形成的增强现实图像，从而使用户感受到更加生动的现实感。本发明的增强现实实时交互系统不仅远程采集显示世界的内容，而且远程采集端I可通过无线而由用户通过控制终端2进行控制，从而可实时的准确的获取所需的视频信息。本发明的增强现实实时交互系统可应用于多种场景，其不局限于本发明所示出的具体的实施例。
[0038]图2示出了本发明的增强现实实时交互方法的流程图:
[0039]先使远程采集端I和控制终端2建立无线通信连接;该过程中，可使用任何公知的技术来实现，如可通过wifi无线连接、3G无线连接、4G无线连接而使远程采集端I和控制终端2建立连接，使之可以进行数据通信。
[0040]控制终端2向远程采集端I发送运动控制信号，要求远程采集端I开始采集现实世界的视频数据。远程采集端I在控制终端2的控制下进行运动，并在运动过程中实时采集现实世界的视频信息，形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息。远程采集端I实时地向控制终端2发送所采集到的源信息，控制终端2实时的接收所述源信息。当远程采集端I在控制终端2的控制下进行运动时，所述远程采集端I的运动使得用户可更准确而实时的获取所需的远方现实世界的视频信息。所述远程采集端I在控制终端2的控制下，可以进行如下但不局限于如下的运动:使远程采集端I前进、后退、加速、转弯、转动、上升、下降、打开补光灯、发出声音、变换形状、变焦等运动。
[0041]控制终端2接收到现实世界的源信息后，查询出存储于其数据库内的与该源信息相匹配的虚拟世界对象的详细信息，并将该详细信息与所述源信息进行组合，从而形成由现实世界的视频信息和虚拟世界对象组合而成的增强现实图像，然后在增强现实中输出并显示所形成的增强现实图像，使用户感受到由现实世界和虚拟世界对象叠加形成的现实感。
[0042]尽管通过以上实施例对本发明进行了揭示，但是本发明的范围并不局限于此，在不偏离本发明构思的条件下，以上各构件可用所属技术领域人员了解的相似或等同元件来替换。
【主权项】
1.一种增强现实实时交互系统，其特征在于，其包括: 远程采集端(I )，其实时采集现实世界的视频信息，形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息，并将该源信息远程传送给控制终端(2); 控制终端(2)，其接收由远程采集端(I)发送过来的源信息，其根据接收到的源信息查询出存储于控制终端(2)内的与该源信息相匹配的虚拟世界对象的详细信息，并将该详细信息与所述源信息组合，形成由现实世界的视频信息和虚拟世界对象组合而成的增强现实图像，并在增强现实中输出所形成的增强现实图像。2.如权利要求1所述的增强现实实时交互系统，其特征在于，所述控制终端(2)设有控制器(21)，所述远程采集端(I)设有驱动器(11)，所述控制器(21)和所述驱动器(11)通过无线连接，所述控制器(21)可通过无线向所述驱动器(11)发出运动控制信号以控制驱动器(11)运动，从而使得所述控制终端(2)可远程控制所述远程采集端(I)进行运动。3.如权利要求2所述的增强现实实时交互系统，其特征在于，所述远程采集端(I)实时接收由所述控制终端(2)发送过来的运动控制信号，其根据所述运动控制信号按预定的运动模式运动，并在运动过程中不间断的实时的采集现实世界的视频信息及实时的传送经采集而形成的源信息。4.如权利要求2所述的增强现实实时交互系统，其特征在于，所述远程采集端(I)包括第一无线传输单元(12)、视频采集单元(13)，所述视频采集单元(13)实时采集现实世界中的视频信息并形成所述源信息，所述第一无线传输单元(12)分别与所述视频采集单元(13)及驱动器(11)连接，该第一无线传送单元实时地将视频采集单元(13)实时采集的源信息无线发送至所述控制终端(2)，并实时地接收由所述控制终端(2)发送过来的运动控制信号。5.如权利要求3所述的增强现实实时交互系统，其特征在于，所述控制终端(2)包括增强现实数据库(22)、第二无线传输单元(23)、匹配单元(24)及显示单元(25)，所述增强现实数据库(22)存储虚拟世界对象的详细信息，所述匹配单元(24)根据控制终端(2)接收到的源信息查询出存储于增强现实数据库(22)中的与该源信息相匹配的虚拟世界对象的详细信息，所述显示单元(25)将存储于所述增强现实数据库(22)中的详细信息与控制终端(2)接收到的源信息组合而形成增强现实图像，并在增强现实中输出所形成的增强现实图像，所述第二无线传输单元(23)分别与所述匹配单元(24)及控制器(21)连接，该第二无线传输单元(23)实时的接收由远程采集端(I)发送的采集于现实世界的源信息，并实时的向所述远程采集端(I)发送运动控制信号以控制远程采集端(I)运动。6.如权利要求5所述的增强现实实时交互系统，其特征在于，所述第一无线传输单元(12)和第二无线传输单元(23)包括wifi无线传输单元、射频无线传输单元、蓝牙无线传输单元、3G无线传输单元、4G无线传输单元。7.如权利要求6所述的增强现实实时交互系统，其特征在于，所述远程采集端(I)根据所述控制终端(2)发送的运动控制信号可进行包括前进、后退、上升、下降、转弯、转动、变换形状、发出声音、变焦、打开补光灯在内的运动。8.一种增强现实实时交互方法，其特征在于，该方法包括以下步骤: A、由远程采集端(I)实时采集现实世界的视频信息，并形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息； B、远程采集端(I)实时的发送所述源信息； C、控制终端(2)实时的接收所述源信息； D、根据接收到的源信息查询出与该源信息相匹配的虚拟世界对象的详细信息； E、将所述详细信息与所述源信息组合，形成由现实世界的视频信息和虚拟世界对象组合而成的增强现实图像； F、在增强现实中输出并显示所述形成的增强现实图像。9.如权利要求8所述的增强现实实时交互方法，其特征在于，步骤A还包括以下步骤: 远程采集端(I)实时接收由控制终端(2)发送过来的运动控制信号； 远程采集端(I)在实时采集过程中实时的根据运动控制信号进行运动； 远程采集端(I)在运动过程中不间断的实时的采集现实世界的视频信息。10.如权利要求9所述的增强现实实时交互方法，其特征在于，所述远程采集端(I)根据所述控制终端(2)发送的运动控制信号可进行包括前进、后退、上升、下降、转弯、转动、变换形状、发出声音、变焦、打开补光灯在内的运动。
【文档编号】H04N7/18GK105975232SQ201610296789
【公开日】2016年9月28日
【申请日】2016年5月6日
【发明人】陈仔俊
【申请人】深圳市吾悦科技有限公司