一种增强现实的实现方法及装置制造方法
【专利摘要】本发明公开了一种增强现实的实现方法及装置。其中所述方法包括：接收现实图像信息，根据所述现实图像信息调用至少两个增强元素；比较所述增强元素的优先级；根据优先级比较结果展示所述增强元素的信息。通过比较增强元素的优先级，根据优先级比较结果同时展示多个增强元素的信息，使多个增强元素的信息合理分层，避免遮挡，突破了增强现实技术只展示一个增强元素、多个增强元素混乱无序的局限，提升了使用增强现实应用的用户体验。
【专利说明】一种增强现实的实现方法及装置
【技术领域】
[0001]本发明涉及增强现实技术，尤其涉及增强现实的实现方法及装置。
【背景技术】
[0002]增强现实(Augmented reality,下面简称AR),是一种结合虚拟化技术来呈现世界的方式，AR能为我们提供现实中无法直接获知的信息。随着移动设备计算能力的快速提升，AR技术的应用越来越广泛。如医生可以利用增强现实技术，轻易地进行手术部位的精确定位。增强现实在工业上也已经出现很多应用，目前主要用于大型器械的维修和制造上，通过为维修人员装备头戴式展示器，维修人员可以在维修时轻松获取对他们有用的很多帮助信息。此外，增强现实在游戏和娱乐中的应用同样很多。
[0003]在实现本发明的过程中，发明人发现，现有技术只能在现实影像上叠加一层或一种类型的虚拟信息作为增强元素，对现实的增强方式不够灵活，增强现实内容不够丰富，用户体验性有待提高，尤其是在用户需要多种增强方式的情况下，具有一定的局限性。此外，在调用多个增强元素的情况下，需要以合理的方式展示增强元素的信息，以便于用户有效接受增强元素传达的信息。
【发明内容】
[0004]本发明提供一种增强现实的实现方法及装置。旨在丰富增强现实内容，并灵活组合不同类型的增强元素，提高用户体验。
[0005]本发明的第一个方面提供了一种增强现实的实现方法，其包括:接收现实图像信息；根据所述现实图像信息调用至少两个增强元素；当调用至少两个增强元素时，对调用的所述至少两个增强元素的优先级进行比较；根据优先级比较结果展示所述至少两个增强元素的信息。
[0006]在对所述增强元素的优先级进行比较时，可根据以下步骤:
[0007]如果增强元素预先设定了对应的优先级，则直接比较所设定的优先级；
[0008]如果增强元素未预先设定优先级，则根据增强元素的类型来确定优先级。
[0009]其中，根据增强元素的类型来确定优先级可如下进行:文字类型的增强元素具有最高优先级，其次为带透明通道的图片类型的增强元素，再次为三维立体模型类型的增强元素，视频类型的增强元素具有最低优先级。
[0010]所述增强元素的信息可同时展示，并根据优先级比较结果顺序分层展示，优先级较高的增强元素的信息位于优先级较低的增强元素的信息的上层，所述现实图像信息位于展示结果的最底层。
[0011]在一种实现方式中，当所述增强元素为音频增强元素时，调用音频增强元素的优先级信息，根据所述音频增强元素的优先级信息确定音量级别，根据确定的所述音量级别播放音频增强元素。
[0012]在另一种实现方式中，当所述增强元素为视频时，对所述视频进行背景透明化处理；在展示所述视频时将视频帧画面的背景颜色通过着色器替换为透明像素。
[0013]在又一种实现方式中，所述增强现实的实现方法还包括:接收好友分享的增强元素，用户可将所述分享的增强元素下载并保存在本地存储，任选自定义其优先级；根据分享的增强元素的优先级展示所述分享的增强元素。通常将所分享的增强元素设置为最高优先级。
[0014]本发明的第二个方面为一种提供增强现实的装置，其包括:
[0015]接收现实单元，用于接收现实图像信息；
[0016]增强现实引擎单元，用于根据现实图像信息调用至少两个增强元素；
[0017]优先级比较单元，用于比较调用的所述至少两个增强元素的优先级；
[0018]增强元素信息展示单元，用于根据所述优先级比较单元得到的优先级比较结果展示一个或多个增强元素的信息。
[0019]在优先级比较单元中对所述增强元素的优先级进行比较时，可根据以下步骤:
[0020]如果增强元素预先设定了对应的优先级，则直接比较所设定的优先级；
[0021]如果增强元素未预先设定优先级，则根据增强元素的类型来确定优先级。
[0022]其中，根据增强元素的类型来确定优先级可如下进行:文字类型的增强元素具有最高优先级，其次为带透明通道的图片类型的增强元素，再次为三维立体模型类型的增强元素，视频类型的增强元素具有最低优先级。
[0023]所述增强元素信息展示单元可同时显示所述增强元素的信息，并根据优先级比较结果顺序展示，优先级较高的增强元素的信息位于优先级较低的增强元素的信息的上层，所述现实图像信息位于展示结果的最底层。
[0024]在一种实现方式中，当所述增强元素为音频时，所述优先级比较单元调用音频增强元素优先级信息，并根据所述音频增强元素优先级信息确定音量级别。所述增强元素信息展示单元根据确定的所述音量级别播放音频增强元素。
[0025]在另一种实现方式中，当所述增强元素为视频时，所述增强元素信息展示单元对所述视频进行背景透明化处理，在所述增强元素信息展示单元展示所述视频时将视频帧画面的背景颜色通过着色器替换为透明像素。
[0026]在又一种实现方式中，增强现实的装置还包括:
[0027]分享单元，用于接收好友分享的增强元素，下载所述分享的增强元素，并保存在本地存储；
[0028]优先级比较单元中，用户可任选自定义所述分享的增强元素的优先级，通常将其设定为最高优先级；
[0029]所述增强元素信息展示单元根据优先级展示所述分享的增强元素。
[0030]在上述对本发明的描述中，所述增强元素的类型包括但不限于文本、图片、视频、音频中的至少一种，且所述增强元素的信息包括但不限于以下至少之一:1)所述增强元素本身，2)所述增强元素的缩略形式，3)所述增强元素的示意图标，4)对所述增强元素的文字描述。
[0031]本发明通过比较增强元素的优先级，根据优先级比较结果展示多个增强元素的信息，使多个增强元素的信息以合理方式展示。在同时显示多个增强元素的信息时，本发明的方法使这些信息合理分层，避免遮挡，突破了只展示一个增强元素的限制，提升了使用增强现实应用的用户体验。并可以更加灵活的组合不同类型的增强元素，使得各增强元素有序展示，保证最佳的视觉效果。另外还可以根据优先级调整增强元素的音量，从而实现了声音的混合控制，兼顾了视觉和听觉，用户体验更加完整。
【专利附图】
【附图说明】
[0032]为了更清楚地说明本发明实施例，可参考以下附图对本说明书的技术方案进行理解。以下附图仅为本说明书的示例性描述，本说明书并不受限于附图的描述。
[0033]图1为描述本发明提供的增强现实的实现方法的框图。
[0034]图2为描述了本发明的增强现实的实现方法优选实施例的流程图。
[0035]图3为描述了本发明的增强现实的实现方法优选实施例的流程图。
[0036]图4示意描述了本发明的一个优选实施例。
[0037]图5为描述了本发明的增强现实装置的优选实施例的示意图。
【具体实施方式】
[0038]下面将结合附图，对本发明的优选实施例中的技术方案进行清楚、完整的描述。
[0039]实施例1
[0040]参考图1，本发明的优选实施例描述了一种增强现实的实现方法，其包括:
[0041]101.接收现实图像信息；
[0042]102.根据所述现实图像信息调用至少两个增强元素；
[0043]103.当调用至少两个增强元素时，对调用的所述至少两个增强元素的优先级进行比较；
[0044]104.根据优先级比较结果展示所述至少两个增强元素的信息。
[0045]所述增强元素的类型包括但不限于文本、图片、视频、音频中的至少一种，且所述增强元素的信息包括但不限于以下至少之一:1)所述增强元素本身，2)所述增强元素的缩略形式，3)所述增强元素的示意图标，4)对所述增强元素的文字描述。
[0046]实施例2
[0047]本发明的第二优选实施例中，描述了同时展示两个视频类型的增强元素的实现方案。一般现有技术中，终端设备可以在摄像头捕捉到目标图像时，将一个视频的帧画面渲染叠加到现实图像中，如果同时叠加展示两个视频的内容，则会出现画面遮挡的情况。制作透明视频的成本远低于三维模型，但是目前多数移动终端都还不支持带Alpha通道的透明视频的播放，但是本发明实施例中可以在帧画面渲染着色时将背景颜色通过着色器(Shader )替换为透明像素，从而解决两个视频同时展示时出现遮挡的问题。如图2所示，具体的步骤如下:
[0048]201、接收现实图像信息。可使用图像接收装置，例如摄像头接收显示图像信息，也可在本地存储中提取图像信息作为现实图像信息。
[0049]202、根据现实图像信息调用第一增强元素和第二增强元素。其中第一增强元素和第二增强元素都为视频，对两个视频提取关键帧。如对每个视频都提取总视频长度的1/4，1/2，3/4处的帧画面。因为很多视频在开头或结尾都是全黑色的画面，或者内容比较简单，不适合将视频的开头或结尾作为关键帧进行分析。[0050]203、比较第一增强元素和第二增强元素的优先级。可以对每个视频的关键帧进行分析，如果其中一个视频提取的所有关键帧画面中的单一颜色的像素占画面比例都超过预设阈值，则确定该视频具有高优先级，后续进行透明化处理。单一颜色的像素占画面比例的预设阈值可以为1/2, —般大于1/3。
[0051]还可以对两个视频的关键帧的颜色信息进行比较的方式来确定要对哪个视频进行透明化处理。将每个视频关键帧中的每种颜色的像素数量进行累加，然后将最多数量的像素所占比例进行对比，对比例较高的对应视频进行透明化处理。如第一视频提取的所有关键帧中最多的黑色颜色的像素累计总数约占所有关键帧像素总数的4/7，而第二视频中所有关键帧中最多的白色颜色的像素累计总数约占所有关键帧像素总数的1/3，则将比例较大的第一视频进行后续透明化处理。
[0052]当然也可以预先设定视频的优先级以及指定高优先级视频的背景颜色，对高优先级的视频进行后续背景透明化处理，在展示该视频时将视频帧画面的背景颜色通过着色器替换为透明像素。
[0053]204、根据优先级比较结果展示所述第一增强元素信息和第二增强元素信息。先渲染展示低优先级的视频帧画面，再将高优先级的视频帧画面进行透明化处理后展示，这样可以让高优先级的透明视频展示在低优先级的视频上层，展示效果更佳。如高优先级的视频为蝴蝶飞舞的动画内容画面，低优先级的视频为风吹草地的动画，现实图像中的目标为一幅草地的静态照片，则当设备的摄像头检测到目标时，播放对应的增强元素。用户的体验是在设备的屏幕中看到静态的草地照片动了起来，并且草地上出现飞舞的蝴蝶。
[0054]通过本发明的技术方案，可以灵活的组合各种视频作为增强元素，而不必事先就将视频合成。如可以将蝴蝶飞舞的视频与其他各种视频(如水面涟漪，跳舞等)组合，从而大大丰富增强现实应用的内容和体验。另外增强元素可以是在设备本地存储的，也可以是从网络获取的。
[0055]实施例3
[0056]本发明中同时展示的增强元素还可以是不同媒体类型的，如第一增强元素为视频，第二增强元素为声音。本发明的第三优选实施例中，实现将声音增强元素作为视频增强元素的背景音乐的场景。如图3所示，具体步骤包括:
[0057]301、预先设置视频增强元素和声音增强元素的优先级。优先级对应分配音量的级另IJ，如可以将视频增强元素的优先级设为0，而声音增强元素的优先级设为1，则表示不使用视频中的音频，只使用声音增强元素中的音频。
[0058]302、接收现实图像信息，可使用图像接收装置，例如摄像头接收现实图像信息，也可在本地存储中提取图像信息作为现实图像信息。
[0059]303、根据所述现实图像信息调用视频增强元素和声音增强元素。如现实图像中的目标是一个演奏钢琴的照片，视频则是真实弹奏钢琴的录像，但是真实录像中的演奏效果不好，如有噪音等，可以单独再提供一个高质量的钢琴曲的录音作为声音增强元素。
[0060]304、根据预先设置的优先级比较视频增强元素和声音增强元素的优先级。如优先级的范围可以从O到I，表示用增强元素中的音频音量的倍数。为O则音量为0，为I则为原音量，为0.5则为原音量的一半等。
[0061]305、根据优先级展示所述视频增强元素信息和声音增强元素信息。在展示时，实时根据优先级调整增强元素中音频的音量。
[0062]更加通用的，可以组合不同类型的增强元素，根据媒体类型确定优先级。如果增强元素预先设定了对应的优先级，则直接比较所设定的优先级。否则根据增强元素的类型来确定优先级，文字类型的增强元素具有最高优先级，其次为带透明(Alpha)通道的图片类型的增强元素，再次为三维立体模型类型的增强元素，视频类型的增强元素具有最低优先级。
[0063]实施例4
[0064]本发明的另一优选实施方案为当所展示的增强元素为三个不同的文字类型增强元素时，按照前述接收现实图像信息、调用增强元素、比较增强元素，此时若根据增强元素的类型确定优先级，则所述三个文字类型的增强元素的优先级很有可能相同，因此，在展示这些增强元素时，将增强元素的文字调整为不同于背景色的颜色，采用非全屏、分区域同时展示全部增强元素的方式。实现多个增强元素互不遮挡的效果。如图4所示。
[0065]同样地，当增强元素为多种类型时，例如文字、视频、音频和图片，也可采用此种分区域显示的效果。
[0066]本发明的以上优选实施例中，还可以接收好友通过网络分享的增强元素，下载增强元素，并保存在本地存储，设置为最高优先级；根据现实图像信息及最高优先级展示分享的增强元素。好友分享的增强元素作为最高优先级，可以优先展示其内容，如分享的增强元素为好友发送的文本信息，则可以将其叠加展示到其他增强元素的最上层。
[0067]实施例5
[0068]如图5所示，本发明的另一优选实施例描述了一种提供增强现实的装置，该装置包括:
[0069]接收现实单元501，用于接收现实图像信息；
[0070]增强现实引擎单元502，用于根据现实图像信息调用至少两个增强元素；
[0071]优先级比较单元503，用于比较调用的所述至少两个增强元素的优先级；
[0072]增强元素信息展示单元504，用于根据所述优先级比较单元得到的优先级比较结果展示所述至少两个增强元素的信息。
[0073]增强元素展示单元504根据优先级比较结果展示增强元素的信息，顺序分层展示所述增强元素，优先级较高的增强元素位于优先级较低的增强元素的上层，现实图像信息位于展示结果的最底层。
[0074]本发明的所述增强元素的类型包括文本、图片、视频、音频中的至少一种，且所述增强元素的信息包括以下至少之一:所述增强元素本身；所述增强元素的缩略形式；所述增强元素的示意图标；对所述增强元素的文字描述。
[0075]接收现实单元501可以为摄像头等影像设备，其接收的图像即为现实图像信息。用户也可调用本地存储的影像信息作为现实图像信息。
[0076]优先级比较单元503如果检测到增强元素预先设定了对应的优先级，则直接比较所设定的优先级；否则根据增强元素的类型来确定优先级，文字类型的增强元素具有最高优先级，其次为带透明通道的图片类型的增强元素，再次为三维立体模型类型的增强元素，视频类型的增强元素具有最低优先级。这样在同时展示各种不同类型的增强元素时，可以做到合理分层，避免遮挡，获得最佳的视觉效果。
[0077]当所述增强元素为音频时，其特征在于，所述优先级比较单元503比较调用的音频增强元素优先级信息，并根据所述音频增强元素优先级信息确定音量级别，所述增强元素信息展示单元根据确定的所述音量级别播放音频增强元素。
[0078]用增强元素的优先级还可以控制声音的混合，音乐(如mp3格式的文件)或视频都是包含声音的增强元素。优先级比较单元503调用声音增强元素优先级信息，并根据声音增强元素优先级信息确定音量级别，增强元素展示单元504根据确定的音量级别播放声音增强元素。
[0079]优先级较高的增强元素为视频时，增强元素展示单元504可以对该视频进行背景透明化处理，在增强元素展示单元504展示该视频时将视频帧画面的背景颜色通过着色器替换为透明像素。
[0080]该装置还可以包括分享单元505，用于接收好友分享的增强元素，下载该增强元素，并保存在本地存储，优先级比较单元503中，用户任选设定所分享的增强元素的优先级，通常设定为最高优先级；增强元素展示单元504根据所述现实图像信息及增强元素的优先级展示所述分享增强元素。
[0081]实施例6
[0082]本发明可以应用于各种配置有摄像头和显示屏的装置中，如手机、平板电脑、游戏机或机顶盒等。下面结合具体装置，对本发明作进一步说明。
[0083]本发明的一个优选实施方案为一种提供增强现实的手机，其包括:
[0084]摄像头，用于接收现实图像信息，并保存在手机存储中；
[0085]中央处理器，用于根据现实图像信息调用增强元素，并根据本发明说明书和前述实施例提供的增强现实实现方法，比较所调用的至少两个增强元素的优先级；
[0086]显示屏，用于展示现实图像信息和增强元素。现实图像信息位于展示结果的最底层，根据中央处理器得到的增强元素的优先级比较结果，按照本说明书和前述实施例的展示步骤展示所述增强元素的信息。
[0087]用户获取现实图像信息的途径不仅限于摄像头，还可从手机存储、其他应用和好友分享内容中选择已有图像信息作为现实图像信息。
[0088]需要说明的是，本发明中的各个单元或模块能作为单独的硬件或软件来实现，并且可以根据需要使用单独的硬件或软件来实现各个模块功能的组合。
[0089]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括:只读存储器(ROM, Read Only Memory)、随机存取存储器(RAM, Random AccessMemory)、磁盘或光盘等。本说明书提及的“至少两个”包括两个及两个以上。
[0090]应理解本发明不限于以上优选实施例，对本领域普通技术人员来说，
[0091]在不偏离本说明书及权利要求书记载的内容下，可产生许多的改进和变化，而所有的这些改进和变化都应落在本发明的范围内。
【权利要求】
1.一种增强现实的实现方法，其包括: 接收现实图像信息； 根据所述现实图像信息调用至少两个增强元素； 当调用至少两个增强元素时，对调用的所述至少两个增强元素的优先级进行比较； 根据优先级比较结果展示所述至少两个增强元素的信息。
2.权利要求1所述的方法，其中所述增强元素的类型包括文本、图片、视频、音频中的至少一种，且所述增强元素的信息包括以下至少之一: 所述增强元素本身； 所述增强元素的缩略形式； 所述增强元素的示 意图标； 对所述增强元素的文字描述。
3.权利要求1所述的方法，其中对所述增强元素的优先级进行比较的步骤包括: 如果增强元素预先设定了对应的优先级，则直接比较所设定的优先级； 如果增强元素未预先设定优先级，则根据增强元素的类型来确定优先级。
4.权利要求3所述的方法，其中根据增强元素的类型来确定优先级，如下进行:文字类型的增强元素具有最高优先级，其次为带透明通道的图片类型的增强元素，再次为三维立体模型类型的增强元素，视频类型的增强元素具有最低优先级。
5.权利要求1-4中任一项所述的方法，其特征在于，所述增强元素的信息同时展示，并根据优先级比较结果顺序分层展示，优先级较高的增强元素的信息位于优先级较低的增强元素的信息的上层，所述现实图像信息位于展示结果的最底层。
6.权利要求1-5中任一项所述的方法，其特征在于，所述增强元素为音频增强元素，调用音频增强元素的优先级信息，根据所述音频增强元素的优先级信息确定音量级别，根据确定的所述音量级别播放音频增强元素。
7.权利要求1-5中任一项所述的方法，其特征在于，所述增强元素为视频，对所述视频进行背景透明化处理； 在展示所述视频时将视频帧画面的背景颜色通过着色器替换为透明像素。
8.权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括:接收好友分享的增强元素，下载所述分享的增强元素，并保存在本地存储，其默认为最高优先级，任选自定义其优先级； 根据优先级展示所述分享的增强元素。
9.一种提供增强现实的装置，其包括: 接收现实单元，用于接收现实图像信息； 增强现实引擎单元，用于根据现实图像信息调用至少两个增强元素； 优先级比较单元，用于对调用的所述至少两个增强元素的优先级进行比较； 增强元素信息展示单元，用于根据所述优先级比较单元得到的优先级比较结果展示所述至少两个增强元素的信息。
10.权利要求9所述的装置，其还包括: 分享单元，用于接收好友分享的增强元素，下载所述分享的增强元素； 优先级比较单元中，用户任选自定义所述分享的增强元素的优先级；所述增强元素信息展示单元根据优先级展示所述分享的增强元素 。
【文档编号】G06T5/50GK103927722SQ201410158487
【公开日】2014年7月16日 申请日期:2014年4月18日 优先权日:2014年4月18日
【发明者】朴宁 申请人:深圳如果技术有限公司