一种用于确定AR视频的识别图片的方法与设备与流程

本申请涉及计算机领域，尤其涉及一种用于确定ar视频的识别图片的技术。

背景技术：

ar(augmentedreality，增强现实)技术是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。通过该技术应用得比较多的就是ar视频，ar视频通过识别图片展示对应视频的ar效果。

关于ar视频的制作，业界目前普遍的做法是将识别图片和视频分开处理，该做法容易引起图片与视频整合效果不好、编辑制作麻烦的问题。

技术实现要素：

本申请的一个目的是提供一种用于确定ar视频的识别图片的方法与设备。

根据本申请的一个方面，提供了一种用于确定ar视频的识别图片的方法，其中，该方法包括：

获取目标视频，其中，所述目标视频包括若干个候选图片；

检测所述候选图片的特征信息；

将所述特征信息符合预定特征条件的所述候选图片确定为ar视频的识别图片，其中，所述ar视频基于所述目标视频生成。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述方法的操作。

根据本申请的又一个方面，提供了一种用于确定ar视频的识别图片的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述的方法。

与现有技术相比，本申请获取目标视频，所述目标视频包括若干个候选图片，检测所述候选图片的特征信息，在制作所述目标视频对应的ar视频的过程中，将所述特征信息符合预定特征条件的所述候选图片确定为所述ar视频的识别图片；本申请通过检测所述候选图片的特征信息来确定所述目标视频对应的ar视频的识别图片，在制作ar视频的过程中无需将识别图片和目标视频分开处理，避免了编辑制作麻烦的问题，而且制作所得的ar视频融合性较好。进一步地，本申请存储所述识别图片的特征信息，用于后续的识别跟踪，解决了播放目标视频时对齐所述识别图片与所述目标视频的麻烦。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个实施例的一种用于确定ar视频的识别图片的方法流程图；

图2示出根据本申请另一个实施例的一种用于确定ar视频的识别图片的方法流程图；

图3示出根据本申请又一个实施例的一种用于确定ar视频的识别图片的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备1包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统、windows操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(asic)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(adhoc网络)等。优选地，所述设备1还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图1示出根据本申请一个实施例的一种用于确定ar视频的识别图片的方法流程图，其中，该方法包括步骤s11、步骤s12和步骤s13。

具体地，步骤s11中，设备1获取目标视频，其中，所述目标视频包括若干个候选图片；步骤s12中，设备1检测所述候选图片的特征信息；步骤s12中，设备1将所述特征信息符合预定特征条件的所述候选图片确定为ar视频的识别图片，其中，所述ar视频基于所述目标视频生成。

例如，所述目标视频包括但不限于手机录制的视频、网上下载的视频、所述设备1录制的视频。所述设备1获取所述目标视频，并制作所述目标视频对应的ar视频(ar视频通过识别图片展示对应视频的ar效果)。其中，所述设备1包括但不限于用户设备、云端服务器，即，既可以由用户设备获取所述目标视频并制作所述目标视频对应的ar视频，也可以由云端服务器获取所述目标视频并制作所述目标视频对应的ar视频。制作所得的ar视频既可以存储于云端服务器，也可以存储于用户设备。

连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。

所述候选图片可以是所述目标视频中的任意一帧画面。所述设备1可以通过sift(scale-invariantfeaturetransform，尺度不变特征转换)算法、vlad(vectoroflocallyaggregateddescriptors，局部特征聚合描述符)算法等方式检测所述候选图片的特征信息。然后，将所述特征信息符合预定特征条件(例如特征点足够丰富)的所述候选图片确定为所述目标视频对应的ar视频的识别图片。其中，所述目标视频对应的ar视频的识别图片的数量可以为一张或多张。所述ar视频可以包括所述目标视频的全部帧画面，或者，所述ar视频也可以包括所述目标视频的部分帧画面(例如，将所述识别图片作为所述ar视频的第一帧画面，所述ar视频包括所述目标视频中在所述识别图片之后的帧画面，不包括所述目标视频中在所述识别图片之前的帧画面)。

当然，本领域技术人员应能理解上述sift算法、vlad算法仅为举例，其他现有的或今后可能出现的算法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，所述预定特征条件包括以下至少任一项：所述候选图片的特征点数量大于或等于预定数量阈值；所述候选图片的特征点分布均匀度大于或等于预定分布均匀阈值。

例如，可以通过sift算法检测所述候选图片的特征信息；sift算法用于侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量；如果预定数量阈值为50个，那么所述预定特征条件可以包括：所述候选图片的特征点数量大于或等于50个。

再例如，如果在图像不同区域(或方向)的特征点数目相等或接近，那么说明特征点分布比较均匀。可以通过以下三个步骤计算分布均匀度：(1)图像的区域划分；(2)每个图像区域内的特征点数目统计；(3)表示不同图像区域内的特征点数目相差程度的数学量，如公式u＝-101log(v)。然后，比较所述候选图片的特征点分布均匀度与预定分布均匀阈值，选出特征点分布较为均匀的所述候选图片。

优选地，步骤s11中，设备1获取目标视频，按帧解码所述目标视频，以获得若干个候选图片，其中，所述目标视频包括若干个候选图片。

例如，可以使用视频解码器(如ffmpeg、android平台的mediacodec、ios平台的avfoundation)解码出所述目标视频的各帧画面。所述候选图片可以是所述目标视频中的任意一帧画面。

当然，本领域技术人员应能理解上述ffmpeg、mediacodec、avfoundation仅为举例，其他现有的或今后可能出现的视频解码器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

优选地，步骤s13中，设备1将所述特征信息符合预定特征条件的所述候选图片确定为所述ar视频的备选识别图片，其中，所述ar视频基于所述目标视频生成；根据用户基于所述备选识别图片的选择信息，从所述备选识别图片中确定识别图片。

例如，所述设备1先根据预定特征条件选出备选识别图片，将备选识别图片提供给用户选择；然后，获取用户基于所述备选识别图片的选择信息，再从所述备选识别图片中确定识别图片。

优选地，如图2所示，所述方法还包括步骤s14’；步骤s14’中，设备1存储所述识别图片的特征信息。

例如，步骤s12’中，设备1可以通过sift算法、vlad算法等方式检测所述候选图片的特征信息；若在步骤s13’中，设备1将候选图片a确定为所述识别图片；步骤s14’中，设备1存储候选图片a(即所述识别图片)的特征信息。比如，设备1可以将所述识别图片的特征信息存储为特征文件，用于后续的识别跟踪。此外，用户还可以将所述识别图片打印出来，以便后续通过摄像头扫描该识别图片，来播放对应的目标视频。

优选地，如图3所示，所述方法还包括步骤s15”和步骤s16”；步骤s15”中，设备1通过摄像头获取实时图像；步骤s16”中，设备1若在所述实时图像中识别出所述识别图片，播放所述ar视频。

例如，用户打开用户设备(例如智能手机、平板电脑等)上的特定应用(例如ar应用)，该特定应用打开用户设备的摄像头扫描，通过摄像头获取实时图像；设备1利用图像识别技术检测所述实时图像中是否存在所述识别图片，若所述实时图像中存在所述识别图片，则通过该特定应用在用户设备屏幕上播放所述识别图片对应的ar视频。其中，所述设备1包括但不限于用户设备、云端服务器；若所述ar视频存储于云端服务器，当在所述实时图像中识别出所述识别图片，该特定应用从云端服务器获取所述ar视频，并在用户设备端播放所述ar视频；若所述ar视频存储于用户设备本地，当在所述实时图像中识别出所述识别图片，该特定应用直接从用户设备本地获取所述ar视频，并播放所述ar视频。

优选地，设备1播放所述ar视频，包括：设备1解码所述ar视频得到待播序列帧图片，按照所述ar视频的帧率播放所述待播序列帧图片。

例如，可以使用视频解码器(如ffmpeg、mediacodec、avfoundation)解码所述ar视频，形成待播序列帧图片；然后，按照所述ar视频的帧率播放所述待播序列帧图片。

优选地，步骤s15”中，设备1通过摄像头获取实时图像，检测所述实时图像的特征信息；步骤s16”中，设备1若所述实时图像的特征信息与所述识别图片的特征信息相匹配，则在所述实时图像中识别出所述识别图片，播放所述ar视频。

例如，可以通过sift算法检测所述实时图像的特征信息；若所述实时图像的特征信息包含所述识别图片的特征信息，则认为所述实时图像的特征信息与所述识别图片的特征信息相匹配，则认为在所述实时图像中识别出所述识别图片。

优选地，步骤s16”中，设备1若所述实时图像的特征信息与所述识别图片的特征信息相匹配，则在所述实时图像中识别出所述识别图片，并跟踪所述识别图片，得到所述识别图片的空间姿态；根据所述识别图片的空间姿态，在所述识别图片的相应位置播放所述ar视频。

例如，若检测到所述实时图像中存在所述识别图片，识别跟踪所述识别图片，得到所述识别图片的空间姿态(如倾斜、平放等)；根据该空间姿态计算出所述识别图片在三维空间中的位置，然后，使用3d渲染技术(如opengl)在所述识别图片的相应位置(比如所述识别图片与所述ar视频的帧画面相对齐的位置)播放所述ar视频(例如按照所述ar视频的帧率播放所述ar视频的待播序列帧图片)。若所述识别图片的位置发生移动，所述ar视频可以跟踪所述识别图片，即所述ar视频的播放位置随着所述识别图片的移动而移动。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述方法的操作。

根据本申请的又一个方面，提供了一种用于确定ar视频的识别图片的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述的方法。

与现有技术相比，本申请获取目标视频，所述目标视频包括若干个候选图片，检测所述候选图片的特征信息，在制作所述目标视频对应的ar视频的过程中，将所述特征信息符合预定特征条件的所述候选图片确定为所述ar视频的识别图片；本申请通过检测所述候选图片的特征信息来确定所述目标视频对应的ar视频的识别图片，在制作ar视频的过程中无需将识别图片和目标视频分开处理，避免了编辑制作麻烦的问题，而且制作所得的ar视频融合性较好。进一步地，本申请存储所述识别图片的特征信息，用于后续的识别跟踪，解决了播放目标视频时对齐所述识别图片与所述目标视频的麻烦。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。