基于全景视频的区域识别方法及设备的制造方法
【专利摘要】本发明涉及全景视频领域，公开了一种基于全景视频的区域识别方法及设备，其中所述方法包括：判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域；在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。通过该方法及设备能够方便简单且准确进行区域识别判断，并且更好的扩展了全景视频的应用。
【专利说明】
基于全景视频的区域识别方法及设备
技术领域
[0001 ]本发明涉及全景视频领域，具体地，涉及一种基于全景视频的区域识别方法及设备。
【背景技术】
[0002]全景视频能够将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度左右上下360度的任意观看动态视频，让用户有一种真正意义上身临其境的感觉，并且其不受时间、空间和地域的限制。全景视频不是单一的静态全景图片形式，而是具有景深、动态图像、声音等包罗万象，同时具备声画对位、声画同步。
[0003]在一些情况下，用户可能希望在全景视频中投放一些广告，或者基于全景视频中的一些标志物进行下一场景的切换，此时，需要基于全景视频进行区域识别，但是现有技术中，并没有针对全景视频的区域识别的相关研究。
【发明内容】
[0004]本发明的目的是提供一种基于全景视频的区域识别方法及设备，其能够方便简单且准确进行区域识别判断。
[0005]为了实现上述目的，本发明提供一种基于全景视频的区域识别方法，该方法包括:判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域;在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
[0006]优选地，所述判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域包括:将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
[0007]优选地，通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标:(x2，y2) = (xl其中，(x2，y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(xl，yl)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
[0008]优选地，在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域包括:基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。
[0009 ]优选地，所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
[0010]相应地，本发明还提供一种基于全景视频的区域识别设备，该设备包括:特征区域判断模块，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域;位置判断模块，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及触发模块，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
[0011 ]优选地，所述特征区域判断模块包括:坐标转换单元，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及坐标判断单元，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
[0012]优选地，所述坐标转换模块还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标:(12，72) = (11，71)*山其中，(x2，y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(xl，yl)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
[0013]优选地，所述位置判断模块还包括:距离计算单元，用于基于所述当前显示页面，计算当前操作位置与所述一个或多个特征点的距离；以及距离判断单元，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断当前操作位置位于所述特征区域。
[0014]优选地，所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
[0015]通过上述技术方案，能够方便简单且准确进行区域识别判断，并且更好的扩展了全景视频的应用。
[0016]本发明的其它特征和优点将在随后的【具体实施方式】部分予以详细说明。
【附图说明】
[0017]附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的【具体实施方式】一起用于解释本发明，但并不构成对本发明的限制。在附图中:
[0018]图1示出了本发明所提供的基于全景视频的区域识别方法的流程图；
[0019]图2示出了本发明所提供的球形的视频源转换至观看屏幕的界面视图；以及
[0020]图3示出了本发明所提供的基于全景视频的区域识别设备的结构框图。
[0021]附图标记说明
[0022]100特征区域判断模块200位置判断模块
[0023]300触发模块110坐标转换单元
[0024]120坐标判断单元210距离计算单元
[0025]220距离判断单元
【具体实施方式】
[0026]以下结合附图对本发明的【具体实施方式】进行详细说明。应当理解的是，此处所描述的【具体实施方式】仅用于说明和解释本发明，并不用于限制本发明。
[0027]图1示出了本发明所提供的基于全景视频的区域识别方法的流程图。如图1所示，本发明所提供的基于全景视频的区域识别方法包括步骤SlO?步骤S30。
[0028]步骤S10:判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域。
[0029]该特征区域可以是全景视频中包含的一些商标、动植物或者标志性建筑物等。可以预先在全景视频的特征区域中标记一个或多个特征点。所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。例如，对于一个悬挂的商标，可以选择其上下左右或中心点来作为特征点。
[0030]在实际使用中，欲将所拍摄的一幅二维的全景视频在显示屏幕中播放，需将二维的全景视频进行转换。步骤如下:(I)将原始二维视频源粘贴至三维球体模型上，生成球形的视频源(相当于将原二维的全景视频贴在球面上进行播放)；(2)截取球形视频源的一部分并将其投影至二维的显示屏幕上；(3)用户通过滑动屏幕遍历球面的不同部位即可以观看到全景视频所包含的所有视图。
[0031]在判断当前显示页面中是否包括特征区域时，首先在二维的全景视频中标记特征区域的一个或多个特征点，并记录该一个或多个特征点在二维的全景视频中的坐标，然后可以将特征点在二维的全景视频中的坐标(xl，yl)转换为其在显示屏幕中的坐标(x2，y2)，二维的全景视频中的坐标平面以像素为单位，假设视频分辨率为800*600，则0〈xl〈800，0〈yl〈600，屏幕坐标(x2，y2)以像素为单位，若屏幕分辨率为1920*1080，则0〈x2〈1920，0〈y2〈1080。下面将具体描述如何将二维的全景视频中的坐标点(xl，yl)转换为在显示屏幕中的坐标(x2，y2)。
[0032]图2示出了本发明所提供的球形的视频源转换至观看屏幕的界面视图。如图2所示，点A为人眼位置，即人眼位置位于球心，平面LI为观看屏幕，根据透视投影理论来将球形的视频源转换至观看屏幕的界面，在图2中平面L2和平面LI(观看屏幕)分别为透视投影理论中的远平面和近平面，对于如何将球形的视频源转换至观看屏幕的界面属于透视投影领域的公知常识，这里将不再具体阐述。
[0033]二维的全景视频中的坐标点(xl，yl)在球形视频源的坐标可以表示为(V ,Jf，zQ，其中，(Y ,Jf ,ZQ = (XUyl)^UMl为将原二维的全景视频的坐标转换为球形视频源的坐标的转换矩阵，矩阵Ml属于本领域公知常识，这里不再赘述。
[0034]根据透视投影原理可以先将球形视频源的该点坐标(Y,Jf ,Zf )经转换矩阵M2转换为视平面坐标(1〃，7〃)，表示为(1//，7〃)= (1/，7/ 在本发明中转换矩阵M2与透视投影矩阵、球形视频源中的点与人眼观察位置的相对位置以及球形视频源的球模型与人眼观察位置的相对旋转角度相关，这里记为M2=M21*M22*M23，其中，M21为球形视频源中的点与人眼观察位置的相对位置矩阵，M22为球形视频源的球模型相对于人眼观察位置的旋转矩阵，M23为投影矩阵。则二维的全景视频中的坐标为(xl，yl)的点的视平面坐标(x〃，y〃)可以表示为:
[0035](x〃，y〃)= (xl，yl)*Ml*M2，
[0036]坐标点(xl，yl)的视平面坐标(X〃，y〃)经转换矩阵M3以后可以转换为屏幕坐标&2，72)，8卩(12，72) = &1，71)蝴1蝴2蝴3。13是一个与显示屏幕分辨率相关的矩阵，能够将视平面坐标转换为显示屏幕坐标。
[0037]综上，二维的全景视频中的坐标点(XI，yI)在显示屏幕中的坐标(x2，y2)可以通过公式(I)来实现，
[0038](x2,y2) = (xl,yl)*H, (I)
[0039]其中，H=M1*M2*M3，如果转换后的x2，y2均满足显示屏幕的坐标范围，则原全景视频中的坐标点(xl，yl)必定包含在当前显示页面中。
[0040]此外，也可以通过判断视平面坐标(x〃，y〃)是否满足视平面坐标范围来判断当前显示页面中是否包括特征区域，这里，视平面坐标范围可以设定为X轴坐标范围为-1至I，y轴坐标范围为-1至1。如果经转换后，视平面坐标(1〃，7〃)满足-1〈1〃〈1，-1〈7〃〈1，则表明原全景视频中的坐标点(xl，yl)包含在当前显示页面中。
[0041]优选地，只要有一特征点包含在显示页面中，则可认为相应于该特征点的特征区域包括于当前显示页面中。
[0042]步骤S20:在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域，这里，当前操作位置可以是光标或手指在屏幕上的当前放置位置。
[0043]具体地，判断当前操作位置是否位于所述特征区域包括:基于所述当前显示页面，计算当前操作的坐标位置(Χ，γ)与所述一个或多个特征点(X2，y2)的距离，优选地，可以通过各自的坐标来计算二者之间的距离，例如根据欧式距离来计算二者之间的距离，可表示为:(X-x2)2+(Y-y2)2。在所计算的光标或手指的位置与所述一个或多个特征点的距离中，只要有一个距离小于预定距离(以像素为单位)，则可判断当前操作位置位于该特征区域。可选地，可以采用光标或手指的位置标识当前操作位置。
[0044]步骤S30:在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。例如，如果特征区域是商标，则针对该商标可以触发相应于该商标的一些产品介绍或者触发针对该商标的广告视频;如果特征区域标志性建筑物，则可以触发针对该建筑物的介绍;或者可以针对特征区域切换至另一场景等。
[0045]图3示出了本发明所提供的基于全景视频的区域识别设备的结构框图。如图3所示，相应地，本发明还提供一种基于全景视频的区域识别设备，该设备包括:特征区域判断模块100，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域;位置判断模块200，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域；以及触发模块300，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。
[0046]进一步地，所述特征区域判断模块100包括:坐标转换单元110，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标；以及坐标判断单元120，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。
[0047]进一步地，所述坐标转换模块120还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标:(x2，y2) = (xl，yl)*H;其中，(x2，y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(xl，yl)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。
[0048]进一步地，所述位置判断模块200还包括:距离计算单元210，用于基于所述当前显示页面，计算当前操作位置与所述一个或多个特征点的距离；以及距离判断单元220，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断当前操作位置位于所述特征区域。
[0049]进一步地，所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
[0050]本发明所提供的基于全景视频的区域识别设备与上文中的基于全景视频的区域识别方法的工作原理相似，这里不再赘述。
[0051]根据本发明所提供的基于全景视频的方法及设备，能够方便简单且准确进行基于全景视频的区域识别判断，并且更好的扩展了全景视频的应用，使得用户可以在全景视频中添加一些基于区域识别的应用。
[0052]以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
[0053]另外需要说明的是，在上述【具体实施方式】中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
[0054]此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
【主权项】
1.一种基于全景视频的区域识别方法，其特征在于，该方法包括: 判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域； 在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域;以及 在当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。2.根据权利要求1所述的方法，其特征在于，所述判断当前显示页面中是否包括特征区域包括: 将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标;以及 判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。3.根据权利要求2所述的方法，其特征在于，通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标: (x2,y2) = (xl,yl)*H; 其中，(x2，y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(xl，yl)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。4.根据权利要求2或3所述的方法，其特征在于，在所述当前显示页面中包含所述特征区域的情况下，判断当前操作位置是否位于所述特征区域包括: 基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及 在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。5.根据权利要求2或3所述的方法，其特征在于，所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。6.一种基于全景视频的区域识别设备，其特征在于，该设备包括: 特征区域判断模块，用于判断所述全景视频在显示屏幕的当前显示页面中是否包括特征区域； 位置判断模块，用于在所述当前显示页面中包括所述特征区域的情况下，判断当前操作位置是否位于所述特征区域;以及 触发模块，用于在所述当前操作位置位于所述特征区域的情况下，触发针对所述特征区域的事件。7.根据权利要求6所述的设备，其特征在于，所述特征区域判断模块包括: 坐标转换单元，用于将所述全景视频的所述特征区域中标记的一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述显示屏幕的坐标;以及 坐标判断单元，判断所述一个或多个特征点相应于所述显示屏幕的坐标是否包含在所述显示屏幕的坐标范围内。8.根据权利要求7所述的设备，其特征在于，所述坐标转换模块还用于通过以下公式将所述一个或多个特征点相应于所述全景视频中的坐标转换为相应于所述当前显示页面的坐标: (x2,y2) = (xl,yl)*H; 其中，(x2，y2)是指所述一个或多个特征点在所述当前显示页面的坐标，(xl，yl)是指所述一个或多个特征点在所述全景视频的坐标，H是指将所述全景视频中的坐标转换为所述显示屏幕的坐标的转换矩阵。9.根据权利要求7或8所述的设备，其特征在于，所述位置判断模块包括: 距离计算单元，用于基于所述当前显示页面，计算所述当前操作位置与所述一个或多个特征点的距离；以及 距离判断单元，用于在所计算的一个或多个距离中至少一者小于预定距离的情况下，判断所述当前操作位置位于所述特征区域。10.根据权利要求7或8所述的设备，其特征在于，所述一个或多个特征点选自下列中的一者或多者:所述特征区域的边缘点中的一者或多者、所述特征区域的中心点。
【文档编号】G06K9/00GK105912973SQ201510930068
【公开日】2016年8月31日
【申请日】2015年12月15日
【发明人】谭傅伦
【申请人】乐视网信息技术（北京）股份有限公司