一种街景数据的三维注释的方法及其系统与流程

本发明属于街景数据的三维注释技术领域，具体涉及一种街景数据的三维注释的方法及其系统。

背景技术：

存在存储和显示图像的计算机系统。这些图像可以包括诸如建筑物的三维物体的照片；可以对显示的图像进行地理编码以对应于地图上的位置；另外，注释可用于提供关于图像的信息；作为示例，注释可以包括标识与图像中所示的特定建筑物相关联的商业的文本。

为此，我们提出一种街景数据的三维注释的方法及其系统来解决现有技术中存在的问题。

技术实现要素：

本发明的目的在于提供一种街景数据的三维注释的方法及其系统，以解决上述背景技术中提出现有技术中的问题。

为实现上述目的，本发明采用了如下技术方案：

一种街景数据的三维注释的方法，包括以下步骤：

s10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；

s20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；

s30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；

s40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。

优选的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。

优选的：在步骤s20中，进一步的还包括：

s201、识别图像特征；

s202、匹配识别特征；

s203、在三维空间中计算特征点；

s204、基于计算的特征点估算立面和平面；

s205、估算街道平面。

优选的：在步骤s40中，进一步的还包括：

s401、选择边界注释框；

s402、在三维模型上建立边界框；

s403、在投影的位置存储注释；

s404、在不同的图像中显示注释。

优选的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。

本发明还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元和所述视频单元相连接的视频流处理单元，所述视频流处理单元对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片

优选的：统进一步包括进行图片显示的显示设备，所述显示设备和所述视频流处理单元相连接。

优选的：所述视频单元包括至少一个摄像头。

本发明的技术效果和优点：本发明提出的一种街景数据的三维注释的方法及其系统，与现有技术相比，本发明使用户能够在观看二维图像的同时创建与三维对象相对应的注释；在一个实施例中，这通过将选择对象(例如，边界框)投影到从多个二维图像创建的三维模型上来实现；在观看对应于三维模型的一部分的第一图像的同时，用户输入选择对象；确定与三维模型上的投影对应的位置，并且用户在观看第一图像时输入的内容与该位置相关联；内容与位置信息一起存储以形成注释。

附图说明

图1为本发明的一个实施例街景数据的三维注释的方法流程图；

图2为本发明的一个实施例街景数据的三维注释步骤s20的方法流程图；

图3为本发明的一个实施例街景数据的三维注释步骤s40的方法流程图；

图4为本发明的一个实施例街景数据的三维注释系统模块示意图：

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本发明提供了如图1-4所示的：

一种街景数据的三维注释的方法，包括以下步骤：

s10、获取街景的场景点的场景图像，由一个或多个计算设备接收要与街道全景摄影图像的所选部分相关联的内容；

s20、将所述全景摄影图像分解为多帧街景图片，并投影到球形坐标系上；

s30、将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；

s40、由一个或多个计算设备存储，具有位置的内容形成注释；所述一个或多个计算设备生成所述注释。

本发明实施例中，具体的：还包括由所述一个或多个计算设备生成用于在地图上显示的注释。

本发明实施例中，具体的：在步骤s20中，进一步的还包括：

s201、识别图像特征；

s202、匹配识别特征；

s203、在三维空间中计算特征点；

s204、基于计算的特征点估算立面和平面；

s205、估算街道平面。

在步骤201中，识别图像的特征。在一个实施例中，从图像中提取特征以用于后续比较。在一个实施例中，使用的图像是沿着行进路线从附近位置到彼此拍摄的街道级全景图像。

在步骤202中，匹配相邻图像中的特征。在一个实施例中，匹配特征可以包括构建溢出树。。

在步骤s203中，计算特征的位置，例如，作为三维空间中的点。在一个实施例中，通过使用在步骤202中确定的匹配特征对来计算立体三角测量来确定点。

在步骤s204中，基于在步骤s203中计算的点云来估计立面平面。在一个实施例中，步骤s204可以包括使用自适应优化算法或最佳拟合算法。在一个实施例中，步骤s204包括扫描例如与街道对齐的平面。

在步骤s205中，基于街道的位置估计街道平面。在步骤s204中估计的这些街道平面与立面平面一起用于形成与多个二维图像中所示的对象相对应的三维模型。

本发明实施例中，具体的：在步骤s40中，进一步的还包括：

s401、选择边界注释框；

s402、在三维模型上建立边界框；

s403、在投影的位置存储注释；

s404、在不同的图像中显示注释。

本发明实施例中，具体的：所述三维模型包括一个或多个街道平面和一个或多个立面平面。

在步骤s401中，用户选择用于创建注释的边界框(例如，选择对象)。边界框可用于选择从街道级别拍摄的图像的一部分。在一个实施例中，用户可以通过使用输入设备(例如，鼠标)绘制图像中的边界框的周界来选择边界框。

在步骤s402中，将边界框(选择对象)投影到三维模型上。在一个实施例中，可以通过将光线从摄像机视点通过边界框延伸到三维模型并确定光线与三维模型之间的交叉来执行投影。

在步骤s403中，将与步骤s402中执行的投影相对应的位置与用户输入的内容(例如，注释)一起存储。作为示例，在步骤s403中，注释可以存储在数据库中。在实施例中，用户输入的内容可以包括文本，html，xml，图像，视频或其他多媒体内容。

在步骤s404中，在步骤s403中存储的注释与对应于步骤s402的投影的位置的第二图像一起或在其上显示。作为示例，第二图像可以是街道级全景图像。在一个实施例中，注释可以与地图一起显示或在地图之上显示。

本发明还提供一种街景数据的三维注释的系统，包括获取全景视频流的视频单元10，所述视频单元10用于获取全景视频流，其和所述视频单元10相连接的视频流处理单元20，所述视频流处理单元20对所述全景视频流进行如下处理：将所述全景视频流分解为多帧街景图片，并投影到球形坐标系上；将所述多帧街景图片进行叠加，并在所述多帧街景图片之间建立视频流通道；在所述球形坐标系上，按照所述视频流通道连续播放所述多帧街景图片

本发明实施例中，具体的：统进一步包括进行图片显示的显示设备30，所述显示设备30和所述视频流处理单元20相连接，可以理解的是，通过所述显示设备30，即可显示所播放的所述多帧街景图片。

可以理解的是，所述显示设备30还可以直接和所述视频单元10连接，以直接显示所述视频单元10获取的全景视频流。

本发明实施例中，具体的：所述视频单元包括至少一个摄像头，可以理解的是，对于不同地方的街景，通过摄像头即可实时获得对应的全景视频流。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。