视频串流的接合与传输方法、网关装置及观看装置与流程

本发明是有关于一种视频串流的接合与传输方法、视频串流网关装置及视频串流观看装置。

背景技术：

实时的视频串流目前已经被广泛地使用于实时监控与智能型运输等应用，以提供实时的现场信息与状况判断。近年来无人空拍机的应用与需求快速的增加，例如地貌观查、污染监测、灾难现场抢进回报等应用都大量使用了无人空拍机所取得的影像。在这些应用中，视频串流的实时回传可以协助进行第一时间的判断、修正飞行路线与摄影角度。因此，可以预期实时视频串流将在这些应用扮演相当重要的角色。

然而，目前既有的视频串流来源装置(如监视器、手机或是运动摄影机)等都有其可拍摄范围的限制。若所需监控的区域超出一台摄影机的可拍摄范围时，就需要同时使用多个摄影机或多个空拍机进行监控。因为每台摄影机的拍摄地点、角度皆不同，造成很大的监控难度。通过视频接合技术(video stitching)，我们可将多个摄影机拍摄的结果汇整成单一视频串流，简化了影像收看的操作，通过单一影像即可看到原属于多个不同视频源的内容，提高监控成效并节省大量人力。

视频接合本身是个运算耗费极大的运算。视频源越多，所需的运算量也越多。当摄影机或空拍机的数量较多时，将会造成大量的时间延迟，严重影响视频串流的实时性。

技术实现要素：

本发明是有关于一种视频串流的接合与传输方法、视频串流网关装置(video streaming gateway)与视频串流观看装置(video streaming viewer)。

根据本发明的一实施例，提出一种视频串流的接合与传输方法。视频串流的接合与传输方法包括以下步骤：提供多个视频页框(video frame)及多个地理拓扑数据(geo-topology data)。依据于第一时间点的部分视频页框及于第一时间点的部分地理拓扑数据，获得第一时间点的接合注册数据(registration data)，并暂存接合注册数据。依据第一时间点的接合注册数据，接合于第二时间点的部分视频页框。第二时间点不同于第一时间点。

根据本发明的另一实施例，提出一种视频串流网关装置(video streaming gateway)。视频串流网关装置包括视频串流接收单元(video streaming receiving unit)、地理拓扑数据接收单元(geo-topology data receiving unit)、视频接合特征处理单元(video stitching feature processing unit)、接合注册数据缓存单元(registration data cache unit)、接合注册数据传送单元(registration data sending unit)、及视频串流传送单元(video streaming sending unit)。视频串流接收单元用以接收多个视频页框(video frame)。地理拓扑数据接收单元用以接收多个地理拓扑数据(geo-topology data)。视频接合特征处理单元用以依据于第一时间点的部分视频页框及于第一时间点的部分地理拓扑数据，获得第一时间点的接合注册数据(registration data)。接合注册数据缓存单元用以暂存接合注册数据。接合注册数据传送单元用以传送接合注册数据。视频串流传送单元用以传送此些视频页框至视频串流观看装置(video streaming viewer)，以使视频串流观看装置依据第一时间点的接合注册数据，接合于第二时间点的部分视频页框。第二时间点不同于第一时间点。

根据本发明的另一实施例，提出一种视频串流观看装置(video streaming viewer)。视频串流观看装置包括视频串流接收单元(video streaming receiving unit)、接合注册数据接收单元(registration data receiving unit)及视频接合单元(video stitching unit)。视频串流接收单元用以接收多个视频页框。接合注册数据接收单元用以接收于第一时间点的接合注册数据。视频接合单元用以依据第一时间点的接合注册数据，接合于第二时间点的部分视频页框。第二时间点不同于第一时间点。

为了对本发明的上述及其他方面有更好的了解，下文特举各种实施例，并配合所附附图，作详细说明如下：

附图说明

图1绘示根据一实施例的视频串流的实时接合与传输系统的示意图；

图2A绘示根据一实施例的视频串流网关装置的示意图；

图2B绘示根据一实施例的视频串流观看装置的示意图；

图3绘示根据一实施例的视频串流的接合与传输方法的流程图；

图4绘示图3的数据时序图；

图5绘示视频页框的传送示意图；

图6绘示根据另一实施例的数据时序图；

图7A绘示根据另一实施例的视频串流网关装置的示意图；

图7B绘示根据另一实施例的视频串流观看装置的示意图；

图8A及图8B说明根据另一实施例的视频串流网关装置的运作流程；

图8C说明根据另一实施例的视频串流观看装置的运作流程。

【主要元件】

100：视频串流来源装置；

200、400：网络；

300、300’：视频串流网关装置；

310：视频串流接收单元；

320：地理拓扑数据接收单元；

330：视频接合特征处理单元；

340：接合注册数据缓存单元；

350：视频串流传送单元；

360：接合注册数据传送单元；

370：地理拓扑数据处理单元；

380：视频页框缓存单元；

390：控制单元；

500、500’：视频串流观看装置；

510：视频串流接收单元；

520：接合注册数据接收单元；

530：视频接合单元；

540：视频串流来源装置选择单元；

550：重绘单元；

560：控制单元；

1000：视频串流的接合与传输系统；

GD、GD1、GD2、GD3、GD4、GD5、GD6、GD7、GD8、GD9：地理拓扑数据；

RD、RD1、RD4、RD7：接合注册数据；

S110、S120、S130、S310、S320、S330、S340、S350、S360、S370、S380、S390、S410、S420、S430、S440、S450、S460、S470、S510、S520、S530、S540、S550、S560、S570、S580：流程步骤；

SVF：已接合视频页框；

T1、T2、T3、T4、T5、T6、T7、T8、T9：时间点；

VCM：观看控制命令；

VF、VF1、VF2、VF3、VF4、VF5、VF6、VF7、VF8、VF9：视频页框。

具体实施方式

请参照图1，其绘示根据一实施例的视频串流的接合与传输系统1000的示意图。视频串流的接合与传输系统1000包括多个视频串流来源装置(video streaming source)100、视频串流网关装置(video streaming gateway)300及视频串流观看装置(video streaming viewer)500。视频串流来源装置100为可移动的装置，具有拍摄视频并且进行编码与视频串流传输的功能。视频串流来源装置100例如是无人空拍机。视频串流例如是通过实时串流协议(Real Time Streaming Protocol，RTSP)/实时传输协议(Real-time Transport Protocol，RTP)传输的H.264编码视频串流。

视频串流网关装置300具有视频串流处理与视频串流传输功能，例如是芯片、计算机、电路板、服务器或路由器。视频串流观看装置500具有人机接口、视频串流接收与视频串流处理的功能，例如是计算机、智能型手机、平板计算机。

众多的视频串流来源装置100可通过近端、短延迟且大传输带宽的网络200与视频串流网关装置300相连接。网络200例如是具有较大带宽及较低延迟的有线媒介或无线媒介(如WiFi或Local Area Network(LAN))。视频串流来源装置100可使用例如摄影机、照相机、红外线摄影机或热感应摄影机等获得视频页框(Video Frame)VF，并通过网络200传输视频页框VF至视频串流网关装置300。具有较大带宽与较低延迟的网络200可提供各个视频串流来源装置100与视频串流网关装置300之间的快速数据传输交换。

视频串流来源装置100除了具有实时视频拍摄、压缩与传输的能力外，也可以侦测其地理拓扑数据(geo-topology data)GD。视频串流来源装置100可使用侦测绝对地理坐标的传感器(如全球定位系统(Global Positioning System，GPS))来取得绝对的经度、纬度、高度、甚至是移动速度。视频串流来源装置100也可以使用加速度传感器来侦测加速度或是震动的状态。视频串流来源装置100也可以使用陀螺仪或是电子罗盘来侦测朝向与俯/仰角度。上述这些信息，伴随其收集到的时间，集合在地理拓扑数据GD中，并通过网络200传送至视频串流网关装置300。

视频串流网关装置300可以根据视频页框VF及地理拓扑数据GD获得接合注册数据RD。

视频串流网关装置300通过网络400与视频串流观看装置500相连接。网络400为远距离但带宽限制与传输延迟较长的传输媒介。网络400可以由一种或多种不同的实体媒介连接而成，包含的媒介例如是ADSL(Asymmetric Digital Subscriber Line)、Fiber、Wi-Fi、GPRS(General Packet Radio Service)、3G或是4G LTE网络。

视频串流观看装置500接收来自视频串流网关装置300的视频页框VF及接合注册数据RD，并且依据接合注册数据RD将此些视频页框VF进行接合后呈现，以供用户进行观看与操作。

请参照图2A，其绘示根据一实施例的视频串流网关装置300的示意图。视频串流网关装置300包括视频串流接收单元310、地理拓扑数据接收单元320、视频接合特征处理单元330、接合注册数据缓存单元340、视频串流传送单元350及接合注册数据传送单元360。视频串流接收单元310用以接收视频页框VF。地理拓扑数据接收单元320用以接收地理拓扑数据GD。视频串流接收单元310及地理拓扑数据接收单元320例如是无线网络模块、网络线、讯号线、天线、射频芯片、搭配执行的软件程序或其组合。视频接合特征处理单元330用以产生接合注册数据RD。视频接合特征处理单元330例如是芯片、电路、电路板、储存数组程序代码的存储装置或可由处理器执行的程序代码，处理器可以在视频串流网关装置300中(未绘示)。接合注册数据缓存单元340用以暂存接合注册数据RD，接合注册数据缓存单元340例如是内存、硬盘、固态硬盘、闪存(flash memory)或云端储存中心。视频串流传送单元350用以传送视频页框VF。接合注册数据传送单元360用以传送接合注册数据RD。视频串流传送单元350及接合注册数据传送单元360例如是无线网络模块、网络线、讯号线、天线、射频芯片、搭配执行的软件程序或其组合。

请参照图2B，其绘示根据一实施例的视频串流观看装置500的示意图。视频串流观看装置500包括视频串流接收单元510、接合注册数据接收单元520及视频接合单元530。视频串流接收单元510用以接收视频页框VF。接合注册数据接收单元520用以接收接合注册数据RD。视频串流接收单元510及接合注册数据接收单元520例如是无线网络模块、网络线、信号线、天线、射频芯片或其组合。视频接合单元530用以进行视频接合，例如是芯片、电路、电路板、储存数组程序代码的存储装置、或搭配执行的软件程序。

请参照图3～4，图3绘示根据一实施例的视频串流的接合与传输方法的流程图，图4绘示图3的数据时序图。以下流程图的说明搭配图1～2B的各项组件来作说明。然而，实现图3的流程图并不以图2A的视频串流网关装置300及图2B视频串流观看装置500为限。

首先，在步骤S110中，视频串流来源装置100提供多个视频页框及多个地理拓扑数据。在一实施例中，视频串流来源装置100按照时间点T1～T9(绘示于图4)依序提供多个视频页框VF1～VF9(绘示于图4)及多个地理拓扑数据GD1～GD9(绘示于图4)。此些视频页框VF1～VF9传送至视频串流网关装置300的视频串流接收单元310，此些地理拓扑数据GD1～GD9传送至视频串流网关装置300的地理拓扑数据接收单元320。在一实施例中，视频页框VF1包含由各个视频串流来源装置100在时间点T1所提供的各个视频页框VF1，因此视频页框VF1可以是多个，地理拓扑数据GD1包含由各个视频串流来源装置100在时间点T1所提供的各个地理拓扑数据GD1，地理拓扑数据GD1可以是多个。同理，视频页框VF2～VF9及/或地理拓扑数据GD2～GD9也可以是多个。

接着，在步骤S120中，视频串流网关装置300依据于第一时间点的部分视频页框及于第一时间点的部分地理拓扑数据，获得第一时间点的接合注册数据，并暂存接合注册数据。在一实施例中，视频串流网关装置300的视频接合特征处理单元330依据于时间点T1的视频页框VF1及于时间点T1的地理拓扑数据GD1，获得时间点T1的接合注册数据RD1，并暂存接合注册数据RD1于视频串流网关装置300的接合注册数据缓存单元340。获得接合注册数据RD1的程序需要较多的处理时间，故获得接合注册数据RD1可能较晚，例如在时间点T3才能够将完成的接合注册数据RD1传输给视频串流观看装置500。而视频页框VF1～VF9实时传送给视频串流网关装置300及视频串流观看装置500，故在时间点T3时，视频串流观看装置500已收到视频页框VF1～VF3及接合注册数据RD1。

然后，在步骤S130中，视频串流观看装置500依据第一时间点的接合注册数据，接合于第二时间点的部分视频页框，第二时间点不同于第一时间点。在一实施例中，视频串流观看装置500的视频接合单元530依据时间点T1的接合注册数据RD1，接合时间点T3的视频页框VF3。也就是说，视频串流观看装置500在时间点T3收到视频页框VF3之后，即可立即依据已完成的接合注册数据RD1进行接合程序，无须再去耗费时间来获得时间点T3的接合注册数据(未绘示)。依据接合注册数据RD1接合时间点T3的视频页框VF3例如是依据接合注册数据RD1所提供的信息将各个视频串流来源装置100在时间点T3所提供的各个视频页框VF3接合为一个较大范围的视频页框，接合注册数据RD1所提供的信息例如是将其中一个视频串流来源装置100所提供的(选择性的旋转角度/转置或放大/缩小后)视频页框的某些点/像素(pixel)与另一个视频串流来源装置100所提供的(选择性的旋转角度/转置或放大/缩小后)视频页框的某些点/像素接合。

此外，接合注册数据RD1可重复使用。在下一接合注册数据RD4尚未产生前，视频接合单元530可以依据时间点T1的接合注册数据RD1，接合于时间点T4的视频页框VF4，以及接合时间点T5的视频页框VF5。接合时间点T4的视频页框VF4例如是将各个视频串流来源装置100在时间点T4所提供的各个视频页框VF4接合为一个较大范围的视频页框。接合各个时间点的视频页框可以此类推。

当时间点T6产生了时间点T4的接合注册数据RD4时，视频接合单元530可以依据时间点T4的接合注册数据RD4，接合于时间点T6的视频页框VF6，并接合时间点T7的视频页框VF7，以及接合时间点T8的视频页框VF8。同样地，当时间点T9产生了时间点T7的接合注册数据RD7时，视频接合单元530可以依据时间点T7的接合注册数据RD7，接合于时间点T9的视频页框VF9，依此类推。

也就是说，视频串流网关装置300及视频串流观看装置500采用管线(pipeline)的技术，同步执行产生接合注册数据RD的动作及接合视频页框VF的动作。并且，进行接合视频页框VF的动作时，采用往前时间点的接合注册数据RD，故省去了产生接合注册数据RD的动作的延迟。如此一来，视频串流的接合与传输主要为接合视频页框VF的动作的延迟，故延迟情况能够大幅度改善。根据一实验结果发现，与等待完整视频页框接合完成后才传输的方法比较，视频串流的接合与传输的延迟可由2.5秒大幅降至0.2秒，可达到实时性的要求。

请参照图5，其绘示视频页框VF的传送示意图。在本实施例中，为了使产生接合注册数据RD的动作及接合视频页框VF的动作能够同步执行，视频页框VF同时分送至视频串流网关装置300及视频串流观看装置500。视频串流观看装置500收到接合注册数据RD之后，即可据以接合视频页框VF，并产生已接合视频页框SVF。在一实施例中，视频页框VF可以通过视频串流网关装置300转传至视频串流观看装置500；或者，在另一实施例中，视频页框VF可以直接传送至视频串流观看装置500。

请参照图5，视频串流观看装置500可能只需显示部分区域的画面，故可以仅将有需要的部分视频页框VF传输至视频串流观看装置500。接合注册数据RD的数据量较小，故可完整地传输至视频串流观看装置500。如此一来，与将各个视频源的视频页框皆传送到观看装置再进行接合的方式相比，能够有效减少传输时带宽的竞争。

请参照图6，其绘示根据另一实施例的数据时序图。上述接合视频页框VF的动作采用不同时间点的视频页框VF及接合注册数据RD。在画面质量的要求下，可管控已接合视频页框SVF的精准度在预定水平之上。精准度对应于误差时间。进行接合视频页框VF的动作时，视频页框VF的时间点与接合注册数据RD的时间点的差距控制在小于误差时间，即可控制画面质量在一定水平。以图6为例，误差时间为2个单位时间。若因网络拥塞等因素使得视频串流观看装置500于时间点T6才获得时间点T1的接合注册数据RD1时，则视频串流观看装置500可依据时间点T1的接合注册数据RD1对暂存的时间点T3的视频页框VF3进行接合，以避免两者时间点的差距超过2的单位时间，使得画面质量能够维持在一定水平。同样地，若于时间点T9才获得时间点T4的接合注册数据RD4时，则视频串流观看装置500可依据时间点T4的接合注册数据RD4对暂存的时间点T6的视频页框VF6进行接合，以避免两者时间点的差距超过2的单位时间，使得画面质量维持在一定水平。

上述精准度可以根据视频页框VF的重迭程度、视频串流来源装置100的地理位置、视频串流来源装置100的运动状态、或视频页框VF的变化程度进行预测，以推估可容忍的误差时间。

请参照图7A，其绘示根据另一实施例的视频串流网关装置300’的示意图。相较于图2A的视频串流网关装置300，图7A的视频串流网关装置300’还包括地理拓扑数据处理单元370、视频页框缓存单元380及控制单元390。地理拓扑数据处理单元370用以处理地理拓扑数据GD。控制单元390用以执行各种控制程序。地理拓扑数据处理单元370及控制单元390例如是芯片、电路、电路板、储存数组程序代码的储存装置或可由处理器执行的程序代码，。视频页框缓存单元380用以储存视频页框VF，例如是内存、硬盘、固态硬盘、闪存或云端存储中心。

视频页框VF会通过视频串流传送单元350转传至视频串流观看装置500’，也会被送到视频页框缓存单元380暂存保留。视频页框缓存单元380依照可用空间以及预期视频页框的编码后大小，可以为每个视频串流来源装置100个别保留最近T秒或是M张内的视频页框VF。保留在视频页框缓存单元380的数据包含每张视频页框VF的完整数据、每张视频页框VF所属的视频串流来源装置100的标识符以及每张视频页框VF所关连的同步信息(包含但不局限于页框序号、页框相对时间戳、页框绝对时间及/或页框速率(Frame Rate)等)。

地理拓扑数据GD及其时间信息会被送到地理拓扑数据处理单元370。地理拓扑数据处理单元370能够依照各个视频串流来源装置100所属的地理拓扑数据GD，分析各个视频串流来源装置100的位置与移动状态，并持续计算彼此之间的相对位置的变化。地理拓扑数据GD包含的GPS坐标、朝向及镜头角度可利用正射校正及地面距离，用以计算各个视频串流来源装置100彼此相对距离与拍摄涵盖范围的变化。

地理拓扑数据处理单元370所得到的相对位置的变化会被视频页框缓存单元380拿来作为选择视频页框VF的判断。在一些实施例中，视频页框缓存单元380可以选择N张之内(N<M)的视频页框VF来传送至视频接合特征处理单元330进行运算。在另一些实施例中，则可亦将S秒之内(S<T)的视频页框VF送至视频接合特征处理单元330进行运算。

当发现各个视频串流来源装置100彼此之间相对位置变动较大时，视频页框缓存单元380会选择一个较小的N或是较短的S。若是此时尚未从各个视频串流来源装置100都收到满足此条件的视频页框VF，则等待视频串流接收单元310收到较新的视频页框VF提供至视频接合特征处理单元330进行运算。而在视频串流来源装置100彼此之间的相对位置变动较小时，可以选择一个较大的N或是较长的S，使视频页框缓存单元380使用视频页框缓存单元380中找到一组已经暂存的视频页框VF来进行运算。

视频接合特征处理单元330取得存有各个视频页框VF彼此之间相对位置与迭合区域描述的接合注册数据RD。这些接合注册数据RD会暂存于接合注册数据缓存单元340中，并且提供给接合注册数据传送单元360送至视频串流观看装置500’。

接合注册数据缓存单元340同时会记录目前每组接合注册数据RD所参照的视频页框VF的序列号码、相对时间戳或绝对时间，并依据地理拓扑数据处理单元370得到的相对位置变动程度，预测一组对应该组接合注册数据RD的失效期限，并记录于接合注册数据缓存单元340。在不同的实施例中，接合注册数据缓存单元340中记录的失效期限可以是页框序列号、绝对时间、或相对时间戳。

在另外一些实施例中，接合注册数据缓存单元340检查到暂存的接合注册数据RD过期时，可以把该组接合注册数据RD删除。在另外一些实施例，当地理拓扑数据处理单元370发现相对位置有明显变化，或是相对速度超过某一个临界值时，可以主动送出命令要求接合注册数据缓存单元340清除暂存的接合注册数据RD，直到相对位置的变化又再度回到稳定时再送出另外一个命令回复原本接合注册数据RD失效的判断。

地理拓扑数据处理单元370持续观察分析，当发现众多视频串流来源装置100相对位置是处于稳定的状态时，视频接合特征处理单元330可以预先使用暂存于视频页框缓存单元380中库存较旧的视频页框VF进行特征点寻找的运算，并且可于一定时效内重复利用存放至接合注册数据缓存单元340的接合注册数据RD。因为在影像串流中连续的影像相似程度高，若彼此的相对位置变动小的情况，那么在影像接合中，即便是用较早之前的页框所产生的接合注册数据RD，其特征点偏移的误差也是可忽略的，因此我们可以利用此特性，预测一个接合注册数据RD可重复使用的失效期限以减少运算延迟对于视频串流之实时性的影响。

在一实施例中，视频接合特征处理单元330的运算可能为固定时间间隔；在另一实施例中，可以依照相对位置变动的状况，改变运算的间隔，借此改变接合注册数据缓存单元340的数据更新的间隔，以符合相对位置变动的状态。

控制单元390可以自网络400接收观看控制命令(View Control Message)VCM。观看控制命令VCM包含视频串流观看装置500’在观看影像接合的实时串流应用所相关的命令，包含但不局限于移动观看区域的位置缩放观看区域、方向、缩放观看区域等等。在一些实施例中，也可能包含控制视频串流来源装置100的移动方式的命令。

当控制单元390收到改变观看区域的控制信息时，会依照接合注册数据缓存单元340中暂存的接合注册数据RD，找出包含该区域的视频串流来源装置100并回复给观看端。在一些实施例中，回复的信息可能包含有相关视频串流来源装置100的标识符；在另一实施例中，也可以是相关视频串流来源装置100的影像串流联机资源，例如是RTSP的URL。在另一实施例中，若其中一些视频串流来源装置100并没有在传送视频页框VF，控制单元390需要送出一个命令来要求视频串流传送单元350建立连线的资源。通过这样的设计，即可达成上述所揭露依照需求仅传输部分区域数据的实施方式。

在一些实施例中，视频串流观看装置500’也可以在改变视频串流来源装置100的移动状态时，送出一个特别的控制信息。当控制单元390收到这一控制信息时，可以要求接合注册数据缓存单元340将已被暂存的接合注册数据RD设为失效并清除。

请参照图7B，其绘示根据另一实施例的视频串流观看装置500’的示意图。相较于图2B的视频串流观看装置500，图7B的视频串流观看装置500’还包括视频串流来源装置选择单元540、重绘单元550及控制单元560。视频串流来源装置选择单元540用以选择特定的几个视频串流来源装置100。重绘单元550用以执行重绘程序(render)。控制单元560用以执行各种控制程序。视频串流来源装置选择单元540、重绘单元550及控制单元560例如是芯片、电路、电路板、或储存数组程序代码的存储装置。

视频串流接收单元510可以同时自视频串流网关装置300’接收多组来自不同的视频串流来源装置100的视频页框VF。接收到的视频页框VF会暂存在内部的一个小队列。同时，接合注册数据接收单元520则从视频串流网关装置300’接收接合注册数据RD。

视频接合单元530会取得接合注册数据接收单元520所接收的接合注册数据RD。视频接合单元530会依照接合注册数据RD的失效期限于视频串流接收单元510取得所接收到各个视频串流来源装置100符合时效期限条件的视频页框VF，并暂存于内部的缓冲区。

取得的视频页框VF在经过译码之后，依照接合注册数据RD的描述，将影像进行变形并依照相对位置重新排列，最后经过混和与校正之后产生已接合视频页框SVF。

重绘单元550提供了一个内存区块存放产生出来的已接合视频页框SVF，并且呈现在显示设备。控制单元560则提供了用户接口于显示出来的已接合视频页框SVF上进行控制操作，并将对应产生的观看控制命令VCM传送至视频串流网关装置300’。在一些实施例上，控制单元560可以取得接合注册数据RD并依照内容来知悉目前于视频串流网关装置300’可接收但目前尚未被接合于已接合视频页框SVF的视频串流来源装置100的列表或预期显示范围。在另一些实施例中，也可以结合用户接口，提示观看者在目前被显示的已接合视频页框SVF可被上下/左右/前后移动以及缩放等操作的方向。

对于观看控制的操作，如上下/左右/前后移动以及缩放，会在控制单元560转换成观看控制命令VCM，并送至视频串流网关装置300’。对应这些观看控制命令VCM，视频串流网关装置300’会使用其接合注册数据RD提供周边相邻的其他视频串流来源装置100的描述。

在一些实施例中，这些描述可能包含这些视频串流来源装置100的标识符，控制单元560可进一步通过其他观看控制命令VCM要求视频串流网关装置300’准备并提供这些被要求的视频串流来源装置100的联机权限与串流资源。

在另外一些实施例中，若这些视频串流来源装置100已处于可串流传输的状态，观看控制命令VCM提供的描述可直接为串流联机的URL(例如是RTSP的URL)。在另一些实施例，描述中可还进一步告知某些视频串流来源装置100的串流联机所需带宽，供视频串流观看装置500’作为接收能力的评估指标。

上述关于周围邻接的视频串流来源装置100的描述，会被送到视频串流来源装置选择单元540。此外，视频串流来源装置选择单元540还会综合视频接合单元530的运算负载、重绘单元550的显示大小限制以及视频串流接收单元510的接收带宽现况，评估是否有能力或需要接收某一些新的视频串流来源装置100。

经过综合评估后，可能会选择接收某些新的视频串流来源装置100的串流联机，或停止某些旧有的视频串流来源装置100的串流接收。视频串流来源装置选择单元540会将这些变动通知视频串流接收单元510以准备新联机或停止旧有联机。在一些实施例中，视频串流来源装置选择单元540则需要先通过控制单元560要求某个视频串流来源装置100的联机资源并取得联机URL后，才能通知视频串流接收单元510进行联机。

图8A及图8B说明了根据另一实施例的视频串流网关装置300’的运作流程。于图8A中，于视频串流网关装置300’开始运作之后，执行下述步骤S310～S390。

在步骤S310中，视频串流网关装置300’与视频串流来源装置100建立联机并持续开始接受封包。

在步骤S320中，当视频串流观看装置500’开始观看联机时，决定一个或一组的视频串流来源装置100作为开始观看的群组。

在步骤S330中，对于视频串流接收单元310所收到来自各个视频串流来源装置100的视频页框VF，视频串流传送单元350将属于群组的视频页框VF直接送给视频串流观看装置500’。

在步骤S340中，检查接合注册数据缓存单元340是否有尚未过期可用的接合注册数据RD。若有，便将接合注册数据RD通过接合注册数据传送单元360送给视频串流观看装置500’。

在步骤S350中，视频串流接收单元310将收到的视频页框VF暂存于视频页框缓存单元380。

在步骤S360中，地理拓扑数据接收单元320接收来自各个视频串流来源装置100所送来的地理拓扑数据GD。

在步骤S370中，地理拓扑数据处理单元370分析各个视频串流来源装置100所送来的地理拓扑数据GD，以得知视频串流来源装置100彼此之间相对位置、速度、拍摄视角的变化。

在步骤S380中，依据观观看控制命令VCM，控制单元390从接合注册数据缓存单元340取得尚未过期可用的接合注册数据RD，以提供视频串流观看装置500’查询视频串流来源装置100的相邻信息，并且控制单元390接受来自视频串流观看装置500’对于视频串流来源装置100增加或移除的观看控制命令VCM。控制单元390也可以依据某些命令，暂时性地控制接合注册数据缓存单元340内接合注册数据RD过期的条件。

在步骤S390中，若有对于视频串流来源装置100增加观看或移除的观看控制命令VCM，控制单元390通知视频串流传送单元350准备联机资源，供视频串流观看装置500’联机观看，并更新目前的群组。

接着，继续接收后续的视频页框VF，并重复上述步骤S330～S390。

在图8B中，于视频串流网关装置300’开始运作之后，经由一定时器控制，于每经过一个时间区间执行下列步骤S410～S470。

在步骤S410中，地理拓扑数据处理单元370计算关于各个视频串流来源装置100的相对速度、相对距离与彼此之间拍摄角度的变化，以决定一个页框数临界值或时间临界值。

在步骤S420中，依据决定的页框数临界值或时间临界值，于视频页框缓存单元380找寻各个视频串流来源装置100满足页框数临界值或时间临界值的视频页框VF，并清除过期的视频页框VF且将符合的视频页框VF送至视频接合特征处理单元330进行接合注册数据RD的运算。

在步骤S430中，接合注册数据RD及同步信息(序列号、时间戳等)送到接合注册数据缓存单元340暂存。

在步骤S440中，清除已过期的暂存接合注册数据RD。

在步骤S450中，暂存于接合注册数据缓存单元340的接合注册数据RD由接合注册数据传送单元360传送给视频串流观看装置500’。

在步骤S460中，控制单元390从接合注册数据缓存单元340取得接合注册数据RD作为各个视频串流来源装置100彼此之间的邻接信息，并于收到来自视频串流观看装置500’的查询时，提供给视频串流观看装置500’。

在步骤S470中，参考地理拓扑数据处理单元370的计算结果、失效期限、或页框数间隔，决定下一次重复此流程的时间间隔，并等待时间间隔到达，以再度执行此流程的步骤S410。

图8C说明视频串流观看装置500’的运作流程。在视频串流观看装置500’与视频串流网关装置300’建立联机后，执行下述步骤S510～S580。

在步骤S510中，依照一开始选择观看的区域或是预先设定的区域，决定一组视频串流来源装置100的群组。

在步骤S520中，视频串流接收单元510接收属于群组的视频页框VF，并送到视频接合单元530。

在步骤S530中，接合注册数据接收单元520接收到接合注册数据RD以及这组接合注册数据RD的失效期限，并把这些数据送到视频接合单元530。

在步骤S540中，视频接合单元530依据失效期限，寻找各个视频页框VF及对应的接合注册数据RD，进行各个视频页框VF的编码，并依据接合注册数据RD的描述进行接合。在一些实施方式中，此步骤亦可包括亮度的误差估测与校正。若在此步骤没有找到正确可用的接合注册数据RD与视频页框VF的组合，则不以接合视频的方式呈现，而改以单独显示某个视频串流来源装置100的视频页框VF，或暂停接合视频的更新。

在步骤S550中，将已接合视频页框SVF储存在重绘单元550中，并通过用户接口显示出来。

在步骤S560中，控制单元560利用用户接口于被显示出来的已接合视频页框SVF上提供观看上的操作，如上下/左右/前后移动以及缩放等操作，并将这些操作转换成观看控制命令VCM，并送往视频串流网关装置300’。

在步骤S570中，控制单元560收到来自视频串流网关装置300’因应观看控制命令VCM而回复的周围的视频串流来源装置100的邻接信息。

在步骤S580中，视频串流来源装置选择单元540综合邻接信息、视频接合单元530的运算负载、重绘单元550的显示大小限制以及视频串流接收单元510的接收带宽现况，决定是否要增加要接收新的视频串流来源装置100，或是停止接收一些旧有的视频串流来源装置100。

根据上述实施例，进行接合视频页框VF的动作时，采用往前时间点的接合注册数据RD，故省去了产生接合注册数据RD的动作的延迟。如此一来，视频串流的接合与传输主要为接合视频页框VF的动作的延迟，故延迟情况能够大幅度改善。此外，视频串流观看装置500可能只需显示部份区域的画面，故可以仅将有需要的部份视频页框VF传输至视频串流观看装置500。如此一来，能够有效减少带宽的竞争。再者，进行接合视频页框VF的动作时，视频页框VF的时间点与接合注册数据RD的时间点的差距控制在小于误差时间，即可控制画面质量在一定水平。

综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修饰。因此，本发明的保护范围当视权利要求所界定者为准。