运动图像分割装置及监视方法与流程

文档序号:16513543发布日期:2019-01-05 09:29阅读:144来源:国知局
运动图像分割装置及监视方法与流程

本发明涉及为了防盗或管理等目的而将所拍摄的运动图像传输至服务器处进行存储的由监视摄影机系统执行的监视方法、和适于进行从监视摄影机而来的运动图像传输的运动图像分割装置。



背景技术:

现有技术中,为了防盗或调查或者是管理上的目的,导入有如下摄影机系统:对于集中式住宅等建筑物的出入口或店铺或者是街上、工厂或配送中心等的成为监视对象的地点,通过监视摄影机来在适当的时间进行监视,并将监视结果经由因特网或其他的电通信链路来送出至用户终端的屏幕上进行监视。虽然也开发有拍摄静止图像并先将通过服务器所取得的图像压缩后再显示于终端处的摄影机系统(例如,参照日本特开2013-51534号公报),但是,一般而言,对通过摄影机所拍摄的运动图像进行记录的系统更被周知(例如,参照日本特开2002-77882号公报)。另外,也周知有多种将运动图像的图像进行编码或译码的方法(例如,参照wo2014/103529号公报)。



技术实现要素:

本发明的其中一个侧面的运动图像分割装置与拍摄运动图像的摄影机组的各摄影机进行连接,并经由网络而与信息处理装置进行连接,该运动图像分割装置具备处理器,所述处理器向所述摄影机请求运动图像,并从所述摄影机取得所拍摄的运动图像,从取得的所述运动图像中检测i帧,并以包含i帧的gop为单位来创建以拍摄时刻顺序附加了顺序的分割数据,且将所创建的分割数据存储在存储装置中,反复进行上述这些动作,响应于来自所述信息处理装置的分割数据的请求,参照附加于所述分割数据的顺序来从所述存储装置提取分割数据,将所提取的所述分割数据传输至所述信息处理装置。

附图说明

图1是表示实施方式的监视方法中的监视摄影机系统的构成的其中一例的图。

图2是在实施方式的监视方法的第一实施例中的监视摄影机系统的录像服务器的构成图。

图3是实施方式的运动图像分割装置的第一实施例的构成图。

图4是在实施方式的监视方法的第一实施例中的监视摄影机系统的终端(移动终端)的构成图。

图5是在实施方式的监视方法的第一实施例中的监视摄影机系统的终端(pc)的构成图。

图6是在实施方式的监视方法的第一实施例中的从监视用摄影机(运动图像用)到录像服务器的数据发送的示意图。

图7是表示在实施方式的监视方法的第一实施例中的从摄影机与录像服务器之间的连接起直到写入一次影像数据为止的处理过程概要的流程图。

图8是在由实施方式的监视摄影机系统执行的监视方法的第一实施例中的从摄影机到运动图像分割装置的运动图像的发送方法与分割数据的保存方法的说明图。

具体实施方式

在现有技术的系统中,虽然在服务器能够进行图像压缩,但是,在从监视摄影机到服务器的运动图像传输中,对于链路状况的恶化的对应能力差,特别是在运动图像的情况时,会成为显著的问题。

另外,存在如下问题:为了防止起因于从监视摄影机到服务器的链路状况的恶化所导致的影像的分辨率的恶化,必须要将拍摄间隔拉长而将所传输的帧数减少或者是降低分辨率来进行拍摄。

基于这些问题,产生了导致难以进行在对于运动图像的处理而言困难的云端环境下的稳定的监视摄影机影像的收集的问题。

〔实施方式〕

以下所说明的实施方式的第一目的在于解决上述课题,并提供一种成为能够在云端环境下进行稳定的监视摄影机影像的收集的由监视摄影机系统执行的监视方法、和用于此的运动图像分割装置。

实施方式的第一形态的运动图像分割装置与拍摄运动图像的摄影机组的各摄影机进行连接,并经由路由器和因特网而与录像服务器进行连接,且具备保存数据的存储文件夹,该运动图像分割装置具备:运动图像处理单元,其向所述摄影机请求运动图像,并从所述摄影机将所拍摄的运动图像以baselineprofile(基本画质)通过流方式作为运动图像来取得;分割数据创建单元,其从取得的所述运动图像中检测i帧,并以i帧为起始的图像的gop为单位来创建以拍摄时刻顺序附加了序号的分割数据,且存储在所述存储文件夹中,将这些动作反复进行;最新的分割数据提取单元,其在每次从所述录像服务器接收到最新的分割数据的请求时,从所述存储文件夹提取最新的分割数据;最新的分割数据传输单元,其将所提取的所述最新的分割数据传输至所述录像服务器;和补足的分割数据传输单元,其在每次从所述录像服务器接收到补足的影像请求时,从所述存储文件夹将分割数据一个一个地作为补足的分割数据来传输至所述录像服务器。gop(groupofpicture;画面组)是由1个以上的i帧和多个p帧以及b帧组成的帧组。

根据实施方式的第一形态,在从摄影机组将影像数据传输至录像服务器时,由于是能够分割成能够在后复原成原本的影像的容量小的单位,并一面避免网络的拥塞一面进行发送,因此,成为能够进行在云端环境下的稳定的监视摄影机影像的收集。

另外,“图像”是包含静止图像和运动图像的双方的意义的用语,但是,在本发明中,将静止图像标记为“图像”,并将运动图像标记为“影像”,来对两者作区分。

实施方式的第二形态的由监视摄影机系统执行的监视方法是在监视摄影机系统中的监视方法,该监视摄影机系统具备拍摄运动图像的摄影机组、与所述摄影机组的摄影机进行连接并具备保存数据的存储文件夹的运动图像分割装置、和经由路由器以及因特网而与所述运动图像分割装置进行连接的录像服务器,该监视方法包含:运动图像取得步骤,所述运动图像分割装置向所述摄影机请求运动图像,并从所述摄影机将所拍摄的运动图像以baselineprofile通过流方式而作为运动图像来取得;分割数据创建步骤,所述运动图像分割装置从所取得的所述运动图像中检测i帧,并以i帧会成为起始的图像的gop为单位来创建以拍摄时刻顺序而附加了序号的分割数据并且存储在所述存储文件夹中,并将这些动作反复进行;定时收集请求步骤,所述录像服务器每隔给定时间向所述运动图像分割装置请求最新的分割数据;最新的分割数据提取步骤,所述运动图像分割装置在每次从所述录像服务器接收到最新的分割数据的请求时,从所述存储文件夹提取最新的分割数据;最新的分割数据传输步骤,所述运动图像分割装置将所提取的所述最新的分割数据传输至所述录像服务器;补足的分割数据收集请求步骤,所述录像服务器向所述运动图像分割装置反复请求补足的分割数据;补足的分割数据传输步骤,所述运动图像分割装置在每次从所述录像服务器接收到补足的影像请求时,在所述最新的分割数据传输步骤的定时以外的定时,从所述存储文件夹将分割数据一个一个地作为补足的分割数据传输至所述录像服务器;图像保存步骤,所述录像服务器在每次接收到所述最新的分割数据或者所述补足的分割数据时,提取i帧,并将所述i帧作为一次图像数据进行保存;和影像保存步骤,所述录像服务器将所述最新的分割数据与所述补足的分割数据,以一次影像数据生成单位的时间量来逐次结合,并作为一次影像数据进行保存。

根据实施方式的第二形态,在从摄影机组将影像数据传输至录像服务器时,由于是能够分割成能够在后复原成原本的影像的容量小的单位,并一面避免网络的拥塞一面进行发送,并且能够创建在被发送至录像服务器后立即能够以静止图像来进行确认的图像,同时也能够作为能够以高画质的运动图像来进行确认的影像,因此,成为能够进行在云端环境下的稳定的监视摄影机影像的收集。

实施方式的第三形态的监视方法包含:删除请求步骤,每当经过所述一次影像数据生成单位的时间时,所述录像服务器向所述运动图像分割装置请求所述存储文件夹内的分割数据的删除;和删除步骤,所述运动图像分割装置响应于来自所述录像服务器的分割数据的删除请求,将该分割数据从所述存储文件夹内删除。如此,运动图像分割装置仅需要较小的容量即可,故而,在紧凑性上优良,并且也能够削减成本。

实施方式的第四形态的监视方法,是在所述补足的分割数据传输步骤中,若在所述存储文件夹中残留的分割数据中存在一次影像数据生成单位的起始以及最终的分割数据,则将该起始以及最终的分割数据优先作为补足的分割数据,接着,将所附加的序号的连续性最高的组中的序号最为接近中央值的分割数据当中的拍摄时刻最为接近当前时刻的分割数据,优先性地作为补足的分割数据。通过此,能够使由于无法收集到补足数据所致的数据的缺损所导致的影像跳帧(图像缺损、帧缺损)的时间减少。

在本发明中,“网络”包括lan或因特网、wi-fi链路、3g/lte链路、专用链路等的通信网以及由这些组合所构成的网络。各摄影机具备输出功能和运动图像拍摄功能。摄影机优选为ip摄影机,但也可以为模拟摄影机。另外,在本形态中,所述摄影机并不需要通过lan网络而与所述录像服务器进行连接,即使是经由3g/lte链路来与因特网进行连接的运动图像监视摄影机,也能够将可进行复原且再生分辨率高的运动图像的数据传输至录像服务器,能够设置运动图像的监视摄影机的范围变广。

根据实施方式,成为能够在云端环境下进行稳定的监视摄影机影像的收集。

以下,针对实施方式,使用实施例来对于实施方式作具体性的说明,但是,实施方式并不限定于这些实施例。

〔第一实施例〕

第一实施例的监视方法是在监视摄影机系统中的监视方法,该监视摄影机系统经由网络来通过录像服务器而使监视用摄影机动作,并使作为信息处理装置的一例的录像服务器对运动图像或静止图像的摄影机图像进行拍摄、收集、编辑、保存,并且使录像服务器响应于从终端而来的请求而经由网络来对于用户的终端发送监视图像,该监视摄影机系统又特别具备并不与录像服务器存在于相同的lan网络上而是经由因特网来与录像服务器进行连接的运动图像拍摄用摄影机。也针对在第一实施例的监视方法中所使用的第一实施例的运动图像分割装置而一并作说明。

上述监视摄影机系统将在录像服务器中所复原的图像或影像发送至终端等,并能够进行现场图像的播放、倒带、快进以及图库(library)播放。另外,上述监视摄影机系统将所复原的图像压缩并保存,并将图像发送至终端等,也能够进行过去的图像的播放、倒带、快进。在本实施例中,将通过摄影机所拍摄的运动图像作分割,并从运动图像分割装置通过tcp/ip而传输至录像服务器,如此,即使是在运动图像分割装置与录像服务器之间的链路并不稳定的环境中,也能够进行最大限度的数据的收集,并成为能够不在现场设置录像服务器而进行在云端服务器等处的运动图像收集。另外,相较于单纯的运动图像收集,成为能够进行高画质的影像复原,并且能够进行对于链路状况的恶化的对应能力强的数据发送。进而,通过在运动图像分割装置中的将运动图像作了分割后的进行发送的顺序和发送定时以及在录像服务器中的处理,能够防止向录像服务器的影像发送的延迟,并且即使是在录像服务器的运动图像收集中也能够将高画质的现场图像进行播放、倒带、快进,进而,也能够将能以高画质来进行播放、倒带、快进的运动图像作保存。另外,在此所谓“图库播放”,是指从现场图像而倒带至过去的播放或者是过去的图像的快进播放。

(构成)

图1是表示实施方式的监视方法中的监视摄影机系统的构成的其中一例的图。在由lan或因特网、wi-fi链路、3g/lte链路、专用链路等的通信网的组合所构成的网络500上,连接有:(1)作为拍摄图像的摄影机,而分别连接有多台的监视用摄影机(运动图像用)700a~c和多台的监视用摄影机(静止图像用)701a、和(2)与监视用摄影机(运动图像用)700b、c的各者进行连接,并取得通过监视用摄影机所拍摄的影像而传输至录像服务器100的运动图像分割装置400b、c、和(3)经由网络500而与监视用摄影机(静止图像用)701和监视用摄影机(运动图像用)700进行连接,并取得通过摄影机所拍摄的图像数据和影像数据而作存储并且发送至终端的作为录像服务器的录像服务器100、和(4)作为经由网络500而与录像服务器100进行连接并接收到来自录像服务器100的图像数据并作显示的终端,而连接有智能手机等的移动终端200a、b和桌上型pc(个人计算机)或笔记本型pc等的阅览pc300a~c。在图1中,是以虚线箭头来对于通过监视用摄影机(运动图像用)所拍摄的运动图像(流运动图像)的路径进行图示。另外,以下,在对于移动终端和阅览pc作统称时,称作“终端”或“viewer”。

录像服务器100经由包含因特网的网络500而与监视用摄影机700b、c进行连接。在本实施例的监视摄影机系统中,在与录像服务器100相同的lan以外的网络上,是并不仅是设置有拍摄静止图像的监视用摄影机(静止图像用),还设置有拍摄运动图像的监视用摄影机(运动图像用)。本实施例是在包含存在于与录像服务器相同的lan以外的网络上的监视用摄影机(运动图像用)的监视摄影机系统中的监视方法,但也可并不具备存在于与监视用摄影机(静止图像用)和录像服务器相同的lan网络上的监视用摄影机(运动图像用)。另外,进行阅览的终端可以仅存在于与录像服务器相同的lan网络上,也可仅经由因特网而与录像服务器进行连接,还可使录像服务器兼作为阅览终端。录像服务器100与监视用摄影机(运动图像用)700b之间经由运动图像分割装置400b、路由器600b、因特网、路由器600a以及lan网络而进行连接,录像服务器100与监视用摄影机(运动图像用)700c之间经由运动图像分割装置400c、路由器600c、因特网、路由器600a以及lan网络而进行连接,并从监视用摄影机(运动图像用)700b、c,而分别从运动图像分割装置400b、c来取得图像数据。在连接有录像服务器100的lan和经由路由器600a所进行连接的因特网处,连接有3g/lte链路,另外,经由路由器600c而连接有其他的lan。运动图像分割装置400b经由路由器600b和3g/lte链路而与因特网进行连接,运动图像分割装置400c经由路由器600c和lan网络而与因特网进行连接。运动图像分割装置400c是和与录像服务器100不同的lan进行连接。图1示出将监视用摄影机(运动图像用)以及监视用摄影机(静止图像用)和阅览pc和移动终端经由多个网络来与录像服务器进行连接的连接例,但并不限于此。在本实施例中,监视用摄影机(静止图像用)701和录像服务器100之间的通信以及监视用摄影机(运动图像用)700和录像服务器100之间的通信,是以在从会话(session)建立后再开始通信的信赖性高的tcp来进行,但是,是也可采用并不建立会话而将数据进行发送的较为迅速并且在实时性上优良的udp,不论是通过tcp、udp的何者的通信协议,均能够取得图像。

监视用摄影机(运动图像用)和监视用摄影机(静止图像用)在本实施例中是ip摄影机,但是,也可以为模拟摄影机。但是,在模拟的情况时,需要转换器。作为图像显示用的终端的阅览pc300也并不限定于与录像服务器100存在于相同的lan内的情况,也可经由因特网或lan或wi-fi链路等的多个网络来进行连接。作为图像显示用的终端的移动终端200也同样的,是也可经由lan、因特网、移动电话用网络(wi-fi链路或3g/lte链路等)等多个网络来进行连接。另外,在lan与因特网之间、监视用摄影机(运动图像用)以及监视用摄影机(静止图像用)与因特网之间,存在路由器600。

1台录像服务器100能够从多台监视摄影机(运动图像用)700取得摄影机运动图像,并从多台监视摄影机(静止图像用)701取得摄影机静止图像。在本实施例中,由于录像服务器100侧自动性地使网络流量分散,因此,不需要进行网络设计,只需要将摄影机连接于端口即可,因此作业变得非常简便。另外,在成为无法通信的情况时,也容易再度开始通信。

在录像服务器100,经由lan而也连接有监视用摄影机(运动图像用)700a和监视用摄影机(静止图像用)701a,但是,本实施例的监视方法,由于是仅以监视用摄影机(运动图像用)作为对象,另外,针对在lan上而与录像服务器100进行连接的摄影机,并不作为对象,因此,在以下所述的摄影机中,并不包含监视用摄影机(静止图像用)(在图1中是例示为监视用摄影机(静止图像用)701a)以及在lan上与录像服务器100进行连接的监视用摄影机(运动图像用)(在图1中,例示为监视用摄影机(运动图像用)700a)。

在现有技术的ip摄影机系统中,取得运动图像的监视摄影机,若并不设置在与录像服务器相同的lan上,则当链路状况有所恶化时,影像变得粗糙的可能性高,但是,在本实施例中,由于成为能够在云端环境下进行稳定的监视摄影机影像的收集,因此,即使在因特网上或者是移动终端等的3g/lte链路上,也能够设置运动图像用的监视摄影机,故而,自由度变得非常高。

图2是在实施方式的监视方法的第一实施例中的监视摄影机系统的录像服务器的构成图。录像服务器100是信息处理装置的一例,并具备:具备伴随着作为闪存的内存102的cpu101和装置驱动器等的控制和运算装置;具备dram等的主存储装置和硬盘等辅助存储装置的存储装置110;网络接口104等的通信控制装置;作为显示设备的显示器103;和通过键盘105以及鼠标106等所构成的输入输出装置。在存储装置110中,储存有一次图像文件夹111、一次影像文件夹115、二次影像文件夹112、程序113、认证用数据库及环境设定文件夹等,并且储存有操作系统114。程序113通常储存在存储装置110的辅助存储装置中,在执行时被加载至主存储装置中。在一次图像文件夹111中,将从由运动图像分割装置400取得的分割数据中提取的i帧的静止图像,作为一次图像数据进行存储,在一次影像文件夹115中,将对于由运动图像分割装置400取得的分割数据而以作为顺序的一例的序号顺序进行结合所创建的运动图像,作为一次影像数据进行存储,在二次影像文件夹112中,将存储在一次影像文件夹111内的一定时间的量的一次影像数据进行运动图像压缩转换,并作为二次影像数据进行存储。在程序113中,是包含收集和编辑程序以及发送程序等的各种的程序。在认证用数据库中,存储有id、密码、各监视用摄影机700、701和移动终端200及阅览pc300的端口编号与ip地址,在并不具有ip地址的终端的情况时,是存储有身份识别信息(uid)。在本实施例中,录像服务器100使录像服务器与终端装置成为一体并使自身也发挥作为显示图像的终端装置的功能,又或是为了进行维修和管理,而具备显示器103、和作为输入单元的键盘105与鼠标106。当在录像服务器处并不需要进行摄影机图像的播放的情况时,也可以并不具备作为图像显示设备的终端功能。在环境设定文件夹中,存储有来自各运动图像分割装置的影像取得定时、一次图像数据、一次影像数据及二次影像数据的创建间隔、压缩条件等。录像服务器100是云端服务器,但也可为设置型的服务器。

录像服务器100对于经由因特网所进行连接的监视摄影机(运动图像用)700b、c,分别通过运动图像分割装置400b、c来进行连接请求,并通过从运动图像分割装置400b、c来向监视摄影机(运动图像用)700b、c请求运动图像的拍摄,从而使运动图像分割装置400b、c从监视摄影机(运动图像用)700b、c所取得的运动图像在运动图像分割装置400b、c处进行分割,通过从录像服务器向运动图像分割装置400b、c请求运动图像的分割数据,录像服务器100使运动图像分割装置400b、c将以能够在的后作复原的方式而作了分割的数据个别地发送至录像服务器100处。

录像服务器100通过使cpu101将收集和编辑程序加载至内存102中并执行,而实现能够进行在本实施例的监视方法中的从运动图像分割装置而来的图像取得乃至于编辑保存的计算机的功能。录像服务器100通过使cpu101将发送程序加载至内存102中并执行,而实现能够进行对于终端的图像送出处理的计算机的功能。cpu101是搭载于通常的计算机中的运算处理装置,执行各种程序并进行各种控制等。

录像服务器100可为1台服务器,也可为由多个录像服务器所成的服务器组。例如,针对二次影像文件夹,也可将在经过一定期间(例如24小时)后的二次影像数据的保存目标,设为设置在与取得摄影机图像的录像服务器不同的其他录像服务器处的二次影像文件夹。通过将并不会频繁进行播放的过去的保存数据另作保存,能够在同一网络上对于更多台数的摄影机进行监视。

收集和编辑程序是用以使计算机实现下述功能的程序:(1)进行与运动图像分割装置之间的连接的运动图像分割装置连接功能、(2)每隔一定时间(例如3秒)使已连接的运动图像分割装置将最新的分割数据输入至录像服务器中的最新的分割数据取得功能、(3)使运动图像分割装置将补足的分割数据输入至录像服务器中的补足的分割数据取得功能、(4)从由运动图像分割装置取得的分割数据中提取i帧的i帧提取功能、(5)将所提取的i帧展开于内存中的i帧内存展开功能、(6)将所提取的i帧作为一次图像数据而保存在一次图像文件夹中的一次图像数据保存功能、(7)将从运动图像分割装置取得的分割数据以一次影像数据生成单位的时间(例如10分钟)来逐次结合并作为一次影像数据而保存在一次影像文件夹中的一次影像数据保存功能、(8)判断是否经过了一次影像数据生成单位的时间的一次影像数据生成单位时间经过判断功能、(9)判断在所取得的分割数据的序号中是否存在遗漏的补足与否判断功能、(10)使运动图像分割装置将特定的分割数据删除的分割数据删除请求功能。

在本实施例中,收集和编辑程序更优选是用以使计算机实现将一次影像数据每隔一定时间(例如10分钟)作结合并附加时间戳而转换为以运动图像形式来作了压缩的二次影像数据的二次影像数据创建功能的程序。一次图像数据全部是整个图像(i帧(帧内帧)),一次影像数据是将所取得的分割数据以拍摄顺序(也即是序号顺序)来排列并作了结合的通过i帧与p帧(预测帧间帧)所构成的运动图像的数据,二次影像数据是将一次影像数据维持为运动图像形式地进行压缩,并例如将i帧设为每200个帧而为1片的比例,并且也可并不仅是p帧(预测帧间帧)而也将b帧(双向预测帧间帧)作组合而插入,而并不产生劣化地来削减容量。在本实施例中,由于能够参照未来的i帧,因此能够插入b帧。b帧由于是前后比较差分,因此相较于p帧是变得更小。

发送程序是用以使计算机也实现下述功能的程序:进行与终端之间的连接的终端连接功能、在终端处显示摄影机一览并受理从终端而来的摄影机的选择的图像选择受理功能、针对被选择的摄影机而将一次数据的图像作为现场图像而发送至终端的现场图像发送功能、从终端受理从现场图像起的倒带请求的现场图像倒带受理功能、在每次的倒带请求时,将从前一次发送至终端的图像起的一定时间的量(例如1秒)的过去的时间点的一次数据提取并作为倒带现场图像而发送至终端的倒带现场图像发送功能、从终端受理从倒带现场图像起的快进请求的倒带现场图像快进受理功能、在每次的快进请求时,将从前一次所发送至终端处的图像起的一定时间的量(例如1秒)的未来的时间点的一次数据提取并作为快进现场图像而发送至终端直到到达当前时间点的图像为止的快进现场图像发送功能。所谓“当前时间点的图像”,是指从由运动图像分割装置取得的分割数据而提取的i帧中的最新的i帧。故而,当前时间点的图像,当每次从运动图像分割装置而来的分割数据被输入至录像服务器中时,会改变为新的图像。

发送程序是进而用以使计算机也实现下述的功能的程序:从终端受理从倒带现场图像起的图库图像请求的图库图像受理功能、在每次的现场图像请求时,将从前一次发送至终端的图像起的一定时间的量(详细而言,从运动图像分割装置400起而至录像服务器100的最新的分割数据的取得间隔的量)的未来的时间点的一次图像数据提取并作为快进现场图像而发送至终端处的图库图像发送功能。另外,在此所谓“图库图像”,是指过去的图像的快进播放图像。

另外,发送程序是进而用以使计算机也实现下述的功能的程序:在二次影像数据的创建后,当存在从终端而来的影像的播放请求的情况时,代替一次图像数据,而提取二次影像数据,并响应于像是播放和倒带以及快进等的从终端而来的请求,而向终端发送影像的二次影像发送功能。

在本实施例中,终端200、300与录像服务器100之间的连接,是通过tcp/ip方式来进行,并先通过用户id与密码来进行认证,而确认终端为在录像服务器中有所登录的终端,之后再进行图像发送。认证优选是录像服务器上的认证数据库执行的认证。

即使终端并非存在于相同的lan上,若是录像服务器为经由路由器而通过网络来进行连接,则是通过所连接的路由器的ip地址和被分配至路由器处的端口编号,来从录像服务器进行图像(全图像、或者是压缩图像)的取得。在终端的连接中,是利用在终端认证时所登录的uid来进行终端的认证。

录像服务器100在开始与移动终端200之间的连接时,由于是根据使用有uid的终端固有信息来确定移动终端200,因此通过用户id和密码的认证以及终端固有信息的一致,能够进行图像显示。

图3是实施方式的运动图像分割装置的第一实施例的构成图。运动图像分割装置400具备:具备伴随着内存402的cpu401和装置驱动器等的控制和运算装置;具备dram等主存储装置和硬盘等辅助存储装置的存储装置410;网络接口404等通信控制装置;仅在维修时会进行连接并使用的作为显示设备的显示器403;和通过键盘405、鼠标406等所构成的输入输出装置。在存储装置410中,储存有存储文件夹411、环境设定文件夹、运动图像分割程序413、和操作系统414。存储文件夹411是保存图像的文件夹,在存储文件夹411中,存储从监视用摄影机(运动图像用)取得并将分割长度设为gop为单位(例如1秒的量)并且以使i帧成为起始的图像的方式来作分割并以拍摄时刻顺序来附加了序号的分割数据。在环境设定文件夹中,存储有判断i帧的出现的条件、分割长度的条件等。序号以会成为从拍摄时刻为较早者起依次连续的号码的方式而被赋予,例如,可为如同00001、00002、00003那样的形式,也可根据拍摄日期时间和分割长度来设为如同0201153059、0201153100、0201153101那样的形式。

运动图像分割装置400在经由因特网而与录像服务器100进行连接的监视用摄影机(运动图像用)700处,针对每一台而各被连接有一台。

运动图像分割装置400,在本实施例中,通过录像服务器100,而使对于运动图像分割装置400所连接的监视用摄影机(运动图像用)700的连接请求被控制,并将运动图像分割装置400从监视用摄影机(运动图像用)700取得的摄影机影像设为特定的分割数据,而以特定的间隔来将最新的分割数据发送至录像服务器100,且在其期间将补足的服务器发送至录像服务器100。

运动图像分割装置400通过使cpu401将运动图像分割程序413加载至内存402中并执行,而实现能够进行在本实施例的监视方法中的从摄影机图像取得起乃至于编辑保存、对于录像服务器的发送的计算机的功能。cpu401是搭载于通常的计算机中的运算处理装置,执行各种程序并进行各种控制等。

运动图像分割程序413是用以使计算机实现下述功能的程序:(1)在与录像服务器进行连接之后,进行与监视用摄影机(运动图像用)之间的连接的摄影机连接功能;(2)向已连接的监视用摄影机(运动图像用)请求运动图像,并从该监视用摄影机(运动图像用)将所拍摄的运动图像以baselineprofile通过流方式而作为运动图像来取得的运动图像取得功能;(3)从所取得的运动图像中检测i帧,并以包含i帧的gop为单位(例如i帧会成为起始的图像的gop为单位)来创建以拍摄时刻顺序而附加了序号的分割数据,且存储在存储文件夹中,而将这些动作反复进行的分割数据创建功能;(4)在每次从录像服务器接收到最新的分割数据的请求时,从存储文件夹将最新的分割数据提取的最新的分割数据提取功能;(5)将所提取的最新的分割数据传输至录像服务器的最新的分割数据传输功能;(6)在每次从录像服务器接收到补足的影像请求时,从存储文件夹将分割数据一个一个地作为补足的分割数据来传输至录像服务器的补足的分割数据传输功能。

在本实施例中,收集和编辑程序更优选是用以使计算机实现下述功能的程序:针对补足的分割数据,若是在存储文件夹中残留的分割数据中存在一次影像数据生成单位的起始以及最终的分割数据,则优先性地作为补足的分割数据,接着,将所附加的序号的连续性最高的组中的序号最为接近中央值的分割数据当中的拍摄时刻最为接近当前时刻的分割数据,优先性地作为补足的分割数据的补足的分割数据创建功能。

在本实施例中,监视摄影机与运动图像分割装置之间的连接是通过tcp/ip方式来进行的,为了确定监视摄影机,是先通过在录像服务器侧处所设定的用户id与密码来经由运动图像分割装置而进行认证,之后进行摄影机图像的拍摄等的请求。认证优选是以经由运动图像分割装置而由录像服务器上的认证数据库执行的认证。

在本实施例的监视方法中的运动图像分割装置400b、c由于并非是与录像服务器存在于相同的lan上,而是经由路由器并通过网络来进行连接,因此,是通过所连接的路由器的ip地址和分配给路由器的端口编号来从运动图像分割装置取得运动图像。当通过并不具备全局ip的环境来进行连接时,从运动图像分割装置向录像服务器进行运动图像传输。此时,将录像服务器侧路由器的端口编号开放,并对于录像服务器进行端口传输。运动图像分割装置400b、c分别与监视用摄影机(运动图像用)700b、c在相同的lan上通过网络来进行连接,且与录像服务器的请求无关地进行运动图像的取得、分割、存储。

录像服务器100在位于本地环境(例如,相同的lan上)的监视用摄影机的情况时,在连接开始时能够通过此利用ip地址以及端口编号的连接来确定连接对象,并通过用户id和密码来进行认证,但是,在经由因特网所连接等的位于远程环境中的监视摄影机之间的连接时,是通过使用路由器的端口传输(也表现为端口转发等),来使用全局ip地址以及端口编号而确定出连接对象。

图4是在实施方式的监视方法的第一实施例中的监视摄影机系统的终端(移动终端)的构成图。移动终端200具备:具备伴随着内存202的cpu201和装置驱动器等的控制和运算装置;存储装置210、和进行数据的收发等的通信控制装置;作为显示设备的显示器203;和操作键或触控面板等的输入输出装置。在存储装置210中,储存有图像显示程序213和操作系统214。终端装置200例如是智能手机等的移动电话等,并通过使cpu201将图像显示程序213加载至内存202中并执行,而实现能够进行在本实施例的监视方法中的图像显示的计算机的功能。cpu201是搭载于通常的移动终端中的运算处理装置,执行各种程序并进行各种控制等。

图5是在实施方式的监视方法的第一实施例中的监视摄影机系统的终端(pc)的构成图。阅览pc300具备:具备伴随着内存302的cpu301和装置驱动器等的控制和运算装置;具备dram等的主存储装置和硬盘等辅助存储装置的存储装置310;网络接口304等通信控制装置;作为显示设备的显示器303;和通过键盘305、鼠标306等所构成的输入输出装置。在存储装置310中,储存有图像显示程序313和操作系统314。阅览pc300例如是桌上型pc或笔记本型pc、平板终端等,并通过使cpu301将图像显示程序313加载至内存302中并执行,而实现能够进行在本实施例的监视方法中的图像显示的计算机的功能。cpu301是搭载于通常的pc的运算处理装置,执行各种程序并进行各种控制等。

图像显示程序是用以使计算机实现进行与录像服务器之间的连接的终端连接功能、将从录像服务器发送而来的图像进行显示的图像显示功能的程序。

图像显示程序,更优选地,是还用以使计算机也实现下述的功能的程序:在现场图像显示中,在每次的从监视用摄影机到录像服务器的摄影机图像取得间隔中,向录像服务器请求现场图像的现场图像请求功能;在现场图像显示中,受理倒带请求的输入,并向录像服务器请求倒带现场图像的倒带开始请求功能;在倒带现场图像显示中,在比现场图像的请求间隔更短的每个固定时间(例如0.2秒)处,向录像服务器请求倒带现场图像的倒带继续请求功能;在倒带现场图像显示中,受理来自用户的快进请求的输入,并向录像服务器请求快进现场图像的倒带现场图像快进开始请求功能;和在快进现场图像显示中,在比现场图像的请求间隔更短的每个固定时间(例如0.2秒)处,向录像服务器请求快进现场图像的倒带现场图像快进继续请求功能。

在本实施例中,图像显示程序更优选地,是还用以使计算机实现下述功能的程序:在倒带现场图像显示中,受理图库图像请求的输入,并向录像服务器请求图库图像的图库图像开始请求功能;和在图库图像显示中,在每次的从摄影机到录像服务器的摄影机图像取得间隔中,向录像服务器请求图库图像的图库图像继续请求功能。在此所谓的“图库图像”是指从现场图像而倒带至过去的播放图像或者是过去的图像的快进播放图像。

在本实施例中,录像服务器100和阅览pc300以及运动图像分割装置400均作为个人计算机而构成,并具备通常的个人计算机所具备的时钟功能等。移动终端200也具备时钟功能等。

在本实施例的监视方法中,第一实施例的运动图像分割装置400与拍摄运动图像的摄影机组的各摄影机(监视用摄影机(运动图像用)700b、c)进行连接,并经由包含路由器600和因特网的网络500而与录像服务器100进行连接,并且具备保存数据的存储文件夹411,该运动图像分割装置中设置有:(1)运动图像处理单元,是向所连接的监视用摄影机(运动图像用)700请求运动图像,并从监视用摄影机(运动图像用)700将所拍摄的运动图像以baselineprofile通过流方式而作为运动图像来取得;(2)分割数据创建单元,从所取得的所述运动图像中检测出i帧,并以包含i帧的gop为单位(例如i帧会成为起始的图像的gop为单位)来创建以拍摄时刻顺序而附加了序号的分割数据,且存储在存储文件夹411中,将这些动作反复进行;(3)最新的分割数据提取单元,是在每次从录像服务器100接收到最新的分割数据的请求时,从存储文件夹411将最新的分割数据提取;(4)最新的分割数据传输单元,是将所提取的最新的分割数据传输至录像服务器100;和(5)补足的分割数据传输单元,是在每次从录像服务器100接收到补足的影像请求时,从存储文件夹411将分割数据一个一个地作为补足的分割数据来传输至录像服务器100。在本实施例中,进而还设置有:(6)补足的分割数据创建单元,若是在存储文件夹411中残留的分割数据中存在一次影像数据生成单位的起始以及最终的分割数据,则优先性地作为补足的分割数据,接着,将所附加的序号的连续性最高的组中的序号最为接近中央值的分割数据当中的拍摄时刻最为接近当前时刻的分割数据,优先性地作为补足的分割数据。

运动图像分割装置400是通过所述硬件构成和运动图像分割程序413而作为(1)~(6)的单元来起作用。

在本实施例的监视方法中,录像服务器100中设置有:(1)进行与运动图像分割装置之间的连接的运动图像分割装置连接单元、(2)每隔一定时间(例如3秒)使所连接的运动图像分割装置将最新的分割数据输入至录像服务器中的最新的分割数据取得单元、(3)使运动图像分割装置将补足的分割数据输入至录像服务器中的补足的分割数据取得单元、(4)从由运动图像分割装置取得的分割数据中提取i帧的i帧提取单元、(5)将所提取的i帧展开于内存中的i帧内存展开单元、(6)将所提取的i帧作为一次图像数据而保存在一次图像文件夹中的一次图像数据保存单元、(7)将从运动图像分割装置取得的分割数据以一次影像数据生成单位的时间(例如10分钟)来逐次结合并作为一次影像数据而保存在一次影像文件夹中的一次影像数据保存单元、(8)判断是否经过了一次影像数据生成单位的时间的一次影像数据生成单位时间经过判断单元、(9)判断在所取得的分割数据的序号中是否存在遗漏的补足与否判断单元、(10)使运动图像分割装置将特定的分割数据删除的分割数据删除请求单元,并且,还设置有:(11)将一次影像数据每隔一定时间(例如10分钟)进行结合并附加时间戳而转换为以运动图像形式来作了压缩的二次影像数据的二次影像数据创建单元。

录像服务器100通过所述的硬件构成以及收集和编辑程序,来作为(1)~(11)的单元起作用。另外,录像服务器100通过所述的硬件构成和发送程序,而作为对于终端的现场图像和图库图像以及这些图像的倒带和快进等的图像发送单元来起作用。在此所谓“图库图像”,是指从现场图像而倒带至过去的播放图像或者是过去的图像的快进播放图像。

另外,在终端200、300中设置有:(1)进行与录像服务器100之间的连接的终端连接单元、(2)将从录像服务器100发送来的图像进行显示的图像显示单元。终端通过所述的硬件构成和图像显示程序213、313,而作为(1)~(2)的单元来起作用。图像显示单元,详细而言,还包含:(2-1)针对具有监视权限的1个或多个监视用摄影机700、701而对于录像服务器100请求摄影机运动图像的现场播放的现场播放请求单元、(2-2)将从录像服务器100发送而来的一次图像数据进行显示的现场播放显示单元、(2-3)针对具有监视权限的1个或多个监视用摄影机700、701而对于录像服务器100请求过去的摄影机运动图像的播放的过去影像播放请求单元、(2-4)将从录像服务器100发送而来的一次图像数据或二次图像数据进行显示的过去影像播放显示单元。

另外,将摄影机图像数据作压缩所创建的二次影像数据,由于是每隔一定时间而通过录像服务器来转换为二次影像数据,因此,终端除了现场图像的倒带或者是倒带后的快进以外,也能够进行在现有技术的录像播放装置中所能够进行的过去的摄影机图像的播放和倒带、快进。在为高画质的同时数据量也小的倒带现场合成图像和快进现场合成图像,由于是使用一次性的保存用的进行了压缩的一次数据,因此,在为高画质的同时,数据量也小。并不会频繁使用的二次数据创建单位以上的量的过去的播放和快进倒带,由于使用作为进行了压缩转换后的运动图像档案的二次影像数据,因此,在作为运动图像的同时,在保存时也仅需要更小的数据量。另外,能够进行现场合成图像的倒带后的播放。

通过上述监视摄影机和运动图像分割装置和录像服务器以及终端所构成的监视摄影机系统,是实现第一实施例的监视方法的监视摄影机系统,通过进行从运动图像分割装置到录像服务器的发送数据的传输控制,即使是设置于本地环境以外之处的运动图像拍摄用摄影机,也难以发生数据延迟等的问题,通过将以摄影机所拍摄的运动图像作分割并传输至录像服务器处,即使是在运动图像分割装置与录像服务器之间的链路并非为稳定的环境中,也能够进行最大限度的数据的收集,并成为能够并不在现场设置录像服务器地而进行在云端服务器等处的运动图像收集。也即是,成为能够在云端环境下而进行稳定的监视摄影机影像的收集。另外,是可实现一种成为能够分辨率为高且高画质并且对于链路状况的恶化的对应能力也强的数据发送的监视系统。由于是进行在网络上同时流通的数据的传输控制,因此,是能够通过一般的因特网链路等来使摄影机图像流通至录像服务器处,另外,即使是在一般的因特网链路等中,也能够传播网络摄影机信息。故而,能够进行在广域网(wan)的云端服务器处的来自监视用摄影机的运动图像数据的存储。能够防止向录像服务器的影像发送的延迟,即使是在录像服务器处的运动图像收集中也能够将高画质的现场图像进行播放、倒带、快进,进而,也能够将能够以高画质来进行播放、倒带、快进的运动图像作保存。在流的影像录像中,若是在将摄影机和录像服务器通过因特网来进行连接时仅是如同lan的情况一般地来进行连接,则在链路状况有所恶化时,影像是会变得模糊会者是发生帧丢失的现象,针对此现象,若根据上述监视摄影机系统,则通过以不会受到链路的影响的位于摄影机附近的装置来稳定地进行录像,并将其作分割而一面进行传输控制一面送至录像服务器,能够实现使影像的劣化、帧的丢失的问题消失的目标。

(处理过程)

以下,针对由实施方式的监视摄影机系统执行的监视方法的第一实施例的监视处理过程进行说明。在本处理过程中,使用通过上述监视用摄影机(运动图像用)和运动图像分割装置和经由因特网而与该监视用摄影机(运动图像用)进行连接的录像服务器以及终端所构成的监视摄影机系统。

图6是在实施方式的监视方法的第一实施例中的从监视用摄影机(运动图像用)到录像服务器的数据发送的示意图。作为监视用摄影机(运动图像用)的流ip摄影机经由网络hub而与运动图像分割装置进行连接,运动图像分割装置经由网络hub而与因特网进行连接,作为录像服务器的服务器与因特网进行连接。

从录像服务器向运动图像分割装置发送分割数据的请求,运动图像分割装置从录像服务器接收连接请求,并与监视用摄影机(运动图像用)进行连接而请求运动图像。基于来自运动图像分割装置的请求,监视用摄影机(运动图像用)将流运动图像发送至运动图像分割装置。发送至运动图像分割装置的流运动图像是在运动图像分割装置处编辑为被分割成以gop为单位的分割数据,并通过tcp/ip而发送至录像服务器。

流数据(rtsp:实时流通信协议)是会依存于链路状况而使传输容量改变或者是断续的对于链路状况的对应能力为非常差的通信协议,而有着若是经由3g/lte等的lan以外的链路来进行交换则会无法进行稳定的运动图像取得的问题,若是链路流量变小,则帧会显著地变少,影像会变得粗糙,若是链路状况进一步恶化而通信发生中断,则在再度连接时会耗费非常多的时间。但是,若根据实施方式的监视方法的第一实施例,则即使是在运动图像分割装置与录像服务器之间的链路并非为稳定的环境中,也能够进行最大限度的数据的收集,并成为能够进行对于链路状况的恶化的对应能力强的数据发送。在链路状况稳定的情况时,实施方式的监视方法的第一实施例能够生成与将流运动图像直接进行发送的现有技术的方法同等水平的运动图像,但是,当链路状况恶化,例如数据传输速度300kbps(千位每秒)而成为了37.5kbps的情况时,在将流运动图像直接发送的现有技术的方法中,由于想要维持帧数量,因此影像变得粗糙的可能性高,若是将300kbps完全利用,则画质会成为1/8,若是以分辨率而言,则vga(640×480点)会成为将160×120点作了拉伸的影像,但是,在实施方式的监视方法的第一实施例中,会成为跳帧的影像,单纯来说,是会成为每间隔8秒的影像。此外,在实施方式的监视方法的第一实施例中,若是链路状况有所改善,则由于补足处理会起作用,因此存在使8秒的跳帧被作补足的可能性。另外,在摄影机与运动图像分割装置之间,由于是lan,因此,在此间所流通的影像并不会被录像服务器与运动图像分割装置之间的链路的状况所影响。在将流运动图像直接发送的现有技术的方法中,即使是在链路状况恶化后而有所改善,也由于并不会进行补足处理,因此影像仍维持于粗糙的状态。在将流运动图像直接发送的现有技术的方法中,在链路状况更进一步恶化而通信发生了中断的情况时,是难以简单地恢复。若是lan,则是会有能够以较快的时间(1分钟程度)来再度连接的可能性,但是,在3g/lte等的lan以外的链路的情况时,无法恢复的可能性高。其原因是因为所连接的录像服务器多是并未对于lan以外的连接作考虑,但是,即使是将重试的次数增加,若是在连接途中发生中断,则会有在并非完善的状态下被识别出而无法取得从摄影机而来的响应的情形。另一方面,在实施方式的监视方法的第一实施例中,由于是作为进行分割而传输的1次1次地切断的通信,因此即使是发生中断,也不会对于影像造成影响。若是中断的时间的长度变长,则会发生帧丢失,但是,由于具备补足功能,因此在后而被补足的可能性高。若对于补足作考虑,则如果以300kbps作为最大,那么若是将256kbps设定为基准,则即使是链路状况变差也难以发生问题。

图7是表示在实施方式的监视方法的第一实施例中的从摄影机与录像服务器之间的连接起直到写入一次影像数据为止的处理过程概要的流程图。

本实施例的监视方法是在监视摄影机系统中的监视方法,该监视摄影机系统具备拍摄运动图像的摄影机组、与摄影机组的摄影机(监视用摄影机(运动图像用))进行连接并具有保存数据的存储文件夹的运动图像分割装置、和经由路由器以及因特网而与运动图像分割装置进行连接的录像服务器,该监视方法包含:(1)运动图像取得步骤,运动图像分割装置向监视用摄影机(运动图像用)请求运动图像,并从监视用摄影机(运动图像用)将所拍摄的运动图像以baselineprofile通过流方式而作为运动图像来取得;(2)分割数据创建步骤,运动图像分割装置从所取得的运动图像中检测i帧,并以包含i帧的gop为单位(例如i帧会成为起始的图像的gop为单位)来创建以拍摄时刻顺序而附加了序号的分割数据,且存储在存储文件夹中,将这些动作反复进行;(3)定时收集请求步骤,录像服务器每隔给定时间向运动图像分割装置请求最新的分割数据;(4)最新的分割数据提取步骤,运动图像分割装置在每次从录像服务器接收到最新的分割数据的请求时,从存储文件夹提取最新的分割数据;(5)分割数据传输步骤,运动图像分割装置将所提取的最新的分割数据传输至录像服务器;(6)补足的分割数据收集请求步骤,录像服务器向运动图像分割装置反复请求补足的分割数据;(7)补足的分割数据传输步骤,运动图像分割装置在每次从录像服务器接收到补足的分割数据的请求时,在最新的分割数据传输步骤的定时以外的定时,从存储文件夹将分割数据一个一个地作为补足的分割数据来传输至录像服务器;(8)图像保存步骤,录像服务器在每次接收到最新的分割数据或者补足的分割数据时,提取i帧,并将i帧作为一次图像数据而保存;以及(9)影像保存步骤,录像服务器将最新的分割数据与补足的分割数据以一次影像数据生成单位的时间量来逐次结合,并作为一次影像数据而保存。另外,在本实施例中,还包含:(10)删除请求步骤,录像服务器对于运动图像分割装置,在每经过一次影像数据生成单位的时间时,请求存储文件夹内的分割数据的删除。进而,包含:删除步骤,运动图像分割装置响应于来自录像服务器的分割数据的删除请求,将该分割数据从存储文件夹内删除。另外,在本实施例中,运动图像分割装置是在上述补足的分割数据传输步骤中,若是在存储文件夹中残留的分割数据中存在一次影像数据生成单位的起始以及最终的分割数据,则优先性地作为补足的分割数据,接着,将所附加的序号的连续性最高的组中的序号最为接近中央值的分割数据当中的拍摄时刻最为接近当前时刻的分割数据,优先性地作为补足的分割数据。

具备收集和编辑程序和运动图像分割程序的监视摄影机系统的程序用以使计算机执行这些步骤。

(步骤1)

图8是在由实施方式的监视摄影机系统执行的监视方法的第一实施例中的从摄影机到运动图像分割装置的运动图像的发送方法与分割数据的保存方法的说明图。监视用摄影机(运动图像用)接收运动图像请求,并连续拍摄运动图像,且将进行拍摄所得到的运动图像以流方式将h.264baselineprofile的摄影机影像作为运动图像而发送至运动图像分割装置。运动图像分割装置若从监视用摄影机(运动图像用)以流方式接收到运动图像,则向录像服务器发送连接响应,若是对于录像服务器的认证用数据库进行参照而认证成功,则录像服务器和监视用摄影机(运动图像用)经由运动图像分割装置而成为连接状态。若是成为无法建立连接,则回到步骤s。

(步骤2)

运动图像分割装置从由监视用摄影机(运动图像用)取得的运动图像中检测i帧,并以会使i帧成为起始的图像的gop为单位,来创建以拍摄时刻顺序而附加了序号的分割数据,并存储在所述存储文件夹中。运动图像分割装置于正在从监视摄影机(运动图像用)而接收到运动图像的期间中,是反复进行此动作。在本实施例中,若是运动图像分割装置检测出i帧,则是将从其开始而直到检测出下一个i帧之前的帧为止,作为1个的分割数据。在本实施例中,gop为单位虽是设为1秒,但是并不限于此。在本实施例中,虽设为在1秒中包含1个i帧的运动图像,但是,关于要在每几秒中而装入i帧一事,是通过运动图像分割装置来作设定,并使运动图像分割装置,在对于监视用摄影机(运动图像用)请求运动图像时而下达指示。在本实施例中,1个分割数据例如由1个i帧和1个或多个p帧组成。在本实施例中,虽是设为在1个分割数据中包含1个i帧,但是,也可在1个分割数据中包含2个以上的特定的数量的i帧,而并不限于此。运动图像分割装置若是检测出了特定的数量的i帧,则将从其开始而直到检测出下一个i帧之前的帧为止,作为1个分割数据。但是,由于在因特网中所发送的数据量会变大,并且在录像服务器处的处理负载也会变大,因此,优选地,运动图像分割装置在每次检测出i帧时创建1个分割数据。在此情况下,在分割数据中仅在起始处包含i帧。

(步骤3)

接着,录像服务器每隔给定时间(例如3秒)向运动图像分割装置进行请求最新的分割数据的定时收集请求。运动图像分割装置接受此最新的分割数据的请求,从存储文件夹中将最新的分割数据、也即是序号最大的分割数据提取,并发送至录像服务器。例如,当在存储文件夹内存在序号为00005、00006、00007的3件时,运动图像分割装置在定时的收集中,将作为最新的分割数据的序号00007的分割数据发送至录像服务器。如此,运动图像分割装置参照作为附加在分割数据处的顺序的一例的序号,从存储装置410提取最新的分割数据。

(步骤4)

录像服务器若从运动图像分割装置取得分割数据,则从分割数据中提取i帧,并将所提取的i帧展开于内存上,另外,将所提取的i帧作为一次图像数据而保存在一次图像文件夹中。另外,录像服务器将所取得的分割数据以一次影像数据生成单位的时间量(例如10分钟)来逐次作结合,并作为一次影像数据而保存在一次影像文件夹中。进而,录像服务器判断是否经过了一次影像数据生成单位的时间。在尚未经过一次影像生成单位的时间的情况时,前进至步骤5,在已经过一次影像生成单位的时间的情况时,前进至步骤8。

(步骤5)

在尚未经过一次影像数据生成单位的时间的情况时,接着,录像服务器判断在所取得的分割数据的序号中是否存在遗漏。当在序号中存在遗漏的情况时,是前进至步骤6,当在序号中并不存在遗漏的情况时,前进至步骤8。

(步骤6)

当在序号中存在遗漏的情况时,录像服务器向运动图像分割装置请求补足的分割数据。运动图像分割装置在每次从录像服务器接收到补足的分割数据的请求时,在将最新的分割数据传输至录像服务器的定时以外的定时,从存储文件夹中将分割数据一个一个地作为补足的分割数据而传输至录像服务器,并回到步骤4。运动图像分割装置针对补足的分割数据,若在存储文件夹中残留的分割数据中存在一次影像数据生成单位的起始以及最终的分割数据,则优先性地作为补足的分割数据,接着,将所附加的序号的连续性最高的组中的序号最接近中央值的分割数据当中的拍摄时刻最为接近当前时刻的分割数据,优先性地作为补足的分割数据。也即是,录像服务器,在补足的分割数据的收集中,是从空出有间隔的场所起而作为对象。例如,当在录像服务器的一次图像文件夹内,存在序号为00001、00002、00005、00010、00012的5件时,在补足的分割数据的收集中,由于是将空出有最大的间隔的序号00005和00010之间作补足,因此,序号00007和00008中的较接近当前时刻的00008成为对象。另外,运动图像分割装置针对一次影像数据生成单位的起始与最终的分割数据,始终最优先性地进行补足。如此,运动图像分割装置的cpu401,若在存储装置410中残留的分割数据中存在所述一次影像数据生成单位的起始以及最终的分割数据,则优先性地作为补足的分割数据而传输至录像服务器。另外,运动图像分割装置的cpu401将参照对于在存储装置410中所残留的分割数据而附加的顺序(例如序号)的连续性而从在存储装置410中残留的分割数据当中选择的分割数据,作为此补足的分割数据而传输至录像服务器。此时,例如,运动图像分割装置的cpu401从在存储装置410中残留的分割数据当中的附加于该分割数据的顺序相连续的组中,选择补足的分割数据。

(步骤7)

在步骤4中,当已经过了一次影像数据生成单位的时间的情况时,录像服务器向运动图像分割装置进行将特定的分割数据删除的分割数据删除请求。作为原则,通过定时所收集的最新的分割数据的组、和在它们之间而补足性地作了收集的补足的分割数据的组,由于在运动图像分割装置的存储文件夹中所存在的分割数据是全部被发送至录像服务器并被作结合而进行存储,因此,运动图像分割装置是将存储文件夹内的分割数据删除。通过定期性地使存储文件夹成为清空,运动图像分割装置的空闲容量增加。即使是在起因于故障等而即使是经过了一次影像数据生成单位的时间也无法完全收集补足的分割数据的情况时,运动图像分割装置也将存储文件夹内的分割数据删除。在此情况下,在存储于一次影像文件夹中的一次影像数据处,会发生伴随着数据的缺损所生成的影像跳帧。在分割数据删除后,前进至步骤8。

(步骤8)

在此,回到步骤3。在尚未经过给定时间的情况时,录像服务器进行休眠直到给定时间经过为止。

(步骤t)

录像服务器在负载不集中的定时,将一次影像数据每隔一定时间(例如10分钟)而作结合并附加时间戳而转换为以运动图像形式来作了压缩的二次影像数据,并存储在二次影像文件夹中。

如此,实施方式的运动图像分割装置与拍摄运动图像的摄影机组的各摄影机进行连接,并经由网络而与信息处理装置进行连接,并且具有作为处理器的一例的cpu401。cpu401向摄影机请求运动图像,并从摄影机取得所拍摄的运动图像,且从所取得的运动图像中检测i帧,并以包含i帧的gop为单位来创建以拍摄时刻顺序附加了顺序的分割数据,且将该所创建的分割数据存储在存储装置中,将这些动作反复进行。cpu401响应于来自录像服务器的分割数据的请求,参照附加于分割数据的顺序,来从存储装置提取分割数据,并将所提取的分割数据传输至录像服务器。

另外,所存储的一次图像数据、二次影像数据如上所述被发送至终端,而能够进行播放、倒带、快进。

(效果)

根据本实施例,能够在云端环境下进行稳定的监视摄影机影像的收集。

根据本实施例,在从摄影机将数据发送至录像服务器时,即使是在运动图像分割装置与录像服务器之间的链路并非为稳定的环境中,也能够进行最大限度的数据的收集。故而,能够进行对于链路状况的恶化的对应能力强的数据发送,而能够进行在广域网(wan)的云端服务器处的稳定的数据存储。不需要在现场设置录像服务器,自由度变高。另外,能够进行高画质的影像复原的方式而进行分割,通过在运动图像分割装置处的将运动图像作了分割后的进行发送的顺序和发送定时以及在录像服务器处的处理,能够始终将最新的图像以高画质来发送至终端,进而,以运动图像所进行的确认也变得顺畅。

另外,实施方式并不限定于上述实施方式,在不脱离本发明的要旨的范围内,可进行各种变形来实施。另外,可将上述各实施方式的构成要素在不脱离发明的主旨的范围内而任意作组合。

例如,从拍摄运动图像的摄影机组所取得的影像的向运动图像分割装置的发送,虽优选h.264,但并不限于此,而也可为motionjpeg或mpeg2,可通过视为与h.264的baselineprofile同等的方法、也即是由可被视为与i帧同等的全图像和可被视为与p帧同等的差分图像的组合所执行的方法,来连续地向运动图像分割装置进行发送。压缩形式是以在现阶段而作为高压缩的h.264,在轻量且不论是于硬件或软件的情况中安装均为容易的观点上而言较优选,但是,是也可采用与对于运动图像分割装置的发送方法相配合的其他的方法。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1