图像传送装置、图像传送方法和图像传送程序与流程

本发明涉及传送在摄像基点处所拍摄的图像的图像传送装置、图像传送方法和图像传送程序。

背景技术：

在将拍摄到的运动图像传送至远方地点之际，为了抑制传送量，要对运动图像数据进行压缩。作为该运动图像数据的压缩技术，有各种各样，但基本的方法是，仅仅传送在运动图像的各帧的前后发生变化的区域(差异发生区域)(参照非专利文献1)。

非专利文献

非专利文献1：松田勇治，“動画圧縮の技術”，[online]，tdk株式会社，[平成26年3月12日検索]，互联网<url：http://www.tdk.co.jp/techmag/knowledge/200804/index2.htm>

技术实现要素：

然而，在欲通过取得连续多帧的图像、并将其传送至远方地点进行合成而得到了运动图像的情况下，在将连续多帧的图像的前后发生变化的区域作为差异发生区域抽出之际，一旦按照阈值判定变化的有无，则时而运动图像出现抖动，时而显现残留图像。这是由于因光的变动等，即使实际上有变化也被判定为无变化，或者即使无变化也被判定为有变化的缘故。

因此，本发明的目的在于，提供一种在传送连续多帧的图像得到运动图像之际，可在防止抖动及残留图像发生的同时抑制传送量的图像传送装置、图像传送方法和图像传送程序。

本发明的图像传送装置包含设置在摄像基点处并连接有摄像装置的基点服务器和利用电信线路与基点服务器连接的聚合服务器，其特征在于，基点服务器包含：基准图像传送装置，从利用摄像装置依次取得的连续多帧的图像中按每个规定的定时将成为基准的帧(以下称为“基准帧”)的图像数据(以下称为“基准图像数据”)传送至聚合服务器；抽出区域计算装置，从利用摄像装置依次取得的连续多帧的图像中得到作为背景的图像(以下称为“背景图像”)，至于利用摄像装置依次取得的连续多帧的基准帧之后的各帧，依次算出包围在各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域；以及抽出图像传送装置，从各帧的图像依次抽出各帧的第3区域的图像数据并传送至聚合服务器，聚合服务器包含图像合成装置，根据从基点服务器传送来的基准图像数据和各帧的第3区域的图像数据合成运动图像。

另外，本发明的图像传送方法是借助于设置在摄像基点处并连接有摄像装置的基点服务器和利用电信线路与基点服务器连接的聚合服务器的图像传送方法，其特征在于，包含：基点服务器从依次取得的连续多帧的图像中按每个规定的定时将成为基准的帧(基准帧)的图像数据(基准图像数据)传送至聚合服务器；基点服务器从利用摄像装置依次取得的连续多帧的图像中得到作为背景的图像(背景图像)，至于利用摄像装置依次取得的连续多帧的基准帧之后的各帧，依次算出包围在各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域；以及基点服务器从各帧的图像依次抽出各帧的第3区域的图像数据并传送至聚合服务器，聚合服务器根据从基点服务器传送来的基准图像数据和各帧的第3区域的图像数据合成运动图像。

另外，本发明的图像传送程序是用于使设置在摄像基点处并连接有摄像装置的第1计算机作为基点服务器，使利用电信线路与基点服务器连接的第2计算机作为聚合服务器分别发挥功能的图像传送程序，包含下述程序：用于使第1计算机作为从利用摄像装置依次取得的连续多帧的图像中按每个规定的定时将成为基准的帧(基准帧)的图像数据(基准图像数据)传送至聚合服务器的基准图像传送装置；作为从利用摄像装置依次取得的连续多帧的图像中得到作为背景的图像(背景图像)，至于利用摄像装置依次取得的连续多帧的基准帧之后的各帧，依次算出包围在各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域的抽出区域计算装置；以及作为从各帧的图像依次抽出各帧的第3区域的图像数据并传送至聚合服务器的抽出图像传送装置发挥功能的程序，用于使第2计算机作为根据从基点服务器传送来的基准图像数据和各帧的第3区域的图像数据合成运动图像的图像合成装置发挥功能的程序。

按照上述发明，并非分别抽出连续多帧的图像的前后发生变化的区域并传送至聚合服务器进行合成，而是抽出包围在连续多帧的各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域的图像数据，并传送至聚合服务器进行合成，因此受到连续多帧的图像前后发生变化的区域各自的光变动等的影响变小，可防止运动图像的抖动及残留图像的发生。

发明效果

按照本发明，在传送连续多帧的图像并合成运动图像之际，可防止抖动及残留图像发生，同时可抑制传送量。

附图说明

图1为本发明的实施方式的图像传送装置的概略构成图。

图2为图1的图像传送装置的方框图。

图3为利用摄像装置依次取得的连续多帧的图像的说明图。

图4为示出多帧的图像例的图。

图5为示出选取图4的(a)、(b)、(c)的各帧的图像与各自的背景图像之间的差异的图像例的图。

图6(a)为示出图4(a)的帧的差异发生区域与包围它的第1区域的图；(b)为示出图4(b)的帧的差异发生区域与包围它的第2区域的图；(c)为示出包围图4(a)的帧的差异发生区域与图4(b)的帧的差异发生区域双方的第3区域的图。

图7为示出了在图4(b)的帧上图6(c)中所示的第3区域的说明图。

图8为示出了在图4(a)的帧上图6(c)中所示的第3区域的说明图。

附图标记说明

1图像传送装置

2摄像装置

3基点服务器

4聚合服务器

5计算机

10、15存储装置

11基准图像传送装置

12抽出区域计算装置

13抽出图像传送装置

14图像合成装置

16运动图像提供装置

具体实施方式

在图1中，本发明的实施方式中的图像传送装置1由设置在摄像基点处并连接有摄像装置2的基点服务器3和利用电信线路n与基点服务器3连接的聚合服务器4构成。摄像装置2是通过在规定的时间间隔(例如，1/120秒～1秒间隔)拍摄静止图像，取得连续多帧的图像的装置。基点服务器3分别设置在各摄像基点处。另外，在各基点服务器3上，连接有1个或多个摄像装置2。

如图2所示，基点服务器3具有：存储装置10，暂时存储利用摄像装置2依次取得的连续多帧的各帧图像；基准图像传送装置11，按每个规定的定时将成为基准的帧(基准帧)的图像数据(基准图像数据)传送至聚合服务器4；抽出区域计算装置12，算出从多帧的基准帧之后的各帧抽出的区域(以下，称为“抽出区域”)；以及抽出图像传送装置13，从各帧的图像依次抽出各帧的抽出区域的图像数据并传送至聚合服务器4。

基点服务器3由在下述各式各样的计算机：通用服务器、个人计算机、微型计算机、pda(个人信息终端)、袖珍计算机、智能电话、特色电话(便携型电话机)及便携型游戏机等之上，执行用于使该计算机作为上述各装置10～13发挥功能的程序来实现。

基准图像传送装置11如图3所示，根据利用摄像装置2依次取得的连续多帧的图像20a、20b、…、20c、20d、20e、20f、20g、20h、20i、20j、20k、…按每个规定的定时将成为基准的帧(基准帧)的图像20a、20d、20j的数据(基准图像数据)传送至聚合服务器4。基准帧取决于预先设定的时间(例如，30秒间隔或1分钟间隔等)，或取决于每个预先设定的帧数等的定时。

抽出区域计算装置12从利用摄像装置2依次取得的连续多帧的图像中得到作为背景的图像(背景图像)，至于利用摄像装置2依次取得的连续多帧的基准帧之后的各帧，依次算出包围在各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域。第3区域是由抽出图像传送装置13所抽出的区域(抽出区域)。

在此处，背景图像采用将各帧的紧前面多帧的图像平均化而得到的图像。例如，对于帧20d，在算出与背景图像的差异发生的区域的情况下，抽出区域计算装置12将该帧20d紧前面的100帧的图像进行平均而得到的图像作为背景图像。而且，选取该背景图像与帧20d的差异。图4(a)～(c)示出各帧20d、20e、20f的图像的例子，图5(a)～(c)示出选取了图4(a)～(c)的各帧20d、20e、20f的图像与各自的背景图像的差异的图像的例子。

抽出区域计算装置12对于基准帧20d之后各帧20e～20i依次进行这样的差异处理，算出包围在各帧20e～20i的图像与背景图像之间差异发生的第1区域和在各帧20e～20i紧前面帧20d～20h的图像与背景图像之间差异发生的第2区域双方的第3区域(抽出区域)。图6(a)示出帧20d的差异发生区域31和包围它的第1区域41。图6(b)示出帧20e的差异发生区域32a、32b和包围它们的第2区域42。图6(c)示出包围帧20d的差异发生区域31和帧20e的差异发生区域32a、32b双方的第3区域(抽出区域)43。

再有，在本实施方式中，抽出区域计算装置12为了简单地进行运算处理，要算出由2条水平线与2条垂直线所构成的矩形包围的区域，但本发明不限于此。总之，可将差异发生的像素区域总括在一起，算出由1个区域全部包围的区域。

另外，抽出区域计算装置12算出指定对各帧的第3区域(抽出区域)的位置和大小的第3区域信息(以下，称为“抽出区域信息”)。在图6(c)的例子中，抽出区域计算装置12算出第3区域43的左上角位置的坐标(x、y)和第3区域43的大小(宽度w和高度h)，作为抽出区域信息。

抽出图像传送装置13从各帧的图像依次抽出由抽出区域计算装置12所算出的各帧的第3区域的图像数据并传送至聚合服务器4。在图4的例子中，抽出图像传送装置13如图7所示，从帧20e的图像抽出图6(c)所示的第3区域43的图像数据并传送至聚合服务器4。另外，抽出图像传送装置13除了该第3区域43的图像数据之外，还将抽出区域信息(坐标(x、y)、宽度w和高度h)传送至聚合服务器4。

另一方面，聚合服务器4如图2所示，具有：图像合成装置14，从由基点服务器3所传送的基准图像数据和各帧的第3区域的图像数据合成运动图像；存储装置15，存储由图像合成装置14所合成的运动图像；以及运动图像提供装置16，对于经电信线路n连接的计算机5(参照图1)提供存储于存储装置15中的运动图像。聚合服务器4由在上述各式各样的计算机上，执行用于使该计算机作为上述各装置14～16发挥功能的程序来实现。

图像合成装置14从由基点服务器3所传送的基准图像数据和各帧的第3区域的图像数据合成运动图像，将所合成的运动图像存储于存储装置15中。在本实施方式中，图像合成装置14基于各帧的抽出区域信息，通过将基准图像数据的一部分依次置换为各帧的第3区域的图像数据，合成运动图像。

在图4的例子中，图像合成装置14对于图8中所示的基准帧20d的图像，基于帧20e的抽出区域信息，从坐标(x、y)将宽度w和高度h的一部分图像数据置换为图7中所示的帧20e的第3区域43的图像数据，形成基准帧20d的下一帧的图像数据。而且，图像合成装置14也对下一帧20f，依次对于紧前面帧20e的图像，基于帧20f的抽出区域信息，置换为帧20f的第3区域的图像数据，由此合成运动图像。

运动图像提供装置16根据经电信线路n连接的计算机5的要求，提供存储于存储装置15中的运动图像。运动图像提供装置16一旦从计算机5中对每个摄像基点指定摄像装置2要求运动图像，则可从存储装置15中取得所要求的运动图像，经电信线路n提供给计算机5。

在上述构成的图像传送装置1中，在各摄像基点处所设置的基点服务器3从由1个或多个摄像装置2依次取得的连续多帧的图像中按每个规定的定时由基准图像传送装置11将基准帧的图像数据传送给聚合服务器4，至于该基准帧之后各帧的图像，依次将由抽出区域计算装置12所算出的各帧的第3区域的图像数据由抽出图像传送装置13抽出并传送给聚合服务器4。

另一方面，聚合服务器4根据由基点服务器3所传送的基准图像数据和所依次传送的各帧的第3区域的图像数据合成运动图像，存储于存储装置15中。而且，聚合服务器4根据经电信线路n连接的计算机5的要求，提供存储于存储装置15中的运动图像。

这样，在本实施方式的图像传送装置1中，并非分别抽出连续多帧的图像的前后发生变化的区域并传送至聚合服务器进4进行合成，而是抽出包围在连续多帧的各帧的图像与背景图像之间差异发生的第1区域和在各帧紧前面帧的图像与背景图像之间差异发生的第2区域双方的第3区域(抽出区域)的图像数据，传送至聚合服务器4进行合成，因此受到连续多帧的图像前后发生变化的区域各自的光变动等的影响变小，可防止运动图像的抖动及残留图像的发生，同时可抑制传送量。

再有，在本实施方式中，尽管按预先设定的时间或帧数等的定时中改变了基准帧，但形成按其它定时进行改变的构成也是可能的。例如，按一定量以上的差异发生了的定时(例如整体80％的像素发生了变化的定时)进行改变也是可能的。

另外，在本实施方式中，作为背景图像采用将各帧的紧前面多帧的图像平均化而得到的图像，但作为背景图像采用基准帧的图像，或采用将基准帧的紧前面多帧的图像平均化而得到的图像也是可能的。再有，作为背景图像若采用基准帧的图像，则由于所有部分均发生了差异，故传送量增大，然而像本实施方式那样，作为背景图像采用将各帧的紧前面多帧的图像平均化而得到的图像，可抑制差异的发生。

产业上的可利用性

本发明的图像传送装置、图像传送方法和图像传送程序，作为能防止抖动及残留图像的发生同时抑制传送量而传送在监视场所等的摄像基点处所拍摄的图像并合成运动图像的装置、方法和程序是很有用的。