专利名称：多编解码器摄像机系统以及图像获取程序的制作方法
技术领域：
本发明涉及使用以多压缩比图像数据的形式获得视频的多编解码摄像机以便基于各种条件向客户端提供最优图像数据的多编解码器摄像机系统和图像获得程序。
背景技术：
在现有技术中通过网络获得视频的网络摄像机系统中，连接到网络的摄像机选择所获得的图像数据(例如，MPEG运动图像专家组或JPEG联合图像专家组)的编解码器，并且所选择的编解码器图像数据被传送到服务器或客户端(例如，参见JP-A-2003-204518，JP-A-2004-146959以及JP-A-2005-136613)。
另一方面，近年来，可得到支持多种类型的编解码器的多编解码器摄像机。通过使用这种摄像机，可以建立处理多个编解码器图像数据的系统。
发明内容
然而，在使用多编解码器摄像机的系统中，尽管可以使用多个类型的编解码器同时获得相同的视频图像，但是没有系统能够有效地使用这些图像。即，没有系统能够基于例如所获得的视频和网络负载的各种条件以对于传送最优的方式来处理图像数据，使得没有系统充分地利用通过多编解码器摄像机的视频获得的方便性。
基于本发明的一个实施例，提供了一种多编解码器摄像机系统，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块。当从通过多编解码器摄像机获得的视频中检测预定对象时，确定模块基于所检测的对象的尺寸选择具有某个压缩比的图像数据。
基于本发明的实施例，由于从通过多编解码器摄像机获得的视频中检测预定对象，并且基于所检测的对象的尺寸选择具有一个压缩比的图像数据，所以针对所检测的对象的尺寸，具有最优压缩比的图像数据能够被传送到服务器和客户端。
当所检测的对象大于预定尺寸时，选择具有第一压缩比(例如，MPEG)的图像数据，而当所检测的对象小于预定尺寸时，选择具有低于第一压缩比的第二压缩比(例如，JPEG)的图像数据。即，为需要较高质量的较小检测对象选择较低压缩比，而为不需要高质量的较大检测对象选择较高压缩比，以便为传送速度提供高优先级。
基于本发明的另一个实施例，提供了一种多编解码器摄像机系统，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及服务器，其通过网络与多编解码器摄像机连接并且具有基于预定参考从由多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块。服务器的确定模块基于网络负载的条件从通过多编解码器摄像机获得的多压缩比图像数据中选择具有一个压缩比的图像数据。
基于本发明的实施例，由于针对网络负载条件选择具有最优压缩比的图像数据，所以具有对于接连变化的网络负载条件最优的压缩比的图像数据可以被传送到服务器和客户端。
当网络负载条件高于预定参考值时，确定模块选择具有第一压缩比(例如，MPEG)的图像数据，而当网络负载条件低于预定参考值时，确定模块选择具有低于第一压缩比的第二压缩比(例如，JPEG)的图像数据。即，具有较高压缩比的图像数据被用于较高网络负载，其允许降低网络负载。
基于本发明的另一个实施例，提供了一种多编解码器摄像机系统，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及服务器，其通过网络与多编解码器摄像机连接并且具有基于预定参考从由多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块，以及连接到网络的客户端。服务器保存由多编解码器摄像机获得的多压缩比图像数据，并且当客户端在保存在服务器中的图像数据中搜索客户端希望获得的图像数据时，客户端使用具有第一压缩比的图像数据，而当客户端从服务器获得所搜索的图像数据时，客户端获得具有高于第一压缩比的第二压缩比的图像数据。
基于本发明的实施例，由于多压缩比图像数据被同时保存在服务器中，所以当客户端搜索保存在服务器中的图像数据时，客户端可以例如通过使用捕获为静止图像的具有较低压缩比的图像数据快速地执行搜索，而当客户端从服务器获得所搜索的图像数据时，客户端可以高效地传送捕获为视频图像的具有较高压缩比的图像数据。
基于本发明的另一个实施例，提供了一种在多编解码器摄像机系统上执行的图像获得程序，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机以及基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块。作为在确定模块中的程序过程，图像获得程序包含步骤检测通过多编解码器摄像机获得的视频中的预定对象，以及基于所检测的对象的尺寸选择具有一压缩比的图像数据。
基于本发明的实施例，由于从通过多编解码器摄像机获得的视频中检测预定对象，以及基于所检测的对象的尺寸选择具有一压缩比的图像数据，所以针对所检测的对象的尺寸，具有最优压缩比的图像数据能够被传送到服务器和客户端。
基于本发明的另一个实施例，提供了一种在多编解码器摄像机系统上执行的图像获得程序，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比数据图像中选择图像数据的确定模块。作为在服务器的确定模块中的程序过程，图像获得程序包含步骤基于网络负载的条件从由多编解码器摄像机获得的多压缩比图像数据中选择具有一压缩比的图像数据。
基于本发明的实施例，由于针对网络负载条件选择具有最优压缩比的图像数据，所以具有对于接连变化的网络负载条件最优的压缩比的图像数据可以被传送到服务器和客户端。
基于本发明的另一个实施例，提供了一种在多编解码器摄像机系统上执行的图像获得程序，其包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比数据图像中选择图像数据的确定模块，以及连接到网络的客户端。图像获得程序包含步骤作为服务器中的程序过程，保存通过多编解码器摄像机获得的多压缩比图像数据，以及作为客户端的程序过程，当客户端在保存在服务器中的图像数据中搜索客户端希望获得的图像数据时，使用具有第一压缩比的图像数据，而当客户端从服务器获得所搜索的图像数据时，获得具有低于第一压缩比的第二压缩比的图像数据。
基于本发明的实施例，由于多压缩比图像数据被同时保存在服务器中，所以当客户端搜索保存在服务器中的图像数据时，客户端可以例如通过使用捕获为静止图像的具有较低压缩比的图像数据快速地执行搜索，而当客户端从服务器获得所搜索的图像数据时，客户端可以高效地传送捕获为视频图像的具有较高压缩比的图像数据。
因此，本发明提供下列好处。即，在使用多编解码器摄像机的系统中，系统基于条件选择最优编解码器，使得基于网络负载和用户的请求的最优图像数据可以被快速提供。
图1是基于这个实施例的多编解码器摄像机系统的第一示意结构图；图2是基于这个实施例的多编解码器摄像机系统的第二示意结构图；图3是示出基于这个实施例的多编解码器摄像机系统所需的模块的结构图；图4示出示例性GUI；以及图5是示出模块间关系的软件模块相关图。
具体实施例方式
下面参考附图详细描述本发明的实施例。
这个实施例的基本环境图1是基于这个实施例的多编解码器摄像机系统的第一示意结构图，以及图2是基于这个实施例的多编解码器摄像机系统的第二示意结构图。即，如图1所示，这个实施例的基本环境是能够管理一或多个多编解码器摄像机10的系统，该系统包含多编解码器摄像机10，获得、分析和保存来自多编解码器摄像机10的视频的服务器20，远程控制服务器20并且观看视频的客户端30，以及连接上述设备的网络N。客户端30和服务器20配备有从多编解码器摄像机10获得视频、切换所捕获图像的编解码器类型或通过网络来远程控制同时获得的功能。
这里的多编解码器摄像机10是能够捕获以多种类型的压缩比处理的图像数据的图像输入设备。这个实施例使用能够捕获例如高压缩比MPEG-4(运动图像专家组阶段4)图像数据和低压缩比JPEG图像数据的图像输入设备。
客户端30配备有改变服务器20的设置的功能，获得在服务器20中累积的视频和视频分析结果的功能，以及切换到直接从多编解码器摄像机10获得视频的模式的功能。
如图2所示，这个实施例也可以被应用于这样的系统，其包含具有服务器功能和客户端功能的管理客户端30a，以及多个多编解码器摄像机10。这个实施例也可以被应用于这样的系统，该系统中每个多编解码器摄像机10具有通常属于服务器并且进行操作而无需涉及任何网络的确定模块。
这个实施例所需的系统图3是示出基于这个实施例的多编解码器摄像机系统所需的模块的结构图。即，服务器20配备有″客户端传送模块21″，其向客户端30传送视频和视频分析结果以及服务器20具有的视频，″服务器负载分析模块22″，其检查在服务器20上的当前负载，″网络条件分析模块23″，其检查网络的当前条件，″视频保存模块24″，其基于预定规则保存从多编解码器摄像机10获得的视频，″视频获得规则确定模块25″，其根据服务器20的条件、网络的条件以及警告的类型来确定视频获得规则，″视频获得模块26″，其能够从多编解码器摄像机10同时获得多编解码器视频，″视频分析模块27″，其可以从视频中检测运动中的对象和不在运动的对象，″警告接收模块28″，其可以从多编解码器摄像机10或″视频分析模块27″接收警告，保存视频分析结果的″视频分析结果DB(数据库)29a″，以及保存视频的″视频DB 29b″。
客户端30配备有″客户端接收模块31″，其可以从服务器20接收视频以及视频分析结果以及服务器20的条件，″视频获得模式切换模块32″，其确定怎样基于所接收的结果来获得视频，″视频获得模块33″，其可以从多编解码器摄像机10获得视频，″搜寻屏幕模块34″，其显示搜寻屏幕，″再现模块35″，其再现服务器20中的所累积的图像，以及″客户端显示模块36″，其允许客户端30显示图像结果。
多编解码设置中的优先级可以被人工设置，并且图4示出了执行设置的示例性GUI(图形用户接口)。在这个示例性GUI中，从顶部到底部，可以设置被指定优先级的编解码器(例如，MPEG4或JPEG)，并且被用于保存视频的编解码器，并且设置相应类型的编解码器的帧速率、分辨率、压缩水平以及颜色等级。在这个实施例中，这些参数基于条件被自动设置。
上述模块被实现成在服务器20和客户端30上执行的程序过程，其中服务器20和客户端30的每个包含一台计算机。下面描述在这个实施例中使用的具体例子和模块的功用。
视频获得模块从多编解码器摄像机10中获得视频。
客户端传送模块向客户端30传送视频和视频分析结果、服务器20的条件以及指令。
服务器负载分析模块分析服务器20的CPU(中央处理单元)以及盘访问的条件。
网络条件分析模块基于例如将从多编解码器摄像机10接收信息的所规划的帧速率和实际的接收帧速率来分析网络负载的条件，以及与多编解码器摄像机10和客户端30通信的响应时间(Ping)。
视频分析模块从视频中检测运动中的对象或不在运动的对象，并且分析例如所检测的对象的尺寸。
视频保存模块使用预先指定的编解码器把来自每个多编解码器摄像机10的视频保存在数据库中。
警告接收模块从多编解码器摄像机10或视频分析模块接收警告以把警告内容通知给″视频获得规则确定模块″。
视频获得规则确定模块基于服务器20上的负载、网络的通信条件以及警告信息确定什么编解码器目前应当被用于从多编解码器摄像机10获得视频以及什么编解码器应当用于向客户端3传送视频。
视频分析结果DB是保存视频分析结果的数据库。当客户端30再现所保存的视频时，检索保存在视频分析结果DB中的数据。
视频DB是保存视频的数据库。当客户端30再现所保存的视频时，检索保存在视频DB中的数据。
客户端接收模块从服务器20接收视频、视频分析结果、指令以及服务器20的条件。
视频获得模式切换模块根据来自服务器20的指令切换客户端30的视频获得模式以从多编解码器摄像机10直接获得显示的视频。
搜寻屏幕模块从服务器20获得在客户端30上显示搜寻屏幕所需的信息。
再现模块从服务器20获得在客户端30上显示服务器20中累积的视频所需的信息。
客户端显示模块显示从服务器20或多编解码器摄像机10获得的视频或视频分析结果。
图5是示出模块间关系的软件模块相关图。参考相关图描述系统的操作。
<操作的描述>
(1)当具有某个尺寸(预定参考尺寸)或更大尺寸(运动中的较近对象)的运动对象被检测到时，当具有某个尺寸或更小尺寸(运动中的较远对象)的运动对象被检测到时，或当从摄像机接收到警告信息时，切换编解码器的类型的操作。在下面的(1-1)到(1-6)中描述操作的流程。
(1-1)″视频获得模块26″从多编解码器摄像机中获得预先指定的高优先级编解码器中的视频或多个类型的编解码器中的视频。
(1-2)″视频分析模块27″基于视频检测运动中的对象或不在运动的对象。
(1-3)″视频分析模块27″向″警告接收模块28″通知运动中的对象的尺寸或不在运动的对象的尺寸。当从多编解码器摄像机10接收警告时，″警告接收模块28″获得警告的内容(例如运动中的对象的检测，不在运动的对象的检测以及声音的检测)。
(1-4)″警告接收模块28″向″视频获得规则确定模块25″通知警告的内容。
(1-5)″视频获得规则确定模块25″基于通知的内容向″视频获得模块26″发送指令以改变获得视频的方式。
当具有大于某个数值的尺寸的运动中的对象(或不在运动的对象)被检测到时，或当从多编解码器摄像机10接收声音检测时，图像获取方法被切换到用来向客户端传送MPEG视频的编解码器，而当具有小于某个数值的尺寸的运动中的对象(或不在运动的对象)被检测到时，图像获取方法被切换到用于向客户端传送JPEG视频的编解码器。图像获取方法也可以被切换到用于在服务器中的[视频DB 29b]中保存视频的编解码器。这些设置也可以被提前登记。
(1-6)″视频获得模块26″根据需要改变从多编解码器摄像机10获得的视频的编解码器。
(2)当网络负载的条件或服务器负载的条件变差时，切换编解码器的类型的操作。在下面的(2-1)到(2-7)中描述操作的流程。
(2-1)″视频获得模块26″从多编解码器摄像机中获得预先指定的高优先级编解码器中的视频或多个类型的编解码器中的视频。
(2-2)″网络条件分析模块23″基于帧速率设置、目前可接收的帧速率以及网络负载检查命令的结果确定网络负载的条件。当网络负载超出预定阈值时，网络的条件被通知给″视频获得规则确定模块25″。
(2-3)″视频获得规则确定模块25″基于来自″网络条件分析模块23″的通知的内容向″视频获得模块26″发送指令以改变获得视频的方式。
当在网络上没有通信负载(或非常小)时，图像获取方法被切换为接收JPEG和MPEG视频，而当网络上的通信负载低于某个阈值并且警告通知目前不需要音频时，图像获取方法被切换为接收JPEG视频(当需要音频时接收MPEG视频)。当JPEG图像获得的帧速率低于设定值时或当网络上的通信负载高于某个阈值时，图像获取方法被切换为接收MPEG视频。当通信负载甚至更高和超出另一个确定阈值时，图像获取方法被切换为接收来自多编解码器摄像机10的H264编解码器视频。这些设置也可以被提前登记。
(2-4)当″服务器负载分析模块22″确定服务器负载较高时，″服务器负载分析模块22″通过″客户端传送模块21″向客户端发送用于显示的编解码器获得指令。
(2-5)当客户端的″客户端接收模块31″接收从服务器的″客户端传送模块21″发送的编解码器获得指令时，″客户端接收模块31″把它通知给″视频获得模式切换模块32″，并且包含在客户端中的″视频获得模块33″开始直接从多编解码器摄像机10获得显示视频(参见图5中的虚线箭头)。
(2-6)″客户端显示模块36″把视频和从″客户端接收模块31″获得的视频分析结果合并，并且向用户显示视频。
(2-7)当网络负载降低时，″网络条件分析模块23″把改进的网络条件通知给″视频获得规则确定模块25″，并且″视频获得规则确定模块25″再次切换视频获取方法。
(3)当服务器为搜索目的保存JPEG图像以及客户端使用JPEG图像进行搜索时的操作。在下面的(3-1)到(3-4)中描述操作的流程。
(3-1)″视频获得模块26″从多编解码器摄像机10获得MPEG和JPEG编解码器视频。
(3-2)″视频保存模块24″定期地或每当运动中的对象被检测到时将JPEG图像保存为在客户端执行搜索时使用的缩略图像。另一方面，MPEG视频可以总是被记录。
(3-3)当客户端发送显示搜寻屏幕的请求时，″搜寻屏幕模块34″从服务器获得缩略图像，并且″客户端显示模块36″显示搜寻屏幕。
(3-4)当客户端选择缩略图像时，″再现模块35″基于所记录的成像时间以及缩略图像从服务器获得MPEG视频，并且″客户端显示模块36″开始再现MPEG视频。
基于上述实施例，在视频中对运动的对象的检测，例如对到摄像机预定距离内运动中的对象的检测，或声音的检测可以触发警告通知以自动地切换到传输音频和图像的MPEG编解码器。当运动中的对象在预定距离外时，编解码器被切换到较高分辨率的JPEG，其不允许获得声音但是相应地允许针对每个帧传输比MPEG编解码器中的视频更清晰的视频。
由于JPEG和MPEG编解码器视频被保存在服务器中，通过考虑网络负载和网络配置，当服务器获得的JPEG图像的获得帧速率变得低于某个数值时，可以向MPEG或H264编解码器视频提供更高优先级，同时降低JPEG帧速率，从而允许传输更多无缝视频。
在管理多个网络摄像机的系统中，当服务器负载变高并且超出某个阈值时，服务器可以获得和只记录MPEG视频，并且客户端可以开始JPEG视频获得。通过这种方式，用户可以基于各种条件获得质量比目前在通过网络获得视频的系统中可达到的质量更高的视频。同样，通过在再现所捕获的图像时使用较低帧速率JPEG图像作为搜索关键字，可以轻易地建立针对所累积的MPEG视频的搜索系统。
本领域的技术人员应当理解，根据设计需求和迄今为止在所附权利要求书或其等价物的范围内的其它因素可以想到各种修改，组合，子组合和变更。
权利要求
1.一种多编解码器摄像机系统，包括以多压缩比图像数据的形式获得视频的多编解码器摄像机；以及确定模块，其基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据，其中当从通过多编解码器摄像机获得的视频中检测预定对象时，确定模块基于所检测的对象的尺寸选择具有一个压缩比的图像数据。
2.如权利要求1所述的多编解码器摄像机系统，其中当从通过多编解码器摄像机获得的视频中检测预定对象并且所检测的对象大于预定尺寸时，确定模块选择具有第一压缩比的图像数据，而当所检测的对象小于预定尺寸时，确定模块选择具有低于第一压缩比的第二压缩比的图像数据。
3.如权利要求1所述的多编解码器摄像机系统，其中当从通过多编解码器摄像机获得的视频中检测预定对象并且所检测的对象大于预定尺寸时，确定模块选择获得具有第一压缩比的图像数据和音频数据，而当所检测的对象小于预定尺寸时，确定模块选择具有低于第一压缩比的第二压缩比的图像数据。
4.一种多编解码器摄像机系统，包括以多压缩比图像数据的形式获得视频的多编解码器摄像机；以及服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块，其中服务器的确定模块基于网络负载的条件从通过多编解码器摄像机获得的多压缩比图像数据中选择具有一个压缩比的图像数据。
5.如权利要求4所述的多编解码器摄像机系统，其中当网络负载条件高于预定参考值时，确定模块选择具有第一压缩比的图像数据，而当网络负载条件低于预定参考值时，确定模块选择具有低于第一压缩比的第二压缩比的图像数据。
6.如权利要求4所述的多编解码器摄像机系统，其中客户端连接到网络，并且当服务器负载的条件高于预定参考值时，服务器通过网络向客户端发送指令以直接从多编解码器摄像机获得图像数据。
7.一种多编解码器摄像机系统，包括以多压缩比图像数据的形式获得视频的多编解码器摄像机；服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块；以及连接到网络的客户端，其中服务器保存通过多编解码器摄像机获得的多压缩比图像数据，以及当客户端在保存在服务器中的图像数据中搜索客户端希望获得的图像数据时，客户端使用具有第一压缩比的图像数据，而当客户端从服务器获得所搜索的图像数据时，客户端获得具有高于第一压缩比的第二压缩比的图像数据。
8.一种在多编解码器摄像机系统上执行的图像获得程序，包含以多压缩比图像数据的形式获得视频的多编解码器摄像机；以及确定模块，其基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据，作为确定模块中的程序过程，图像获得程序包括步骤从通过多编解码器摄像机获得的视频中检测预定对象；以及基于所检测的对象的尺寸选择具有一个压缩比的图像数据。
9.一种在多编解码器摄像机系统上执行的图像获得程序，包含以多压缩比图像数据的形式获得视频的多编解码器摄像机；以及服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块，作为服务器的确定模块中的程序过程，图像获得程序包括步骤基于网络负载的条件从通过多编解码器摄像机获得的多压缩比图像数据中选择具有一个压缩比的图像数据。
10.一种在多编解码器摄像机系统上执行的图像获得程序，包含以多压缩比图像数据的形式获得视频的多编解码器摄像机；服务器，其通过网络连接到多编解码器摄像机并且具有基于预定参考从通过多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块；以及连接到网络的客户端，图像获得程序包括步骤作为服务器中的程序过程，保存通过多编解码器摄像机获得的多压缩比图像数据；以及作为客户端的程序过程，当客户端在保存在服务器中的图像数据中搜索客户端希望获得的图像数据时，使用具有第一压缩比的图像数据，而当客户端从服务器获得所搜索的图像数据时，获得具有低于第一压缩比的第二压缩比的图像数据。
全文摘要
多编解码器摄像机系统包含以多压缩比图像数据的形式获得视频的多编解码器摄像机，以及基于预定参考从由多编解码器摄像机获得的多压缩比图像数据中选择图像数据的确定模块，其中当从通过多编解码器摄像机获得的视频中检测预定对象时，确定模块基于所检测的对象的尺寸选择具有一个压缩比的图像数据。
文档编号H04N7/173GK1976446SQ20061016361
公开日2007年6月6日 申请日期2006年12月1日 优先权日2005年12月2日
发明者宮牧秀宇 申请人:索尼株式会社