计算机系统的制作方法

计算机系统的制作方法
【专利摘要】本发明提供一种多个业务种类的数据混合存在的水平统合型的数据收集系统，其根据从传感器发送来的数据量的变化降低数据收集服务器的负荷。在计算机系统中，包括多个传感器、多个服务器和数据收集服务器，数据收集服务器具有：负荷监视部，其监视计算机系统的负荷；和管理部，其根据负荷的监视结果，决定多个服务器的数据的转送处理的内容，并发送决定了的上述数据的转送处理的内容，管理部决定多个服务器中适用的转送处理的类别，并根据转送处理的类别生成被转送至数据收集服务器的数据中的、作为适用该转送处理的数据的列表的处理对象数据列表，根据所决定的转送处理的类别和所生成的处理对象数据列表决定多个服务器中适用的转送处理的内容。
【专利说明】计算机系统
【技术领域】
[0001]本发明涉及对从多个终端发送来的各种信息进行收集的数据收集系统。
【背景技术】
[0002]近年来，伴随买卖交易发生的订货和接收订货、营业额数据、商品信息和顾客信息等企业的各种数据的数字化正在进步。此外，伴随着传感器器件、智能手机等各种数字终端的普及和利用，世界中存在的数据量从太字节(兆兆字节)至拍字节(IO15字节)、并向更大容量进行着大规模化。
[0003]大量且未被结构化的数据组被称为“大数据”，在今后的社会和商业活动中期待着使用先进的技术对大数据进行收集、分析和运用。
[0004]在如今变化显著的市场环境中，对大量数据的蓄积成为问题。此处作为用于收集大量的数据的关键词，能够列举M2M。
[0005]所谓的M2M是Machine to Machine的缩写式，是指不通过人手而在机械与机械之间通过网络相互进行信息交换的结构。通过利用M2M，期望能够有效地自动收集大量的数据。
[0006]现有的使用M2M的数据收集系统是按各个业务种类个别地实现的垂直统合型的系统，在收集的数据规模大的系统以外还存在构筑成本的问题，难以实现。此外，由于配合各个业务种类的要件来安装系统，还存在在其它不同的业务种类中应用时产生大的变更的问题。
[0007]今后，需要实现包括多种多样的业务种类的数据收集系统。即，要求实现不局限于业务种类的通用的且能够汇总地收集多个业务种类的数据的水平统合型的数据收集系统。
[0008]此外，从与数据收集系统连接的传感器器件收集的数据量被预测为会由于实时的信息收集的要求等而成为庞大的量，要求实现有效率地收集大量的数据的系统。
[0009]作为本【技术领域】的【背景技术】，例如有专利文献I中的技术。在专利文献I记载有:“针对当使来自传感器或控制装置等各种设备的数据直接在网络流通时中央部的网络混杂的问题，在设置于终端装置(105?110)与处理服务器(101)之间的节点(141?142)判断该节点是否处理从终端装置传向处理服务器的数据包。在判断为处理的情况下，该节点代替执行处理服务器的处理，由此能够降低网络中央部的负荷。”
[0010]现有技术文献
[0011]专利文献
[0012]专利文献1:国际公开第2011/099320号
【发明内容】

[0013]发明所要解决的问题
[0014]为了实现水平统合型的数据收集系统，需要解决数据收集服务器的、从多个传感器发送来的庞大的数据的收集的问题。[0015]由于按各个业务种类的不同而发送来的数据量不同，作为数据收集系统，在所收集的数据量中产生不均衡。与所收集的数据量的不均衡、即数据量的最大值一致地构筑系统在成本上是非常困难的，因此需要实现在一定时间内收集的数据量的平滑化。
[0016]在专利文献1，节点对从终端装置接收到的信息进行处理，由此实现处理服务器的负荷的降低。专利文献I记载的技术适用于在各个业务种类产生的数据量的降低等。此外，在垂直统合型的数据收集系统，容易在事前预测从终端装置发送来的数据量的变化，通过根据该数据量的变化预先执行数据的平滑化处理，还能够实现所收集的数据量的均衡化。
[0017]但是，在水平统合型数据收集系统中，由于被从多个业务种类发送来数据，非常难以实现所接收的数据量的变化的预测。因此，根据从各种传感器发送来的数据量的变化降低数据收集系统、特别是数据收集服务器的负荷的系统的实现成为问题。
[0018]用于解决问题的方式
[0019]将本申请中公开的发明的代表性的一个例子说明如下。即，一种计算机系统，其特征在于，包括:发送规定的数据类别的数据的多个传感器；转送从上述多个传感器发送来的数据的多个服务器；和数据收集服务器，其接收从上述多个服务器转送来的数据并蓄积接收到的数据，上述多个服务器的各个服务器包括第一处理器、与上述第一处理器连接的第一存储器和与上述第一处理器连接的第一网络接口，上述数据收集服务器包括第二处理器、与上述第二处理器连接的第二存储器和与上述第二处理器连接的第二网络接口，上述数据收集服务器包括:负荷监视部，其监视上述计算机系统的负荷:和管理部，其根据上述负荷的监视结果，决定上述多个服务器中数据的转送处理的内容，并发送决定了的上述数据的转送处理的内容，上述管理部，决定上述多个服务器中适用的转送处理的类别，根据决定了的上述转送处理的类别，生成被转送至上述数据收集服务器的数据中的、作为适用该转送处理的数据的列表的处理对象数据列表，根据决定了的上述转送处理的类别和生成的上述处理对象数据列表，决定上述多个服务器中适用的转送处理的内容。
[0020]上述以外的问题、结构和效果通过以下的实施例来说明。
[0021]发明的效果
[0022]根据本发明，通过根据计算机系统的负荷、动态地控制对数据收集服务器的数据的转送处理，能够降低数据收集服务器的负荷、提高计算机系统的数据收集效率。
【专利附图】

【附图说明】
[0023]图1是表示本发明的实施例1的数据收集系统的结构例的说明图。
[0024]图2是表示本发明的实施例1的服务器的硬件结构的框图。
[0025]图3是表示本发明的实施例1的数据收集服务器保存的数据管理表的一个例子的说明图。
[0026]图4是表示本发明的实施例1的数据收集服务器保存的过滤状态管理表的一个例子的说明图。
[0027]图5是表示本发明的实施例1的过滤状态管理表所包含的过滤条件的一个例子的说明图。
[0028]图6是表示本发明的实施例1的数据收集服务器保存的数据接收状态表的一个例子的说明图。[0029]图7是表示本发明的实施例1的数据收集服务器保存的负荷监视表的一个例子的说明图。
[0030]图8是表示本发明的实施例1的数据收集系统保存的算法选择表114的一个例子的说明图。
[0031]图9是表示本发明的实施例1的过滤管理部执行的算法选择处理的一个例子的流程图。
[0032]图10是说明本发明的实施例1的过滤管理部根据数据量削减的算法执行的过滤控制处理的一个例子的流程图。
[0033]图11是说明本发明的实施例1的过滤管理部根据数据数削减的算法执行的过滤控制处理的一个例子的流程图。
[0034]图12是说明本发明的实施例1的过滤管理部根据数据集约的算法执行的过滤控制处理的一个例子的流程图。
[0035]图13是表示本发明的实施例1的中间服务器保存的数据分配表的一个例子的说明图。
[0036]图14是表示本发明的实施例1的中间服务器保存的基本数据过滤表的一个例子的说明图。
[0037]图15是表示本发明的实施例1的中间服务器的数据分配部执行过滤处理的一个例子的流程图。
[0038]图16是表示本发明的实施例1的中间服务器的基本数据过滤部执行的过滤处理的一个例子的时序图。
[0039]图17是说明本发明的实施例1的数据收集系统的根据数据数集约的算法执行的过滤控制的流程的时序图。
[0040]图18是表示本发明的实施例2的数据收集系统的结构例的说明图。
[0041]图19是表示本发明的实施例2的数据收集服务器保存的资源管理表的一个例子的说明图。
[0042]图20是说明本发明的实施例2的过滤管理部根据数据集约的算法执行的过滤控制处理的一个例子的流程图。
[0043]图21是说明在本发明的实施例2的步骤S2002执行的处理的详细情况的流程图。
[0044]附图标记的说明
[0045]100 数据收集服务器
[0046]101 数据接收部
[0047]102 数据处理部
[0048]103 中间服务器管理部
[0049]104 数据管理部
[0050]105 DB数据发送部
[0051]106 负荷监视部
[0052]107 过滤管理部
[0053]108 DB数据接收部
[0054]109 数据库[0055]110数据管理表
[0056]111过滤状态管理表
[0057]112数据接收状态表
[0058]113负荷监视表
[0059]114算法选择表
[0060]120中间服务器
[0061]121数据发送部
[0062]122数据分配部
[0063]123传感器数据接收部
[0064]124基本数据过滤部
[0065]125扩展过滤部
[0066]126过滤控制部
[0067]127数据分配表
[0068]128基本过滤表
[0069]130传感器
[0070]140网络
[0071]1800资源管理表
[0072]1810负荷监视部
【具体实施方式】
[0073]以下，使用附图对实施例进行说明。
[0074]首先，对水平统合型的数据收集系统的问题进行说明。
[0075]—般向数据收集服务器发送数据的传感器被分为根据时间带而收集的数据的数据数或数据量几乎不变化的静态传感器和根据时间带而收集的数据的数据数或数据量发生变化的动态传感器。
[0076]从静态的传感器发送的数据是电力利用量、温度和湿度信息等的以一定的时间间隔发送的数据，所发送的数据数和数据量也在一整天为一定(固定)。另一方面，从动态传感器发送的数据是随着人或物的移动发送的位置信息等，所发送的数据数和数据量也在一天之中发生变化。
[0077]在处理不同业务种类的情况下，在水平统合型的数据收集系统需要处理多个业务种类的数据。另一方面，在多个业务种类的数据的处理量为能够平滑化的组合的情况下，每单位时间的数据处理数和数据处理量为一定。但是，在多个业务种类的数据的处理量不能均衡化的组合，数据收集服务器的负荷增大。
[0078]此外，在包括动态传感器那样的数据收集系统中由于从传感器发送的数据的数据数和数据量发生变动而不能进行预测。
[0079]因此，在本发明中利用以下说明的结构和处理实现使数据收集服务器的负荷平滑化且能够与动态数据数和数据量的变化对应的数据收集系统。
[0080]实施例1
[0081]在实施例1中，在数据收集系统，随着从传感器发送的数据的数据量和数据数的增大，对中间服务器进行过滤的设定，对向数据收集服务器发送的数据量进行削减，由此降低数据收集服务器的负荷。此处，所谓的过滤的设定是指以使得对规定的数据执行过滤处理的方式进行设定。
[0082]图1是表示本发明的实施例1的数据收集系统大的结构例的说明图。
[0083]本实施例的数据收集系统由数据收集服务器100、多个中间服务器120和多个传感器130构成。
[0084]数据收集服务器100 通过 WAN (Wide Area Network:广域网)或 LAN (Local AreaNetwork:局域网)等网络与多个中间服务器120连接。另外，数据收集服务器100也可以与多个中间服务器120直接连接。此外，各中间服务器120通过网络140与各传感器130连接。
[0085]另外网络140能够考虑LAN、PLC等有线网络、WiF1、Zigbee (Zigbee为注册商标)等无线网络、移动体通信业者的移动网络等。
[0086]数据收集服务器100是对从传感器130发送的数据进行收集并对各中间服务器120的过滤功能进行管理的计算机。此处，对数据收集服务器100的软件结构进行说明。
[0087]数据收集服务器100作为功能块包括数据接收部101、数据处理部102、中间服务器管理部103、数据管理部104、DB数据发送部105、负荷监视部106、过滤管理部107、DB数据接收部108和数据库109。在图1中，各功能块间的实线表示数据的输出输入，虚线表示指示的输出输入。
[0088]此外，数据收集服务器100作为数据表保存数据管理表110、过滤状态管理表111、数据接收状态表112、负荷监视表113和算法选择表114。
[0089]数据接收部101从中间服务器120接收数据。
[0090]数据处理部102将接收到的数据转换为不依赖于数据库109的规定的数据形式。例如，数据处理部102执行从接收到的数据本身取出一部分数据的处理，或执行将接收到的数据按照某种特定的方式进行转换的处理。另外，数据处理部102既可以对接收到的所有数据执行转换处理，也可以根据接收到的数据中温度、湿度和电力等数据类别执行各自不同的转换处理。
[0091]中间服务器管理部103对在中间服务器120设定的基本过滤表128进行管理。
[0092]数据管理部104对从传感器130发送来的数据进行管理。具体而言，数据管理部104根据数据管理表110，对各个中间服务器120的关于数据废弃的设定、从中间服务器120发送来的数据的允许延迟时间等进行管理。
[0093]负荷监视部106对数据收集系统的负荷进行监视。在本实施例中，负荷监视部106周期地对数据收集系统的负荷进行监视，并将监视结果反映到负荷监视表113。
[0094]过滤管理部107根据数据收集系统的负荷决定在中间服务器120设定的过滤的处理内容(过滤条件)，并将所决定的过滤的处理内容(过滤条件)反映到中间服务器120。
[0095]DB数据发送部105向数据库109发送数据。DB数据接收部108将从DB数据发送部105接收到的数据存储在数据库109。在图1中，DB数据发送部105和DB数据接收部108各为一个，但是也可以为多个。在这种情况下，根据数据库109的规格选择DB数据发送部105和DB数据接收部108。
[0096]数据库109存储从传感器130发送来的数据。数据库109的结构可以根据所存储的数据为任意的结构。
[0097]数据管理表110存储用于对从传感器130发送来的数据进行管理的信息，由数据管理部104更新。数据管理表110的详细情况在之后使用图3进行说明。
[0098]过滤状态管理表111存储用于对在各中间服务器120设定的过滤状态进行管理的信息，由中间服务器管理部103更新。过滤状态管理表111的详细情况在之后使用图4和图5进行说明。
[0099]数据接收状态表112存储关于数据收集服务器100接收到的数据的信息，由数据管理部104更新。数据接收状态表112的详细情况在之后使用图6进行说明。
[0100]负荷监视表113存储用于对数据收集系统的各种负荷进行管理的信息，由负荷监视部106更新。负荷监视表113的详细情况在之后使用图7进行说明。
[0101]算法选择表114存储为了实现负荷降低而在各中间服务器120的过滤功能部适用的算法的信息，由过滤管理部107更新。算法选择表114的详细情况在之后使用图8进行说明。
[0102]中间服务器120是对从传感器130发送的数据进行规定的处理、并将处理后的数据发送至数据收集服务器100的计算机。此处，对中间服务器120的软件结构进行说明。
[0103]中间服务器120作为功能块包括数据发送部121、数据分配部122、传感器数据接收部123、基本数据过滤部124、多个扩展过滤部125和过滤控制部126。
[0104]此外，中间服务器120作为数据表保存数据分配表127和基本过滤表128。
[0105]传感器数据接收部123接收从传感器130发送来的数据。传感器数据接收部123能够根据传感器130利用的通信协议接收数据。传感器数据接收部123将从传感器130接收到的数据发送到数据分配部122。
[0106]数据分配部122判断接收到的数据是否为过滤处理的对象，在为过滤处理的对象的情况下，将该数据转送到与接收到的数据对应的过滤功能部。此外，数据分配部122在不是过滤处理的对象的情况下将接收到的数据直接转送到数据发送部121。
[0107]数据发送部121将从传感器130接收到的数据发送到数据收集服务器100。作为数据发送部121利用的发送协议，使用HTTP等。此外，数据发送部121也可以安装独自的协议，使用该协议将接收到的数据转送到数据收集服务器100。
[0108]接着，对过滤功能部进行说明。中间服务器120作为过滤功能部包括基本数据过滤部124和扩展过滤部125。
[0109]基本数据过滤部124执行一般的过滤处理。具体而言,基本数据过滤部124根据各个数据类别的接收个数和接收数据量等，保存数据至满足预定的条件，之后，通过数据发送部121将所保存的数据汇总后发送到数据收集服务器100。
[0110]另外，基本数据过滤部124也可以使用定时器将数据蓄积一定期间，之后将在一定期间内蓄积的数据汇总后发送到数据收集服务器100。进一步，基本数据过滤部124在将数据汇总后发送的情况下也可以将该数据中的一部分废弃，之后将剩余的数据发送。
[0111]扩展过滤部125是在需要与基本数据过滤部124的过滤处理不同的数据处理时使用的过滤功能部。扩展过滤部125例如如以下那样执行处理。
[0112]扩展过滤部125接收多个数值数据，计算接收到的多个数值数据的平均值，将所计算出的平均值作为数据发送到数据收集服务器100。此外，扩展过滤部125为了提高数据收集服务器100侧的处理的速度而在执行接收到的数据的事前处理之后、将被处理后的数据发送到数据收集服务器100。
[0113]另外，本发明并不限定于基本数据过滤部124和扩展过滤部125所执行的处理。
[0114]过滤控制部126对中间服务器120的过滤的设定进行控制。具体而言，过滤控制部126按照来自数据收集服务器100的指示变更对基本数据过滤部124等的过滤条件的设定。
[0115]数据分配表127存储用于将从传感器130接收到的数据分配至各过滤功能部的信息，由数据分配部122参考。
[0116]基本过滤表128存储基本数据过滤部124执行的过滤处理中使用的过滤条件等信息，由基板数据过滤部124参考。
[0117]传感器130是向数据收集服务器100发送各种数据的终端。传感器130例如包括处理器、存储器和网络接口。
[0118]〈服务器的硬件结构〉
[0119]图2是表示本发明的实施例1的服务器的硬件结构的框图。在图2表示数据收集服务器100和中间服务器120的硬件结构。
[0120]服务器200包括处理器201、存储器202和网络接口 203。
[0121]处理器201执行被存储在存储器202的程序。通过处理器201执行被存储在存储器202的程序，能够实现数据收集服务器100和中间服务器120所具有的功能。
[0122]网络接口 203通过网络与其它装置连接。
[0123]存储器202存储由处理器201执行的程序和该程序的执行中所需要的信息。
[0124]在数据收集服务器100的存储器202，存储实现数据接收部101、数据处理部102、中间服务器管理部103、数据管理部104、DB数据发送部105、负荷监视部106、过滤管理部107和DB数据接收部108的程序。此外，在数据收集服务器100的存储器202，存储数据管理表110、过滤状态管理表111、数据接收状态表112、负荷监视表113和算法选择表114。
[0125]另一方面，在中间服务器120的存储器202，存储实现数据发送部121、数据分配部122、传感器数据接收部123、基本数据过滤部124、多个扩展过滤部125和过滤控制部126的程序。此外，在中间服务器120的存储器202，存储数据分配表127和基本过滤表128。
[0126]<数据收集服务器的说明>
[0127]首先，使用图3至图8，说明数据收集服务器100所保存的表。
[0128]图3是表示本发明的实施例1的数据收集服务器100保存的数据管理表110的一个例子的说明图。
[0129]数据管理表110包括数据识别符301、数据废弃可否302、优先度303和允许延迟时间304。
[0130]数据识别符301是存储用于对从传感器130发送来的数据进行识别的识别符的字段(信息组:field)。作为数据的识别符，能够考虑按各个传感器130预先赋予的字符串、按传感器130的各个类别预先赋予的字符串、表示数据的发送目的地URI的字符串或表示数据的发送目的地URI的字符串的一部分等。
[0131]数据废弃可否302是存储表示在中间服务器120是否允许接收到的数据的废弃的信息的字段。作为被存储在数据废弃可否302的信息，能够考虑YES/N0、可/否、和TRUE/FALSE等的字符串或1/0的数值等2值信息。
[0132]优先度303是存储表示从传感器130发送来的数据的重要性的信息的字段。在优先度303存储数值等。优先度303例如在决定判断中间服务器120是否对从传感器130发送来的数据执行过滤处理的顺序时使用。
[0133]在本实施例中，对重要性高的数据，存储优先度303小的值。例如，在重要性最高的数据的优先度303中存储“I”。
[0134]允许延迟时间304是存储在中间服务器120中接收到的数据的等待允许时间的字段。在允许延迟时间304存储“200毫秒”等数值。允许延迟时间304例如在如下的情况下使用:在接收到的数据暂时蓄积在中间服务器120、之后进行汇总发送的过滤处理中，过滤处理的对象的数据要求实时性。具体而言，在超过存储在允许延迟时间304的数据的情况下，即使未达到过滤条件，中间服务器120也向数据收集服务器100发送数据。
[0135]图4是表示本发明的实施例1的数据收集服务器100保存的过滤状态管理表111的一个例子的说明图。图5是表示本发明的实施例1的过滤状态管理表111所包含的过滤条件404的一个例子的说明图。
[0136]过滤状态管理表111包括数据识别符401和过滤状态402。
[0137]数据识别符401是存储用于识别从传感器130发送来的数据的识别符的字段，与数据识别符301相同。
[0138]过滤状态402是存储表示对从传感器130发送来的数据的过滤的设定状态的信息的字段。过滤状态402由过滤有无403和过滤条件404这两个字段构成。
[0139]过滤有无403是存储表示是否对从传感器130发送来的数据设定过滤的信息的字段。作为被存储在过滤有无403的信息，例如能够考虑YES/N0、可/否、TRUE/FALSE等的字符串和1/0的数值等2值信息。在对接收到的数据的过滤被设定的情况下，在过滤有无403存储YES、可或TRUE等的字符串、或者I。
[0140]过滤条件404是在从传感器130发送来的数据被设定过滤的情况下存储被设定的过滤的处理内容的字段。此处，使用图5对过滤条件404的详细情况进行说明。
[0141]过滤条件404包括过滤类别501、过滤阈值502、数据废弃率503和允许延迟时间504。
[0142]过滤类别501是存储过滤处理的执行时使用的值的字段。作为存储在过滤类别501的值，例如能够考虑表示数据个数、数据量等类别的识别符。
[0143]过滤阈值502是存储过滤处理的阈值的字段。
[0144]例如，当在过滤类别501存储“数据个数”时，执行以下那样的过滤处理。中间服务器120在与数据识别符401 —致的识别符的数据仅蓄积了过滤阈值502的值的个数的情况下将所蓄积的数据发送到数据收集服务器100。
[0145]此外，当过滤类别501存储“数据量”时，执行以下那样的过滤处理。中间服务器120在与数据识别符401 —致的识别符的数据仅蓄积过滤阈值502的值的数据的量的情况下将所蓄积的数据发送到数据收集服务器100。
[0146]数据废弃率503是存储表示满足过滤条件、被蓄积的数据中实际上向数据收集服务器100发送的数据的比例的数值的字段。
[0147]允许延迟时间504是存储在蓄积从传感器130发送来的数据的情况下、中间服务器120能够蓄积的允许时间的字段。允许延迟时间504存储被存储在允许延迟时间304的数值以下的值。基于允许延迟时间504，能够实现中间服务器120蓄积数据、并按每一定间隔将蓄积的数据汇总后发送到数据收集服务器100的过滤处理。
[0148]另外，上述的过滤条件404是一个例子，本发明并不限定于过滤条件404。
[0149]图6是表示本发明的实施例1的数据收集服务器100保存的数据接收状态表112的一个例子的说明图。
[0150]数据接收状态表112包括数据识别符601、接收数602、接收量603、过去接收数604和过去接收量606。
[0151]数据识别符601是存储用于识别从传感器130发送来的数据的识别符的字段，与数据识别符301相同。
[0152]接收数602是存储在从当前时刻起回溯一定的时间间隔的期间接收到的数据的个数的字段。所谓的当前时刻，是指接收到的数据的时戳中最新的时戳。此外，一定的时间间隔为预先设定的间隔。例如，在最新的时戳为“ 2012/12/0112:00:00 ”、一定的时间间隔为I分钟的情况下，在接收数602存储自“2012/12/0111:59:00”至“2012/12/0111:59:59”为止的期间接收到的数据的个数。
[0153]接收量603是存储在从当前时刻回溯一定期间的时间间隔接收到的数据的数据
量的字段。
[0154]过去接收数604是存储至当前时刻为止、在一定的时间间隔接收到的数据的个数的字段。例如，在一定的时间间隔为I分钟的情况下，在过去接收数604通过统计处理计算过去接收到的数据的个数并存储每I分钟内的平均数据数。
[0155]过去接收量605是存储至当前时刻为止在一定的时间间隔接收到的数据的数据
量的字段。
[0156]如上所述，接收数602和接收量603是表示当前的接收状态的信息，过去接收数604和过去接收量605是表示过去的接收状态的信息。因此，数据接收状态表112用于对突发的数据数或数据量增加了的数据进行检索的情况。此外，也用于按数据数或数据量的增加量多的顺序在数据设定管理的情况。
[0157]图6所示的数据接收状态表112是一个例子，也可以存储其它信息。例如，在数据接收状态表112，也可以存储至当前时刻为止接收到的数据的个数的最大值及其时刻、或数据量的最大值及其时刻的组合。
[0158]图7是表示本发明的实施例1的数据收集服务器100保存的负荷监视表113的一个例子的说明图。
[0159]负荷监视表113包括负荷要素701、当前值702和阈值703。
[0160]负荷要素701是存储对数据收集系统的性能产生影响的要素的字段。在本实施例中，作为负荷要素能够列举:连接数据收集服务器100与中间服务器120的网络的频带利用量；数据收集服务器100的CPU使用率；数据收集服务器100接收到的数据包数、在数据库109处理的会话(session)数；和蓄积在数据库109的数据量等。
[0161]当前值702是存储与当前的数据收集系统的负荷要素701对应的值的字段。存储在当前值702的值由负荷监视部106周期地更新。
[0162]阈值703是存储在数据收集系统的负荷要素701中设定的阈值的字段。[0163]在当前值702的值比阈值703大的情况下，用作在中间服务器120设定过滤的处理等的触发器。
[0164]图8是表示本发明的实施例1的数据收集服务器100保存的算法选择表114的一个例子的说明图。
[0165]算法选择表114包括负荷要素801和过滤控制算法802。
[0166]负荷要素801是存储对数据收集系统的性能产生影响的要素的字段，与负荷要素701相同。
[0167]过滤控制算法802是存储对各负荷要素801适用的算法的识别信息的字段。此处，算法是用于降低数据收集系统的负荷的过滤处理的算法，表示被设定的过滤的类别。
[0168]在图8，作为算法的一个例子示出数据量削减、数据数削减和数据数集约。
[0169]数据量削减的算法是设定用于对从中间服务器120发送来的数据的数据量进行削减的过滤的算法。
[0170]数据数削减的算法是设定用于将从中间服务器120发送来的数据的个数进行削减的过滤的算法。
[0171]此外，数据集约的算法是设定用于将多个数据集约为一个数据、将所集约的数据发送到数据收集服务器100的算法。数据集约的算法是为了实现从中间服务器120发送的数据的个数的削减而用于过滤的设定的算法。
[0172]另外，本发明并不限定于所使用的算法。例如除图8所示的算法以外，还可以使用为了进行从中间服务器120发送的数据的数据量的削减而将从中间服务器120发送的数据压缩、并将被压缩在收集服务器100的数据发送的算法等。
[0173]接着，使用图9至图12，对数据收集服务器100执行的处理进行说明。
[0174]图9是说明本发明的实施例1的过滤管理部107执行的算法选择处理的一个例子的流程图。
[0175]算法选择处理在负荷监视部106周期地对数据收集系统的负荷进行监视、数据收集系统的负荷增大的情况下被执行。具体而言，负荷监视部106在负荷监视表113的规定的负荷要素701的当前值702的值比阈值703大的情况下判断为数据收集系统的负荷增大，调出过滤管理部107。此时，负荷监视部106将包括对应的负荷要素701的负荷信息发送到过滤管理部107。
[0176]首先，过滤管理部107从负荷监视部106接收负荷信息(步骤S901)。
[0177]过滤管理部107根据负荷信息和算法选择表114选择适用于从传感器130发送来的数据的过滤控制算法(步骤S902)。具体而言，如以下那样执行处理。
[0178]过滤管理部107从负荷信息取得负荷要素701。过滤管理部107参考算法选择表114检索与负荷要素801所取得的负荷要素701 —致的条目。过滤管理部107将检索到的条目的管理控制算法802选作适用于从传感器130发送的数据的过滤控制算法。
[0179]接着，过滤管理部107生成与所选择的过滤控制算法对应的过滤对象数据列表(步骤S903)。此处，作为过滤对象数据列表的生成方法，能够考虑以下那样的方法。
[0180]在所选择的过滤控制算法为数据数削减的算法或数据量削减的算法的情况下，能够考虑如下方法:过滤管理部107参考数据管理表110的数据废弃可否302，抽取数据的废弃被许可的数据的条目，并将被抽取的条目形成列表。此时，过滤管理部107也可以根据优先度303或允许延迟时间304排列过滤对象数据列表的条目。
[0181]由此，对能够废弃的数据类别的数据执行过滤处理。即，该数据类别的数据被废弃。
[0182]在所选择的过滤控制算法为数据数集约的算法的情况下，能够考虑如下方法:过滤管理部107参考数据接收状态表112的接收数602和过去接收数604，按接收数据数的增加幅度大的顺序抽取数据接收状态表112的条目，并将被抽取的条目形成列表。此时，过滤管理部107也可以根据优先度303或允许延迟时间304排列过滤对象数据列表的条目。
[0183]在这种情况下，通过从过滤处理数据列表之上(上侧)的条目起依次进行处理，从接收数据数急剧地增加的数据类别的数据起优先执行过滤处理。即，从该数据类别的数据起优先集约。
[0184]进一步，过滤管理部107也可以按优先度303的值大的顺序、即重要性低的顺序抽取数据接收状态表112的条目，并将所抽取的条目形成列表。此外，过滤管理部107还可以按允许延迟时间304大的顺序抽取数据接收状态表112的条目，并将所抽取的条目形成列表。
[0185]在这种情况下，通过从过滤处理数据列表之上的条目起依次进行处理，从重要性低的数据类别的数据起优先执行过滤处理。例如，能够将重要性低的数据类别的数据优先地废弃或集约。
[0186]接着，过滤管理部107根据所生成的过滤对象数据列表和所选择的过滤控制算法，执行过滤控制处理(步骤S904)。即，对过滤对象数据列表所包含的数据设定与过滤控制算法对应的过滤。关于过滤控制处理，在之后使用图10至图12进行说明。
[0187]如以上说明的那样，在本发明中能够与数据收集系统的负荷相应地、动态地设定对从传感器130发送来的数据设定的过滤。由此，能够适当地降低数据收集系统的负荷。
[0188]此外，由于与数据收集系统的负荷相应地确定设定过滤的数据，能够确保从传感器130发送来的数据的安全性、可靠性等，并同时降低数据收集系统的负荷。
[0189]图10是说明本发明的实施例1的过滤管理部107根据数据量削减的算法执行的过滤控制处理的一个例子的流程图。
[0190]过滤管理部107参考负荷监视表113计算在数据收集系统应该削减的数据量(步骤 S1001)。
[0191]具体而言，过滤管理部107计算当前值702与阈值703的差。例如，在网络的频带利用量为负荷要素的情况下，从与负荷监视表113的网络的频带利用量对应的条目的当前值702减去阈值703，由此计算在数据收集系统应该削减的数据量。
[0192]在以下的说明中，将在步骤S1001计算出的值也记载为必须削减数据量。
[0193]过滤管理部107根据必须削减数据量和过滤对象数据列表计算各个数据的目标削减数据量(步骤S1002)。此时，过滤管理部107将削减预定数据量初始化为“O”。
[0194]此处，作为目标削减数据量的决定方法，能够考虑以下那样的方法。作为一个方法，过滤管理部107通过将计算出的必须削减数据量除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，计算目标削减数据量。此外，作为另一个方法，过滤管理部107通过将计算出的必须削减数据量除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，并将该值乘以常数，计算目标削减数据量。[0195]利用上述决定方法，能够实现所有的数据类别的数据量被均等地削减的过滤控制。另一方面，也可以根据各数据类别的优先度决定目标削减数据量。例如，过滤管理部107根据优先度303的值计算各个数据类别的削减数据量的比率，并根据计算出的比率和必须削减数据量计算目标削减数据量。例如，能够考虑使用优先度303的值的倒数作为削减数据量的比率。
[0196]接着，过滤管理部107从过滤对象数据列表选择处理对象的数据(步骤S1003)。
[0197]此处，作为处理对象的数据的选择方法，能够考虑以下那样的方法。作为一个方法，过滤管理部107参考数据管理表110的优先度303，按优先度303的值低的顺序选择过滤对象数据列表所包含的数据。此外，作为另一个方法，过滤管理部107计算数据接收状态表112的接收量603与过去接收量605的差，并按接收数据量的增加幅度大的顺序、即计算出的差大的顺序，选择过滤对象数据列表所包含的数据。
[0198]在预先按优先度303的值低的顺序或接收数据量的增加幅度的顺序排列过滤对象数据列表的条目的情况下，过滤管理部107从过滤对象数据列表之上的条目起依次进行选择。
[0199]过滤管理部107对是否存在能够从过滤对象数据列表选择的数据进行判断(步骤S1004)。即，判断是否已对过滤对象数据列表的所有的数据执行了处理。
[0200]在判断为不存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107作为发生了异常状态的信息向操作员发送警告信息(步骤S1010)，结束处理。这是因为，这是不能削减与必须削减数据量相应的数据量、不能降低数据收集系统的负荷的状态。
[0201]在判断为存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107根据数据接收状态表112计算所选择的数据的数据废弃率(步骤S1005)。具体而言，执行以下那样的处理。
[0202]过滤管理部107参考数据接收状态表112，检索数据识别符601与所选择的数据的识别符一致的条目。过滤管理部107通过从检索到的条目的接收量603减去过去接收量605，计算能够削减的数据量。过滤管理部107对能够削减的数据量是否比目标削减数据量大进行判断。
[0203]在判断为能够削减的数据量比目标削减数据量大的情况下，过滤管理部107将目标削减数据量决定为所选择的数据的削减量。另一方面，在判断为能够削减的数据量为目标削减数据量以下的情况下，过滤管理部107将能够削减的数据量决定为所选择的数据的削减量。
[0204]过滤管理部107通过将所选择的数据的削减量除以接收量603，计算数据废弃率。
[0205]此处，在所选择的条目的接收量603为“400”、过去接收量605为“200”、目标削减数据量为“100”的情况下，例如执行以下那样的处理。由于能够削减的数据量为“200”，比目标削减数据量大，所以过滤管理部107将目标削减数据量决定为所选择的数据的削减量。此外，过滤管理部107通过将目标削减数据量的“100”除以接收量603的“400”，将数据废弃率决定为“百分之25”。
[0206]过滤管理部107将包括所选择的数据的识别符、过滤类别、过滤的阈值、允许延迟时间和计算出的数据废弃率的过滤条件设定指示发送到各中间服务器120 (步骤S1006)。
[0207]另外，在过滤类别使用与负荷要素701相关联的信息。例如，在负荷要素为网络的频带利用量的情况下，过滤类别为“数据量”。
[0208]此外，在过滤的阈值设定任意的值。例如，在不需要在中间服务器120蓄积数据的过滤的情况下设定“0”，此外，在所蓄积的数据量为1000MB的情况下废弃100MB的量的数据的过滤的情况下设定“ 100/1000”。
[0209]此外，在允许延迟时间设定数据管理表110的允许延迟时间304。
[0210]由此，中间服务器120根据过滤条件设定指示设定对所选择的数据的过滤。具体而言，过滤控制部126将接收到的过滤条件设定指示所包含的值存储在基本过滤表128。此夕卜，过滤控制部126在数据分配表127追加新的条目，将所选择的数据的识别符存储在数据识别符1301，将“基本过滤”存储在分配目的地1302。
[0211]接着，过滤管理部107将通过对所选择的数据设定的过滤而削减的数据量、即所选择的数据的削减量加算至削减预定数据量(步骤S1007)。此外，过滤管理部107将过滤状态管理表111更新(步骤S1008)。
[0212]具体而言，过滤管理部107参考过滤状态管理表111，检索与所选择的数据对应的条目。过滤管理部107将表示设定有过滤的趣旨的信息存储在检索到的条目的过滤有无403。此外，过滤管理部107将过滤条件设定指示所包含的各值存储在检索到的条目的过滤条件404。
[0213]过滤管理部107对削减预定数据量是否比必须削减数据量大进行判断(步骤S1009)。
[0214]在判断为削减预定数据量为必须削减数据量以下的情况下，过滤管理部107返回步骤1003，执行同样的处理。
[0215]在判断为削减预定数据量比必须削减数据量大的情况下，过滤管理部107由于能够降低数据收集系统的负荷而结束处理。
[0216]图11是说明本发明的实施例1的过滤管理部107根据数据数削减的算法执行的过滤控制处理的一个例子的流程图。
[0217]过滤管理部107参考负荷监视表113计算在数据收集系统应该削减的数据数(步骤 S1101)。
[0218]具体而言，过滤管理部107计算当前值702与阈值703的差。例如，在服务器的接收数据包数为负荷要素的情况下，从与负荷监视表113的服务器的接收数据包数对应的条目的当前值702减去阈值703，由此计算应该削减的数据数。
[0219]在以下的说明中，将在步骤SllOl计算出的值也记载为必须削减数据数。
[0220]过滤管理部107根据必须削减数据数和过滤对象数据列表计算各个数据的目标削减数据数(步骤S1102)。此时，过滤管理部107将削减预定数据数初始化为“O”。
[0221]此处，作为目标削减数据数的决定方法，能够考虑以下那样的方法。作为一个方法，过滤管理部107通过将计算出的必须削减数据数除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，计算目标削减数据数。此外，作为另一个方法，过滤管理部107通过将计算出的必须削减数据数除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，并将该值乘以常数，计算目标削减数据数。
[0222]利用上述决定方法，能够实现所有的数据类别的数据数被均等地削减的过滤控制。另一方面，也可以根据各数据类别的优先度决定目标削减数据数。例如，过滤管理部107根据优先度303的值计算各个数据类别的削减数据数的比率，并根据计算出的比率和必须削减数据数计算目标削减数据数。例如，能够考虑使用优先度303的值的倒数作为削减数据数的比率。
[0223]接着，过滤管理部107从过滤对象数据列表选择处理对象的数据(步骤S1103)。
[0224]此处，作为处理对象的数据的选择方法，能够考虑以下那样的方法。作为一个方法，过滤管理部107参考数据管理表110的优先度303，按优先度303的值低的顺序选择过滤对象数据列表所包含的数据。此外，作为另一个方法，过滤管理部107计算数据接收状态表112的接收数602与过去接收数604的差，并按接收数据数的增加幅度大的顺序、即计算出的差大的顺序，选择过滤对象数据列表所包含的数据。
[0225]在预先按优先度303的值低的顺序或接收数据数的增加幅度的顺序排列过滤对象数据列表的条目的情况下，过滤管理部107从过滤对象数据列表之上的条目起依次进行选择。
[0226]过滤管理部107对是否存在能够从过滤对象数据列表选择的数据进行判断(步骤S1104)。即，判断是否已对过滤对象数据列表的所有的数据执行了处理。
[0227]在判断为不存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107作为发生了异常状态的信息向操作员发送警告信息(步骤S1110)，结束处理。这是因为，这是不能削减与必须削减数据数相应的数据数、不能降低数据收集系统的负荷的状态。
[0228]在判断为存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107根据数据接收状态表112计算所选择的数据的数据废弃率(步骤S1105)。具体而言，执行以下那样的处理。
[0229]过滤管理部107参考数据接收状态表112，检索数据识别符601与所选择的数据的识别符一致的条目。过滤管理部107通过从检索到的条目的接收数602减去过去接收数604，计算能够削减的数据数。过滤管理部107对能够削减的数据数是否比目标削减数据数大进行判断。
[0230]在判断为能够削减的数据数比目标削减数据数大的情况下，过滤管理部107将目标削减数据数决定为所选择的数据的削减数。另一方面，在判断为能够削减的数据数为目标削减数据数以下的情况下，过滤管理部107将能够削减的数据数决定为所选择的数据的削减数。
[0231]过滤管理部107通过将所选择的数据的削减数除以接收数602，计算数据废弃率。
[0232]此处，在所选择的条目的接收数602为“100”、过去接收数604为“50”、目标削减数据数为“100”的情况下，例如执行以下那样的处理。由于能够削减的数据数为“50”，比目标削减数据数小，所以过滤管理部107将能够削减的数据数决定为所选择的数据的削减数。此外，过滤管理部107通过将能够削减的数据数的“50”除以接收数602的“100”，将数据废弃率决定为“百分之50”。
[0233]过滤管理部107将包括所选择的数据的识别符、过滤类别、过滤的阈值和计算出的数据废弃率的过滤条件设定指示发送到各中间服务器120 (步骤S1106)。
[0234]另外，在过滤类别使用与负荷要素701相关联的信息。例如，在负荷要素为服务器的接收数据包数的情况下，过滤类别为“数据数”。
[0235]此外，在过滤的阈值设定任意的值。例如，在不需要在中间服务器120蓄积数据的过滤的情况下设定“O”，此外，在所蓄积的数据数为5个的情况下废弃I个数据的过滤的情况下设定“1/5”。
[0236]此外，在允许延迟时间设定数据管理表110的允许延迟时间304。
[0237]由此，中间服务器120根据过滤条件设定指示设定对所选择的数据的过滤。具体而言，过滤控制部126将接收到的过滤条件设定指示所包含的值存储在基本过滤表128。此夕卜，过滤控制部126在数据分配表127追加新的条目，将所选择的数据的识别符存储在数据识别符1301，将“基本过滤”存储在分配目的地1302。
[0238]过滤管理部107将通过对所选择的数据设定的过滤而削减的数据数、即所选择的数据的削减数加算至削减预定数据数(步骤S1107)。此外，过滤管理部107将过滤状态管理表111更新(步骤S1108)。
[0239]具体而言，过滤管理部107参考过滤状态管理表111，检索与所选择的数据对应的条目。过滤管理部107将表示设定有过滤的趣旨的信息存储在检索到的条目的过滤有无403。此外，过滤管理部107将过滤条件设定指示所包含的各值存储在检索到的条目的过滤条件404。
[0240]过滤管理部107对削减预定数据数是否比必须削减数据数大进行判断(步骤S1109)。
[0241]在判断为削减预定数据数为必须削减数据数以下的情况下，过滤管理部107返回步骤1103，执行同样的处理。
[0242]在判断为削减预定数据数比必须削减数据数大的情况下，过滤管理部107由于能够降低数据收集系统的负荷而结束处理。
[0243]图12是说明本发明的实施例1的过滤管理部107根据数据集约的算法执行的过滤控制处理的一个例子的流程图。
[0244]过滤管理部107参考负荷监视表113计算应该削减的数据数(步骤S1201)。
[0245]具体而言，过滤管理部107计算当前值702与阈值703的差。例如，在数据库的处理会话数为负荷要素的情况下，从与负荷监视表113的数据库的处理会话数对应的条目的当前值702减去阈值703，由此计算应该削减的数据数。
[0246]在以下的说明中，将在步骤S1201计算出的值记载为必须削减数据数。
[0247]过滤管理部107根据计算出的必须削减数据数和过滤对象数据列表计算各个数据的目标集约数据数(步骤S1202)。此时，过滤管理部107将削减预定数据数初始化为“O”。
[0248]此处，作为目标削减数据数的决定方法，能够考虑以下那样的方法。作为一个方法，过滤管理部107通过将计算出的必须削减数据数除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，计算目标削减数据数。此外，作为另一个方法，过滤管理部107通过将计算出的必须削减数据数除以过滤对象数据列表所包含的数据类别的数量(条目的数量)，并将该值乘以常数，计算目标削减数据数。
[0249]接着，过滤管理部107从过滤对象数据列表选择处理对象的数据(步骤S1203)。
[0250]数据集约的算法的过滤对象数据列表按接收数据数的增加幅度大的顺序排列列表的条目，因此过滤管理部107从上侧的条目起依次进行选择。
[0251]过滤管理部107对是否存在能够从过滤对象数据列表选择的数据进行判断(步骤S1204)。即，判断是否已对过滤对象数据列表的所有的数据执行了处理。[0252]在判断为不存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107作为发生了异常状态的信息向操作员发送警告信息(步骤S1210)，结束处理。这是因为，这是不能削减与必须削减数据数相应的数据数、不能降低数据收集系统的负荷的状态。
[0253]在判断为存在能够从过滤对象数据列表选择的数据的情况下，过滤管理部107根据数据接收状态表112计算所选择的数据的数据集约数(步骤S1205)。具体而言，执行以下那样的处理。
[0254]过滤管理部107参考数据接收状态表112，检索数据识别符601与所选择的数据的识别符一致的条目。过滤管理部107通过从检索到的条目的接收数602减去过去接收数604，计算能够削减的数据数。过滤管理部107对能够削减的数据数是否比目标削减数据数大进行判断。
[0255]在判断为能够削减的数据数比目标削减数据数大的情况下，过滤管理部107将目标削减数据数决定为所选择的数据的削减数。另一方面，在判断为能够削减的数据数为目标削减数据数以下的情况下，过滤管理部107将能够削减的数据数决定为所选择的数据的削减数。
[0256]过滤管理部107通过从接收数602减去所选择的数据的削减数计算接收预定数。进一步，过滤管理部107通过将接收数602除以计算出的信息接收预定数计算数据集约数。
[0257]此处，在检索到的条目的接收数602为“400”、过去接收数604为“400”、目标削减数据数为“200”的情况下，例如执行以下那样的处理。由于能够削减的数据数为“300”，比目标削减数据数大，所以过滤管理部107将目标削减数据数决定为所选择的数据的削减数。此外，过滤管理部107通过从接收数602的“400”减去所选择的数据的削减数的“200”，作为接收预定数计算出“200”。进一步，过滤管理部107通过将接收数602的“400”除以接收预定数的“200”，将数据集约数决定为“2”。
[0258]接着，过滤管理部107将包括所选择的数据的识别符、过滤类别、允许延迟时间和计算出的数据集约数的过滤条件设定指示发送到各中间服务器120 (步骤S1206)。
[0259]另外，在过滤类别使用与负荷要素701相关联的信息。例如，在负荷要素为数据库的处理会话数的情况下，过滤类别为“会话数”。在允许延迟时间设定数据管理表110的允许延迟时间304。此外，所决定的数据集约数对应过滤的阈值。
[0260]由此，中间服务器120根据过滤条件设定指示设定对所选择的数据的过滤。具体而言，过滤控制部126将接收到的过滤条件设定指示所包含的值存储在基本过滤表128。此夕卜，过滤控制部126在数据分配表127追加新的条目，将所选择的数据的识别符存储在数据识别符1301，将“基本过滤”存储在分配目的地1302。
[0261]过滤管理部107将通过对所选择的数据设定的过滤而削减的数据数、即所选择的数据的削减数加算至削减预定数据数(步骤S1207)。此外，过滤管理部107将过滤状态管理表111更新(步骤S1208)。
[0262]具体而言，过滤管理部107参考过滤状态管理表111，检索与所选择的数据对应的条目。过滤管理部107将表示设定有过滤的趣旨的信息存储在检索到的条目的过滤有无403。此外，过滤管理部107将过滤条件设定指示所包含的各值存储在检索到的条目的过滤条件404。
[0263]过滤管理部107对削减预定数据数是否比必须削减数据数大进行判断(步骤S1209)。
[0264]在判断为削减预定数据数为必须削减数据数以下的情况下，过滤管理部107返回步骤1203，执行同样的处理。
[0265]在判断为削减预定数据数比必须削减数据数大的情况下，过滤管理部107由于能够降低数据收集系统的负荷而结束处理。
[0266]〈中间服务器的说明〉
[0267]首先，使用图13和图14，对中间服务器120保存的表进行说明。
[0268]图13是表示本发明的实施例1的中间服务器120保存的数据分配表127的一个例子的说明图。
[0269]数据分配表127包括数据识别符1301和分配目的地1302。
[0270]数据识别符1301是存储用于识别从传感器130发送来的数据的识别符的字段，与数据识别符301相同。分配目的地1302是存储转送与数据识别符1301对应的数据的过滤功能部的识别符的字段。
[0271]分配部122在从传感器130接收到数据的情况下，参考数据分配表127，以接收到的数据的识别符为检索关键词检索一致的条目，并将接收到的数据转送到与检索到的条目的分配目的地1302对应的过滤功能部。
[0272]图14是表示本发明的实施例1的中间服务器120保存的基本过滤表128的一个例子的说明图。
[0273]基本过滤表128包括数据识别符1401和过滤条件1402。
[0274]数据识别符1401是存储用于识别从传感器130发送来的数据的识别符的字段，与数据识别符301相同。过滤条件1402是存储过滤的处理内容的字段，与过滤条件404相同。过滤条件1402存储过滤条件设定指示所包含的各值。
[0275]另外，在本实施例，将数据分配表127和基本过滤表128分别作为不同的表进行管理，但是也可以汇总为一个表进行管理。在这种情况下，中间服务器120保存包括数据识别符、分配目的地和过滤条件的表。
[0276]图15是说明本发明的实施例1的中间服务器120的数据分配部122执行的数据分配处理的一个例子的流程图。
[0277]数据分配部122从传感器数据接收部123接收数据(步骤S1501 )，并从接收到的数据取得数据识别符(步骤S1502)。
[0278]数据分配部122参考数据分配表127，以所取得的数据识别符为检索关键词，检索与该数据识别符一致的条目(步骤S1503)。数据分配部122根据检索结果判断是否存在与所取得的数据识别符一致的条目(步骤S1504)。当存在与所取得的数据识别符一致的条目时,表示设定有对该数据的过滤。
[0279]在判断为存在与所取得的数据识别符一致的条目的情况下，数据分配部122将该数据转送到与检索到的条目的分配目的地1302对应的过滤功能部(步骤S1505)，结束处理。
[0280]在判断为不存在与所取得的数据识别符一致的条目的情况下，数据分配部122为了将该数据直接发送到数据收集服务器100而将该数据转送到数据发送部121 (步骤S1506)，结束处理。[0281]图16是说明本发明的实施例1的中间服务器120的基本数据过滤部124执行的过滤处理的一个例子的流程图。
[0282]基本数据过滤部124从数据分配部122接收数据(步骤S1601 )，并从接收到的数据取得数据识别符(步骤S1602)。
[0283]基本数据过滤部124参考基本过滤表128，以所取得的数据识别符为检索关键词，检索与该数据识别符一致的条目(步骤S1603)。
[0284]基本数据过滤部124接收到的数据追加到暂时保存接收到的数据的数据用队列(queue)(步骤S1604)。在本实施例中，按数据的各个类别具有数据用队列。在这种情况下，基本数据过滤部124将接收到的数据存储在与数据识别符对应的数据用队列。
[0285]基本数据过滤部124对接收到的数据的过滤条件进行确认(步骤S1605)，并对数据用队列的状态是否满足过滤条件进行判断(步骤S1606)。
[0286]具体而言，基本数据过滤部124对在步骤S1603检索到的条目的过滤条件1402进行确认。基本数据过滤部124根据数据用队列的数据的蓄积状态，对该数据用队列的状态是否满足过滤条件1402进行判断。
[0287]在判断为数据用队列的状态不满足过滤条件的情况下，基本数据过滤部124结束处理。
[0288]在判断为数据用队列的状态满足过滤条件的情况下，基本数据过滤部124根据被存储在过滤条件1402的数据废弃率选择向数据收集服务器100发送的数据(步骤S1607)。
[0289]具体而言，基本数据过滤部124根据被存储在过滤条件1402的数据废弃率，从被存储在数据用队列的数据废弃规定数的数据或规定量的数据。被存储在数据用队列的数据成为被发送到数据收集服务器100的数据。
[0290]基本数据过滤部124将被存储在数据用队列的多个数据集约为一个数据，将被集约的数据转送到数据收集服务器100 (步骤S1608)，结束处理。
[0291 ] 以下，对本发明的具体例进行说明。
[0292]图17是说明本发明的实施例1的数据收集系统的根据数据数集约的算法执行的过滤控制的流程的时序图。
[0293]在以下的说明中，数据收集服务器100是从传感器A (130-1)接收作为数据识别符301为“A”的数据的数据收集服务器。此外，数据管理表110是图2所示那样的数据管理表，此外，算法选择表114是图8所示那样的算法选择表。
[0294]在步骤S1701的状态，数据收集服务器100从传感器A (130_1)接收阈值的范围内的数据。
[0295]在步骤S1702的状态，接收数据数增加，数据接收状态表112成为图6所示那样的状态。此外，负荷监视表113成为图7所示那样的状态。
[0296]此时，负荷要素701的与服务器的接收数据包数对应的条目的当前值702的值为“1200”，超过阈值703的值“900”。因此，在步骤S1703，负荷监视部106检测出服务器的接收数据包数超过阈值703，调出过滤管理部107。此时，负荷信息被发送到过滤管理部107(步骤 S901)。
[0297]在步骤S1704，过滤管理部107以服务器的接收数据包数为检索关键词，从算法选择表114选择适用的过滤控制算法(步骤S902)。此处，选择数据数集约的算法。[0298]过滤管理部107通过从优先度303低的条目起依次排列数据接收状态表112的条目，生成过滤对象数据列表(步骤S903)。
[0299]在图6所示的数据管理表110，数据识别符301为“A”的数据与数据识别符301为“B”的数据相比优先度低，即优先度303的值大，因此过滤对象数据列表的排头条目成为数据识别符301为“A”的数据的条目。
[0300]过滤管理部107使用过滤对象数据列表，根据数据数集约的算法执行过滤控制处理(步骤S904)。具体而言，执行图12所示那样的过滤控制处理。
[0301]在数据数集约的算法中，过滤管理部107通过运算从服务器的接收数据包数的当前值702减去阈值703而得的差，计算出必须削减数据数为“200”(步骤S1201)。此外，计算出目标削减数据量为“100”(步骤S1202)。
[0302]关于数据识别符为“A”的数据，由于能够削减的数据数为“200”，比目标削减数据数大。因此，过滤管理部107计算出接收预定数为“50”，进一步将接收数602的“250”除以接收预定数“50”，由此将数据集约数决定为“5”(步骤S1205)。
[0303]在步骤S1705，过滤管理部107向中间服务器120发送过滤条件设定指示，并且更新过滤状态管理表1208。此时，过滤状态管理表111如图4和图5所示那样被更新(步骤S1208)。
[0304]中间服务器120的过滤控制部126接收过滤条件设定指示，在基本过滤表128生成新的条目。过滤控制部126使得所生成的条目的数据识别符1401存储“A”，在过滤条件1402存储图5所示那样的过滤条件的值。
[0305]由于对数据识别符A设定过滤，中间服务器120在从传感器A (130_1)接收到的数据识别符为“A”的数据在数据用队列被蓄积五个时，将该五个数据集约为一个数据，并将所集约的数据发送到数据收集服务器100。
[0306]因此，如步骤S1706那样削减被发送到数据收集服务器100的数据数。在本具体例中，仅接收数据识别符为“A”的数据，因此能够在该时刻实现数据收集系统的负荷的降低。另外，在多个数据类别的数据的情况下也执行同样的处理。
[0307]以上，根据实施例1，通过根据数据收集系统的负荷的增加来削减被发送到数据收集服务器100的数据的数据量或数据数，能够降低数据收集服务器100的负荷。
[0308]实施例2
[0309]在实施例1，对所有的中间服务器120设定数据的各个类别的过滤，在实施例2，不同点在于选择根据各个中间服务器120的负荷的状态设定过滤的中间服务器120。
[0310]以下，以与实施例1的差异为中心进行说明。
[0311]图18是表示本发明的实施例2的数据收集系统的结构例的说明图。
[0312]关于图18所示的各功能块中、标注与图1所示的实施例1的数据收集系统的结构例相同的附图标记的部分，因为具有相同的功能，所以省略其说明。
[0313]如图18所示，在本实施例中，中间服务器120具备新的负荷监视部1810，此外，数据收集服务器100具备新的资源管理表1800。
[0314]负荷监视部1810周期地对中间服务器120的负荷、即资源使用状态进行监视，并向数据收集服务器100发送包括作为监视结果的资源使用状态的信息。
[0315]资源管理表1800存储关于各中间服务器120的资源使用状态的信息。数据收集服务器100的负荷监视部106在每次从各中间服务器120接收监视结果时更新资源管理表1800。
[0316]在本实施例中，数据收集服务器100按各个中间服务器120保存过滤状态管理表111。这是因为，在各个中间服务器120设定的过滤并不相同。此外，数据收集服务器100按各个中间服务器120保存数据接收状态表112。
[0317]实施例2的数据收集服务器100和中间服务器120的硬件结构与实施例1相同，因此省略其说明。此外，实施例2的数据收集服务器100和中间服务器120保存的表与实施例I相同，因此省略其说明。
[0318]图19是表示本发明的实施例2的数据收集服务器100保存的资源管理表1800的一个例子的说明图。
[0319]资源管理表1800包括中间服务器识别符1901、资源1902、当前值1903和上限值1904。
[0320]中间服务器识别符1901是存储用于识别中间服务器120的识别符的字段。
[0321]资源1902是存储用于识别中间服务器120所具备的资源的信息的字段。作为中间服务器120所具备的资源的信息，能够考虑网络的频带利用率、数据包处理量、CPU使用
率和盘容量等。
[0322]当前值1903是存储与当前的中间服务器120的资源1902对应的值的字段。被存储在当前值1903的值由负荷监视部1801周期地更新。
[0323]上限值1904是存储对中间服务器120的资源1902设定的上限值的字段。
[0324]实施例2的处理中，负荷削减算法的处理与实施例1不同。其它的处理执行与实施例I相同的处理。
[0325]图20是说明本发明的实施例2的过滤管理部107根据数据集约的算法执行的过滤控制处理的一个例子的流程图。
[0326]实施例2的过滤控制处理执行与实施例1相同的处理。与图12标注相同的附图标记的处理步骤由于与实施例1相同而省略说明。
[0327]在实施例2，在决定数据集约数后，对资源中有富余的中间服务器120发送过滤条件设定指示，在这方面与实施例1不同。以下，对与实施例1的过滤控制处理的差异进行说明。
[0328]决定数据集约数之后(步骤S1205)，过滤管理部107取得发送所选择的数据的中间服务器120的列表(步骤S2001)。具体而言，执行以下那样的处理。
[0329]过滤管理部107以所选择的数据的识别符为检索关键词，参考一个数据接收状态表112。进一步，过滤管理部107对数据识别符601是否含有与所选择的数据的识别符一致的条目进行判断。
[0330]在判断为数据识别符601不含有与所选择的数据的识别符一致的条目的情况下，过滤管理部107对下一个数据接收状态表112重复执行相同的检索处理。
[0331]另一方面，当判断为数据识别符601含有与所选择的数据的识别符一致的条目的情况下，过滤管理部107将与数据接收状态表112对应的中间服务器120追加到列表。之后，过滤管理部107对下一个数据接收状态表112重复执行相同的检索处理。
[0332]接着，过滤管理部107根据资源管理表1800和所取得的中间服务器120的列表，对在资源中有富余(余量)的中间服务器120发送过滤条件设定指示(步骤S2002)。步骤S2002的具体的处理使用图21在之后进行说明。
[0333]接着，过滤管理部107将通过向中间服务器120发送过滤条件设定指示而削减的数据的削减数加算至削减预定数据数(步骤S2003)。
[0334]图21是说明在本发明的实施例2的步骤S2002执行的处理的详细情况的流程图。
[0335]过滤管理部107从所取得的中间服务器120的列表选择一个中间服务器120 (步骤S2101)。此处，从列表之上的条目起依次选择。另外，也可以按各个中间服务器120设定重要度等选择指标，根据该选择指标从列表选择中间服务器120。
[0336]过滤管理部107对是否存在能够从中间服务器120的列表选择的中间服务器120进行判断(步骤2102)。
[0337]在判断为不存在能够从中间服务器120的列表选择的中间服务器120的情况下，过滤管理部107由于不存在发送过滤条件设定指示的对象的中间服务器120而结束处理。
[0338]在判断为存在能够从中间服务器120的列表选择的中间服务器120的情况下，过滤管理部107参考资源管理表1800的与被选择的中间服务器120对应的条目(步骤S2103)。
[0339]过滤管理部107对在所选择的中间服务器120的资源是否存在富余进行判断(步骤 S2104)。
[0340]例如，过滤管理部107参考CPU使用率的当前值1903和上限值1904，计算新设定的过滤的情况下的CPU使用率，在计算出的CPU使用率比上限值1904的值小的情况下，判断为在所选择的中间服务器120的资源存在富余。另外，新设定的过滤的情况下的、CPU利用率的上升值能够考虑使用按各个过滤预先确定的常数。
[0341]此外，在上述的判断处理中，着眼的资源1902为CPU利用率，但是也可以将设定过滤的情况下的中间服务器120的存储器使用量或存储使用容量等作为指标。在这种情况下，在中间服务器120的存储器使用量或存储使用容量比上限值1904的值小的情况下，判断为在所选择的中间服务器120的资源存在富余。
[0342]在判断为在所选择的中间服务器120的资源存在富余的情况下，过滤管理部107计算在所选择的中间服务器120设定过滤的情况下的、所选择的数据的削减数，并将计算出的数据的削减数加算至削除预定数据数(步骤S2105)。此外，过滤管理部107将过滤状态管理表111更新(步骤S2106)。
[0343]具体而言，过滤管理部107对所选择的过滤状态管理表111进行检索。过滤管理部107参考被检索的过滤状态管理表111，检索与所选择的数据对应的条目。过滤管理部107将表示设定有过滤的趣旨的信息存储在所检索到的条目的过滤有无403。此外，过滤管理部107将含有过滤条件设定指示的各值存储在所检索到的条目的过滤条件404。
[0344]在判断为在所选择的中间服务器120的资源存在富余的情况下，过滤管理部107返回步骤S2101执行相同的处理。
[0345]以上，根据实施例2，能够考虑各中间服务器120的负荷设定过滤，因此能够实现更有效率的数据收集系统的负荷分散。
[0346]另外，在本实施例中例示的各种软件能够存储在电磁、电子和光学式等各种存储介质(例如，非暂时的存储介质)，能够通过国际互联网等通信网下载至计算机。在本实施例中，对使用基于软件进行的控制的例子进行了说明，也可以利用硬件实现其一部分。
[0347]以上，参考附图对本发明进行了详细说明，本发明并不限定于这样的具体的结构，其包括添付的权利要求的范围的趣旨内的各种变更和同等的结构。
【权利要求】
1.一种计算机系统，其特征在于，包括: 发送规定的数据类别的数据的多个传感器； 转送从所述多个传感器发送来的数据的多个服务器；和 数据收集服务器，其接收从所述多个服务器转送来的数据并蓄积接收到的数据， 所述多个服务器的各个服务器包括第一处理器、与所述第一处理器连接的第一存储器和与所述第一处理器连接的第一网络接口， 所述数据收集服务器包括第二处理器、与所述第二处理器连接的第二存储器和与所述第二处理器连接的第二网络接口， 所述数据收集服务器包括: 负荷监视部，其监视所述计算机系统的负荷:和 管理部，其根据所述负荷的监视结果，决定所述多个服务器中数据的转送处理的内容，并发送决定了的所述数据的转送处理的内容， 所述管理部， 决定所述多个服务器中适用的转送处理的类别， 根据决定了的所述转送处理的类别，生成被转送至所述数据收集服务器的数据中的、作为适用该转送处理的数据的列表的处理对象数据列表， 根据决定了的所述转送处理的类别和生成的所述处理对象数据列表，决定所述多个服务器中适用的转送处理的内容。
2.如权利要求1所述的计算机系统，其特征在于: 所述多个服务器的各个服务器具有: 多个过滤部，其执行用于从所述多个传感器所发送来的数据中取得向所述数据收集服务器转送的数据的过滤处理； 过滤控制部，其控制由所述多个过滤部执行的所述过滤处理； 过滤分配部，其根据从所述多个传感器发送来的数据的数据类别，从所述多个过滤部中选择处理该数据的过滤部；和 过滤管理信息，其与从所述多个传感器发送来的数据的数据类别、过滤部的识别信息和所述过滤处理的类别对应， 所述数据收集服务器具有算法选择信息，该算法选择信息按所述计算机系统的负荷的各个类别，对所述多个服务器中适用的所述过滤处理的类别进行管理， 所述管理部， 根据所述负荷的监视结果和所述算法选择信息，决定所述多个服务器中适用的过滤处理的类别， 根据决定了的所述过滤处理的类别，抽取所述数据收集服务器蓄积的数据中的、适用与决定了的所述过滤处理的类别对应的过滤处理的数据，由此生成所述处理对象数据列表， 根据决定了的所述过滤处理的类别和生成的所述处理对象数据列表，决定所述多个服务器中适用的过滤处理的内容， 向所述多个服务器发送包括决定了的所述过滤处理的内容的设定指示， 所述过滤控制部根据接收到的所述设定指示，更新所述过滤管理信息，所述过滤分配部在接收到从所述多个传感器发送来的数据的情况下，根据所述过滤管理信息，将接收到的所述数据发送到规定的所述过滤部， 所述多个过滤部的各个过滤部根据所述过滤管理信息对接收到的所述数据执行过滤处理。
3.如权利要求2所述的计算机系统，其特征在于: 所述管理部， 在决定所述过滤处理的内容时，根据所述负荷的监视结果计算第一数据削减目标值，该第一数据削减目标值是所述计算机系统的数据削减量或数据削减数， 计算第二数据削减目标值，该第二数据削减目标值是从所述多个传感器发送来的数据的各个数据类别的数据削减量或数据削减数， 根据生成的所述处理对象数据列表、计算出的所述第一数据削减目标值和计算出的所述第二数据削减目标值，决定包含于生成的所述处理对象数据列表中的各个数据类别的削减值。
4.如权利要求3所述的计算机系统，其特征在于: 所述管理部保存数据管理信息，该数据管理信息包括与从所述多个传感器发送来的数据的类别和表示与该数据的类别对应的数据的废弃是否可能的信息对应的条目， 在生成适用所述过滤处理的数据的处理对象数据列表时，参考所述数据管理信息，从所述数据管理信息抽取数据的废弃被许可的数据的条目，将抽取的所述条目形成列表，由此生成所述处理对象数据列表。
5.如权利要求3所述的计算机系统，其特征在于: 所述管理部保存数据接收状态信息，该数据接收状态信息包括:与从所述多个传感器发送来的数据的数据类别、表示与该数据类别对应的数据的当前的接收数或接收量的第一接收值和作为与该数据的类别对应的数据的过去的接收数的平均值或接收量的平均值的第二信息接收值对应的条目， 在生成适用所述过滤处理的数据的处理对象数据列表时，参考所述数据接收状态信息，按规定的时间间隔中的接收数或接收量的增加幅度大的数据的数据类别的顺序，抽取所述数据接收状态信息中包含的所述条目，并将抽取的所述条目形成列表，由此生成所述处理对象数据列表。
6.如权利要求3所述的计算机系统，其特征在于: 所述管理部保存数据管理信息，该数据管理信息包括:与从所述多个传感器发送来的数据的类别、优先度和允许延迟时间对应的条目，其中，该优先度表示与从所述多个传感器发送来的数据的类别对应的数据的重要性，该允许延迟时间是在所述多个服务器中能够将该数据类别的数据暂时蓄积的时间， 所述管理部按照所述数据的重要性高的顺序或所述允许延迟时间长的顺序，抽取所述数据管理信息中包含的条目，将抽取的所述条目形成列表，由此生成所述处理对象数据列表。
7.如权利要求2所述的计算机系统，其特征在于: 所述数据收集服务器保存对所述多个服务器的各个服务器的计算机资源的负荷进行监视的资源管理信息，在所述多个服务器中的每个服务器保存数据接收状态信息，该数据接收状态信息包含与从所述多个传感器发送来的数据的类别、与该数据的类别对应的数据的当前的接收数和与该数据的类别对应的数据的过去的接收数的平均值对应的条目， 所述管理部， 参考所述数据接收状态信息，确定转送与所述处理对象数据列表所包含的条目对应的数据的服务器， 参考所述资源管理信息，从被确定的所述服务器中选择所述计算机资源的负荷小的服务器， 向被选择的所述 服务器发送所述设定指示。
【文档编号】H04L12/803GK103944830SQ201310712395
【公开日】2014年7月23日 申请日期:2013年12月20日 优先权日:2013年1月17日
【发明者】片冈干雄, 芳野明彦, 井堀和明, 中村雄一, 胜田光弘 申请人:株式会社日立解决方案