集群系统、集群成员和程序的制作方法

文档序号:7634822阅读:111来源:国知局
专利名称:集群系统、集群成员和程序的制作方法
技术领域
本发明涉及一种用作传送IP分组的路由器的集群系统以及组成该集群系统的集群成员,更具体地,涉及一种集群系统和集群成员,具有对代替故障集群成员而新添加的集群成员恢复已有会话的会话状态的功能。
背景技术
安装在IP网络中的路由器包括通过查阅IP层的上一层的信息来执行处理的设备。这种设备的示例是用于中断未授权接入的防火墙设备和终止IPsec隧道的VPN网关设备。当接收到分组时,这些设备接收到的分组所属的上一层的会话,并执行与所识别的会话的状态(被存储在内部存储单元中)以及接收到的分组的报头的内容相对应的处理(例如未授权分组丢弃),这导致非常大的处理量。因此,开发出通过准备多个设备来分配载荷的技术(集群系统)。
在日本专利公开No.2003-517221或2003-518338中描述的技术被公知为集群系统的现有技术。如图20所示,该现有的集群系统包括一个主路由器设备1200和多个路由器设备(从路由器设备)1201至120n。路由器设备1200至120n中的每一个包括会话处理器和流量分配过滤器。
所有的路由器设备1200至120n从相邻IP节点1210接收IP分组(下文也简称为分组),通过使用数据链路层协议的组播,发送至集群系统。每个录取设备1200至120n中的流量分配过滤器根据流量分配规则,通过或丢弃数据链路1220上的IP分组组播。
每个路由器设备1200至120n中的流量分配过滤器的流量分配规则满足以下条件。
·相同的分组不通过多个路由器设备中的流量分配过滤器。
·分组必须通过路由器设备之一中的流量分配过滤器。
主路由器设备1200设置路由器设备1201至120n中的流量分配过滤器的流量分配规则。主路由器设备1200检测设置在路由器设备1201至120n的流量分配过滤器中的流量分配规则,并设置流量分配规则,以便均匀地分配路由器设备1201至120n上的载荷。此外,主路由器设备1200包括流量分配过滤器,其处理未应用流量分配规则的分组。此外,主路由器设备1200根据已处理分组的会话状态,产生新的流量分配规则,并且将新规则设置在路由器设备1201至120n的流量分配过滤器中。注意,如果主路由器设备1200发生故障,路由器设备1201至120n中的一个作为主路由器设备来操作。
每个路由器设备1201至120n中的会话处理器通过查阅设置在会话处理器中的会话处理规则和会话状态,处理并丢弃或传送已通过分组分配过滤器的分组。
主路由器设备1200在路由器设备1201至120n中设置会话处理器的会话处理规则。包括主路由器设备1200的路由器设备1200至120n交换指示其自身会话状态的会话状态。路由器设备1200至120n在每个预定时间内执行该会话状态交换,并且保存(hold)其它路由器设备的会话处理规则和其它路由器设备的已交换最新会话状态。如果路由器设备1201至120n之一发生故障,则主路由器设备1200可以确定替换设备,并且将发生故障的路由器设备中设置的处理规则和会话状态移交至替换设备。如果主路由器设备102发生故障,则另一个路由器设备可以承担主路由器设备1200的处理。

发明内容
在上述现有技术中,集群系统可以自动地从构成系统的路由器设备的故障中复原。然而,在该自动复原之后,另一个路由器设备承担发生故障的路由器设备(故障路由器设备)要执行的处理,因此增加了另一个路由器设备上的载荷。因此,尽管可以进行自动复原,并不希望使集群系统处于复原状态;最好是将正常工作的路由器设备(新的路由器设备)添加到集群系统,以使设备的数目回到原始的数目。
新路由器设备的添加要求在新的路由器设备上恢复由故障路由器设备保持的会话状态。在以上现有技术中,主路由器设备与新路由器设备进行通信,以在其上复原会话状态。不利地,由于除了会话状态之外,还必须交换用于确认等的控制信息,所以这增加了通信成本。
因此,本发明的目的是降低当在新添加的集群成员上恢复会话状态时的通信成本。
解决问题的手段为了实现以上目的,根据本发明的集群系统的特征在于,包括执行当前处理的集群成员以及执行备用处理的集群成员,其中当前处理和备用处理是针对通过划分要处理的流量的总量程而获得的多个局部量程中的每一个而言的,其中,执行备用处理的集群成员包括会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在会话状态保持装置中未保持分组所属的会话的会话状态并且分组是常规的分组,则在会话状态保持装置中存储在集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用会话状态保持装置中保持的会话状态,使会话依赖处理装置承担另一个集群成员所执行的处理。
根据本发明的集群成员的特征在于包括会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在会话状态保持装置中未保持分组所属的会话的会话状态并且分组是常规的分组,则在会话状态保持装置中存储在集群成员执行备用处理的所在局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用会话状态保持装置中保持的会话状态,使会话依赖处理装置承担另一个集群成员所执行的处理。
本发明的效果在本发明中,当在集群成员执行备用处理的所在局部量程内接收到常规的分组时,会话状态保持装置登记分组所属的会话的会话状态。因此,如果执行备用处理的集群成员发生故障或者如果由于承担当前处理而该集群成员消失,则可以在代替故障或消失的集群成员进行工作的新添加的集群成员上恢复会话状态,而不需要交换用于确认等的任何控制信息。因此,可以降低用于恢复会话状态的通信成本。


图1是示出了根据本发明的集群系统的第一实施例的整体配置的示例的方框图;图2是示出了集群成员1-1至1-N所执行的当前处理和备用处理的量程的视图;图3是示出了集群成员1-1的设置的方框图;图4是示出了会话处理器15的功能的方框图;图5是示出了会话状态同步单元16的功能的方框图;图6是示出了状况监察单元20的功能的方框图;图7是当通过当前处理分组过滤器12输入了分组时会话处理器15的处理示例的流程图;图8是当通过备用处理分组过滤器13输入了分组时会话处理器15的处理示例的流程图;图9是当从会话处理器15接收到会话标识符时、会话状态同步单元16所执行的传送拒绝通知发送过程的示例的流程图;图10是示出了在每个预定时间内会话状态同步单元16所执行的空传送拒绝通知发送过程的示例的流程图;图11是示出了会话监视定时器单元17所执行的会话监视定时器监视过程的示例的流程图;图12是示出了状况监察单元20所执行的成员通告发送过程的示例的流程图;图13是示出了当状况监察单元20接收到成员通告时的处理示例的流程图;图14是示出了状况监察单元20所执行的状况监察定时器监视过程的示例的流程图;图15A是用于解释当集群成员1-2发生故障时的恢复过程的视图;图15B是用于解释当集群成员1-2发生故障时的恢复过程的视图;图15C是用于解释当集群成员1-2发生故障时的恢复过程的视图;图16是用于解释当会话状态同步单元16从配对的当前集群成员接收到传送拒绝通知时的处理示例的流程图;图17是示出了在本发明的第二实施例中使用的集群成员1-1a的设置的示例的方框图;图18是示出了当会话处理器15a通过当前处理分组过滤器12接收到分组时的处理示例的流程图;图19是示出了当会话处理器15a通过备用处理分组过滤器13接收到分组时的处理示例的流程图;以及图20是用于解释现有技术的方框图。
具体实施例方式
下面参考附图来解释本发明的实施例。
下面解释本发明的第一实施例。如图1所示,本实施例的集群系统1包括n个(多个)集群成员1-1至1-n。集群成员1-1至1-n通过数据链路3-1至3-m与相邻的IP节点2-1至2-m相连。数据链路3-1至3-m支持组播或广播。
将公共集群IP地址“C”分配给集群成员1-1至1-n。相邻的IP节点2-1至2-m作为具有集群IP地址“C”的单个IP节点,检测集群系统1。
此外,将公共集群组播MAC地址“M”分配给集群成员1-1至1-n。预设集群系统,以使所有的集群成员1-1至1-n接收发送到集群组播MAC地址“M”的分组。
此外,分别将各个IP地址“c1”至“cn”分配给集群成员1-1至1-n。在例如集群成员1-1至1-m之间的通信中使用这些IP地址。
下面参考图2来解释集群成员1-1至1-n所执行的当前处理和备用处理的量程。在本实施例中,如参考数字31所示,要由集群系统1处理的流量的总量程T被划分为n个(集群成员的数目)局部量程T1、T2、T3、…Tn。集群成员1-1、1-2、1-3、…1-n如参考数字32所示,执行局部量程T1、T2、T3、…Tn内的当前处理,并且如参考数字33所示,执行局部量程T2、T3、…Tn内的备用处理。
注意,希望确定局部量程T1至Tn以便均衡集群成员1-1至1-n上的载荷(均衡要处理的分组的数目)。示例如下。针对分组的IP源地址和IP目的地地址,执行交换操作(例如加法或乘法),并且将运算结果除以集群数目的数字“n”。余数是“0”至“n-1”的分组分别被当作属于局部量程T1至Tn的分组。
此外,注意,在本实施例中集群成员1-1至1-n在图2中所示的量程内执行当前处理和备用处理,但是所述量程不局限于图2,并且只需满足以下的表达式(1)至(5)。在表达式(1)至(5)中,mfi和bfi分别表示集群成员1-i(1≤i≤n)执行当前处理和备用处理的量程,并且_表示空集。
mfi∪mf2∪…∪mfn=T …(1)mf1∩mf2∩…∩mfn=_…(2)bfi∪bf2∪…∪bfn=T …(3)bf1∩bf2∩…∩bfn=_…(4)bfi∩mfi=_ …(5)尽管在本实施例中一个集群成员在不同的局部量程内执行当前处理和备用处理,一个集群成员也可以在一个局部量程内执行当前处理或备用处理。在这种情况下,集群成员的数目必须是局部量程的数目的两倍。
下面参考图3来解释集群成员1-1的设置的示例。集群成员1-1包括接口单元(IF单元)11-1至11-n、当前处理分组过滤器12、备用处理分组过滤器13、包括会话处理器15和会话状态同步单元16的会话依赖处理器14、会话监视定时器单元17、会话状态保持单元18、冗余配置信息保持单元19、状况监察单元20、状况监察定时器单元21、路由器控制器22以及路由表23。注意,集群成员1-1至1-n也具有与集群成员1-1相同的设置。
接口单元11-1至11-m与数据链路3-1至3-m相连,并且发送且接收分组等。
当前处理分组过滤器12具有在集群成员1-1执行当前处理所在的局部量程内向会话处理器15传送分组的功能,以及向备用处理分组过滤器13传送其它分组的功能。
备用分组过滤器13具有在集群成员1-1执行备用处理所在的局部量程内向会话处理器15传送来自当前处理分组过滤器12传送的分组等中的分组的功能,以及将其它分组输出到会话状态保持单元16和状况监察单元20的功能。
当从当前处理分组过滤器12和备用处理分组过滤器13接收到分组时会话处理器15执行以下处理。
·会话处理器15识别分组所属的会话。这是图4所示的会话识别单元151的功能。
·如果分组是会话建立分组(例如TCP的SYN分组),则会话处理器15在会话状态保持单元18中登记分组所属的会话的会话标识符和会话状态,使得会话标识符与会话状态彼此相对应。这是图4所示的会话状态存储器152的功能。
·如果分组是未授权分组,则会话处理器15丢弃分组,并且向会话状态同步单元16通知该未授权分组所属的会话的会话标识符。这是图4所示的未授权分组处理器153的功能。
·如果分组是已有会话的常规分组,则会话处理器15更新会话状态保持单元18中保持的会话状态,并且将分组传送至路由控制器22。这是图4所示的会话状态更新单元154的功能。
·会话处理器15识别分组所属的会话。这是图4所示的会话识别单元151的功能。
·如果分组是会话建立分组,则会话处理器15在会话状态保持单元18中登记分组所属的会话的会话标识符和会话状态,使得会话标识符与会话状态彼此相对应。在此之后,会话处理器15丢弃该分组。这是图4所示的会话状态存储器152的功能。
·如果分组属于已有会话,则会话处理器15更新会话状态保持单元18中登记的会话状态,并且丢弃该分组。这是图4所示的会话状态更新单元154的功能。
·如果分组不属于已有分组,则会话处理器15在会话状态保持单元18中登记分组所属的会话的会话标识符、会话状态和保持标记(保持标识符),使得会话标识符、会话状态和保持标记彼此相对应,指示会话监视定时器单元17设置该会话的会话监视定时器,并且丢弃该分组。这是图4所示的会话状态存储器152的功能。
此处所述的会话表示IP扩展协议和上层协议所提供的虚拟通信路径,并且包括例如TCP连接和IPsec安全联盟。会话状态表示针对每个会话所唯一保持的信息,并且在TCP连接的情况下包括例如连接状态、序列号和响应号。在IPsec SA的情况下,会话状态包括RFC2401所定义的SA参数。
如果在集群成员1-1中出现会使集群成员1-1忽略分组的差错,差错检测装置(未示出)在差错标记24中设置差错标记=“1”。
会话状态同步单元16具有以下功能。
·当从会话处理器15接收到丢弃的分组所属的会话的会话标识符时,会话状态同步单元16向在集群成员1-1执行当前处理所在的局部量程内执行备用处理的集群成员(下面也称为配对的备用集群成员),发送包含会话标识符和差错标记24值的传送拒绝通知,并且将差错标记24更新为“0”。这是图5所示的传送拒绝通知发送器161的功能。
·在每个预定时间内,会话状态同步单元16向配对的备用集群成员发送包含差错标记24值的传送拒绝通知(不包含会话标识符,下面也将其称为空传送拒绝通知),并且将差错标记24更新为“0”。这是图5所示的空传送拒绝通知发送器162的功能。
·当从在集群成员1-1执行备用处理所在的局部量程内执行当前处理的集群成员(下面也称为配对的当前集群成员)接收到传送拒绝通知时,会话状态同步单元16从会话状态保持单元18所保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态。如果差错标记是“0”,则会话状态同步单元16从会话状态保持单元18所保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态,并且还删除被当作保持标记删除候选的会话状态的保持标记。此外,会话状态同步单元16保持附着了保持标记的会话状态的会话标识符,作为保持标记删除候选。这些是图5所示的会话状态删除单元163和保持标记删除单元164的功能。
会话监视定时器单元17具有测量从在会话状态保持单元中登记会话状态时开始的时间的功能,以及从会话状态保持单元中删除保持标记附着了预定时间或更长的会话状态(即与超时会话监视定时器相对应的会话的会话状态)的功能。
冗余配置信息保持单元19存储具有对于集群成员1-1冗余的配置的集群成员(配对的当前集群成员和配对的备用集群成员)的IP地址。
状况监察定时器单元21具有两个状况监察定时器,即配对的备用集群成员状况监察定时器(未示出)和配对的当前集群成员状况监察定时器(未示出)。
状况监察单元20具有以下功能。
·在每个成员通告发送时序处,状况监察单元20向配对的备用集群成员和配对的当前集群成员发送成员通告。这是图6所示的成员通过发送器201的功能。
·当从配对的备用集群成员或配对的当前集群成员接收到成员通告时,状况监察单元20指示状况监察定时器单元21复位相应的状况监察定时器。这是图6所示的定时器复位单元202的功能。
·当配对的当前集群成员状况监察定时器超时时,状况监察单元20将备用处理分组过滤器13已经切换到当前处理分组过滤器通知会话处理器15。即,如果配对的当前集群成员发生故障,则状况监察单元20通过使用会话状态保持单元18中保持的会话状态,使会话处理器15承担配对的当前集群成员所执行的处理。这是图6所示的承担控制器203的功能。
·当配对的备用集群成员状况监察定时器超时时,状况监察单元20将该信息通知系统管理员。这是图6所示的管理员通知单元204的功能。
路由控制器22具有根据从会话处理器15传送的分组和路由表23的内容来确定输出分组的接口单元的功能,以及通过接口单元将分组传送到下一跳(hop)的功能。
注意,可以由计算机来实现集群成员1-1,并且由计算机实现如下。准备记录集群成员程序的盘、半导体存储器或其它记录介质。计算机读出程序,以控制其自身的操作,从而在计算机上实现接口单元11-1至11-m、当前处理分组过滤器12、备用处理分组过滤器13、会话依赖处理器14、会话监视定时器单元17、状况监察单元20、状况监察定时器单元21和路由控制器22。
下面详细解释本实施例的操作。
首先,参考图1来解释集群系统1和相邻IP节点2-1至2-m之间的关系。集群系统1的每个集群成员1-1至1-n返回集群组播MAC地址“M”,作为对目标是集群IP地址“C”的ARP消息的响应。因此,包含要作为下一跳由相邻IP节点2-1至2-m发送到地址“C”的分组的数据链路帧被发送到地址“M”,并且被所有的集群成员1-1至1-n接收。
下面解释集群系统1中每个集群成员1-1至1-n的操作。注意,集群成员1-1至1-n的操作是相同的,因此以集群成员1-i(1≤i≤n)的操作为例进行解释。
当通过接口单元11-1至11-n接收到分组(来自相邻IP节点2-1至2-m的分组或来自集群成员1-2至1-n的成员通告或传送拒绝通知)时,集群成员1-i中的当前处理分组过滤器12检查分组是否属于集群成员1-i执行当前处理所在的局部量程。如果分组属于局部量程,则当前处理分组过滤器12将分组传送到会话处理器15,而如果分组不属于局部量程,则将分组传送到备用处理分组过滤器13。
当从当前处理分组过滤器12接收到分组时,备用处理分组过滤器13检查分组是否属于集群成员1-i执行备用处理所在的局部量程。如果分组属于局部量程,则备用处理分组过滤器13将分组传送到会话处理器,而如果分组不属于局部量程,则将分组(成员通告或传送拒绝通知)输出至会话状态同步单元16和状况监察单元20。
当从当前处理分组过滤器12或备用处理分组过滤器13接收到分组时,会话处理器15分别执行图7或8中示出的流程图所指示的处理。
首先,下面参考图7来解释当会话处理器15通过当前处理分组过滤器12接收到分组时的操作。
当通过当前处理分组过滤器12接收到分组时,会话处理器15首先识别分组所属的会话(图7中步骤S41)。在此之后,会话处理器15检查分组是否是会话建立分组(步骤S42)。
如果分组是会话建立分组(步骤S42中为“是”),则会话处理器15在会话状态保持单元18中登记在步骤S41中识别的会话的会话标识符和会话的会话状态,使得会话标识符和会话状态彼此相对应,并且将会话建立分组传送到路由控制器22(步骤S43和S48)。另一方面,如果分组不是会话建立分组(步骤S42中为“否”),则会话处理器15根据分组的报头信息和会话状态保持单元18中保持的相应会话的会话状态,来检查分组是否是未授权分组(步骤S44)。未授权分组的示例是会话状态保持单元18中未保持会话状态的分组,以及报头内容(报头信息)与会话状态保持单元18中保持的会话状态相抵触的分组。报头信息的示例是分组的目的地IP地址和发送源,以及上层(TCP或UDP)报头中包含的目的地端口号和发送源。
如果会话处理器15确定分组不是未授权分组而是常规的分组(步骤S44中为“否”),则会话处理器15根据输入分组的报头的内容,更新在会话状态保持单元18中登记的相应会话状态,并且将分组传送到路由控制器22(步骤S47和S48)。当解释到分组时,路由控制器22根据分组的目的地和路由表23的内容,确定输出分组的接口单元,并且通过该接口单元将分组传送到下一跳。
另一方面,如果会话处理器15确定分组是未授权分组(步骤S44中为“是”),则会话处理器15丢弃该分组,并且将丢弃的分组所属的会话的会话标识符传送到会话状态同步单元16(步骤S45和S46)。
当从会话处理器15接收到会话标识符时,会话状态同步单元16首先如图9的流程图所示,查阅差错标记24(步骤S61)。在此之后,会话状态同步单元16将传送拒绝通知传送到路由控制器22,并且将差错标记24更新为“0”(步骤S62和S63),其中传送拒绝通知包含差错标记24值和丢弃分组所属的会话的会话标识符,并且以配对的备用集群成员的IP地址作为目的地。注意,冗余配置保持单元19保持了配对的备用集群成员的IP地址。
会话状态同步单元16不仅在从会话处理器15接收到丢弃分组所属的会话的会话标识符时,而且在每当经过预定时间时,将传送拒绝通知发送到配对的备用集群成员。参考图10,会话状态同步单元16在每当经过了预定时间时,将包含差错标记24但是不包含会话标识符的传送拒绝通知(空传送拒绝通知)发送到配对的备用集群成员(每当步骤S74为“是”时)(步骤S71和S72),并且将差错标记24的值更新为“0”。注意,预定时间比会话监视定时器的超时时间(将在下面进行描述)短。
下面参考图8来解释当会话处理器15通过备用处理分组过滤器13接收到分组时的操作。
当通过备用处理分组过滤器13接收到分组时,会话处理器15首先识别分组所属的会话(图8中步骤S51)。在此之后,会话处理器15检查分组是否是会话建立分组(步骤S52)。
如果分组是会话建立分组(步骤S52中为“是”),则会话处理器15在会话状态保持单元18中登记在步骤S51中识别的会话的会话标识符和会话的会话状态,使得会话标识符与会话状态彼此相对应,并且丢弃该分组(步骤S53和S58)。另一方面,如果分组不是会话建立分组(在步骤S52中为“否”),则会话处理器15检查分组是否属于已有会话(步骤S54)。
如果分组属于已有会话(步骤S54中为“是”),则会话处理器15更新在会话状态保持单元18中登记的相应会话状态,并且丢弃该分组(步骤S55和S58)。
另一方面,如果分组不属于已有会话(步骤S54中为“否”),则会话处理器15在会话状态保持单元18中登记在步骤S51中识别的会话的会话标识符、会话的会话状态和保持标记,使得会话标识符、会话状态和保持标记彼此相对应(步骤S56),指示会话监视定时器单元17设置该会话的会话监视定时器(步骤S57),并且丢弃该分组(步骤S58)。
根据会话处理器15的指示,会话监视定时器单元17设置了指定会话的会话监视定时器(未示出)。会话监视定时器单元17还执行图11的流程图中所示的会话监视定时器监视过程。参考图11,如果在设置的会话监视定时器中存在超时会话监视定时器(在一些情况下也许没有设置定时器)(步骤S81和S82中为“是”),则会话监视定时器单元17搜索会话状态保持单元18,以检查保持标记是否附着于与会话监视定时器相对应的会话的会话状态(步骤S83)。如果附着了保持标记,会话监视定时器单元17从会话状态保持单元18中删除相应的会话状态,并且删除超时会话监视定时器(步骤S84和S85)。如果未附着保持标记,则会话监视定时器单元17删除超时会话监视定时器(步骤S85)。该过程等同地删除了保持标记附着了预定时间或更长的会话状态。
上述内容是当会话处理器15通过当前处理分组过滤器12和备用处理分组过滤器13接收到分组时集群成员1-i的操作。
当集群成员1-1至1-n执行以上操作时,在相同局部量程内执行当前处理和备用处理的两个集群成员保持相同的会话状态。
下面解释集群成员1-1至1-n执行以检测和恢复配对的备用集群成员和配对的当前集群成员的故障的处理。以集群成员1-i的操作为例来解释该处理。
如图12的流程图所示,集群成员1-i中的状况监察单元20在每个成员通告发送时序处(对于步骤S91中的每个“是”),将成员通告传送到路由控制器22。成员通告包含将集群成员1-i指定为发送源的成员标识符。目的地是可以由配对的备用集群成员和配对的当前集群成员接收到的地址(例如集群组播MAC地址)。当从状况监察单元20接收到成员通告时,路由控制器22通过根据路由表23的内容所确定的接口单元11-j,将成员通告发送到数据链路3-j(1≤j≤m)。
集群成员1-i从另一个集群成员接收到的成员通告通过当前处理分组过滤器12和备用处理分组过滤器13进入状况监察单元20。如果输入的成员通告的发送源是配对的当前集群成员或配对的备用集群成员,则状况监察单元20如图13的流程图所示,指示状况监察定时器单元21复位相应的状况监察定时器(步骤S101)。即,如果发送源是配对的当前集群成员,则状况监察单元20指示状况监察定时器单元21复位配对的当前集群成员的状况监察定时器;如果发送源是配对的备用集群成员,则状况监察单元20指示状况监察定时器单元21复位配对的备用集群成员的状况监察定时器。响应于该指示,状况监察定时器单元21复位指定的状况监察定时器。注意,状况监察定时器20丢弃从除配对的备用集群成员和配对的当前集群成员之外的集群成员发送的成员通告。
状况监察单元20还执行如图14的流程图所示的状况监察定时器监视过程。
参考图14,状况监察单元20一直监视配对的当前集群成员的状况监察定时器或配对的备用集群成员的状况监察定时器是否超持(步骤S111至S114)。如果配对的备用集群成员的状况监察定时器超时了(步骤S114中为“是”),则状况监察单元20确定配对的备用集群成员发生故障,并且通过系统记录或屏幕上的消息,来将该信息通知系统管理员(步骤S115)。如果配对的当前集群成员的状况监察定时器超时了(步骤S112中为“是”),则状况监察定时器20确定配对的当前集群成员发生了故障,并执行从步骤S116开始的处理。在步骤S116中,状况监察定时器20从集群成员1-i的会话状态保持单元18中保持的会话状态中删除附着了保持标记的会话状态。在步骤S17中,状况监察单元20将备用处理分组过滤器13已经切换到当前处理分组过滤器的事实通知会话处理器15。在步骤S118中,状况监察单元20将配对的当前集群成员已经发生故障的事实通知系统管理员。注意,在被告知备用处理分组过滤器13已经切换到当前处理分组过滤器之后,会话处理器15针对甚至是通过备用处理分组过滤器13输入的分组,来执行图7的流程图所示的处理。即,如果配对的当前集群成员发生故障,则会话处理器15承担故障集群成员所执行的当前处理。
在本实施例中,如果一个集群成员发生故障,则集群成员不再在两个局部量程内执行备用处理。即,集群成员不再在故障的集群成员执行备用处理所在的局部量程内以及在故障的集群成员执行当前处理所在的局部量程内执行备用处理。
例如,如果在集群成员1-1、1-2、…、1-n如图15A所示在局部量程T1、T2、…、Tn中执行当前处理(由实线箭头表示)并且在局部量程T2、T3、…T1中执行备用处理(由虚线箭头表示)的同时,在集群系统1中集群成员1-2发生故障时,集群成员不再如图15B所示,在集群成员1-2执行当前处理所在的局部量程T2和集群成员1-2执行备用处理所在的局部量程T3内执行备用处理。注意,集群成员1-1承担故障的集群成员1-2执行当前处理所在的局部量程T2内的当前处理。
在这种情况下,如图15C所示,系统管理员向集群系统1添加新的集群成员1-2a,集群成员1-2a代替故障的集群成员1-2,执行局部量程T2内的当前处理以及局部量程T3内的备用处理,并且使承担故障的集群成员1-2的当前处理的集群成员1-1中的会话处理器15的状态返回为原始状态(对于通过备用处理分组过滤器13输入的分组,原始状态是会话处理器15执行图8的流程图所示的处理的状态;是会话处理器15执行局部量程T2内的备用处理的状态)。注意,新添加的集群成员1-2a具有与故障集群成员1-2相同的设置和功能。然而,当添加了集群成员1-2a时,在集群成员1-2a的会话状态保持单元18中未登记任何会话状态。
下面解释当代替故障集群成员1-2而添加新的集群成员1-2a时的操作。
如果输入添加的集群成员1-2a的分组属于集群成员1-2a执行当前处理所在的局部量程T2,则通过当前处理分组过滤器12将该分组输入会话处理器15。如果分组属于集群成员1-2a执行备用处理所在的局部量程T3,则通过备用处理分组过滤器13将该分组输入会话处理器15。如果分组不属于任何一个局部量程,则将其输入会话状态同步单元16和状况监察单元20。
会话处理器15在通过当前处理分组过滤器12接收到分组时执行上述图7的流程图所示的处理,并且在通过备用处理分组过滤器13接收到分组时执行图8的流程图所示的处理。
如果通过备用处理分组过滤器13输入的分组不属于已有会话,即,如果分组属于在会话状态保持单元18中未保持会话状态的会话(图8的步骤S54中的“否”),则集群成员1-2a的会话处理器通过将保持标记附着于分组所属的会话的会话标识符和会话状态上,来将它们登记在会话状态保持单元18中,并且指示会话监视定时器单元17设置与该会话相对应的会话监视定时器(步骤S56和S57)。
由于下面解释的原因,因此通过附着保持标记来在会话状态保持单元18中登记分组所属的会话的会话状态。即,在局部量程T3内执行当前处理的集群成员1-3可以处理分组,作为属于已有会话的常规分组。如果分组是属于已有会话的常规分组,则由会话状态同步单元16执行的图16的流程图中所示的处理删除保持标记。如果分组是未授权的分组,则由会话状态保持单元16执行的图16的流程图中所示的处理删除会话状态保持单元18中保持的分组所属的会话的会话状态。此外,由会话监视定时器单元17执行的图11的流程图中所示的处理删除保持标记附着了预定时间或更长的会话状态。
如果配对的当前集群成员(在这种情况下是集群成员1-3)检测到未授权分组,当通过备用处理分组过滤器13接收到发送的传送拒绝通知时,集群成员1-2a中的会话状态同步单元16执行图16的流程图中所示的处理。首先,会话状态同步单元16检查传送拒通知中包含的差错标记是否是“1”或“0”(步骤S131)。
如果差错标记是“0”,即如果集群成员1-3正常工作(步骤S131中为“否”),则会话状态同步单元16从会话状态保持单元18中保持的会话状态中删除由传送拒绝通知中的会话标识符所指定的会话状态(步骤S133)。该步骤从会话状态保持单元18中删除了与未授权分组有关的会话状态。
在本实施例中,会话状态同步单元16将在该未授权分组之前由集群成员1-2a接收到的分组当作理论上常规的分组,并且从被当作常规分组的分组所属的会话的会话状态中产生保持标记。在这种情况下,当接收到最后的传送拒绝通知时,在处理之后,会话状态同步单元16将具有会话状态保持单元18中保持的保持标记的会话状态当作保持标记删除候选,并且在接收到当前传送拒绝通知时,删除作为候选的该会话状态的保持标记(步骤S134)。
此外,会话状态同步单元16保持了会话状态保持单元18中保持的会话状态中具有保持标记的会话状态的会话标识符,作为保持标记删除候选(步骤S135)。由于执行了该处理,因此,由于从会话状态中删除了保持标记,即使在此之后会话监视定时器超时了,也不从会话状态保持单元18中删除常规分组所属的会话的会话状态。
然而,如果配对的当前集群成员1-3忽略了未授权的分组并且未通过传送拒绝通知将该未授权分组的存在通知集群成员1-2a,当配对的当前集群成员1-3下一次检测到未授权分组时,响应于发送的传送拒绝通知,从集群成员1-2a中保持的与未授权分组有关的会话状态中删除保持标记,因此保持了该会话状态。
为了避免这种情况,如果传送拒绝通知中包含的差错标记是“1”,即如果发生了会引起配对的当前集群成员1-3忽略分组的差错时(步骤S131中为“是”),本实施例仅执行以下过程,即从会话状态保持单元18中删除传送拒绝通知中的会话标识符所指定的会话的会话状态(步骤S132),并且不执行在保持标记删除之后的处理。因此,即使配置的当前集群成员1-3忽略了未授权分组,当在此之后检测到未授权分组时,可以从集群成员1-2a的会话状态保持单元18中删除该未授权分组的会话状态。注意,其它集群成员中的会话状态同步单元16还执行图16的流程图中所示的处理。
在如上所述的本实施例中,当检测到未授权分组时,配对的当前集群成员1-3发送传送拒绝通知,并且集群成员1-2a从常规分组的会话状态中删除保持标记。因此,该方法使得如果未将未授权分组发送到至少配对的当前集群成员1-3,则使保持标记保持附着于常规分组的会话状态。此外,当要由配对的当前集群成员1-3传送的分组数目增加时,忽略的分组的概率增加,因此,即使发送了未授权分组,传送拒绝通知中包含的差错标记也是“1”,这使得不可能删除保持标记。然而,希望在尽可能短的时间内删除保持标记。这是因为如果配对的当前集群成员1-3发生故障并且集群成员1-2a承担处理,则由于不能够确定具有保持标记的所有会话状态中任何一个的有效性,必须丢弃这些会话状态。
因此,在如上所述的本实施例中,配对的当前集群成员1-3周期地发送不包含会话状态标识符的空传送拒绝通知。如果差错标记是“0”(步骤S131中为“是”),则已经接收到该空传送拒绝通知的集群成员1-2a删除附着于作为保持标记删除候选的会话状态的保持标记,并且指定下一个保持标记删除候选,不需要执行会话状态删除过程(步骤S134和S135)。这改善了使保持标记保持了较长时间的状态。
以上处理使得在实际传送会话的分组时,集群成员1-2a可以恢复与局部量程T3有关且由集群成员1-3保持的会话状态。
下面解释本发明的第二实施例。本实施例的特征在于使传送拒绝通知成为不必要的。
图17所示的本实施例中使用的集群成员1-1a与图3所示的集群成员1-1之间的差别在于集群成员1-1a代替会话依赖处理器14,包括会话依赖处理器14a,以及代替会话监视定时器单元17,包括会话监视定时器单元17a,以及既不包括冗余配置信息保持单元19,也不包括差错标记24。
会话依赖处理器14a与会话依赖处理器14的差别在于会话依赖处理器14a代替会话处理器15,包括会话处理器15a,此外该具有数据链路监视单元25,并且不包括会话状态同步单元16。
注意,集群成员1-1a可以由计算机实现,并且由计算机实现如下。准备记录集群成员程序的盘、半导体存储器或其它记录介质。计算机读出程序,以控制器自身的操作,从而在计算机上实现接口单元11-1至11-m、当前处理分组过滤器12、备用处理分组过滤器13、会话依赖处理器14a、会话监视定时器单元17a、状况监察单元20、状况监察定时器单元21以及路由控制器22。
下面解释本实施例的操作。在本实施例中,将仅描述与上述第一会话处理器15a在从当前处理分组过滤器12接收到分组时,执行图18的流程图中所示的处理,并且在从备用处理分组过滤器13接收到分组时,执行图19的流程图中所示的处理。
除了没有步骤S46之外,图18所示的流程图与图7所示的流程图相同。即,即使在丢弃通过当前处理分组过滤器12的分组时,与第一实施例不同,本实施例也不向配对的备用集群成员发送传送拒绝通知。
除了在步骤S57和S58之间添加步骤S571之外,图19所示的流程图与图8所示的流程图相同。即,如果通过备用处理分组过滤器13输入的分组既不是会话建立分组也不是属于已有会话的分组时(步骤S54中为“否”),除了第一实施例中执行的过程之外,本实施例还向数据链路监视单元25传送分组的分组标识符(步骤S571)。注意,本实施例通过在步骤S56中将保持标记附着于分组所属的会话的会话状态和会话标识符,将它们登记在会话状态保持单元18中,并且在步骤S57中执行以下过程,即指示会话监视定时器单元17a设置与该会话相对应的会话监视定时器(该过程使得会话监视定时器17a可以开始时间测量)。
数据链路监视器单元25监视发送一侧的数据链路。当检测到具有从会话处理器15a传送的分组标识符的分组时(当分组被传送到下一跳时),数据链路监视单元25删除分组所属的会话的会话监视定时器(这停止了会话监视定时器单元17a的时间测量),并且从会话状态保持单元18中保持的会话的会话状态中删除保持标记。如果数据链路监视单元25不能够检测到具有分组标识符的分组,则设置在会话监视定时器单元17a中且与分组所属的会话相对应的会话监视定时器超时,从而删除会话状态保持单元18中保持的会话的会话状态。
本实施例的集群成员执行以上处理。因此,当代替故障集群成员而添加新的集群成员时,可以在新的集群成员上恢复会话状态,该会话状态与同新集群成员执行备用处理所在的局部量程有关且在执行当前处理的集群成员(配对的当前集群成员)中保持的会话状态相同。与第一实施例不同,本实施例不需要从配对的当前集群成员向新的集群成员发送任何传送拒绝通知,从而进一步降低了通信成本。
权利要求书(按照条约第19条的修改)会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及会话状态删除装置,用于当从在集群成员执行备用处理所在的局部量程内执行当前处理的另一个集群成员接收到传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态。
17.根据权利要求15所述的程序,其特征在于,作为所述会话依赖处理装置,程序使计算机实现会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;会话监视定时器装置,用于测量自从在所述会话状态保持装置中保持了会话状态以来的时间,并且当经过了预定时间时,从所述会话状态保持装置中删除会话状态;以及数据链路监视装置,用于检测在局部量程内执行当前处理的集群成员将分组传送到下一跳,并且停止所述会话监视定时器装置的时间测量。
18.一种集群系统,其特征在于,包括执行当前处理的集群成员以及执行备用处理的集群成员,其中当前处理和备用处理是针对通过划分要处理的流量的总量程而获得的多个局部量程中的每一个而言的,其中执行备用处理的所述集群成员包括会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态并且与执行备用处理的所述集群成员相对应的当前集群成员确定分组是常规的分组,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用在所述会话状态保持装置中保持的会话状态,使所述会话依赖处理装置承担所述另一个集群成员所执行的处理。
权利要求
1.一种集群系统,其特征在于,包括执行当前处理的集群成员以及执行备用处理的集群成员,其中当前处理和备用处理是针对通过划分要处理的流量的总量程而获得的多个局部量程中的每一个而言的,其中执行备用处理的所述集群成员包括会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态并且分组是常规的分组,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用在所述会话状态保持装置中保持的会话状态,使所述会话依赖处理装置承担所述另一个集群成员所执行的处理。
2.根据权利要求1所述的集群系统,其特征在于,代替在系统处于工作状态时消失的集群成员,添加所述集群成员。
3.根据权利要求1所述的集群系统,其特征在于,执行当前处理的所述集群成员包括未授权分组处理装置,用于丢弃在所述集群成员执行当前处理所在的局部量程内接收到的未授权分组;以及传送拒绝通知发送装置,用于发送传送拒绝通知,所述传送拒绝通知包含规定了丢弃分组所属的会话的会话标识符,以及执行备用处理的所述集群成员的所述会话依赖处理装置包括会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及会话状态删除装置,用于当接收到传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态。
4.根据权利要求1所述的集群系统,其特征在于,执行备用处理的所述集群成员的所述会话依赖处理装置包括会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;会话监视定时器装置,用于测量自从在所述会话状态保持装置中保持了会话状态以来的时间,并且当经过了预定时间时,从所述会话状态保持装置中删除会话状态;以及数据链路监视装置,用于检测在局部量程内执行当前处理的集群成员将分组传送到下一跳,并且停止所述会话监视定时器装置的时间测量。
5.根据权利要求1所述的集群系统,其特征在于,执行备用处理的所述集群成员的所述会话依赖处理装置包括会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态以及保持标识符;以及会话监视定时器装置,用于测量自从在所述会话状态保持装置中保持了会话状态以来的时间,并且当经过了预定时间时,从所述会话状态中删除保持标识符所附着的会话状态。
6.根据权利要求5所述的集群系统,其特征在于,执行当前处理的所述集群成员包括未授权分组处理装置,用于丢弃在所述集群成员执行当前处理所在的局部量程内接收到的未授权分组;以及传送拒绝通知发送装置,用于发送传送拒绝通知,所述传送拒绝通知包含指定了丢弃分组所属的会话的会话标识符,以及执行备用处理的所述集群成员的所述会话依赖处理装置还包括会话状态删除装置,用于在接收到传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除在传送拒绝通知中包含的会话标识符所指定的会话的会话状态。
7.根据权利要求6所述的集群系统,其特征在于,执行备用处理的所述集群成员的所述会话依赖处理装置还包括保持标识符删除装置,用于在接收到传送拒绝通知时,从所述会话状态保持装置中保持的并且附着了保持标识符的除了所述会话状态删除装置所删除的会话状态之外的会话状态中删除保持标识符。
8.根据权利要求7所述的集群系统,其特征在于,如果在所述集群成员中出现会使所述集群成员忽略分组的差错,执行当前处理的所述集群成员的所述传送拒绝通知发送装置向传送拒绝通知添加差错标识符,以及如果差错标识符被添加到接收到的传送拒绝通知,执行备用处理的所述集群成员的所述保持标识符删除装置并不删除保持标识符。
9.根据权利要求5所述的集群系统,其特征在于,执行当前处理的所述集群成员还包括空传送拒绝通知发送装置,用于在时间间隔处发送不包含会话标识符的空传送拒绝通知,所述时间间隔比所述会话监视定时器装置删除会话状态所基于的预定时间短,以及执行备用处理的所述集群成员的所述会话依赖处理装置包括保持标识符删除装置,用于当从在所述集群成员执行备用处理所在的局部量程内执行当前处理的另一个集群成员接收到空传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除保持标识符。
10.根据权利要求5所述的集群系统,其特征在于,执行备用处理的所述集群成员的所述会话依赖处理装置还包括数据链路监视装置,用于检测在局部量程内执行当前处理的集群成员将分组传送到下一跳,并且从分组所属的会话的会话状态中删除保持标识符。
11.根据权利要求1所述的集群系统,其特征在于,执行当前处理的所述集群成员还包括成员通告发送装置,用于在预定时序处将成员通告发送到在所述集群成员执行当前处理所在的局部量程内执行备用处理的另一个集群成员,以及执行备用处理的所述集群成员的所述承担控制装置包括装置,用于如果在不短于预定时间内从另一个集群成员未接收到成员通告,承担在所述集群成员执行备用处理所在的局部量程内执行当前处理的所述另一个集群成员的处理。
12.一种集群成员,其特征在于包括会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态并且分组是常规的分组,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用在所述会话状态保持装置中保持的会话状态,使所述会话依赖处理装置承担所述另一个集群成员所执行的处理。
13.根据权利要求12所述的集群系统,其特征在于,所述会话依赖处理装置包括未授权分组处理装置,用于丢弃在集群成员执行当前处理所在的局部量程内接收到的未授权分组;传送拒绝通知发送装置,用于发送传送拒绝通知,所述传送拒绝通知包含规定了丢弃分组所属的会话的会话标识符;会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及会话状态删除装置,用于当从在集群成员执行备用处理所在的局部量程内执行当前处理的另一个集群成员接收到传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态。
14.根据权利要求12所述的集群系统,其特征在于,所述会话依赖处理装置包括会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;会话监视定时器装置,用于测量自从在所述会话状态保持装置中保持了会话状态以来的时间,并且当经过了预定时间时,从所述会话状态保持装置中删除会话状态;以及数据链路监视装置,用于检测在局部量程内执行当前处理的集群成员将分组传送到下一跳,并且停止所述会话监视定时器装置的时间测量。
15.一种程序,使计算机实现会话状态保持装置,用于保持接收到的分组所属的会话的会话状态;会话依赖处理装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态并且分组是常规的分组,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及承担控制装置,用于如果在局部量程内执行当前处理的另一个集群成员发生故障,则通过使用在所述会话状态保持装置中保持的会话状态,使所述会话依赖处理装置承担所述另一个集群成员所执行的处理。
16.根据权利要求15所述的程序,其特征在于,作为所述会话依赖处理装置,程序使计算机实现未授权分组处理装置,用于丢弃在集群成员执行当前处理所在的局部量程内接收到的未授权分组;传送拒绝通知发送装置,用于发送传送拒绝通知,所述传送拒绝通知包含规定了丢弃分组所属的会话的会话标识符;会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;以及会话状态删除装置,用于当从在集群成员执行备用处理所在的局部量程内执行当前处理的另一个集群成员接收到传送拒绝通知时,从所述会话状态保持装置中保持的会话状态中删除传送拒绝通知中包含的会话标识符所指定的会话的会话状态。
17.根据权利要求15所述的程序,其特征在于,作为所述会话依赖处理装置,程序使计算机实现会话状态存储装置,用于如果在所述会话状态保持装置中未保持分组所属的会话的会话状态,则在所述会话状态保持装置中存储在所述集群成员执行备用处理所在的局部量程内接收到的分组所属的会话的会话状态;会话监视定时器装置,用于测量自从在所述会话状态保持装置中保持了会话状态以来的时间,并且当经过了预定时间时,从所述会话状态保持装置中删除会话状态;以及数据链路监视装置,用于检测在局部量程内执行当前处理的集群成员将分组传送到下一跳,并且停止所述会话监视定时器装置的时间测量。
全文摘要
构成作为路由器的集群系统的每个集群成员(1-1)包括会话处理器(15)和会话状态同步单元(16)。如果在会话状态保持单元(18)中未保持通过备用处理分组过滤器(13)输入的分组所属的会话的会话状态,则会话处理器(15)新登记该会话状态。当从配对的当前集群成员接收到包含未授权分组的会话标识符的传送拒绝通知时,会话状态同步单元(16)从会话状态保持单元中删除会话标识符所代表的会话状态。如果在特定局部量程内执行备用处理的集群成员发生故障,可以在代替故障集群成员而添加的新集群成员上恢复该集群成员的会话状态,而不会大量地增加通信成本。
文档编号H04L12/56GK1965541SQ200580012338
公开日2007年5月16日 申请日期2005年4月15日 优先权日2004年4月15日
发明者狩野秀一, 地引昌弘, 铃木一哉 申请人:日本电气株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1