多芯片集群服务器互联的方法、系统、设备和存储介质与流程

本发明涉及芯片设计领域，更具体地，特别是指一种多芯片集群服务器互联的方法、系统、设备和存储介质。

背景技术：

1、随着云计算近年来的迅速发展，规模不断增大，多路服务器的应用也变得越来越广泛，其稳定性能好，安全度高，运算效率高，在几乎所有的生产生活领域都已经得到了广泛应用。随着服务器应用领域的不断发展，高端服务器的应用需求已经进入了一个重要阶段。复杂的体系结构实现支持高端服务器系统实现高性能指标即高安全性、高可用性、高可靠性等特点。

2、当前基于普通处理器的集群互联的共享内存实现，如图1所示，主要通过标准以太网经过多级网络交换机互联组成通常意义上的处理器集群，通过系统软件的任务调度用以实现各种系统任务的执行。具体到手机系统芯片的处理器互联，由于其soc(system onchip，片上系统)一般不具有标准以太网接口，如图2所示，往往是通过pcie(peripheralcomponent interconnect express，外围组件互连快速接口)或者usb接口外接扩展网络转换芯片，将其接口转为标准以太网接口之后，再通过网络交换机进行互联，形成与普通处理器通过以太网接口互联架构上一致的集群系统。

3、对于采用服务器级别处理器芯片的通用的服务器而言有足够多的网络接口可以接入各级以太网交换机，从而实现多机互联的集群，但是对于低成本的手机soc芯片实现的集群而言，由于不具备标准的网络接口，由图2可知，需要外接网络接口适配转换芯片才能够实现多处理器的网络集群。由于采用低成本的手机soc芯片进行集群的目的就是降低整个处理器集群的成本，这里对于每一个手机soc芯片额外增加的网络接口适配转换芯片使得整个系统的成本大幅度增加，从而失去了最初的降低整个处理器集群的成本的系统设计目标。而且，通过接口转换需要进行跨多个不同接口的多级转发，手机soc芯片之间互联的效率受到各接口的限制，通信和数据交互效率都会有显著降低。因此，采用传统的手机soc芯片集群互联方案性能上会有很大的降低，同时集群系统的成本也不能达到大幅降低的目标，使得整个系统解决方案的性价比和市场竞争力都会受到显著的影响。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种多芯片集群服务器互联的方法、系统、计算机设备及计算机可读存储介质，本发明可以简化soc处理器互联的方式，从而大幅度减少外接扩展芯片数量，达到大幅度降低产品成本的目的；本发明创造性采用了新的方式实现了soc处理器的集群化，为微型集群服务器的设计实现提供了新的思路和产品方式；本发明极大简化了soc处理器集群互联的复杂度，减少了设计资源开销，从而有效减少了生产测试成本，更加简洁的功能实现也有效减少了开发测试过程中的实现复杂度。

2、基于上述目的，本发明实施例的一方面提供了一种多芯片集群服务器互联的方法，包括如下步骤：设置包括多个pcie终端设备和第一pcie桥设备的定制设计芯片，并设置包括pcie的root端口功能模块和第二pcie桥设备的定制交换芯片；在每个服务器集群中设置定制设计芯片，通过多个pcie终端设备建立服务器集群中的每个soc服务器与所述定制设计芯片的连接，并将所述第二pcie桥设备与每个所述第一pcie桥设备建立连接；响应于集群内部进行数据交互，通过所述第一pcie桥设备建立两个服务器之间的第一路由通道，并通过所述第一路由通道进行数据交互；以及响应于集群之间进行数据交互，通过所述第一pcie桥设备与所述第二pcie桥设备建立两个集群之间的第二路由通道，并通过所述第二路由通道进行数据交互。

3、在一些实施方式中，所述通过所述第一pcie桥设备建立两个服务器之间的第一路由通道包括：响应于起始服务器向目的服务器写入数据，根据起始服务器的指定内存地址发起读数据请求，并向第一pcie桥设备发起dma写内存请求；所述第一pcie桥设备根据配置信息将dma写内存请求路由到目的服务器的pcie终端设备，所述目的服务器的pcie终端设备向目的服务器发起dma写请求，并接收所述目的服务器的返回信息；以及通过所述第一pcie桥设备将所述返回信息中的写内存地址发送到所述起始服务器以建立从所述起始服务器地址空间到所述目的服务器地址空间的第一路由通道。

4、在一些实施方式中，所述通过所述第一pcie桥设备建立两个服务器之间的第一路由通道包括：响应于起始服务器向目的服务器读取数据，向所述起始服务器的pcie终端设备配置dma写内存指令并分配写入内存地址空间、数据大小和目的服务器的地址信息；以及所述第一pcie桥设备根据配置信息将dma读内存请求路由到目的服务器的pcie终端设备，所述目的服务器的pcie终端设备向目的服务器发起dma读请求，并接收所述目的服务器的返回数据。

5、在一些实施方式中，所述通过所述第一pcie桥设备与所述第二pcie桥设备建立两个集群之间的第二路由通道包括：响应于起始集群向目的集群写入数据，根据起始集群的起始服务器的指定内存地址发起读数据请求，并向起始服务器的第一pcie桥设备发起dma写内存请求；所述第一pcie桥设备通过所述第二pcie桥设备将dma写内存请求路由到目的集群的第一pcie桥设备，所述目的集群的第一pcie桥设备根据内存空间配置信息将dma写内存请求路由到目的服务器的pcie终端设备；以及通过所述目的服务器的pcie终端设备接收所述目的服务器的返回信息，并通过所述第二pcie桥设备、起始集群的第一pcie桥设备和目的集群的第一pcie桥设备将返回信息中的写内存地址路由到起始服务器的pcie终端设。

6、在一些实施方式中，所述通过所述第一pcie桥设备与所述第二pcie桥设备建立两个集群之间的第二路由通道包括：响应于起始集群向目的集群读取数据，起始集群向连接的pcie终端设备配置dma写内存指令并分配写入内存地址空间和数据大小以及目的集群的目的服务器的地址信息；起始服务器的第一pcie桥设备根据配置信息将dma读内存请求通过所述第二pcie桥设备路由到目的集群的目的服务器的pcie终端设备，所述目的服务器的pcie终端设备向目的服务器发起dma读请求，并接收所述目的服务器的返回数据。

7、在一些实施方式中，方法还包括：将每个pcie终端设备与对应服务器组成基本pcie系统，并对每个基本pcie系统独立初始化，分配对应的id和地址空间并与对应的定制设计芯片绑定使用。

8、在一些实施方式中，方法还包括：将每个pcie终端设备与第一pcie桥设备、第二pcie桥设备和带root端口的根模块组成树状pcie系统，并对每个树状pcie系统的各级桥设备和所有pcie终端设备分配独立不相同的总线、设备id和地址空间。

9、本发明实施例的另一方面，提供了一种多芯片集群服务器互联的系统，包括：设置模块，配置用于设置包括多个pcie终端设备和第一pcie桥设备的定制设计芯片，并设置包括pcie的root端口功能模块和第二pcie桥设备的定制交换芯片；连接模块，配置用于在每个服务器集群中设置定制设计芯片，通过多个pcie终端设备建立服务器集群中的每个soc服务器与所述定制设计芯片的连接，并将所述第二pcie桥设备与每个所述第一pcie桥设备建立连接；第一交互模块，配置用于响应于集群内部进行数据交互，通过所述第一pcie桥设备建立两个服务器之间的第一路由通道，并通过所述第一路由通道进行数据交互；以及第二交互模块，配置用于响应于集群之间进行数据交互，通过所述第一pcie桥设备与所述第二pcie桥设备建立两个集群之间的第二路由通道，并通过所述第二路由通道进行数据交互。

10、本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

11、本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

12、本发明具有以下有益技术效果：

13、1、通过一个多级pcie桥的定制设计，实现了各个手机soc处理器芯片之间的数据交换，替换额外的每一个接口上的转换芯片，集群节点内数据交换不再需要各手机soc处理器芯片都作为单个节点接入网络交换机，从而大幅减少了集群的实现成本；

14、2、通过pcie的接口的互联使用，直接进行多个手机soc处理器的pcie ep设备p2p内存共享和数据交换，减少了系统多次接口转发造成的较大延迟，提升了整体系统性能；

15、3、实现多个pcie根节点之间的数据快速交换，为具有pcie根接口的处理器互联提供了一个新的快速数据交换方案；

16、4、轻松实现soc处理器的集群数量扩展，不同节点内的处理器可以通过终端ep设备组成的多pcie树状系统，从而实现跨节点的快速数据交换。