包括存储装置及计算装置的虚拟化装置及其操作方法

1.本公开涉及一种虚拟化装置，更具体而言，涉及一种包括存储装置及计算装置的虚拟化装置及其操作方法。


背景技术：

2.存储虚拟化技术为虚拟机提供实际存储装置的资源。虚拟机可以是由软件实现的计算环境，在这种虚拟机上可以安装并运行操作系统或应用。虚拟机可以根据读取请求而读取存储在实际存储装置中的数据，或者根据写入请求而将数据存储在实际存储装置中。
3.为了有效地管理大容量数据并提高安全性，存储装置可以存储由主机装置的处理器或单独的计算装置压缩或加密的数据，而不是按原样存储从虚拟机接收的数据。如果用于虚拟机的计算技术由软件实现，则主机装置的资源负担可能增加，并且数据处理速度可能降低。可能要求一种减小主机装置的资源负担，确保装置之间的高速数据通信，同时为虚拟机提供计算资源及存储资源的方法。


技术实现要素：

4.根据本公开的一实施例，提供一种包括存储装置及计算装置的虚拟化装置及其操作方法。
5.根据本公开的一实施例，虚拟化装置与运行虚拟机的主机装置进行通信，并且包括计算存储虚拟化(csv：computational storage virtualization)装置、存储装置及计算装置。所述虚拟化装置的操作方法包括如下步骤：借由所述csv装置，从所述主机装置接收指示所述虚拟机的第一地址、所述存储装置的第二地址和读取操作的第一请求；借由所述csv装置，基于所述第一请求获取与所述虚拟机对应的真实机的第三地址和所述计算装置的第四地址；借由所述csv装置，向所述存储装置提供指示所述第二地址、所述第四地址和重定向的第二请求；借由所述存储装置，基于所述第二请求向所述计算装置提供原始数据；借由所述csv装置，向所述计算装置提供指示所述第三地址、所述第四地址和处理操作的第三请求；借由所述计算装置，基于所述第三请求和所述原始数据生成经处理的数据；以及借由所述计算装置，向所述主机装置提供所述经处理的数据。
6.根据本公开的一实施例，虚拟化装置与运行虚拟机的主机装置进行通信，并且包括计算存储虚拟化(csv：computational storage virtualization)装置、存储装置及计算装置。所述虚拟化装置的操作方法包括如下步骤：借由所述csv装置，从所述主机装置接收指示所述虚拟机的第一地址、所述存储装置的第二地址和读取操作的第一请求；借由所述csv装置，基于所述第一请求获取与所述虚拟机对应的真实机的第三地址和所述计算装置的第四地址；借由所述csv装置，向所述计算装置提供指示所述第三地址、所述第四地址和处理操作的第二请求；借由所述计算装置，基于所述第二请求从所述主机装置接收原始数据；借由所述计算装置，基于所述第二请求和所述原始数据生成经处理的数据；借由所述csv装置，向所述存储装置提供指示所述第二地址、所述第四地址和存储操作的第三请求；
借由所述存储装置，基于所述第三请求从所述计算装置接收所述经处理的数据；以及借由所述存储装置，存储所述经处理的数据。
7.根据本公开的一实施例，虚拟化装置包括：存储装置，被构成为存储第一数据；计算装置，被构成为处理所述第一数据，并处理由主机装置运行的虚拟机的第二数据；计算存储虚拟化(csv：computational storage virtualization)装置；以及高速串行计算机扩展总线标准(pcie：peripheral component interconnect express)电路，与所述存储装置、所述计算装置、所述计算存储虚拟化装置和所述主机装置连接。其中，所述csv装置被构成为：从所述主机装置接收包括所述虚拟机的第一地址和所述存储装置的第二地址的第一请求；获取与所述虚拟机对应的真实机的第三地址和所述计算装置的第四地址；确定所述第一请求是否指示读取操作或写入操作；在确定所述第一请求指示所述读取操作时，向所述存储装置提供指示所述第二地址、所述第四地址和重定向的第二请求，并且向所述计算装置提供指示所述第三地址、所述第四地址和所述第一数据的第一处理操作的第三请求；以及在确定所述第一请求指示所述写入操作时，向所述计算装置提供指示所述第三地址、所述第四地址和所述第二数据的第二处理操作的第四请求，并且向所述存储装置提供指示所述第二地址、所述第四地址和存储操作的第五请求。
8.根据本公开的一实施例，提供一种包括存储装置及计算装置的虚拟化装置及其操作方法。
9.并且，提供一种如下的虚拟化装置及其操作方法：通过硬件加速器提供计算资源来减小主机装置的资源负担，基于与虚拟机对应的真实机的地址及计算装置的地址来确保彼此不同的装置之间的直接通信，并且灵活地管理存储资源及计算资源。
附图说明
10.图1是根据本公开的实施例的存储系统的框图。
11.图2是根据本公开的一部分实施例而说明图1的存储系统的框图。
12.图3是根据本公开的一部分实施例而说明图1的存储系统的框图。
13.图4是说明根据本公开的一部分实施例的命令格式的图。
14.图5是根据本公开的一部分实施例而说明图4的保留字段的图。
15.图6是说明根据本公开的一部分实施例的虚拟化装置的操作方法的顺序图。
16.图7是根据本公开的一部分实施例而说明存储系统的读取操作的图。
17.图8是根据本公开的一部分实施例而说明存储系统的写入操作的图。
18.图9是根据本公开的一部分实施例而说明存储系统的装置之间的直接通信的图。
19.图10是说明根据本公开的一部分实施例的具有灵活的扩展性的存储系统的框图。
20.图11是说明根据本公开的一部分实施例的存储系统的框图。
21.图12是说明根据本公开的一部分实施例的存储系统的框图。
22.图13是根据本公开的一部分实施例而说明虚拟化装置的读取操作的顺序图。
23.图14是根据本公开的一部分实施例而说明虚拟化装置的写入操作的顺序图。
具体实施方式
24.以下，将清楚并详细地说明本公开的实施例，使得本公开的技术领域中具有普通
知识的人员能够容易地实施本公开的实施例。
25.参照在详细说明中使用的部或单元(unit)、模块(module)、层(layer)等术语而说明的构成要素及附图中示出的功能块可以以软件或硬件或它们的组合的形态实现。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可以包括电气回路、电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电系统(mems：microelectromechanical system)、无源元件或其组合。
26.图1是根据本公开的实施例的存储系统的框图。参照图1，存储系统100可以包括主机装置110、计算存储虚拟化(csv：computational storage virtualization)装置120、存储装置130、计算装置140、输入/输出(i/o：input/output)存储器管理单元150和高速串行计算机扩展总线标准(pcie：peripheral component interconnect express)电路160。
27.存储系统100可以提供虚拟机(vm：virtual machine)。虚拟机vm可以是以软件方式实现的计算环境，在这种虚拟机vm上可以安装并运行操作系统或应用。在一部分实施例中，存储系统100可以是服务器装置。例如，存储系统100可以是为用户提供包括虚拟机vm的云计算环境的服务器装置。
28.主机装置110可以包括处理器和主机存储器。主机装置110的处理器可以通过执行存储在主机存储器中的指令来运行虚拟机vm。例如，主机装置110的处理器可以实际执行用于在虚拟机vm上运行的操作系统(os：operating system)及应用等的计算。
29.主机装置110的处理器可以管理用于虚拟机vm的数据处理的请求(例如，读取请求、写入请求等)。主机存储器可以管理根据虚拟机vm的写入请求而要提供给存储装置130的数据以及根据来自存储装置130的读取请求而要接收的数据。
30.csv装置120可以将基于虚拟机vm的虚拟化环境提供给存储装置130和计算装置140。csv装置120可以无主机装置110的资源管理负担地向虚拟机vm提供存储资源和计算资源。
31.例如，csv装置120可以与运行虚拟机vm的主机装置110进行通信。csv装置120可以与存储装置130和计算装置140进行通信。csv装置120可以将虚拟机vm的请求改变为可由存储装置130和计算装置140执行的请求。存储装置130和计算装置140可以在csv装置120的辅助下无主机装置110的资源管理负担地处理虚拟机vm的请求。
32.在一部分实施例中，csv装置120可以确保彼此不同的装置之间的直接通信。例如，csv装置120可以通过pcie电路160来辅助主机装置110和存储装置130的直接数据通信、主机装置110和计算装置140的直接数据通信以及存储装置130和计算装置140的直接数据通信。直接数据通信也可以称为直接存储器访问(dma：direct memory access)通信。
33.在一部分实施例中，csv装置120可以以硬件加速器实现。例如，csv装置120可以以现场可编程门阵列(fpga：field programmable gate array)实现。fpga可以是管理用于虚拟机vm的存储资源和计算资源的硬件。
34.在一部分实施例中，csv装置120可以灵活地管理存储资源和计算资源。例如，为了无主机装置110的资源管理负担地处理来自多个虚拟机vm的请求，csv装置120可以向多个存储装置和多个计算装置分配资源。后文中将与图10一起进行对此的详细说明。
35.存储装置130可以存储数据。例如，存储装置130可以根据虚拟机vm的读取请求来提供数据，或者可以根据虚拟机vm的写入请求来存储数据。存储装置130可以存储由计算装
置140处理的数据。
36.计算装置140可以处理由存储装置130或主机装置110提供的数据。例如，在由虚拟机vm发出读取请求的情况下，存储装置130可以根据csv装置120的管理而将所存储的原始数据提供给计算装置140，计算装置140可以处理原始数据，并且计算装置140可以将经处理的数据提供给主机装置110。
37.作为又一示例，在由虚拟机vm发出写入请求的情况下，计算装置140可以根据csv装置的管理而从主机装置110接收原始数据，计算装置140可以处理原始数据，并且存储装置130可以存储由计算装置140处理的数据。
38.在一部分实施例中，计算装置140可以执行数据的压缩或加密。例如，在由虚拟机vm发出读取请求的情况下，计算装置140可以从存储装置130接收与读取请求相对应的原始数据，对原始数据进行解压缩或解密，并将解压缩或解密的数据提供给主机装置110。
39.作为又一示例，在由虚拟机vm发出写入请求的情况下，计算装置140可以从主机装置110接收与写入请求相对应的原始数据，对原始数据进行压缩或加密，并将压缩或加密的数据提供给存储装置130。
40.在一部分实施例中，计算装置140可以以硬件加速器实现。例如，计算装置140可以以fpga实现。fpga可以是提供计算资源的硬件。
41.i/o存储器管理单元150可以管理虚拟机vm的虚拟地址与对应于虚拟机vm的真实机(即，主机装置110)的真实地址的映射关系。例如，虚拟机vm可以以由主机装置110的处理器运行的软件来实现，并且针对虚拟机vm管理的数据的虚拟地址可以对应于针对存储在主机装置110的主机存储器中的数据的实际地址。i/o存储器管理单元150可以将虚拟地址转换为对应的物理地址，也可以将物理地址转换为对应的虚拟地址。
42.在一部分实施例中，在csv装置120包括管理虚拟地址与实际地址之间的映射关系的地址转换表的情况下，可以省略i/o存储器管理单元150。或者，csv装置120内的地址管理表和i/o存储器管理单元150可以为了管理虚拟地址和实际地址而被一起使用。
43.pcie电路160可以与主机装置110、csv装置120、存储装置130、计算装置140和i/o存储器管理单元150连接。pcie电路160可以为csv装置120、存储装置130、计算装置140和i/o存储器管理单元150中的任意组合提供直接接口环境。例如，存储装置130可以通过pcie电路160与计算装置140进行直接数据通信。
44.如上所述，根据本公开，csv装置120向存储装置130和计算装置140提供虚拟化环境。由于csv装置120实现为单独的硬件而不是软件模块，因此可以减小主机装置110的资源管理负担。csv装置120可以通过转换来自虚拟机vm的请求来确保与主机装置110、存储装置130和计算装置140中的任意组合的直接通信。
45.图2是根据本公开的一部分实施例而说明图1的存储系统的框图。参照图1和图2，存储系统100可以分为主机侧和存储侧。存储侧也可以称为虚拟化装置vd。
46.主机侧可以包括主机装置110和由主机装置110运行的虚拟机vm。主机装置可以包括csv驱动器。csv驱动器可以是存储与csv装置120之间的通信所需的信息的软件。主机装置110可以通过运行csv驱动器来与csv装置120进行通信。
47.存储侧可以包括csv装置120、存储装置130、计算装置140和i/o存储器管理单元150。
48.csv装置120可以与主机装置110进行直接通信，或者可以通过i/o存储器管理单元150进行通信。csv装置120可以包括单根输入/输出虚拟化(sr-iov：single root input/output virtualization)适配器121和装置编排器122。
49.sr-iov适配器121可以提供与虚拟机vm的接口。sr-iov适配器121可以使得虚拟机vm能够不经过单独的软件层而访问存储装置130或计算装置140。
50.装置编排器122可以通过sr-iov适配器121识别虚拟机vm。装置编排器122可以识别存储装置130和计算装置140。装置编排器122可以分配针对虚拟机vm的存储装置130的存储资源和计算装置140的计算资源。
51.装置编排器122可以基于由虚拟机vm提供的读取请求来生成要提供给存储装置130的重定向请求和要提供给计算装置140的处理请求。例如，可以通过将由虚拟机vm提供的读取请求的目的地地址改变到计算装置140而不是存储装置130，来实现重定向请求。装置编排器122可以基于由虚拟机vm提供的写入请求来生成要提供给计算装置140的处理请求和要提供给存储装置130的存储请求。
52.存储装置130可以与csv装置120和计算装置140进行通信。响应于来自csv装置120的请求，存储装置130可以通过pcie电路160直接向计算装置140提供数据，或者直接从计算装置140接收经处理的数据。
53.计算装置140可以与csv装置120和存储装置130进行通信。响应于来自csv装置120的请求，计算装置140可以通过pcie电路160直接向存储装置130提供经处理的数据，或者直接从存储装置130接收数据。
54.图3是根据本公开的一部分实施例而说明图1的存储系统的框图。参照图1和图3，存储系统100可以包括主机装置110、csv装置120、存储装置130、计算装置140、i/o存储器管理单元150和pcie电路160。
55.存储系统100可以将虚拟机vm识别为多个虚拟机中的目标虚拟机。存储系统100可以将存储装置130识别为多个存储装置中的目标存储装置。存储系统100可以将计算装置140识别为多个计算装置中的目标计算装置。
56.为了处理来自多个虚拟机的请求，存储系统100可以灵活地分配多个存储装置的存储资源和多个计算装置的计算资源。当虚拟机的数量、存储装置的数量和计算装置的数量分别增加或减少时，存储系统100可以为改变的虚拟环境重新分配存储资源和计算资源。
57.主机装置110可以运行虚拟机vm。虚拟机vm可以包括虚拟提交队列(vsq：virtual submission queue)和虚拟完成队列(vcq：virtual completion queue)。vsq可以是由虚拟机vm请求的命令要写入的存储器。vcq可以是接收指示写入对应vsq的命令的处理完毕的完成确认(completion)的存储器。vsq和vcq可以具有彼此对应的关系。vsq和vcq的虚拟地址可以对应于主机装置110的主机存储器的一部分。
58.主机装置110可以包括主机存储器。存储装置130可以包括缓冲存储器。计算装置140可以包括缓冲存储器。主机装置110的主机存储器、存储装置130的缓冲存储器和计算装置140的缓冲存储器中的任意组合可以通过pcie电路160进行直接数据通信。
59.i/o存储器管理单元150可以与主机装置110和csv装置120进行通信。i/o存储器管理单元150可以将由主机装置110提供的虚拟地址转换为实际地址，并将实际地址提供给csv装置120。i/o存储器管理单元150可以将从csv装置120提供的实际地址转换为虚拟地
址，并将虚拟地址提供给主机装置110。在一部分实施例中，在csv装置120包括管理虚拟地址和实际地址的映射关系的地址转换表的情况下，可以省略i/o存储器管理单元150。
60.csv装置120可以包括sr-iov适配器121和装置编排器122。
61.sr-iov适配器121可以与主机装置110和装置编排器122进行通信。sr-iov适配器121可以包括多个虚拟功能(vf：virtual function)。多个vf中的每一个可以对应于多个虚拟机vm。多个vf中的每一个可以提供与对应的虚拟机vm的接口。vf可以使得对应的虚拟机vm能够不经过软件层而通过装置编排器122访问存储装置130和计算装置140。在sr-iov适配器121内，多个vf中的每一个可以像独立的装置一样操作。vf可以支持向对应的虚拟机vm分配存储资源和计算资源。
62.装置编排器122可以与sr-iov适配器121、存储装置130、计算装置140和i/o存储器管理单元150进行通信。装置编排器122可以包括存储接口电路、计算装置接口电路和资源管理器。
63.存储接口电路可以提供资源管理器和存储装置130之间的接口。存储接口电路可以包括提交队列(sq：submission queue)和完成队列(cq：completion queue)。sq可以与写入到vsq的命令相对应，并且可以是要提供给存储装置130的命令将被写入的存储器。cq可以是接收指示写入到对应sq的命令的处理完毕的完成确认的存储器。sq和cq可以具有彼此对应的关系。
64.计算装置接口电路可以提供资源管理器与计算装置140之间的接口。
65.资源管理器可以通过sr-iov适配器121接收来自虚拟机vm的请求。资源管理器可以通过存储接口与存储装置130进行通信。资源管理器可通过计算装置接口电路与计算装置140进行通信。
66.资源管理器可以改变来自虚拟机vm的请求的一部分字段，并将其提供给存储装置130或计算装置140。在下文中，将与图4及图5一起进行对改变的字段的更详细的说明。
67.资源管理器可以管理多个虚拟机vm、多个存储装置及多个计算装置。例如，资源管理器可以参照多个存储装置的索引，以识别多个存储装置中的目标存储装置。资源管理器可以参照多个计算装置的索引来识别多个计算装置中的目标计算装置。资源管理器可以将识别到的存储装置的存储资源和识别到的计算装置的计算资源分配给虚拟机vm。
68.资源管理器可以管理虚拟机vm与存储装置130之间的映射。例如，虚拟机vm的vsq和vcq可以分别对应于存储接口电路的sq和cq。要写入vsq的命令的层可以与要写入sq的命令的层不同。要写入cq的完成确认的层可以不同于要写入vcq的完成确认的层。资源管理器可以获取写入vsq的命令，改变所获取的命令的层，并将层被改变的命令写入sq。资源管理器可以获取写入cq的复杂功能，改变所获取的复杂功能的层，并将层被改变的复杂功能写入vcq。
69.在一部分实施例中，资源管理器可以符合非易失性存储器快速(nvme：non-volatile memory express)标准。例如，资源管理器可以从主机装置110接收通知在vsq中写入了命令的门铃。资源管理器可以获取写入到vsq中的命令。资源管理器可以基于获取到的命令而将层被改变的命令写入sq。资源管理器可以向存储装置130提供门铃。存储装置130可以获取sq的层被改变的命令。存储装置130可以与计算装置140进行通信以处理命令。
70.在处理命令之后，存储装置130可以将完成确认写入cq。存储装置130可以向资源
管理器提供中断通知。资源管理器可以获取写入cq的完成确认，并基于获取到的完成确认将层被改变的完成确认写入vcq。资源管理器可以向存储装置130提供门铃。资源管理器可以向主机装置110提供中断通知。主机装置110可以处理写入vcq的完成确认。主机装置110可以向资源管理器提供门铃。
71.在一部分实施例中，资源管理器可以包括地址转换表。地址转换表可以管理虚拟地址与真实地址的映射关系。资源管理器可以参照地址转换表而将虚拟地址转换为真实地址，或者将真实地址转换为虚拟地址。在此情况下，可以省略i/o存储器管理单元150，或者可以一起使用地址转换表和i/o存储器管理单元150。
72.在一部分实施例中，资源管理器可以包括内部计算装置(inner-computationaldevice)。内部计算装置可以处理从存储装置130接收的数据，或者可以处理从主机装置110接收的数据。内部计算装置可以执行与计算装置140类似的功能。在此情况下，可以省略计算装置140，或者内部计算装置和计算装置140可以一起使用。下文中将与图11和图12一起对内部计算装置进行更详细的说明。
73.图4是说明根据本公开的一部分实施例的命令格式的图。参照图1和图4，说明从主机装置110接收的命令的命令格式。
74.在一部分实施例中，命令格式可以符合nvme标准。例如，命令格式可以包括“op”、“标志(flags)”、“cid”、“命名空间标识符”、“保留字段”、“元数据”、“prp1”、“prp2”、“slba”、“长度(length)”、“控制(control)”、“dsmgmt”、“appmask”和“apptag”。
[0075]“op”可指示操纵码(opcode)或操作码(operation code)。例如，“op”可以指示将由命令处理的操作是读取操作还是写入操作等。
[0076]“标志”可以管理持久性存储器区域(persistent memory region)的标志值。
[0077]“cid”可以指示命令标识符(command identifier)。命令标识符可以用于将命令与另一命令区分。
[0078]“命名空间标识符”可以用于将命名空间与另一命名空间区分。命名空间可以是向文件系统的文件分配名称的空间。
[0079]“保留字段”可以指示根据设计而可改变的区域。
[0080]“元数据”可以指示说明要根据命令而处理的数据或与该数据相关的信息。
[0081]“prp1”可以指示第一物理区域页面(first physicalregion page)。“prp2”可以指示第二物理区域页面。第一物理区域页面和第二物理区域页面可以指示用于dma通信的存储器的地址。
[0082]“slba”可以指示开始逻辑块地址(start logicalblockaddress)。在多个虚拟机共享一个存储装置的情况下，可以通过“slba”向多个虚拟机中的每一个提供不同的偏移值，使得由多个虚拟机使用的地址不重叠。多个虚拟机中的每一个可以参照添加有偏移值的地址。
[0083]“长度”可以指示数据块的字节的长度。“控制”可以用于控制数据传输。“dsmgmt”、“appmask”及“apptag”可以是由虚拟机vm或主机装置110的操作系统或文件系统来管理的字段。
[0084]
根据本公开的一部分实施例，csv装置120可以通过改变命令的保留字段来生成能够由存储装置130或计算装置140处理的请求。保留字段可以包括根据本公开的实施例而提
出的csv命令。下文中将与图5一起对保留字段进行更详细的说明。
[0085]
图5是根据本公开的一部分实施例而说明图4的保留字段的图。参照图1、图4和图5，从主机装置110接收的命令的保留字段可以指示存储有csv命令的位置(例如，存储有主机装置110内的csv命令所对应的字段的位置)。
[0086]
csv命令可以包括运算符链标识符、源地址、目的地地址、源大小、目的地大小、请求标识符、物理装置标识符、类型、直接参数、文件参数、直接参数指针和文件参数指针中的至少一个。
[0087]
运算符链标识符可以指示要由计算装置140处理的操作的类型。例如，运算符链标识符是要由计算装置140处理的操作，可以指示加密操作、压缩操作或加密及压缩操作。或者，运算符链标识符是要由计算装置140处理的操作，可以指示解密操作、解压缩操作、或者解密及解压缩操作。
[0088]
源地址可以指示请求经处理的数据的源的位置。目的地地址可以指示接收经处理的数据的目的地的位置。
[0089]
例如，在由虚拟机vm发出读取请求的情况下，源地址可以指示在将存储装置130中的原始数据重定向到计算装置140之后的计算装置140内的缓冲存储器。目的地地址可以指示为了向虚拟机vm提供由计算装置140处理的数据而运行虚拟机vm的主机装置110的主机存储器。
[0090]
作为又一示例，在由虚拟机vm发出写入请求的情况下，为了在计算装置140生成经处理的数据之前计算装置140从主机装置110接收原始数据，源地址可以指示运行虚拟机vm的主机装置110的主机存储器。为了在将数据存储在存储装置130之前由计算装置140处理原始数据，目的地地址可以指示计算装置140的缓冲存储器。
[0091]
在一部分实施例中，存储装置130的缓冲存储器的位置可以由图4的命令的slba管理。例如，在由虚拟机vm发出读取请求或写入请求的情况下，图4的主机装置110的命令的slba可以指示存储装置130的缓冲存储器。
[0092]
源大小可以指示根据源地址要发送的数据的大小。
[0093]
目的地大小可以指示根据目的地地址要发送的数据的大小。
[0094]
请求标识符可以指示由于请求而指示的操作。例如，请求标识符作为由于请求而指示的操作，可以指示诸如读取操作、写入操作、处理操作、重定向操作、存储操作等操作中的一个。请求标识符可以管理彼此不同的请求之间的依赖性(dependency)。例如，若当前请求的请求标识符和先前请求的请求标识符相同，则存储系统100可以保留当前请求的执行，直到先前请求的处理完成为止。
[0095]
物理装置标识符可以指示存储装置130的索引和计算装置140的索引。例如，存储系统100可以包括多个存储装置及多个计算装置。存储系统100可以参照物理装置标识符中记载的索引，将存储装置130识别为多个存储装置中的目标存储装置，并且将计算装置140识别为多个计算装置中的目标计算装置。
[0096]
类型可以指示是否需要访问存储装置130。
[0097]
直接参数可以指示主机装置110的主机存储器内的存储有在计算装置的处理操作中使用的信息的位置。例如，直接参数可以指示主机存储器的存储有诸如用于压缩、解压缩、加密、解密等处理操作的函数、算法、哈希函数、密钥值等参数的位置。
[0098]
文件参数可以指示存储装置130内的存储有在计算装置的处理操作中使用的复制信息的位置。例如，文件参数可以指示存储装置130内的诸如压缩、解压缩、加密、解密等处理操作的函数、算法、哈希函数、密钥值等参数被复制的位置。
[0099]
直接参数指针可以是存储用于发送直接参数的指针的字段。
[0100]
文件参数指针可以是存储用于发送文件参数的指针的字段。
[0101]
图6是说明根据本公开的一部分实施例的虚拟化装置的操作方法的顺序图。参照图2和图6，说明操作虚拟化装置vd的方法。
[0102]
在步骤s110中，虚拟化装置vd可以从运行虚拟机vm的主机装置110接收请求。
[0103]
在步骤s120中，虚拟化装置vd可以确定步骤s110的请求是否指示计算存储操作。例如，若请求的保留字段存在，则虚拟化装置vd可以确定为指示计算存储操作，若请求的保留字段为空(null)，则虚拟化装置vd可以确定为不指示计算存储操作。在确定为请求指示计算存储操作时，虚拟化装置vd可以执行步骤s130。在确定为请求不指示计算存储操作时，虚拟化装置vd可以执行步骤s170。
[0104]
在s130步骤中，虚拟化装置vd可以获取与虚拟机vm对应的真实机的地址及计算装置140的地址。对应于虚拟机vm的真实机可以指示主机装置110。
[0105]
在一部分实施例中，在步骤s130中，虚拟化装置vd可以检查请求的保留字段中是否存在直接参数或文件参数，若存在直接参数或文件参数，则可以读取直接参数或文件参数。
[0106]
在步骤s140中，虚拟化装置vd可以确定步骤s110的请求是否指示读取操作。若确定为请求指示读取操作，则虚拟化装置vd可以执行步骤s150。若确定为请求不指示读取操作，则虚拟化装置vd可以执行步骤s160。
[0107]
在步骤s150中，虚拟化装置vd的csv装置120可以向存储装置130提供读取数据的重定向请求。此时，重定向请求可以指示将存储在存储装置130中的原始数据提供给计算装置140。
[0108]
在步骤s151中，虚拟化装置vd的csv装置120可以向计算装置140提供读取数据的处理请求。此时，读取数据的处理请求可以指示计算装置140处理从存储装置130接收的读取数据以及计算装置140向主机装置110提供经处理的读取数据。
[0109]
重新回到步骤s140，若在步骤s140中确定为请求不指示读取操作，则虚拟化装置可以执行步骤s160。
[0110]
在步骤s160中，虚拟化装置vd的csv装置120可以向计算装置140提供写入数据的处理请求。此时，写入数据的处理请求可以指示计算装置140从主机装置110接收写入数据以及计算装置140处理写入数据。
[0111]
在步骤s161中，虚拟化装置vd的csv装置120可以向存储装置130提供经处理的写入数据的存储请求。此时，存储请求可以指示存储装置130从计算装置140接收经处理的写入数据以及存储装置130存储经处理的写入数据。
[0112]
重新回到操作s120，若在步骤s120中确定为请求不指示计算存储操作，则虚拟化装置vd可以执行步骤s170。
[0113]
在步骤s170中，虚拟化装置vd可以执行一般存储操作。一般存储操作可以指示不伴随计算装置140或csv装置120内的内部计算装置的压缩、解压缩、加密、解密等的处理操
作的一般读取操作或一般写入操作。
[0114]
图7是根据本公开的一部分实施例而说明存储系统的读取操作的图。参照图1和图7，存储系统100可以包括运行虚拟机vm的主机装置110、csv装置120、存储装置130、计算装置140和pcie电路160。
[0115]
根据本公开的一部分实施例，存储系统100可以执行基于来自虚拟机vm的请求的读取操作。读取操作可以包括第一操作
①
至第七操作
⑦
。
[0116]
在第一操作
①
中，运行虚拟机vm的主机装置110可以向csv装置120提供指示第一地址add1、第二地址add2和读取操作的第一请求rq1。读取操作可以指示读取存储在存储装置130中的原始数据rdt。第一地址add1可以指示虚拟机vm的虚拟地址。第二地址add2可以指示原始数据rdt在存储装置130存储器储的位置。
[0117]
在第二操作
②
中，csv装置120可以基于第一请求rq1获取第三地址add3和第四地址add4。第三地址add3可以指示对应于虚拟机vm的真实机的位置(即，主机装置110的主机存储器内的位置)。第四地址add4可以指示将要处理存储装置130的原始数据rdt的计算装置140的缓冲存储器内的位置。
[0118]
在第三操作
③
中，csv装置120可以向存储装置130提供指示第二地址add2、第四地址add4和重定向的第二请求rq2。重定向可以指示通过pcie电路系统160将存储在存储装置130中的数据提供给计算装置140。
[0119]
在第四操作
④
中，存储装置130可以基于第二请求rq2向计算装置140提供原始数据rdt。例如，存储装置130可以基于第二请求rq2的第二地址add2和第四地址add4而通过pcie电路160执行针对计算装置140的dma通信。在向计算装置140提供原始数据rdt之后，存储装置130可以向csv装置120提供完成确认，从而向csv装置120通知第二请求rq2已经被处理。
[0120]
在第五操作
⑤
中，csv装置120可以向计算装置140提供指示第三地址add3、第四地址add4和处理操作的第三请求rq3。处理操作可以指示由计算装置140处理(例如，解压缩、解密等)原始数据rdt。
[0121]
在第六操作
⑥
中，计算装置140可以基于第三请求rq3处理原始数据rdt来生成经处理的数据pdt。经处理的数据pdt可以是经解压缩的数据或经解密的数据。
[0122]
在第七操作
⑦
中，计算装置140可以基于第三请求rq3而向主机装置110提供经处理的数据pdt。例如，计算装置140可以基于第三请求rq3的第三地址add3和第四地址add4来通过pcie电路160执行针对主机装置110的dma通信。在向主机装置110提供经处理的数据pdt之后，计算装置140可以向csv装置120提供完成通知(done notification)。csv装置120可以响应于完成通知，发布用于虚拟机vm的完成确认。
[0123]
图8是根据本公开的一部分实施例而说明存储系统的写入操作的图。参照图1和图8，存储系统100可以包括运行虚拟机vm的主机装置110、csv装置120、存储装置130、计算装置140和pcie电路160。
[0124]
根据本公开的一部分实施例，存储系统100可以执行基于来自虚拟机vm的请求的写入操作。写入操作可以包括第一操作
①
至第八操作
⑧
。
[0125]
在第一操作
①
中，运行虚拟机vm的主机装置110可以向csv装置120提供指示第一地址add1、第二地址add2和写入操作的第一请求rq1。写入操作可以指示将与虚拟机vm的虚
拟地址对应的原始数据rdt写入存储装置130。第一地址add1可以指示虚拟机vm的虚拟地址。第二地址add2可以指示与原始数据rdt对应的经处理的数据pdt将存储在存储装置130内的位置。
[0126]
在第二操作
②
中，csv装置120可以基于第一请求rq1获取第三地址add3和第四地址add4。第三地址add3可以指示对应于虚拟机vm的真实机的位置(即，主机装置110的主机存储器内的位置)。第四地址add4可以指示将要处理虚拟机vm的原始数据rdt的计算装置140的缓冲存储器内的位置。
[0127]
在第三操作
③
中，csv装置120可以向计算装置140提供指示第三地址add3、第四地址add4和处理操作的第二请求rq2。处理操作可以指示计算装置140从主机装置110接收原始数据rdt以及计算装置140处理(例如，压缩、加密等)原始数据rdt。
[0128]
在第四操作
④
中，计算装置140可以基于第二请求rq2从主机装置110接收原始数据rdt。例如，计算装置140可以基于第二请求rq2的第三地址add3和第四地址add4来通过pcie电路160执行针对主机装置110的dma通信。
[0129]
在第五操作
⑤
中，计算装置140可以基于第二请求rq2处理原始数据rdt来生成经处理的数据pdt。经处理的数据pdt可以是压缩的数据或加密的数据。在生成经处理的数据pdt之后，计算装置140可以向csv装置120提供完成通知。
[0130]
在第六操作
⑥
中，csv装置120可以向存储装置130提供指示第二地址add2、第四地址add4和存储操作的第三请求rq3。存储操作可以指示存储装置130从计算装置140接收经处理的数据pdt以及存储装置130存储经处理的数据pdt。
[0131]
在第七操作
⑦
中，存储装置130可以基于第三请求rq3从计算装置140接收经处理的数据pdt。例如，存储装置130可以基于第三请求rq3的第二地址add2和第四地址add4来通过pcie电路160执行针对计算装置140的dma通信。
[0132]
在第八操作
⑧
中，存储装置130可以存储基于第三请求rq3而经处理的数据pdt。在存储经处理的数据pdt之后，存储装置130可以向csv装置120提供完成确认。csv装置120可以基于从存储装置130接收的完成确认来向虚拟机vm提供完成确认。
[0133]
图9是根据本公开的一部分实施例而说明存储系统的装置之间的直接通信的图。参照图9，存储系统100可以包括主机装置110、csv装置120、存储装置130、计算装置140和pcie电路160。
[0134]
主机装置110、存储装置130和计算装置140中的任意组合可以通过pcie通信而直接进行数据通信(即，执行dma通信)。为了帮助理解本公开，图9说明了计算装置140作为源而向主机装置110或存储装置130提供经处理的数据pdt的操作，但是主机装置110和存储装置130也可以与后述的内容类似地作为源而操作。
[0135]
csv装置120可以向计算装置140提供源地址和目的地地址。源地址可以是指示计算装置140的缓冲存储器的位置的第四地址add4。目的地地址可以指示能够通过pcie电路160与计算装置140进行通信的主机装置110或存储装置130。
[0136]
例如，范围“0～1023”的地址可以是与主机装置110对应的第三地址add3。在csv装置120将范围“0～1023”的地址作为目的地地址而提供给计算装置140的情况下，计算装置140可以参照目的地地址而通过pcie电路160向主机装置110直接提供经处理的数据pdt。
[0137]
作为又一示例，范围“1024～2047”的地址可以是与存储装置130对应的第二地址
add2。在csv装置120将范围“1024～2047”的地址作为目的地地址而提供给计算装置140的情况下，计算装置140可以参照目的地地址而通过pcie电路160向存储装置130直接提供经处理的数据pdt。
[0138]
图10是说明根据本公开的一部分实施例的具有灵活的扩展性的存储系统的框图。参照图10，存储系统100可以管理多个虚拟机、多个存储装置和多个计算装置之间的资源分配。
[0139]
存储系统100可以包括虚拟机组、存储装置组、计算装置组、sr-iov适配器121和装置编排器122。
[0140]
虚拟机组可以包括第一虚拟机vm_1至第n虚拟机vm_n。存储装置组可以包括第一存储装置130_1至第m存储装置130_m。计算装置组可以包括第一计算装置140_1至第l计算装置140_l。其中，n、m和l是任意的正整数。
[0141]
sr-iov适配器121可以与虚拟机组进行通信。sr-iov适配器121可以包括多个vf。多个vf可以提供第一虚拟机vm_1至第n虚拟机vm_n与资源管理器之间的接口。
[0142]
存储接口电路可以与存储装置组进行通信。存储接口电路可以提供第一存储装置130_1至第m存储装置130_m与资源管理器之间的接口。
[0143]
计算装置接口电路可以与计算装置组进行通信。计算装置接口电路可以提供第一计算装置140_1至第l计算装置140_l及资源管理器之间的接口。
[0144]
资源管理器可以管理虚拟机组、存储装置组和计算装置组之间的资源分配。例如，资源管理器可以向第一虚拟机vm_1分配第一存储装置130_1和第一计算装置140_1。或者，资源管理器可以向第一虚拟机vm_1分配第一存储装置130_1和第二存储装置130_2以及第一计算装置140_1和第二计算装置140_2。
[0145]
在虚拟机的数量增加或减少的情况下，或者在存储装置的数量增加或减少的情况下，或者在计算装置的数量增加或减少的情况下，资源管理器可以根据改变的虚拟化环境而向虚拟机灵活地分配存储资源和计算资源。
[0146]
在存储资源或计算资源不足的情况下，通过对图1的pcie电路160添加另一存储装置或另一计算装置，可以灵活地扩展存储资源或计算资源。
[0147]
图11是说明根据本公开的一部分实施例的存储系统的框图。参照图11，说明根据本公开的一部分实施例的存储系统200。
[0148]
存储系统200可以管理来自虚拟机vm的请求。存储系统200可以包括主机装置210、csv装置220、存储装置230和i/o存储器管理单元250。csv装置220可以包括sr-iov适配器221和装置编排器222。
[0149]
虚拟机vm、主机装置210、sr-iov适配器221、存储装置230和i/o存储器管理单元250的特征与图3的虚拟机vm、主机装置110、sr-iov适配器121、存储装置130和i/o存储器管理单元150的特征类似，因此省略对此的详细说明。
[0150]
装置编排器222可以包括资源管理器、存储接口电路和内部计算装置。内部计算装置可以包括加速器和缓冲存储器。加速器可以提供计算资源。例如，加速器可以执行诸如压缩、解压缩、加密、解密等操作。内部计算装置的缓冲存储器可以通过pcie电路直接与存储装置230的缓冲存储器和主机装置210的主机存储器进行通信。资源管理器可以向虚拟机vm分配存储装置230的存储资源和内部计算装置的计算资源。即，内部计算装置可以执行与图
3的计算装置140类似的功能。
[0151]
在一部分实施例中，csv装置220可以以硬件加速器实现。例如，csv装置220可以以fpga实现。fpga可以是提供计算资源并管理用于虚拟机vm的存储资源和计算资源的硬件。
[0152]
图12是说明根据本公开的一部分实施例的存储系统的框图。参照图12，说明根据本公开的一部分实施例的存储系统300。存储系统300可以管理来自虚拟机vm的请求。存储系统300可以包括主机装置310、csv装置320、存储装置330、计算装置340和i/o存储器管理单元350。csv装置320可以包括sr-iov适配器321和装置编排器322。
[0153]
虚拟机vm、主机装置310、sr-iov适配器321、存储装置330、计算装置340和i/o存储器管理单元350的特征与图3中的虚拟机vm、主机装置110、sr-iov适配器121、存储装置130、计算装置140和i/o存储器管理单元150的特征类似，因此省略对此的详细说明。
[0154]
装置编排器322可以包括资源管理器、内部计算装置、存储接口电路和计算装置接口电路。
[0155]
内部计算装置可以包括加速器和缓冲存储器。加速器可以提供计算资源。计算装置340可以提供计算资源。资源管理器可以通过综合管理内部计算装置和计算装置340来向虚拟机vm分配计算资源。
[0156]
图13是根据本公开的一部分实施例而说明虚拟化装置的读取操作的顺序图。参照图13，说明虚拟化装置vd的读取操作。虚拟化装置vd可以与运行虚拟机的主机装置110进行通信。虚拟化装置vd可以包括csv装置120、存储装置130和计算装置140。
[0157]
在步骤s210中，虚拟化装置vd可以通过csv装置120从主机装置110接收指示第一地址add1、第二地址add2和读取操作的第一请求rq1。第一地址add1可以指示由主机装置110运行的虚拟机的虚拟地址。第二地址add2可以指示存储有与读取操作对应的原始数据的存储装置130内的位置。
[0158]
在步骤s220中，虚拟化装置vd可以通过csv装置120从第一地址add1获取第三地址add3。第一地址add1可以是虚拟机的虚拟地址。第三地址add3可以是与虚拟机对应的真实机(即，主机装置110)的地址。csv装置120可以参照所包括的地址转换表从第一地址add1获取第三地址add3。或者，虚拟化装置vd可以进一步包括i/o存储器管理单元，并且csv装置120可以从i/o存储器管理单元接收与第一地址add1对应的第三地址add3。
[0159]
在步骤s221中，虚拟化装置vd可以通过csv装置120指定(designate)指示计算装置140的缓冲存储器的位置的第四地址add4。例如，csv装置120可以识别计算装置140，并且向虚拟机vm分配计算装置140的计算资源。
[0160]
在步骤s230中，虚拟化装置vd可以通过csv装置120向存储装置130提供指示第二地址add2、第四地址add4和重定向的第二请求rq2。重定向可以指示存储装置130向计算装置140提供原始数据。
[0161]
在步骤s240中，虚拟化装置vd可以通过存储装置130基于第二请求rq2向计算装置140提供原始数据。原始数据可以是压缩的数据或加密的数据。
[0162]
在步骤s241中，虚拟化装置vd可以在通过存储装置130处理原始数据之后向csv装置120提供第一完成确认comp1。第一完成确认可以被写入csv装置120的cq。
[0163]
在步骤s250中，响应于第一完成确认comp1，虚拟化装置vd可以由csv装置120向计算装置140提供指示第三地址add3、第四地址add4和处理操作的第三请求rq3。处理操作可
以指示计算装置140处理原始数据以及计算装置140向主机装置110提供经处理的数据。
[0164]
在s260步骤中，虚拟化装置vd可以通过计算装置140处理原始数据。例如，计算装置140可以通过对原始数据进行解压缩或解密来生成经处理的数据。经处理的数据可以是经解压缩的数据或经解密的数据。
[0165]
在操作s270中，虚拟化装置vd可以通过计算装置140将基于第三请求rq3处理的数据提供到主机装置110。
[0166]
在步骤s280中，虚拟化装置vd可以通过计算装置140向csv装置120提供完成通知。
[0167]
在步骤s281中，虚拟化装置vd可以借由csv装置120而响应于完成通知向主机装置110提供第二完成确认comp2。第二完成确认comp2可以被写入虚拟机vm的vcq。
[0168]
图14是根据本公开的一部分实施例而说明虚拟化装置的写入操作的顺序图。参照图14，说明虚拟化装置vd的写入操作。虚拟化装置vd可以与运行虚拟机的主机装置110进行通信。虚拟化装置vd可以包括csv装置120、存储装置130和计算装置140。
[0169]
在步骤s310中，虚拟化装置vd可以通过csv装置120从主机装置110接收指示第一地址add1、第二地址add2和写入操作的第一请求rq1。第一地址add1可以指示由主机装置110运行的虚拟机的虚拟地址。第二地址add2可以指示对与写入操作对应的原始数据进行处理后将要在存储装置130中存储经处理的数据的位置。
[0170]
在步骤s320中，虚拟化装置vd可以通过csv装置120从第一地址add1获取第三地址add3。第一地址add1可以是虚拟机的虚拟地址。第三地址add3可以是与虚拟机对应的真实机(即，主机装置110)的地址。csv装置120可以参照所包括的地址转换表从第一地址add1获取第三地址add3。或者，虚拟化装置vd可以进一步包括i/o存储器管理单元，并且csv装置120可以从i/o存储器管理单元接收与第一地址add1对应的第三地址add3。
[0171]
在步骤s321中，虚拟化装置vd可以通过csv装置120指定指示计算装置140的缓冲存储器的位置的第四地址add4。例如，csv装置120可以识别计算装置140，并且向虚拟机vm分配计算装置140的计算资源。
[0172]
在步骤s330中，虚拟化装置vd可以通过csv装置120向计算装置140提供指示第三地址add3、第四地址add4和处理操作的第二请求rq2。处理操作可以指示计算装置140从主机装置110接收原始数据以及计算装置140处理原始数据。
[0173]
在步骤s340中，虚拟化装置vd可以通过计算装置140基于第二请求rq2从主机装置110接收原始数据。原始数据可以是未压缩的数据或未加密的数据。
[0174]
在s350步骤中，虚拟化装置vd可以通过计算装置140处理原始数据。例如，计算装置140可以通过对原始数据进行压缩或加密来生成经处理的数据。经处理的数据可以是经压缩的数据或经加密的数据。
[0175]
在步骤s351中，虚拟化装置vd可以通过计算装置140向csv装置120提供完成通知。
[0176]
在步骤s360中，虚拟化装置vd可以通过csv装置120而响应于完成通知向存储装置130提供指示第二地址add2、第四地址add4和存储操作的第三请求rq3。
[0177]
在步骤s370中，虚拟化装置vd可以通过存储装置130基于第三请求rq3从计算装置140接收经处理的数据。
[0178]
在操作s380中，虚拟化装置vd可以由存储装置130存储经处理的数据。
[0179]
在步骤s390中，在由存储装置130存储经处理的数据之后，虚拟化装置vd向csv装
置120提供第一完成确认comp1。第一完成确认可以写入csv装置120的cq。
[0180]
在步骤s391中，虚拟化装置vd可以通过csv装置120而响应于第一完成确认comp1向主机装置110提供第二完成确认comp2。第二完成确认comp2可以被写入虚拟机vm的vcq。
[0181]
上述内容是用于实施本发明的具体实施例。本发明不仅包括上述的实施例，还包括能够简单地进行设计变更或容易地进行变更的实施例。并且，本发明还包括可利用实施例来容易地变形实施的技术。因此，本发明的范围不应局限于上述实施例，而应由权利要求及其等同物限定。