协调存储器命令的方法和高带宽存储器系统与流程

本申请案主张2017年7月25日提交的第62/536,919号美国临时专利申请的优先权和权益，所述申请的内容通过引用以其全文引用的方式并入本文中。

本公开的一些实施例大体上涉及存储器带宽管理，且还可涉及一种包含hbm逻辑裸片上的处理器和存储器控制器的高带宽存储器(high-bandwidthmemory；hbm)系统，以及在hbm中处理的方法。

背景技术：

图1为高带宽存储器hbm+系统的方块图。

参考图1，常规hbm系统可大体上使用单个主控器，所述主控器大体上为用于控制相应存储器的hbm外存储器主机控制器。

然而，在hbm+系统100中，单个从装置(例如主存储器，其可以是易失性存储器，如动态随机存取存储器(dynamicrandomaccessmemory；dram)裸片上的dram)110可具有两个存储器控制器120作为主控器。两个主装置可为hbm外存储器控制器120a，以及定位在hbm160的hbm逻辑裸片140上的hbm上存储器控制器120b。hbm逻辑裸片140可与3d堆栈存储器(其为hbm160)的底层相对应，而dram裸片110可与hbm160的上层中的一个相对应。hbm逻辑裸片140可使用可由处理器(pu)170指示以控制dram裸片110的“近”存储器控制器(“near”memorycontroller；nmc)120b来控制dram裸片110。

hbm外存储器控制器120a可称为主机存储器控制器120a(例如中央处理单元(centralprocessingunit；cpu)、图形处理单元(graphicsprocessingunit；gpu)或加速处理单元(acceleratedprocessingunit；apu)130的主机存储器控制器120a)。hbm上存储器控制器120b可称为协调存储器控制器120b，且可定位在hbm逻辑裸片140上。

由于其远程地定位在相比于协调存储器控制器120b更远离dram裸片110的位置处，因此主机存储器控制器120a也可被称为远程存储器控制器，或被称为“远”存储器控制器(“far”memorycontroller；fmc)。由于其接近于dram裸片110，因此协调存储器控制器120b可被称为本地存储器控制器，或“近”存储器控制器(nmc)120b。应注意，主机存储器控制器120a和协调存储器控制器120b中的任一个或两个可由一般存储器控制器来表示。

此外，主机存储器控制器120a和协调存储器控制器120b可异步通信。因此，当主机存储器控制器120a和协调存储器控制器120b两者意图同时对dram110进行存取时，可能产生问题。

对由通过在其它领域中(例如在使用基于事务的协议的系统芯片(system-on-a-chip；soc)中，如高级可扩展接口(advancedextensibleinterface；axi))的两个不同的存储器控制器两者尝试并行存取所引起的冲突的潜在解决方案可包含使用总线仲裁器作为中央仲裁器/集中式控制器。总线仲裁器可决定将允许哪一总线主控器来控制总线以用于每一总线循环，且可跟踪所有组件的状态。因此，两个不同存储器控制器可向总线仲裁器寻求对存取存储器的权限，且总线仲裁器可对存储器控制器中的一个授予权限(即在一时刻授予对仅单个主控器的存取以实现所选主控器与从装置之间的通信而不受未选主控器的干扰)。在其之后，所选被授予存取的存储器控制器可对存储器进行存取，及/或存储器可对存储器控制器作出响应。

然而，以上潜在解决方案并不可适用于hbm+系统100。不同于基于事务的协议，hbm不支持信号交换操作，意味着不存在从hbm160到任何存储器控制器120的反馈信号。此外，常规hbm的hbm逻辑裸片不能够在hbm逻辑裸片内专门执行计算功能。

此外，不同于基于事务的协议，hbm不支持非确定性时序，意味着一旦主机存储器控制器120a向hbm160发送请求，那么主机存储器控制器120a便期望hbm160在确定时间量内作出响应。即，如果存储器控制器120中的一个发送出命令或请求，那么hbm160必须在给定的时间量内(例如在约三十纳秒内)作出响应以确保hbm160正确地提供请求数据。

以上信息仅用于增进对本公开的实施例的背景技术的理解，且因此可含有不形成现有技术的信息。

技术实现要素：

本公开的一些实施例提供一种用于在高带宽存储器hbm+系统中协调存储器命令的系统和方法。

根据一些实施例，提供一种在高带宽存储器hbm+系统中协调存储器命令的方法，所述方法包含将主机存储器控制器命令从主机存储器控制器发送到存储器，在协调存储器控制器处接收主机存储器控制器命令，将主机存储器控制器命令从协调存储器控制器转发到存储器，以及由协调存储器控制器基于主机存储器控制器命令来调度协调存储器控制器命令。

基于主机存储器控制器命令来调度协调存储器控制器命令可包含将主机存储器控制器命令与存在于协调存储器控制器命令队列中的协调存储器控制器命令进行比较，以及基于所述比较来调整对协调存储器控制器命令的调度。

将主机存储器控制器命令与协调存储器控制器命令进行比较可包含确定主机存储器控制器命令和协调存储器控制器命令是否被调度以用于存储器的公共存储体，且所述方法可还包含当主机存储器控制器命令和协调存储器控制器命令被调度以用于公共存储体时，阻止将额外存储器命令从主机存储器控制器发送到公共存储体直到协调存储器控制器命令指示为已处理。

所述方法可还包含在主机存储器控制器与协调存储器控制器之间建立配置合约，所述配置合约包含将由主机存储器控制器和协调存储器控制器遵循的公共地址映射方案，从而使得主机存储器控制器和协调存储器控制器两者在解码相同地址时将指向存储器内部的相同位置。

所述方法可还包含将来自主机存储器控制器的存储器内处理(process-in-memory；pim)命令作为主机存储器控制器命令发送，由主机存储器控制器监测在协调存储器控制器与主机存储器控制器之间的数据总线，以及在监测期间检测来自协调存储器控制器、指示pim命令是否已处理的pim完成确认。

所述方法可还包含使用协调存储器控制器来确定处理pim命令的估算剩余时间，使用pim完成确认来指示尚未处理的pim命令，使用pim完成确认来指示估算剩余时间，且将pim完成确认从协调存储器控制器发送到主机存储器控制器。

确定估算剩余时间可包含扫描协调存储器控制器中的协调存储器控制器命令队列，确定在协调存储器控制器命令队列中未决的未决存储器命令，确定未决存储器命令中的每一个的估算时间量，以及对估算时间量求和以确定估算剩余时间。

所述方法可还包含将超时值与pim命令相关联，确定pim命令未在与超时值相对应的时间量内处理，以及阻止从主机存储器控制器发送存储器请求。

所述方法可还包含由主机存储器控制器通过发送轮询命令以请求指示处理pim命令的估算剩余时间的pim完成确认来轮询协调存储器控制器，其中所述轮询命令致使协调存储器控制器发送pim完成确认较早于协调存储器控制器将已经以其它方式发送pim完成确认。

所述方法可还包含由主机存储器控制器设置在指示pim命令的优先级的轮询命令中的优先级字段，确定pim命令未在与超时值相对应的时间量内处理，由主机存储器控制器改变优先级字段以增加pim命令的优先级，由协调存储器控制器将pim命令在协调存储器控制器命令队列中向上移动，以及在其它存储器命令之前处理pim命令。

根据一些实施例，提供一种高带宽存储器hbm+系统，所述系统包含协调存储器控制器、主机存储器控制器、存储器、处理器，所述处理器配置成执行在由处理器执行时致使处理器进行以下操作的指令：将主机存储器控制器命令从主机存储器控制器发送到存储器；在协调存储器控制器处接收主机存储器控制器命令；将主机存储器控制器命令从协调存储器控制器转发到存储器；以及由协调存储器控制器基于主机存储器控制器命令来调度协调存储器控制器命令。

处理器可配置成通过将主机存储器控制器命令与存在于协调存储器控制器命令队列中的协调存储器控制器命令进行比较，且通过基于所述比较来调整对协调存储器控制器命令的调度，从而基于主机存储器控制器命令来调度协调存储器控制器命令。

处理器可配置成通过确定主机存储器控制器命令和协调存储器控制器命令是否被调度以用于存储器的公共存储体，从而将主机存储器控制器命令与协调存储器控制器命令进行比较，且在由处理器执行时，所述指令可还致使处理器在主机存储器控制器命令和协调存储器控制器命令被调度以用于公共存储体时阻止将额外存储器命令从主机存储器控制器发送到公共存储体直到协调存储器控制器命令指示为已处理。

在由处理器执行时，所述指令可还致使处理器在主机存储器控制器与协调存储器控制器之间建立配置合约，所述配置合约包含将由主机存储器控制器和协调存储器控制器遵循的公共地址映射方案，从而使得主机存储器控制器和协调存储器控制器两者在解码相同地址时将指向存储器内部的相同位置。

在由处理器执行时，所述指令可还致使处理器将来自主机存储器控制器的存储器内处理(pim)命令作为主机存储器控制器命令发送，由主机存储器控制器监测在协调存储器控制器与主机存储器控制器之间的数据总线，以及在监测期间检测来自协调存储器控制器、指示pim命令是否已处理的pim完成确认。

在由处理器执行时，所述指令可还致使处理器使用协调存储器控制器来确定处理pim命令的估算剩余时间，使用pim完成确认来指示pim命令尚未处理，使用pim完成确认来指示估算剩余时间，以及将pim完成确认从协调存储器控制器发送到主机存储器控制器。

在由处理器执行时，所述指令可还致使处理器使超时值与pim命令相关联，确定pim命令未在与超时值相对应的时间量内处理，以及阻止从主机存储器控制器发送存储器请求。

在由处理器执行时，所述指令可还致使处理器使用主机存储器控制器以通过发送轮询命令以请求指示处理pim命令的估算剩余时间的pim完成确认来轮询协调存储器控制器，其中所述轮询命令致使协调存储器控制器发送pim完成确认较早于协调存储器控制器将已经以其它方式发送pim完成确认。

在由处理器执行时，所述指令可还致使处理器通过主机存储器控制器设置在指示pim命令的优先级的轮询命令中的优先级字段，确定pim命令未在与超时值相对应的时间量内处理，由主机存储器控制器改变优先级字段以增加pim命令的优先级，由协调存储器控制器将pim命令在协调存储器控制器命令队列中向上移动，以及在其它存储器命令之前处理pim命令。

根据一些实施例，提供一种hbm+系统，包含：hbm，包含dram裸片(包含dram)和包含处理器以及协调存储器控制器(包含比较器、调度器以及命令队列)的逻辑裸片；以及主机存储器控制器，与hbm分离且配置成将存储器命令发送到dram裸片上的dram，其中所述协调存储器控制器配置成接收存储器命令，且将存储器命令转发到dram裸片上的dram，其中所述比较器配置成将来自协调存储器控制器的另一存储器命令与来自主机存储器控制器的存储器命令进行比较，且其中所述调度器配置成根据由比较器进行的比较在命令队列中调度存储器命令。

因此，所描述的实施例提供用于协调两个或大于两个存储器控制器以用于改进hbm+系统的性能的技术。

附图说明

根据结合附图进行的以下描述可更详细地理解一些实施例，其中：

图1为高带宽存储器hbm+系统的方块图。

图2为根据本公开的实施例的高带宽存储器hbm+系统的详细微架构的方块图。

图3为描绘pim完成确认的传送的时序图。

图4为描绘响应于轮询命令的pim完成确认的传送的时序图。

附图标号说明

100：hbm+系统；

110：dram裸片；

120a：hbm外存储器控制器；

120b：hbm上存储器控制器；

130：加速处理单元；

140：hbm逻辑裸片；

160、260：高带宽存储器；

170：处理器；

200：hbm+系统；

210：动态随机存取存储器；

220a：主机存储器控制器；

220b：协调存储器控制器；

230：主机；

252：行的命令地址(row_ca)；

254：列的命令地址(col_ca)；

256：实际行命令地址；

258：实际列命令地址；

262：pim命令地址；

264：pim解码器；

268：dram完成状态指示符；

270：处理器；

275：调度器；

277：命令地址解码器；

278：比较器；

280：命令队列；

282：mux；

284：dq总线；

286：pim完成状态寄存器；

288：pim完成确认产生器；

292：估算器；

300、400：时序图；

310：pim命令；

320：pim时间间隔/pim_ack时间；

330：pim完成确认；

410：轮询命令；

420：tpim_poll时间。

具体实施方式

本发明概念的特征和实现所述特征的方法可通过参考实施例的以下详细描述和附图而更易于理解。下文中，将参考附图更详细地描述实施例，在所述附图中，相同参考标号通篇指代相同元件。然而，本发明可以各种不同形式实施，且不应理解为受限于仅本文中说明的实施例。相反，将这些实施例作为实例来提供以使得本发明将透彻且完整，且将向本领域的技术人员充分地传达本发明的各方面和特征。因此，可能并不描述对于本领域一般技术人员对本发明的各方面和特征的完全理解非必要的过程、元件以及技术。除非另外指出，否则相同参考标号贯穿附图和书面描述表示相同元件，且因此将不重复其描述。在图中，为清楚起见，可能放大元件、层以及区域的相对尺寸。

在以下描述中，出于解释的目的，阐述许多特定细节以提供对各种实施例的透彻理解。然而，显而易知，可在不具有这些具体细节或具有一或多种等效布置的情况下实践各种实施例。在其它情况下，以方块图的形式绘示众所周知的结构和装置以免不必要地混淆各种实施例。

应理解，当将元件、层、区域或组件称为在另一元件、层、区域或组件“上”、“连接到”或“耦合到”另一元件、层、区域或组件时，其可直接在另一元件、层、区域或组件上、连接到或耦合到另一元件、层、区域或组件，或可存在一或多个介入元件、层、区域或组件。然而，“直接连接/直接耦合”是指一个组件直接连接或耦合另一组件而不具有中间组件。同时，可类似地理解描述组件之间的关系的其它表达，如在组件“之间”、“紧接在组件之间”或“邻接于”组件和“紧邻”组件。另外，还将理解，当元件或层称为在两个元件或两个层“之间”时，其可以是仅元件或层在两个元件或两个层之间，或也可存在一或多个介入元件或介入层。

本文中使用的术语仅出于描述特定实施例的目的，且并不意图限制本发明。如本文中所使用，除非上下文另作明确指示，否则单数形式“一(a/an)”意图也包含复数形式。将进一步理解，术语“包括(comprises/comprising)”、“具有(have/having)”、“包含(includes/including)”当在本说明书中使用时，表示所陈述特征、整体、步骤、操作、元件和/或组件的存在，但不排除一或多个其它特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。如本文中所使用，术语“和/或”包含相关联的所列项中的一或多个的任何以及所有组合。

如本文中所使用，术语“基本上”、“约”、“大约”以及类似术语用作近似的术语且不用作程度的术语，且意图考虑将由本领域一般技术人员识别的测量值或计算值中的固有偏差。如本文中所使用，“约”或“大约”包含所陈述值且意味着在偏差的可接受范围内，对于特定值，如由本领域一般技术人员中的一个所确定，考虑相关测量和与特定数量的测量相关的误差(即测量系统的限制)。举例来说，“约”可意味着在一或多个标准差内，或在所陈述值的±30％、20％、10％、5％内。此外，当描述本发明的实施例时，使用“可”是指“本发明的一或多个实施例”。如本文中所使用，术语“使用(use/using/used)”可分别视为与术语“利用(utilize/utilizing/utilized)”同义。此外，术语“示范性”意图指实例或说明。

当某一实例实施例可以不同方式实施时，特定处理次序可与所描述次序不同地执行。举例来说，两个连续描述的过程可基本上同时执行或以与所描述次序相反的次序执行。

在本文中参考实施例和/或中间结构的示意性说明的截面说明来描述各种实施例。如此，应预期到作为例如制造技术和/或公差的结果而与说明的形状的差异。此外，出于描述根据本公开的概念的实施例的目的，本文中所公开的特定结构或功能性描述仅为说明性的。因此，本文中所公开的实施例不应理解为受限于区域的特定说明形状，而是包含由(例如)制造引起的形状偏差。举例来说，示出为矩形的植入区域通常将具有圆形或弯曲特征和/或植入物浓度在其边缘上的梯度，而不是从植入区域到非植入区域的二元变化。同样，通过植入形成的埋入区域可在埋入区域与发生植入所在的表面之间的区域中产生一些植入。因此，图中所示出的区域本质上为示意性的且其形状并不意图示出装置的区域的实际形状且并不意图为限制性的。

本文中所描述的电子(electronic/electric)装置和/或根据本发明的实施例的任何其它相关装置或组件可利用任何合适的硬件、固件(例如专用集成电路)、软件，或软件、固件以及硬件的组合来实施。举例来说，这些装置的各种组件可在一个集成电路(integratedcircuit；ic)芯片上或在独立ic芯片上形成。此外，这些装置的各种组件可在柔性印刷电路膜、载带封装(tapecarrierpackage；tcp)、印刷电路板(printedcircuitboard；pcb)上实施或在一个衬底上形成。此外，这些装置的各种组件可以是在在一或多个计算装置中的一或多个处理器上运行、执行计算机程序指令以及与其它系统组件相互作用以用于执行本文中所描述的各种功能的进程或线程。将计算机程序指令存储在可使用例如随机存取存储器(randomaccessmemory；ram)的标准存储器装置在计算装置中实施的存储器中。计算机程序指令也可存储在例如cd-rom、闪存驱动器或类似物的其它非暂时性电脑可读媒体中。此外，本领域的技术人员应认识到可将各种计算装置的功能组合或集成到单个计算装置中，或可将特定计算装置的功能分布于一或多个其它计算装置上而不脱离本发明的示范性实施例的精神和范围。

除非另外定义，否则本文中所使用的所有术语(包含技术和科学术语)具有本发明所属领域的普通技术人员所通常理解的相同意义。将进一步理解，术语(例如常用词典中所定义的那些术语)应被解释为具有与其在相关技术的上下文和/或本说明书中的含义一致的含义，且不应在理想化或过分形式化的意义上进行解释，除非在本文中这样明确定义。

图2为根据本公开的实施例的高带宽存储器hbm+系统的详细微架构的方块图。

参考图2，在hbm+系统200的上下文中，本公开的实施例提供一种用于协调主机存储器控制器220a与协调存储器控制器220b的活动的系统和方法。因此，可正确地调度处理型存储器活动(dram和存储器内处理(pim)活动)以确保功能性正确性，从而改进存储器系统的性能。

在本发明实施例的hbm+系统200中，协调存储器控制器220b充当用于dram210的次级主控器，且主机存储器控制器220a充当初级主控器。协调存储器控制器220b可拦截被引导到dram210的主机存储器控制器命令，且可将主机存储器控制器命令从主机存储器控制器220a整体转发到dram210，从而使得dram210能够以预期方式响应主机存储器控制器220a。

当接收来自主机存储器控制器220a的主机存储器控制器命令时，协调存储器控制器220b可使用调度器275来调度协调存储器控制器命令。如果将来自不同存储器控制器220a或220b的存储器命令发送到dram210的不同dram存储体，那么不同存储器命令彼此独立。然而，当来自不同存储器控制器220a或220b的竞争性存储器命令被调度以用于dram210的相同dram存储体时，所述竞争性存储器命令可能发生冲突，其可能不利地影响系统性能。

为了避免由冲突性存储器命令所引起的问题，协调存储器控制器220b可使用来自主机存储器控制器220a的主机存储器控制器命令以调整对协调存储器控制器220b的调度决策。举例来说，可为主机存储器控制器命令给定比协调存储器控制器命令更高的优先级。因此，协调存储器控制器220b的调度器275可围绕或基于根据配置合约的主机存储器控制器命令对发送到dram210的dram命令进行调度，从而允许来自主机存储器控制器220a的正常dram请求以使得dram210如由主机存储器控制器220a所期望地响应主机存储器控制器220a。即，建立一组公共规则的配置合约的公共规则可以由协调存储器控制器220b和主机存储器控制器220a遵循以根据所建立的、议定地址映射方案来避免存储体冲突，如下文将进一步论述。

协调存储器控制器220b的调度器275可通过使用比较器278以将来自主机存储器控制器220a的命令与协调存储器控制器220b的命令队列280进行比较，以及通过基于比较的结果来调整或确定所调度的命令以执行调度。因此，当存在来自两个存储器控制器220a或220b的冲突性命令时，存储器控制器220a或220b中的一个可等待竞争性命令完成。协调存储器控制器220b的比较器278可将两组命令(例如一组来自协调存储器控制器220b，且另一组来自主机存储器控制器220a)进行比较。当协调存储器控制器220b确定将两组命令调度到dram210的相同存储体时，随后协调存储器控制器220b可等待直到主机存储器控制器命令完成，且可在其之后使用调度器275来调度与协调存储器控制器220b相对应的命令。

或者，因为主机存储器控制器220a可用作初级主控器，所以在协调存储器控制器220b将大体上意识到到由主机存储器控制器220a发送什么请求时，协调存储器控制器220b的调度器275可负责避免存储体冲突。举例来说，主机存储器控制器220a可将存储器内处理(pim)请求发送到dram210的第一存储体，且可阻止将其它命令发送到相同的第一存储体，直到协调存储器控制器220b完成对与第一存储体相对应的pim的处理，从而确保功能性正确性，同时降低协调存储器控制器220b的调度复杂度和资源需求。

因此，主机存储器控制器220a与协调存储器控制器220b之间的配置合约确保功能性正确性且避免存储体冲突，同时保护hbm接口和协议。另外，来自主机230的正常存储器请求可始终按需要进行。

如上文所论述，对于特定地址，主机存储器控制器220a和协调存储器控制器220b中的每一个可使用公共地址映射方案以正确地定位或指向dram210内部的实际相应位置。因为dram210组织成信道，随后是存储体，且随后是行和列，所以不同类型的地址映射方案可用于确定dram210中与特定地址相对应的位置。根据配置合约，主机存储器控制器220a和协调存储器控制器220b可使用相同地址映射方案，从而确保没有“误解”存储器请求。

根据地址映射方案，主机存储器控制器220a可发送出行的命令地址(row_ca)252和列的命令地址(col_ca)254。随后，协调存储器控制器220b可基于协调存储器控制器220b的命令地址解码器277来确定由来自主机存储器控制器220a的命令所指示的内容。随后，协调存储器控制器220b的命令地址解码器277可确定实际行命令地址256和/或实际列命令地址258，或可确定与pim命令地址262相对应的命令。

如果命令并不与pim命令相对应，那么便在比较器278中进行比较，且将输入的row_ca256和col_ca258与命令队列280内的命令进行比较。基于所述比较，协调存储器控制器220b的调度器275可调整对命令队列280内部的命令的调度。在本实施例中，命令队列280中的命令与激活命令(activationcommand；act)、读取命令(readcommand；rd)、写入命令(writecommand；wr)以及预充电命令(prechargecommand；pre)相对应，所述命令表示dram210可理解的命令。与每一命令相对应可以是指示“准备好”(r)或“未准备好”(n)的状态指示符，其可由调度器275使用以确定可在何时调度命令。

或者，主机存储器控制器220a可试图发送pim命令/pim请求，如与一般dram存取命令有区别。在由协调存储器控制器220b的命令地址解码器277执行解码操作之后，如果命令为正常dram命令，那么所述命令将直接转发到dram210。相反，如果将由协调存储器控制器220b接收到的命令翻译成pim命令，那么pim命令可进一步由pim解码器264解码，且可在命令队列280内部进行处理(例如来自命令地址解码器277，pim命令可被翻译成pim命令地址(pim_ca)262，且可发送到pim解码器264以使得pim解码器264可向命令队列280发送解码pim命令)。

图3为描绘pim完成确认的传送的时序图300。

参考图2和图3，因为协调存储器控制器220b为次级主控器，所以在试图调度命令时，协调存储器控制器220b可具有较低优先级。因此，协调存储器控制器220b可耗费较长时间量来执行其操作且完成其调度命令。因为在协调存储器控制器220b中的处理是非确定性的，且因为协调存储器控制器220b可能未在确定时间内完成pim命令(因为pim命令可能由来自作为初级主控器的主机存储器控制器220a的正常存储器请求延迟)，所以协调存储器控制器220b可明确告知主机存储器控制器220a任何pim请求/pim命令的状态。

因此，在从主机存储器控制器220a发送pim命令310之后，主机存储器控制器220a便每pim时间间隔/pim_ack时间(tpim)320(其可以是与hbm+系统200的恒定数量的时钟循环相对应的时间间隔)可监听或可监测数据总线(dq总线)284一次(其可与同步双数据速率(ddr)相对应)。主机存储器控制器220a可继续监测dq总线284以检测可指示pim命令310的处理是否已完成的pim完成确认/pim确认消息封包(pim_ack)330。pim完成确认330可由协调存储器控制器220b的pim完成确认产生器288产生。

在dq总线284上，协调存储器控制器220b可响应包含与pim完成确认330相对应的信息的封包。pim完成确认330可由协调存储器控制器220b在采样时间发送(例如每pim时间间隔320发送一次)。pim完成确认330可具现化为256位消息，其中一位与完成状态位相对应，所述完成状态位可由协调存储器控制器220b的pim完成状态寄存器286来设置且可在相关dram活动完成时设置。当pim完成确认330的完成状态位指示为假时，那么主机存储器控制器220a可继续监听dq总线284。然而，如果pim完成确认330指示完成状态位为真，那么主机存储器控制器220a可意识到所发送pim命令310已完成且标记为成功。

另外，pim完成确认330的剩余位中的一些或全部可用于提供直到完成的估算时间剩余(例如当pim完成确认330的完成状态位指示pim命令310的完成尚未出现时)。举例来说，协调存储器控制器220b可包含估算器292以估算直到pim命令310完成的估算时间剩余。因为协调存储器控制器220b可意识到其内部操作的状态，所以协调存储器控制器220b的估算器292可通过扫描命令队列280、确定命令队列280中的未决命令中的每一个的所估算时间量以及对所估算时间量一起求和来估算协调存储器控制器220b期望多少额外的时间来完成pim命令310。之后，可在完成相关dram活动时设置pim完成状态寄存器286，如可由dram完成状态指示符268所指示。因此，协调存储器控制器220b可以pim完成确认330中所指示的估算剩余时间响应主机存储器控制器220a。

因此，尽管可保护hbm接口和协议不浪费命令总线带宽，但由于将封包放置在dq总线284上以用于每一pim时间间隔320指示pim命令310的完成，所以可能使用一些额外dq总线带宽。

图4为描绘响应于轮询命令的pim完成确认的传送的时序图400。

参考图2和图4，如果由协调存储器控制器220b发送的pim完成确认330中所指示的估算剩余时间期望为低，那么主机230便可使用主机存储器控制器220a以使用轮询命令(pim_poll)410主动地轮询pim完成状态，从而使得主机存储器控制器220a能够具有对处理pim命令310所剩余时间的更精确理解。

在接收到轮询命令410之后，协调存储器控制器220b将返回pim完成确认330(例如在tpim_poll时间420内，其可以是比pim时间间隔320更频繁发生的时间间隔)。因此，主机存储器控制器220a可使用由协调存储器控制器220b发送的非请求pim完成确认330(其仅每pim时间间隔320出现一次)、以比所期望的更快发生的速率接收关于pim命令310的所期望完成的信息，如上文所论述。举例来说，基于hbm系统的现行规格，pim时间间隔320可估算为超过约50纳秒，而tpim_poll时间420可估算为约三纳秒。因为样本完成时间为约50纳秒，且因为所估算剩余时间可能偶尔极短，所以可能并不适合于等待额外50纳秒来接收实际确认状态。因此，轮询命令410可改进hbm+系统200的效率和性能。

由主动轮询提供的权益为服务样本完成时间，同时还使得主机存储器控制器220a能够更快速地接收确认状态。然而，因为新命令可用于实施主动轮询，所以额外命令总线带宽可用于实施新命令。

至于上文所论述的pim完成确认330和轮询命令410，来自dram210的数据路径可由多路复用器(mux)282来控制。mux282可将数据从dram210发送回到主机存储器控制器220a，或可将数据发送回到协调存储器控制器220b内部的处理器270。当将数据用于协调存储器控制器220b的内部操作时，所述数据可被引导到处理器270。然而，当数据是对主机存储器控制器220a的响应时，接下来所述数据可被引导到主机存储器控制器220a。dq总线284可用于传送一般数据或pim完成确认330。

尽管可保护hbm接口和协议，且尽管可确保按需要进行来自主机的一般存储器app请求(因为协调存储器控制器220b具有较低优先级)，但相应命令可能完成得比合适的情况更慢。此外，可使用解码来自主机存储器控制器220a的命令的额外循环。

根据本发明的实施例，可将给定pim命令310的优先级设置为允许pim命令310在所需时间内完成。设置优先级的这类优先级信息可嵌入于pim命令310中和/或轮询命令410中。

举例来说，为了避免协调存储器控制器220b始终未能完成对pim命令310的处理的情形，主机存储器控制器220a可作出合适的调度决策和/或将优先级信息发送到协调存储器控制器220b。因为作为次级主控器的协调存储器控制器220b可通常围绕主机存储器控制器命令调度，所以主机存储器控制器220a持续地发送命令的情形可防止协调存储器控制器220b能够调度操作以用于协调存储器控制器220b的pim命令。因此，每一pim命令310可与超时值相关联。如果在达到超时值之后(例如在已经过足够的时间量之后)，由主机存储器控制器220a接收到的pim完成确认330仍为假，接下来主机存储器控制器220a可中止向hbm信道发送一般存储器请求，从而为协调存储器控制器220b提供调度无序pim命令310的机会，从而使得pim命令310能够完成。

此外，协调存储器控制器220b可调度无序pim命令310以用于改进性能，其可致使发生在pim命令310中的较晚请求的命令之后的较早请求的pim命令310中的一些的执行。在pim命令310中，优先级字段可由主机存储器控制器220a来设置以使得协调存储器控制器220b可执行具有相对较高优先级的pim命令。即，主机存储器控制器220a可设置优先级字段以使得协调存储器控制器220b在解码优先级字段时将知道协调存储器控制器220b是否应立即执行此pim命令310。

此外，在轮询命令410中可存在优先级的字段。因此，主机存储器控制器220a可改变先前所发出pim命令310的优先级。举例来说，当协调存储器控制器220b可能开始执行具有较高优先级的pim命令时，如果主机存储器控制器220a发现pim命令310耗费不可接受地长的时间量来完成，那么主机存储器控制器220a可通过使用优先级字段逐步增加pim命令310的优先级以使得pim命令310更快速地完成。

因此，上文描述的本公开的实施例提供高带宽存储器hbm+系统。

前述说明实例实施例，且不应理解为对其限制。尽管已描述几个实例实施例，但本领域技术人员将容易了解，在实质上不脱离实例实施例的新颖教示和优势的情况下，对实例实施例的许多修改是可能的。因此，所有这类修改意图包含在如所附权利要求书中限定的实例实施例的范围内。在权利要求书中，装置加功能条款(means-plus-functionclause)意图涵盖在本文中描述为执行所述功能的结构，且不仅涵盖结构等效物而且涵盖等效结构。因此，应理解，前述说明实例实施例且不应理解为受限于所公开的特定实施例，且对所公开的实例实施例以及其它实例实施例的修改意图包含在所附权利要求书的范围内。本发明概念由以下权利要求书限定，其中权利要求书的等效物将包含在其中。