用于处理嵌套流事件的方法和系统的制作方法
【专利摘要】本公开的一个实施例阐述用于在诸如图形处理单元的并行处理子系统中强制实行交叉流依赖性的技术。技术涉及对等待事件进行排队以创建交叉流依赖性并且对信令事件进行排队以指示等待事件完成。调度器内核检查来自相应流的任务状况数据结构并且更新用于流内任务和事件的依赖性计数。当用于等待事件的每个任务依赖性被满足时，相关联的任务可以执行。
【专利说明】用于处理嵌套流事件的方法和系统
【技术领域】
[0001]本发明总地涉及多线程计算机架构，并且更具体地涉及用于处理嵌套(nested)流事件的方法和系统。
【背景技术】
[0002]在具有中央处理单元(CPU)和图形处理单元(GPU)二者的常规计算系统中，CPU确定哪些具体的计算任务由GPU实施和以什么次序实施。GPU计算任务典型地包括跨并行数据集的高度并行的、高度相似的操作，该并行数据集诸如图像或图像集。在常规的GPU执行模型中，CPU通过选择相应的线程程序并且指导GPU执行线程程序的并行实例集来发起特定的计算任务。在常规的GPU执行模型中，仅CPU可以发起线程程序在GPU上的执行。在所有线程实例完成执行之后，GPU必须通知CPU并且等待另一个计算任务由CPU发出。通知CPU和等待下一个计算任务典型地是使GPU内的某些资源暂时闲置的阻塞型、序列化操作，从而降低整体系统性能。
[0003]在某些场景下可以通过在入栈缓冲区中对顺序的计算任务进行排队来改善性能，GPU可以从该入栈缓冲区中拉取工作用于执行而不需要等待CPU。当CPU能够足够快地生成用于GPU的工作,使每次GPU能够开始新的任务时工作均在入栈缓冲区内挂起(pending)时，包括固定数据流处理管线的计算任务从该入栈缓冲区模型获益。然而，依赖于数据的计算任务仍然留有在GPU结果、CPU任务管理和随后的必须由CPU来启动的GPU任务执行之间的顺序依赖性。
[0004]多线程计算模型常规地将工作组织为必须按已定义的次序完成的有序的任务流。在这类计算模型中，执行语义命令给定的任务必须在依赖任务可以执行之前完成。在简单的场景下，可以在入栈缓冲区内对任意的任务序列之间的串行依赖性进行排队用于由GPU有效率地执行。然而，某些计算模型允许潜在地跨两个或两个以上不同流的交叉流依赖性，依据该交叉流依赖性，一个流中的任务依赖于两个或两个以上不同任务完成。在这类场景下，CPU调度任务以避免死锁。在调度其他任务之前等待某些任务完成以避免死锁的过程在CPU和GPU任务执行之间创建附加的串行依赖性，这降低整体效率。
[0005]如前所示，本领域需要的是使能更有效率的和语义上完整的GPU执行的技术。
【发明内容】
[0006]本发明的一个实施例阐述了用于处理跨一组线程的多个任务的计算机实现的方法，方法包括从队列检索第一项目、确定第一项目不包括任务、确定第一项目是否包括等待事件或信令事件；作为响应，递减计数以及从队列移除第一项目。
[0007]本发明的其他实施例包括但不限于包括当由处理单元执行时使处理单元实施本文所描述的技术的指令的计算机可读存储介质，以及包括配置为实施本文所描述的技术的处理单元的计算设备。
[0008]所公开的方法的一个优势是GPU可以正确地并且有效率地在具有交叉流依赖性的任务中强制实行执行次序而不需要CPU的干预。
【专利附图】
【附图说明】
[0009]因此，可以详细地理解本发明的上述特征，并且可以参考实施例得到对如上面所简要概括的本发明更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本发明的典型实施例，因此不应被认为是对其范围的限制，本发明可以具有其他等效的实施例。
[0010]图1是示出了配置为实现本发明的一个或多个方面的计算机系统的框图；
[0011]图2是根据本发明的一个实施例的、用于图1的计算机系统的并行处理子系统的框图；
[0012]图3A是根据本发明的一个实施例的、图2的前端的框图；
[0013]图3B是根据本发明的一个实施例的、图2的并行处理单元之一内的通用处理集群的框图；
[0014]图3C是根据本发明的一个实施例的、图3B的流多处理器的一部分的框图；
[0015]图4示出了根据本发明的一个实施例的、在并行处理子系统上的嵌套任务执行；
[0016]图5示出了根据本发明实施例的、用于父线程程序启动子网格的事件序列；
[0017]图6示出了根据本发明的一个实施例的、用于嵌套执行子系统的系统元件；
[0018]图7示出了根据本发明的一个实施例的、包括相关联的任务元数据描述符队列和任务的示例性层次执行图；
[0019]图8示出了根据本发明的另一个实施例的、包括相关联的任务元数据描述符队列和任务的相关层次执行图；
[0020]图9A示出了根据本发明的一个实施例的、具有交叉流依赖性的任务的示例性层次执行图；
[0021]图9B示出了根据本发明的一个实施例的、用于在不同流中的依赖任务之间强制实行执行次序的任务和事件的等价层次执行图；
[0022]图10示出了根据本发明的一个实施例的、包括与线程组相关联的参数和上下文信息的线程组上下文数据结构；
[0023]图1lA示出了根据本发明的一个实施例的、包括与计算任务相关联的参数的任务状况数据结构；
[0024]图1lB示出了根据本发明的一个实施例的、包括与信号事件相关联的参数的信号事件状况数据结构；
[0025]图1lC示出了根据本发明的一个实施例的、包括与计算任务相关联的参数的等待事件状况数据结构；以及
[0026]图12是根据本发明的一个实施例的、用于确定任务执行依赖性已经被满足的方法步骤的流程图。
【具体实施方式】
[0027]在下面的描述中，将阐述大量的具体细节以提供对本发明更透彻的理解。然而，本领域的技术人员应该清楚，本发明可以在没有一个或多个这些具体细节的情况下得以实施。
[0028]系统概述
[0029]图1为示出了配置为实现本发明的一个或多个方面的计算机系统100的框图。计算机系统100包括经由可以包括存储器桥105的互连路径通信的中央处理单元(CPU) 102和系统存储器104。存储器桥105可以是例如北桥芯片，经由总线或其他通信路径106 (例如超传输(HyperTransport)链路)连接到I/O (输入/输出)桥107。I/O桥107，其可以是例如南桥芯片，从一个或多个用户输入设备108 (例如键盘、鼠标)接收用户输入并且经由通信路径106和存储器桥105将该输入转发到CPU102。并行处理子系统112经由总线或第二通信路径113 (例如外围部件互连(PCI)Express、加速图形端口或超传输链路)耦连到存储器桥105 ;在一个实施例中，并行处理子系统112是将像素传递到显示设备110 (例如传统的基于阴极射线管或液晶显示器的监视器)的图形子系统。系统盘114也连接到I/O桥107。交换器116提供I/O桥107与诸如网络适配器118以及各种插卡120和121的其他部件之间的连接。其他部件(未明确示出)，包括通用串行总线(USB)或其他端口连接、压缩光盘(CD)驱动器、数字视频光盘(DVD)驱动器、胶片录制设备及类似部件，也可以连接到I/
O桥107。图1所示的各种通信路径包括具体命名的通信路径106和113可以使用任何适合的协议实现，诸如PC1-EXpreSS、AGP (加速图形端口)、超传输或者任何其他总线或点到点通信协议，并且如本领域已知的，不同设备间的连接可使用不同协议。
[0030]在一个实施例中，并行处理子系统112包含经优化用于图形和视频处理的电路，包括例如视频输出电路，并且构成图形处理单元(GPU)。在另一个实施例中，并行处理子系统112包含经优化用于通用处理的电路，同时保留底层(underlying)的计算架构，本文将更详细地进行描述。在又一个实施例中，可以将并行处理子系统112与一个或多个其他系统元件集成在单个子系统中，诸如结合存储器桥105、CPU102以及I/O桥107，以形成片上系统(SoC)。
[0031]应该理解，本文所示系统是示例性的，并且变化和修改都是可能的。连接拓扑，包括桥的数目和布置、CPU102的数目以及并行处理子系统112的数目，可根据需要修改。例如，在一些实施例中，系统存储器104直接连接到CPU102而不是通过桥，并且其他设备经由存储器桥105和CPU102与系统存储器104通信。在其他替代性拓扑中，并行处理子系统112连接到I/O桥107或直接连接到CPU102，而不是连接到存储器桥105。而在其他实施例中，I/O桥107和存储器桥105可能被集成到单个芯片上而不是作为一个或多个分立设备存在。大型实施例可以包括两个或两个以上的CPU102以及两个或两个以上的并行处理子系统112。本文所示的特定部件是可选的；例如，任何数目的插卡或外围设备都可能得到支持。在一些实施例中，交换器116被去掉，网络适配器118和插卡120、121直接连接到I/O桥 107。
[0032]图2示出了根据本发明一个实施例的并行处理子系统112。如所示的，并行处理子系统112包括一个或多个并行处理单元(PI3U) 202，每个并行处理单元202都耦连到本地并行处理(PP)存储器204。通常，并行处理子系统包括U个PPU，其中US I。(本文中，类似对象的多个实例需要时以标识对象的参考数字和标识实例的括号中的数字来表示。)PPU202和并行处理存储器204可使用一个或多个集成电路设备来实现，诸如可编程处理器、专用集成电路(ASIC)或存储器设备，或者以任何其他技术上可行的方式来实现。[0033]再参考图1以及图2，在一些实施例中，并行处理子系统112中的一些或所有PPU202是具有渲染管线的图形处理器，其可以配置为实施与下述相关的各种操作:经由存储器桥105和第二通信路径113从CPU102和/或系统存储器104所供应的图形数据生成像素数据，与本地并行处理存储器204 (可被用作图形存储器，包括例如常规帧缓冲区(buffer))交互以存储和更新像素数据，传递像素数据到显示设备110等等。在一些实施例中，并行处理子系统112可包括一个或多个作为图形处理器而操作的PPU202以及一个或多个用于通用计算的其他PPU202。这些PTO可以是同样的或不同的，并且每个PPU可具有专用并行处理存储器设备或不具有专用并行处理存储器设备。并行处理子系统112中的一个或多个PPU202可输出数据到显示设备110，或者并行处理子系统112中的每个PPU202可输出数据到一个或多个显示设备110。
[0034]在操作中，CPU102是计算机系统100的主处理器，控制和协调其他系统部件的操作。具体地，CPU102发出控制PPU202的操作的命令。在一些实施例中，CPU102写入用于每个PPU202的命令流到数据结构中(在图1或图2中未明确示出)，该数据结构可位于系统存储器104、并行处理存储器204、或CPU102和PPU202都可访问的其他存储位置中。将指向每个数据结构的指针写到入栈缓冲区(pushbuffer)以发起对数据结构中的命令流的处理。PPU202从一个或多个入栈缓冲区读取命令流，然后相对于CPU102的操作异步地执行命令。可以经由设备驱动程序103由应用程序为每个入栈缓冲区指定执行优先级以控制对不同入栈缓冲区的调度。
[0035]现在返回参考图2和图1，每个PPU202包括经由连接到存储器桥105 (或者，在一个替代性实施例中，直接连接到CPU102)的通信路径113与计算机系统100的其余部分通信的I/O (输入/输出)单元205。PPU202到计算机系统100的其余部分的连接也可以变化。在一些实施例中，并行处理子系统112可实现为可插入到计算机系统100的扩展槽中的插卡。在其他实施例中，PPU202可以和诸如存储器桥105或I/O桥107的总线桥集成在单个芯片上。而在其他实施例中，PPU202的一些或所有元件可以和CPU102集成在单个芯片上。
[0036]在一个实施例中,通信路径113是PCI Express链路,如本领域所知的,其中专用通道被分配到每个PPU202。也可以使用其他通信路径。I/O单元205生成用于在通信路径113上传送的包(或其他信号)，并且还从通信路径113接收所有传入的包(或其他信号)，将传入的包引导到PPU202的适当部件。例如，可将与处理任务相关的命令引导到主机接口206，而将与存储器操作相关的命令(例如，对并行处理存储器204的读取或写入)引导到存储器交叉开关单元210。主机接口 206读取每个入栈缓冲区，并且将存储在入栈缓冲区中的命令流输出到前端212。
[0037]有利地，每个PPU202都实现高度并行处理架构。如详细示出的，PPU202 (O)包括处理集群阵列230，该阵列230包括C个通用处理集群(GPC)208，其中C≥I。每个GPC208能够并发执行大量的(例如，几百或几千)线程，其中每个线程是程序的实例(instance)。在各种应用中，可分配不同的GPC208用于处理不同类型的程序或用于执行不同类型的计算。GPC208的分配可以取决于因每种类型的程序或计算所产生的工作量而变化。
[0038]GPC208从任务/工作单元207内的工作分布单元接收所要执行的处理任务。工作分布单元接收指向编码为任务元数据(TMD)并存储在存储器中的处理任务的指针。指向TMD的指针包括在存储为入栈缓冲区并由前端单元212从主机接口 206接收的命令流中。可以编码为TMD的处理任务包括所要处理的数据的索引，以及定义数据将被如何处理(例如，什么程序将被执行)的状态参数和命令。任务/工作单元207从前端212接收任务并确保在每一个TMD所指定的处理发起前，将GPC208配置为有效状态。可以为每个TMD指定用来调度处理任务的执行的优先级。还可从处理集群阵列230接收处理任务。可选地，TMD可包括控制将TMD添加到处理任务列表(或指向处理任务的指针的列表)的头部还是尾部的参数，从而提供除优先级以外的另一级别的控制。
[0039]存储器接口 214包括D个分区单元215，每个分区单元215直接耦连到并行处理存储器204的一部分，其中D > I。如所示的，分区单元215的数目一般等于动态随机存取存储器(DRAM) 220的数目。在其他实施例中，分区单元215的数目也可以不等于存储器设备的数目。本领域的技术人员应该理解DRAM220可以用其他合适的存储设备来替代并且可以是一般常规的设计。因此省略了详细描述。诸如帧缓冲区或纹理映射图的渲染目标可以跨DRAM220加以存储，这允许分区单元215并行写入每个渲染目标的各部分以有效地使用并行处理存储器204的可用带宽。
[0040]任何一个GPC208都可以处理要被写到并行处理存储器204内的任何DRAM220的数据。交叉开关单元210配置为路由每个GPC208的输出到任何分区单元215的输入或到另一个GPC208用于进一步处理。GPC208通过交叉开关单元210与存储器接口 214通信，以对各种外部存储器设备进行读取或写入。在一个实施例中，交叉开关单元210具有到存储器接口 214的连接以和I/O单元205通信，以及到本地并行处理存储器204的连接，从而使得在不同GPC208内的处理内核能够与系统存储器104或对于PPU202而言非本地的其他存储器通信。在图2所示的实施例中，交叉开关单元210直接与I/O单元205连接。交叉开关单元210可使用虚拟信道来分开GPC208与分区单元215之间的业务流。
[0041]另外，GPC208可被编程以执行与种类繁多的应用相关的处理任务，包括但不限于，线性和非线性数据变换、视频和/或音频数据过滤、建模操作(例如，应用物理定律以确定对象的位置、速率和其他属性)、图像渲染操作(例如，曲面细分(tessellation)着色器、顶点着色器、几何着色器、和/或像素着色器程序)等等。PPU202可将数据从系统存储器104和/或本地并行处理存储器204转移到内部(片上)存储器中，处理该数据，并且将结果数据写回到系统存储器104和/或本地并行处理存储器204，其中这样的数据可以由其他系统部件访问，所述其他系统部件包括CPU102或另一个并行处理子系统112。
[0042]PPU202可配备有任何容量(amount)的本地并行处理存储器204，包括没有本地存储器，并且可以以任何组合方式使用本地存储器和系统存储器。例如，在统一存储器架构(UMA)实施例中，PPU202可以是图形处理器。在这样的实施例中，将不提供或几乎不提供专用的图形(并行处理)存储器，并且PPU202会以排他或几乎排他的方式使用系统存储器。在UMA实施例中，PPU202可集成到桥式芯片中或处理器芯片中，或作为具有高速链路(例如，PCI Express)的分立芯片提供，所述高速链路经由桥式芯片或其他通信手段将PPU202连接到系统存储器。
[0043]如上所示，在并行处理子系统112中可以包括任何数目的PPU202。例如，可在单个插卡上提供多个PPU202、或可将多个插卡连接到通信路径113、或可将一个或多个PPU202集成到桥式芯片中。在多PPU系统中的PPU202可以彼此同样或不同。例如，不同的PPU202可能具有不同数目的处理内核、不同容量的本地并行处理存储器等等。在存在多个PPU202的情况下，可并行操作那些PPU从而以高于单个PPU202所可能达到的吞吐量来处理数据。包含一个或多个PPU202的系统可以以各种配置和形式因素来实现，包括台式电脑、笔记本电脑或手持式个人计算机、服务器、工作站、游戏控制台、嵌入式系统等等。
[0044]多个并发任务调度
[0045]可以在GPC208上并发执行多个处理任务并且处理任务在执行期间可以生成一个或多个“子”处理任务。任务/工作单元207接收任务并动态调度处理任务和子处理任务用于由GPC208执行。
[0046]图3A为根据本发明一个实施例的图2的任务/工作单元207的框图。任务/工作单元207包括任务管理单元300和工作分布单元340。任务管理单元300基于执行优先级级别来组织所要调度的任务。对于每个优先级级别，任务管理单元300将指向与任务相对应的TMD322的指针的列表存储在调度器表321中，其中所述列表可以实现为链表。可以将TMD322存储在PP存储器204或系统存储器104中。任务管理单元300接受任务并将任务存储在调度器表321中的速度与任务管理单元300调度任务用于执行的速度是解耦的。因此，任务管理单元300可以在调度任务之前收集数个任务。之后可以基于优先级信息或使用其他技术诸如轮叫调度来调度所收集的任务。
[0047]工作分布单元340包括具有槽的任务表345，每个槽可以被用于正在执行的任务的TMD322所占用。当任务表345中有空闲槽时，任务管理单元300可以调度任务用于执行。当没有空闲槽时，未占用槽的较高优先级任务可以驱逐占用槽的较低优先级任务。当任务被驱逐时，该任务被停止，并且如果该任务的执行没有完成，则将指向该任务的指针添加到所要调度的任务指针的列表以使得任务的执行稍后将恢复。当生成子处理任务时，在任务的执行期间，将指向该子任务的指针添加到所要调度的任务指针的列表。可以由在处理集群阵列230中执行的TMD322生成子任务。
[0048]不同于由任务/工作单元207从前端212接收的任务，子任务从处理集群阵列230接收。子任务不被插入入栈缓冲区或传送到前端。当生成子任务或将用于子任务的数据存储在存储器中时不通知CPU102。通过入栈缓冲区提供的任务与子任务之间的另一个区别是通过入栈缓冲区提供的任务由应用程序来定义而子任务是在任务执行期间动态生成的。
[0049]任务处理概述
[0050]图3B为根据本发明一个实施例的在图2的PPU202之一内的GPC208的框图。每个GPC208可配置为并行执行大量线程，其中术语“线程”是指在特定输入数据集上执行的特定程序的实例。在一些实施例中，单指令、多数据(SIMD)指令发出技术用于在不提供多个独立指令单元的情况下支持大量线程的并行执行。在其他实施例中，单指令、多线程(SMT)技术用于使用配置为向GPC208中的每一个内的处理引擎集发出指令的公共指令单元来支持大量一般来说同步的线程的并行执行。不同于所有处理引擎通常都执行同样指令的SMD执行机制，SIMT执行通过给定线程程序允许不同线程更容易跟随分散执行路径。本领域普通技术人员应该理解SMD处理机制代表SMT处理机制的功能子集。
[0051]经由将处理任务分布到流多处理器(SM) 310的管线管理器305来有利地控制GPC208的操作。管线管理器305还可配置为通过为由SM310所输出的处理数据指定目的地来控制工作分布交叉开关330。
[0052]在一个实施例中，每个GPC208包括M个SM310，其中M≥1，每个SM310配置为处理一个或多个线程组。另外，如本领域已知的，每个SM310有利地包括可以管线化的同样功能执行单元集(例如执行单元和加载-存储单元一在图3C中示出为Exec单元302和LSU303 )，其允许在前一个指令完成之前发出新指令。可提供功能执行单元的任何组合。在一个实施例中，功能单元支持各种各样的操作，包括整数和浮点运算(例如加法和乘法)、比较操作、布尔操作(AND、OR、X0R)、移位和各种代数函数的计算(例如平面插值、三角函数、指数函数和对数函数等等)；以及相同功能单元硬件可均衡地用来实施不同的操作。
[0053]如本文之前所定义的，传送到特定GPC208的一系列指令构成线程，并且跨SM310内的并行处理引擎(未示出)的某一数目的并发执行线程的集合在本文中称为“线程束(warp)”或“线程组”。如本文所使用的，“线程组”是指对不同输入数据并发执行相同程序的一组线程，所述组的一个线程被指派到SM310内的不同处理引擎。线程组可以包括比SM310内的处理引擎数目少的线程，在这种情况下一些处理引擎将在该线程组正在被处理的周期期间处于闲置状态。线程组还可以包括比SM310内的处理引擎数目多的线程，在这种情况下处理将在连续的时钟周期内发生。因为每个SM310可以并发支持多达G个线程组，结果是在任何给定时间在GPC208中可以执行多达G*M个线程组。
[0054]此外，多个相关线程组可以在SM310内同时活动(在执行的不同阶段)。该线程组集合在本文中称为“协作线程阵列”(“CTA”)或“线程阵列”。特定CTA的大小等于m*k，其中k是线程组中并发执行线程的数目并且通常是SM310内的并行处理引擎数目的整数倍，以及m是SM310内同时活动的线程组的数目。CTA的大小一般由编程者以及可用于CTA的硬件资源诸如存储器或寄存器的容量来确定。
[0055]每个SM310包含一级(LI)高速缓存(图3C所示)或使用用于实施加载和存储操作的SM310外部的相应LI高速缓存中的空间。每个SM310都还有权访问在所有GPC208之间共享并且可用于在线程之间转移数据的二级(L2)高速缓存。最后，SM310还有权访问片夕卜“全局”存储器，所述“全局”存储器可以包括例如并行处理存储器204和/或系统存储器104。应该理解，PPU202外部的任何存储器可用作全局存储器。此外，一点五级(L1.5)高速缓存335可以包括在GPC208内，其配置为接收并保持由SM310所请求的经由存储器接口 214从存储器获取的数据，包括指令、一致(uniform)数据和常数数据，并将所请求的数据提供给SM310。在GPC208中具有多个SM310的实施例有利地共享了高速缓存在L1.5高速缓存335中的公共指令和数据。
[0056]每个GPC208可以包括配置为将虚拟地址映射到物理地址中的存储器管理单元(MMU) 328ο在其他实施例中，MMU328可以驻留在存储器接口 214内。MMU328包括用于将虚拟地址映射到像素块(tile)的物理地址的页表条目(PTE)集和可选地包括高速缓存行索引。MMU328可以包括地址转换后备缓冲区(TLB)或可以驻留在多处理器SM310或LI高速缓存或GPC208内的高速缓存。物理地址经处理以分布表面数据访问位置来允许高效请求在分区单元215之间交错。高速缓存行索引可用于确定用于高速缓存行的请求是命中还是未命中。
[0057]在图形和计算应用中，GPC208可配置为使得每个SM310耦连到用于实施纹理映射操作例如确定纹理样本位置、读取纹理数据以及过滤该纹理数据的纹理单元315。从内部纹理LI高速缓存(未示出)或者在一些实施例中从SM310内的LI高速缓存读取纹理数据并根据需要从在所有GPC208之间共享的L2高速缓存、并行处理存储器204或系统存储器104中获取纹理数据。为了将所处理的任务提供给另一个GPC208用于进一步处理或为了经由交叉开关单元210将所处理的任务存储在L2高速缓存、并行处理存储器204或系统存储器104中，每个SM310将所处理的任务输出到工作分布交叉开关330。preROP (预光栅操作)325配置为从SM310接收数据、将数据引导到分区单元215内的ROP单元以及针对颜色混合实施优化、组织像素颜色数据和实施地址转译。
[0058]应该理解本文所述的内核架构是示例性的并且变化和修改都是可能的。任何数目的处理单元例如SM310或纹理单元315、preR0P325可以包括在GPC208内。进一步地，如图2所示，PPU202可以包括任何数目的GPC208，所述GPC208有利地在功能上彼此相似以使得执行行为不取决于哪个GPC208接收特定处理任务。进一步地，每个GPC208有利地使用分开且各异的处理单元、LI高速缓存来独立于其他GPC208操作以为一个或多个应用程序执行任务。
[0059]本领域普通技术人员应该理解图1、2、3A和3B所描述的架构决不限制本发明的范围并且在不脱离本发明范围的情况下本文所教导的技术可以在任何经适当配置的处理单元上实现，所述处理单元包括但不限于一个或多个CPU、一个或多个多核CPU、一个或多个PPU202、一个或多个GPC208、一个或多个图形或专用处理单元等等。
[0060]在本发明的实施例中，使用计算系统的PPU202或其他处理器来使用线程阵列执行通用计算是可取的。为线程阵列中的每个线程指派在线程的执行期间对于线程可访问的唯一的线程标识符(“线程ID”)。可被定义为一维或多维数值的线程ID控制线程处理行为的各方面。例如，线程ID可用于确定线程将要处理输入数据集的哪部分和/或确定线程将要产生或写输出数据集的哪部分。
[0061]每线程指令序列可包括定义线程阵列的代表性线程和一个或多个其他线程之间的协作行为的至少一个指令。例如，每线程指令序列可能包括在序列中的特定点处暂停用于代表性线程的操作执行直到诸如其他线程的一个或多个到达该特定点的时间为止的指令、用于代表性线程将数据存储在其他线程的一个或多个有权访问的共享存储器中的指令、用于代表性线程原子地读取和更新存储在其他线程的一个或多个基于它们的线程ID有权访问的共享存储器中的数据的指令等等。CTA程序还可以包括计算数据将从其读取的共享存储器中的地址的指令，该地址是线程ID的函数。通过定义合适的函数并提供同步技术，可以以可预测的方式由CTA的一个线程将数据写入共享存储器中的给定位置并由同一个CTA的不同线程从该位置读取数据。因此，数据在线程之间共享的任何期望模式可以得到支持，以及CTA中的任何线程可以与同一个CTA中的任何其他线程共享数据。如果存在数据在CTA的线程之间的共享，则其范围由CTA程序确定；因此，应该理解的是，在使用CTA的特定应用中，CTA的线程可能会或可能不会真正互相共享数据，这取决于CTA程序，术语“CTA”和“线程阵列”在本文作为同义词使用。
[0062]图3C为根据本发明一个实施例的图3B的SM310的框图。SM310包括配置为经由L1.5高速缓存335从存储器接收指令和常数的指令LI高速缓存370。线程束调度器和指令单元312从指令LI高速缓存370接收指令和常数并根据该指令和常数控制本地寄存器堆304和SM310功能单元。SM310功能单元包括N个exec (执行或处理)单元302和P个加载-存储单元(LSU) 303。
[0063]SM310提供具有不同级别的可访问性的片上(内部)数据存储。特殊寄存器(未示出)对于LSU303可读但不可写并且用于存储定义每个线程的“位置”的参数。在一个实施例中，特殊寄存器包括每线程(或SM310内的每exec单元302) —个的存储线程ID的寄存器；每个线程ID寄存器仅由各自的exec单元302可访问。特殊寄存器还可以包括附加寄存器，其对于执行由TMD322所代表的同一个处理任务的所有线程(或由所有LSU303)可读，其存储CTA标识符、CTA维数、CTA所属网格(grid)的维数(或队列位置，如果TMD322编码队列任务而不是网格任务的话)、以及CTA被指派到的TMD322的标识符。
[0064]如果TMD322是网格TMD，则TMD322的执行会启动和执行固定数目的CTA以处理存储在队列525中的固定量的数据。将CTA的数目指定为网格宽度、高度和深度的乘积。可以将固定量的数据存储在TMD322中或TMD322可以存储指向将由CTA所处理的数据的指针。TMD322还存储由CTA所执行的程序的开始地址。
[0065]如果TMD322是队列TMD，那么使用TMD322的队列特点，这意味着将要被处理的数据量不一定是固定的。队列条目存储用于由指派到TMD322的CTA所处理的数据。队列条目还可以代表在线程执行期间由另一个TMD322所生成的子任务，从而提供嵌套并行性。通常线程或包括线程的CTA的执行被暂停直到子任务的执行完成。可以将队列存储在TMD322中或与TMD322分开存储，在该情况下TMD322存储指向该队列的队列指针。有利地，当代表子任务的TMD322正在执行时可以将由子任务所生成的数据写到队列。队列可以实现为循环队列以使得数据的总量不限于队列的大小。
[0066]属于网格的CTA具有指示网格内各自CTA的位置的隐含网格宽度、高度和深度参数。在初始化期间响应于经由前端212从设备驱动程序103所接收的命令来写特殊寄存器并且在处理任务的执行期间特殊寄存器不改变。前端212调度每个处理任务用于执行。每个CTA与具体TMD322相关联用于一个或多个任务的并发执行。此外，单个GPC208可以并发执行多个任务。
[0067]参数存储器(未示出)存储可由同一个CTA内的任何线程(或任何LSU303)读取但不可由其写入的运行时间参数(常数)。在一个实施例中，设备驱动程序103在引导SM310开始执行使用参数的任务之前将这些参数提供给参数存储器。任何CTA内的任何线程(或SM310内的任何exec单元302)可以通过存储器接口 214访问全局存储器。可以将全局存储器的各部分存储在LI高速缓存320中。
[0068]每个线程将本地寄存器堆304用作暂存空间；每个寄存器被分配以专用于一个线程，并且在本地寄存器堆304的任何部分中的数据仅对于寄存器被分配到的线程可访问。本地寄存器堆304可以实现为物理上或逻辑上分为P个通道的寄存器堆，每个通道具有一定数目的条目(其中每个条目可以存储例如32位字)。将一个通道指派到N个exec单元302和P个下载-存储单元LSU303的每一个，并且利用用于执行同一个程序的不同线程的数据来填充不同通道中的相应条目以帮助SIMD执行。可以将通道的不同部分分配到G个并发线程组中的不同线程组，以使得本地寄存器堆304中的给定条目仅对于特定线程可访问。在一个实施例中，保留本地寄存器堆304内的某些条目用于存储线程标识符，实现特殊寄存器之一。此外，一致LI高速缓存375存储用于N个exec单元302和P个下载-存储单元LSU303的每个通道的一致值或常数值。
[0069]共享存储器306对于单个CTA内的线程可访问；换言之，共享存储器306中的任何位置对于同一个CTA内的任何线程(或对于SM310内的任何处理引擎)可访问。共享存储器306可以实现为具有允许任何处理引擎对共享存储器中的任何位置读取或写入的互连的共享寄存器堆或共享片上高速缓存存储器。在其他实施例中，共享状态空间可能映射到片外存储器的每CTA区上并被高速缓存在LI高速缓存320中。参数存储器可以实现为在实现共享存储器306的同一个共享寄存器堆或共享高速缓存存储器内的指定部分，或者实现为LSU303对其具有只读访问权限的分开的共享寄存器堆或片上高速缓存存储器。在一个实施例中，实现参数存储器的区域还用于存储CTA ID和任务ID，以及CTA和网格维数或队列位置，实现特殊寄存器的各部分。SM310中的每个LSU303耦连到统一地址映射单元352，统一地址映射单元352将为在统一存储器空间中所指定的加载和存储指令所提供的地址转换为每个各异存储器空间中的地址。因此，指令可以用于通过指定统一存储器空间中的地址来访问本地、共享或全局存储器空间中的任何一个。
[0070]每个SM310中的LI高速缓存320可以用于高速缓存私有的每线程本地数据还有每应用全局数据。在一些实施例中，可以将每CTA共享数据高速缓存在LI高速缓存320中。LSU303经由存储器和高速缓存互连380耦连到共享存储器306和LI高速缓存320。
[0071]嵌套执行流
[0072]嵌套并行性使得上述线程组内的线程能够独立地启动一个或多个子线程组并对一个或多个子线程组实施线程同步边界以维持合适的执行次序。该基本能力使得要求条件执行的广泛种类的算法能够被有效率地映射到并行处理子系统112上。通过转换层次执行图为包括激发事件和可以在完成之前等待激发事件或任务的等待事件，来促进包括线程组的任务之间的交叉流依赖性。在并行处理子系统112内支持交叉流依赖性使能更完整的语义模型用于计算而不引发与基于CPU的任务管理相关联的低效。
[0073]图4示出了根据本发明的一个实施例的、在并行处理子系统112上的嵌套任务执行。如所示的，CPU102在并行处理子系统112上发起示例性任务420的执行。在任务420
(O)完成之后，任务420 (I)执行。在任务420 (I)完成之后，任务420 (2)执行。在执行的过程中，例如，任务420 (I)唤起任务430 (O)到430 (2)以计算由任务420 (I)所使用的中间结果。为维护适当的指令执行次序，任务420(1)应该在继续之前等待直到任务430完成为止。为以此方式等待，任务420( I)可以在任务430上的线程同步障碍(synchronizationbarrier)处阻塞。如之前所定义的，每个任务420、430可以由一个或多个线程、CTA或网格实施。
[0074]在该示例中，任务420 (I)是任务430的父，任务430因此是任务420 (I)的子。虽然图4中显示了仅一个级别的父子层次(嵌套深度)，但是实际上可以实现任意的层次。在一个实施例中，嵌套深度由若干调度组所限制。在调度组内优先级可以分派为子执行高于父执行。在一个实施例中，任务420和430每个执行为图3B的SM310内的至少一个CTA或至少一个线程组。为使得具有父和子关系的线程程序能够在SM310上执行，应该实现三个系统元件，包括用于并行处理子系统112的硬件功能、用于并行处理子系统112的软件运行时功能和用于编程并行处理子系统112的语言支持构造。
[0075]支持父线程在并行处理子系统112内启动子线程、CTA或网格所需的硬件功能包括启动来自由SM310所生成并且被排队用于执行的对任务/工作单元207的请求的工作的新的网格或CTA、保存用于SM310的执行状态、在SM310内从所保存的执行状态继续执行、以及促进父和子任务之间的存储器连贯性。支持父线程在处理子系统112内启动子线程、CTA或网格所需的运行时特征包括响应于来自在SM310内执行的线程的请求而启动新的网格、使得父线程能够对子线程组实施线程同步障碍、确保父线程和子组之间的存储器连贯性、调度经同步的线程组的工作和继续用于所保证的向前的计算进展、以及确保适当的执行语义用于父线程和子组。语言支持构造包括用于指定来自父线程的子线程程序的启动以及对子程序执行同步障碍的机制。
[0076]使用面向线程的编程环境，诸如来自NVIDIA (tm)的CUDA (tm)编程环境对并行处理子系统112进行编程。在一个实施例中，CUDA语言规范被扩展以包括子启动构造(“〈〈〈>>>”)来指定用于启动子CUDA网格的细节。本文指示为“A〈〈〈B>?C”的子启动构造包括子程序名(A)、网格启动参数(B)和输入参数(C)。CUDA运行时环境被扩展以使得父线程能够对子CUDA网格实施同步障碍。尽管目前的讨论在CUDA编程环境的上下文中示出了本发明的实施例，但是本领域技术人员将认识到本文所教导的技术适用于任何并行编程环境和任何并行处理系统。因此，对CUDA的引用仅用于例示性的目的而非旨在限定本发明的范围和精神。
[0077]以下，表1示出了在示例性CUDA程序中的子启动构造和同步障碍的使用:
[0078]表1
【权利要求】
1.一种用于处理跨一组线程的多个任务的计算机实现的方法，所述方法包括: 从队列检索第一项目； 确定所述第一项目不包括任务； 确定所述第一项目是否包括等待事件或信令事件； 作为响应，递减计数；以及 从所述队列移除所述第一项目。
2.如权利要求1所述的方法，其中所述第一项目包括信令事件，并且递减计数包括递减与事件标识符相关联的每个依赖性计数。
3.如权利要求1所述的方法，其中所述事件标识符代表给定任务的完成，并且每个依赖性计数代表正在等待所述给定任务完成的不同的其他任务。
4.如权利要求3所述的方法，进一步包括递归地遍历指向多个节点的多个指针，其中每个指针指向不同的节点，并且每个节点与正在等待所述给定任务完成的所述不同的其他任务之一相关联。
5.如权利要求1所述的方法，其中所述第一项目包括等待事件，并且递减计数包括递减与所述等待事件相关联的依赖性计数。
6.如权利要求5所述的方法，其中所述等待事件起阻塞任何等待给定任务完成的任务的执行的作用。
7.如权利要求6所述的方法，其中正在等待所述给定任务完成的与所述队列相关联的所有任务驻留在所述等待事件后面的所述队列中。
8.如权利要求5所述的方法，进一步包括确定所述依赖性计数等于零。
9.如权利要求8所述的方法，进一步包括从所述队列检索第二项目。
10.如权利要求9所述的方法，进一步包括确定所述第二项目包括任务，并且使所述任务被执行。
11.一种计算设备，包括: 中央处理单元；以及 并行处理单子单元，其耦连到所述中央处理单元，包括: 子系统，其包括流多处理器，所述流多处理器配置为: 从队列检索第一项目； 确定所述第一项目不包括任务； 确定所述第一项目是否包括等待事件或信令事件； 作为响应，递减计数；以及 从所述队列移除所述第一项目。
【文档编号】G06F9/38GK103559014SQ201310169317
【公开日】2014年2月5日 申请日期:2013年5月9日 优先权日:2012年5月9日
【发明者】卢克·杜兰特 申请人:辉达公司