cuda c++是对c++的扩充，具体参考C++ Language Extensions。

cuda c++编写的kernel需要使用nvcc进行编译。

运行时库需要使用cuda runtime，其提供了在host上执行的c/c++函数，可用于allocate/deallcote device memory，transfer data between host and device memory等。

cuda runtime是构建在cuda driver api的基础上的，两者的区别是，driver api可在runtime api的基础上提供更加细粒度的控制(如context/modules)。用户可以直接调用driver api，但是大部分情况下，只使用cuda runtime api已经足够了。

3.1 nvcc编译

虽然一般使用cuda c++编写kernel，但也可以直接使用cuda指令集(PTX)编写kernel。两种情况编写的kernel都需要使用nvcc编译为可在device上执行的二进制程序。

nvcc是一个编译器driver，用于简化c++/PTX代码的编译过程。其提供了简洁/熟悉的指令，可用于多个完成多个阶段的编译任务。本节给出nvcc的workflow和常用options。

3.1.1 编译workflow

3.1.1.1 离线编译

nvcc编译的源文件可以是主机代码和device 代码的混合体。

nvcc的基本workflow是：

• 从host代码中分离出device代码；
• 将device代码编译成汇编格式(PTX代码)或二进制形式(cubin对象)；
• 将host代码中的<<<...>>>替换为必要的cuda runtime函数，然后去调用和加载对应的编译过的kernel(即上一步生成的PTX代码/cubin对象)；