第PyTorch中的CUDA的操作方法目錄前言一.常見CPU和GPU操作命令二.CPU和GPU設(shè)備上的Tensor1.Tensor從CPU拷貝到GPU上2.直接在GPU上創(chuàng)建Tensor3.CUDAStreams三.固定緩沖區(qū)四.自動設(shè)備感知1.適配CPU和GPU設(shè)備2.模型遷移到GPU設(shè)備

前言

CUDA(ComputeUnifiedDeviceArchitecture)是NVIDIA推出的異構(gòu)計算平臺，PyTorch中有專門的模塊torch.cuda來設(shè)置和運行CUDA相關(guān)操作。本地安裝環(huán)境為Windows10，Python3.7.8和CUDA11.6，安裝PyTorch最新穩(wěn)定版本1.12.1如下：

pip3installtorchtorchvisiontorchaudio--extra-index-url/whl/cu116

一.常見CPU和GPU操作命令

1.查看PyTorch版本

print(torch.__version__)

1.12.1+cu116

2.查看GPU設(shè)備是否可用

print(torch.cuda.is_available())

True

3.PyTorch默認(rèn)使用設(shè)備是CPU

print("defaultdevice:{}".format(torch.Tensor([4,5,6]).device))

defaultdevice:cpu

4.查看所有可用的cpu設(shè)備的數(shù)量

print("availablecpudevices:{}".format(torch.cuda.os.cpu_count()))

availablecpudevices:20

這里CPU設(shè)備數(shù)量指的是邏輯處理器的數(shù)量。

5.查看所有可用的gpu設(shè)備的數(shù)量

print("availablegpudevices:{}".format(torch.cuda.device_count()))

availablegpudevices:1

6.獲取gpu設(shè)備的名稱

print("gpudevicename:{}".format(torch.cuda.get_device_name(torch.device("cuda:0"))))

gpudevicename:NVIDIAGeForceGTX1080Ti

7.通過device=cpu:0指定cpu:0設(shè)備

device=torch.Tensor([1,2,3],device="cpu:0").device

print("devicetype:{}".format(device))

devicetype:cpu

8.通過torch.device指定cpu:0設(shè)備

cpu1=torch.device("cpu:0")

print("cpudevice:{}:{}".format(cpu1.type,cpu1.index))

cpudevice:cpu:0

9.使用索引的方式，默認(rèn)使用CUDA設(shè)備

gpu=torch.device(0)

print("gpudevice:{}:{}".format(gpu.type,gpu.index))

gpudevice:cuda:0

10.通過torch.device(cuda:0)指定cuda:0設(shè)備

gpu=torch.device("cuda:0")

print("gpudevice:{}:{}".format(gpu.type,gpu.index))

gpudevice:cuda:0

二.CPU和GPU設(shè)備上的Tensor

默認(rèn)情況下創(chuàng)建Tensor是在CPU設(shè)備上的，但是可以通過copy_、to、cuda等方法將CPU設(shè)備中的Tensor轉(zhuǎn)移到GPU設(shè)備上。當(dāng)然也是可以直接在GPU設(shè)備上創(chuàng)建Tensor的。torch.tensor和torch.Tensor的區(qū)別是，torch.tensor可以通過device指定gpu設(shè)備，而torch.Tensor只能在cpu上創(chuàng)建，否則報錯。

1.Tensor從CPU拷貝到GPU上

#默認(rèn)創(chuàng)建的tensor是在cpu上創(chuàng)建的

cpu_tensor=torch.Tensor([[1,4,7],[3,6,9],[2,5,8]])

print(cpu_tensor.device)

#通過to方法將cpu_tensor拷貝到gpu上

gpu_tensor1=cpu_tensor.to(torch.device("cuda:0"))

print(gpu_tensor1.device)

#通過cuda方法將cpu_tensor拷貝到gpu上

gpu_tensor2=cpu_tensor.cuda(torch.device("cuda:0"))

print(gpu_tensor2.device)

#將gpu_tensor2拷貝到cpu上

gpu_tensor3=cpu_tensor.copy_(gpu_tensor2)

print(gpu_tensor3.device)

print(gpu_tensor3)

輸出結(jié)果如下：

cpu

cuda:0

cuda:0

cpu

tensor([[1.,4.,7.],

[3.,6.,9.],

[2.,5.,8.]])

主要說明下這個copy_()方法，實現(xiàn)如下：

defcopy_(self,src,non_blocking=False):

......

return_te.Tensor(*(),**{})

就是從src中拷貝元素到self的tensor中，然后返回self。以gpu_tensor3=cpu_tensor.copy_(gpu_tensor2)為例，就是把gpu中的gpu_tensor2拷貝到cpu中的cpu_tensor中。

2.直接在GPU上創(chuàng)建Tensor

gpu_tensor1=torch.tensor([[2,5,8],[1,4,7],[3,6,9]],device=torch.device("cuda:0"))

print(gpu_tensor1.device)

#在gpu設(shè)備上創(chuàng)建隨機數(shù)tensor

print(torch.rand((3,4),device=torch.device("cuda:0")))

#在gpu設(shè)備上創(chuàng)建0值tensor

print(torch.zeros((2,5),device=torch.device("cuda:0")))

輸出結(jié)果，如下：

cuda:0

tensor([[0.7061,0.2161,0.8219,0.3354],

[0.1697,0.1730,0.1400,0.2825],

[0.1771,0.0473,0.8411,0.2318]],device=cuda:0)

tensor([[0.,0.,0.,0.,0.],

[0.,0.,0.,0.,0.]],device=cuda:0)

3.CUDAStreams

Steam是CUDA命令線性執(zhí)行的抽象形式，分配給設(shè)備的CUDA命令按照入隊序列的順序執(zhí)行。每個設(shè)備都有一個默認(rèn)的Steam，也可以通過torch.cuda.Stream()創(chuàng)建新的Stream。如果不同Stream中的命令交互執(zhí)行，那么就不能保證命令絕對按順序執(zhí)行。下面的這個例子不同的Stream就可能會產(chǎn)生錯誤。

cuda=torch.device("cuda")

#創(chuàng)建默認(rèn)的stream，A就是使用的默認(rèn)stream

s=torch.cuda.Stream()

A=torch.randn((1,10),device=cuda)

foriinrange(100):

#在新的stream上對默認(rèn)的stream上創(chuàng)建的tensor進(jìn)行求和

withtorch.cuda.stream(s):

#存在的問題是：torch.sum()可能會在torch.randn()之前執(zhí)行

B=torch.sum(A)

print(B)

這個例子存在的問題是torch.sum()可能會在torch.randn()之前就執(zhí)行。為了保證Stream中的命令絕對按順序執(zhí)行，接下來使用Synchronize同步方法解決上面例子的問題：

cuda=torch.device("cuda")

s=torch.cuda.Stream()

A=torch.randn((1,10),device=cuda)

default_stream=torch.cuda.current_stream()

print("DefaultStream:{}".format(default_stream))

#等待創(chuàng)建A的stream執(zhí)行完畢

torch.cuda.Stream.synchronize(default_stream)

foriinrange(100):

#在新的stream上對默認(rèn)的stream上創(chuàng)建的tensor進(jìn)行求和

withtorch.cuda.stream(s):

print("currentstream:{}".format(torch.cuda.current_stream()))

B=torch.sum(A)

print(B)

解決問題的思路就是通過torch.cuda.Stream.synchronize(default_stream)等待創(chuàng)建A的stream執(zhí)行完畢，然后再執(zhí)行新的Stream中的指令。

除此之外，使用memory_cached方法獲取緩存內(nèi)存的大小，使用max_memory_cached方法獲取最大緩存內(nèi)存的大小，使用max_memory_allocated方法獲取最大分配內(nèi)存的大小。可以使用empty_cache方法釋放無用的緩存內(nèi)存。

三.固定緩沖區(qū)

緩存就是當(dāng)計算機內(nèi)存不足的時候，就會把內(nèi)存中的數(shù)據(jù)存儲到硬盤上。固定緩沖區(qū)就是說常駐內(nèi)存，不能把這部分?jǐn)?shù)據(jù)緩存到硬盤上。可以直接使用pin_memory方法或在Tensor上直接調(diào)用pin_memory方法將Tensor復(fù)制到固定緩沖區(qū)。為什么要做固定緩沖區(qū)呢？目的只有一個，就是把CPU上的固定緩沖區(qū)拷貝到GPU上時速度快。Tensor上的is_pinned方法可以查看該Tensor是否加載到固定緩沖區(qū)中。

fromtorch.utils.data._utils.pin_memoryimportpin_memory

x=torch.Tensor([[1,2,4],[5,7,9],[3,7,10]])

#通過pin_memory()方法將x復(fù)制到固定緩沖區(qū)

y=pin_memory(x)

#在tensor上直接調(diào)用pin_memory()方法將tensor復(fù)制到固定緩沖區(qū)

z=x.pin_memory()

#id()方法返回tensor的內(nèi)存地址，pin_memory()返回tensor對象的拷貝，因此內(nèi)存地址是不同的

print("id:{}".format(id(x)))

print("id:{}".format(id(y)))

print("id:{}".format(id(z)))

#當(dāng)tensor放入固定緩沖區(qū)后，就可以異步將數(shù)據(jù)復(fù)制到gpu設(shè)備上了

a=z.cuda(non_blocking=True)

print(a)

print("is_pinned:{}/{}".format(x.is_pinned(),z.is_pinned()))

輸出結(jié)果如下所示：

id:1605289350472

id:1605969660408

id:1605969660248

tensor([[1.,2.,4.],

[5.,7.,9.],

[3.,7.,10.]],device=cuda:0)

is_pinned:False/True

說明：通過id()查看對象的內(nèi)存地址。

四.自動設(shè)備感知

1.適配CPU和GPU設(shè)備

自動設(shè)備感知本質(zhì)上就是有GPU時就使用GPU，沒有GPU時就使用CPU，即一套代碼適配CPU和GPU設(shè)備。GPU是否存在是通過torch.cuda.is_available()判斷的。

常見的寫法如下：

device=torch.dev