在PyTorch中,可以使用torch.save()函数保存模型的权重和参数,然后使用torch.load()函数加载模型的检查点。
下面是一个保存和加载检查点的示例代码:
保存检查点:
import torch
# 创建一个示例模型
model = torch.nn.Linear(10, 2)
# 定义模型的优化器和损失函数
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
criterion = torch.nn.MSELoss()
# 定义模型的输入和目标
input = torch.randn(1, 10)
target = torch.randn(1, 2)
# 训练模型
for epoch in range(10):
optimizer.zero_grad()
output = model(input)
loss = criterion(output, target)
loss.backward()
optimizer.step()
# 保存模型的权重和参数
torch.save({
'epoch': 10,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'loss': loss
}, 'checkpoint.pth')
加载检查点:
import torch
# 创建一个示例模型
model = torch.nn.Linear(10, 2)
# 定义模型的优化器和损失函数
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
criterion = torch.nn.MSELoss()
# 加载之前保存的检查点
checkpoint = torch.load('checkpoint.pth')
model.load_state_dict(checkpoint['model_state_dict'])
optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
epoch = checkpoint['epoch']
loss = checkpoint['loss']
# 使用加载的检查点继续训练模型
input = torch.randn(1, 10)
target = torch.randn(1, 2)
for epoch in range(epoch, 20):
optimizer.zero_grad()
output = model(input)
loss = criterion(output, target)
loss.backward()
optimizer.step()
在以上代码中,我们首先创建了一个示例模型,并定义了优化器和损失函数。然后使用torch.save()函数保存了模型的状态字典、优化器的状态字典、当前的训练轮数和损失值到一个checkpoint.pth文件中。
在加载检查点的代码中,我们首先创建了一个新的模型和优化器。然后使用torch.load()函数加载之前保存的检查点,并使用load_state_dict()方法将加载的检查点中的模型和优化器状态字典加载到新的模型和优化器中。最后,我们继续训练模型,这次从上次保存的训练轮数开始。