要保存和重新加载Hugging Face细调的transformer模型,可以使用save_pretrained()
和from_pretrained()
方法。
下面是一个示例代码,展示了如何保存和重新加载一个Hugging Face的transformer模型。
from transformers import BertTokenizer, BertForSequenceClassification
# 加载模型和分词器
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 保存模型和分词器
model.save_pretrained('model_directory')
tokenizer.save_pretrained('model_directory')
# 加载模型和分词器
model = BertForSequenceClassification.from_pretrained('model_directory')
tokenizer = BertTokenizer.from_pretrained('model_directory')
在上述示例中,我们首先加载了一个预训练的transformer模型(在这里使用了BERT模型),并初始化了一个相应的分词器。然后,我们使用save_pretrained()
方法将模型和分词器保存到指定的目录(model_directory
)。最后,我们使用from_pretrained()
方法重新加载模型和分词器,以便后续使用。
请确保在运行示例代码之前已经安装了transformers
库。可以使用以下命令进行安装:
pip install transformers
请注意,model_directory
是指定的目录路径,可以根据实际情况进行更改。
上一篇:保存和重新加载Abbyy FineReader的OCR结果
下一篇:保存和重新加载ydata-profiling / pandas-profiling ProfileReport对象以供以后使用