要保存一个fine-tuned的BERT模型,你可以使用Hugging Face的transformers库。下面是一个代码示例:
from transformers import BertForSequenceClassification, BertTokenizer
# 加载预训练的BERT模型和tokenizer
model = BertForSequenceClassification.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 在这里进行fine-tuning...
# 保存fine-tuned模型
model.save_pretrained('path_to_save_model')
tokenizer.save_pretrained('path_to_save_tokenizer')
在这个示例中,我们首先从Hugging Face的transformers库中导入BertForSequenceClassification
和BertTokenizer
。然后,我们加载预训练的BERT模型和tokenizer。
接下来,你可以根据自己的任务目标进行fine-tuning,并在完成fine-tuning后使用save_pretrained
方法将fine-tuned模型保存在指定的路径中。同样,我们还可以使用save_pretrained
方法将tokenizer保存下来,以便在之后使用相同的tokenizer进行tokenization。
请确保将'path_to_save_model'
和'path_to_save_tokenizer'
替换为你想要保存模型和tokenizer的实际路径。