下面是一个使用BERT分类器来预测每个标签的概率的示例代码:
import torch
from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练的BERT模型和tokenizer
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertForSequenceClassification.from_pretrained(model_name, num_labels=2)
# 输入的文本
text = "This is an example sentence."
# 使用tokenizer对文本进行编码
input_ids = tokenizer.encode(text, add_special_tokens=True)
input_ids = torch.tensor(input_ids).unsqueeze(0) # 添加batch维度
# 使用BERT模型进行预测
outputs = model(input_ids)
logits = outputs.logits
probabilities = torch.softmax(logits, dim=1)
# 获取每个标签的预测概率
label_probabilities = probabilities[0].tolist()
# 输出每个标签的预测概率
label_names = ["Label 1", "Label 2"]
for label, prob in zip(label_names, label_probabilities):
print(f"{label}: {prob}")
在上面的示例中,我们首先使用BertTokenizer
加载预训练的BERT模型的tokenizer。然后,我们使用BertForSequenceClassification
加载预训练的BERT模型,并指定分类器的类别数(即标签数)。接下来,我们将输入文本编码为BERT的输入格式,并将其传递给模型进行预测。模型的输出是logits,我们可以使用softmax函数将其转换为概率。最后,我们遍历每个标签和对应的概率,并将其打印出来。
请注意,上述代码中的示例是以二分类为例。如果有多个标签,你需要相应地修改num_labels
以及label_names
和label_probabilities
的处理方式。