以下是一个使用BERT多语言模型进行分类的示例代码:
import torch
from transformers import BertTokenizer, BertForSequenceClassification
# 加载预训练的BERT多语言模型和tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertForSequenceClassification.from_pretrained('bert-base-multilingual-cased', num_labels=2)
# 输入文本
text = "这是一个正面的例子"
# 对文本进行tokenize和编码
input_ids = tokenizer.encode(text, add_special_tokens=True)
input_ids = torch.tensor(input_ids).unsqueeze(0) # 添加batch维度
# 使用模型进行分类
outputs = model(input_ids)
predictions = outputs.logits.argmax(dim=1)
# 打印分类结果
print("预测结果:", predictions.item())
在上面的代码中,我们首先使用BertTokenizer
加载预训练的BERT多语言模型的tokenizer,然后使用BertForSequenceClassification
加载预训练的BERT多语言模型。接下来,我们将输入文本进行tokenize和编码,并将其包装成一个batch tensor。最后,我们使用模型进行分类,并打印出预测结果。
请注意,上述代码仅仅是一个简单的示例,实际应用中可能需要根据具体需求进行修改和优化。