如何为不同的输入而不是[CLS]令牌初始化BertForSequenceClassification

Question

BertForSequenceClassification使用[CLS]令牌的表示来馈送线性分类器。我想利用另一个令牌(比如输入序列中的[X](，而不是[CLS]。在变形金刚中实现这一点最简单的方法是什么？

Answer 1

您可以在创建标记器时定义特殊标记。

这是一个如何修改预训练的令牌生成器的特殊令牌的示例：

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased", cls_token="[X]")

请查看BertTokenizer文档，查看您可以修改的其他特殊令牌(unk_token、sep_token、pad_token、cls_token、mask_token等(。