我想构建一个只需要语言模型的编码器部分的分类模型。我试过伯特，罗伯塔，xlnet，到目前为止我都很成功。
我现在只想从T5测试编码器部分，到目前为止，我发现了encT5https://github.com/monologg/EncT5
和HuggingFace的T5EncoderModel。
有人能帮我了解T5EncoderModel是否是我想要的吗？
它在描述中说：裸露的T5型号变压器输出编码器的原始隐藏状态，顶部没有任何特定的头部。
这让我有点困惑，尤其是encT5提到他们实现编码器部分只是因为它在HuggingFace中不存在，这让我在这里更加怀疑。
请注意，我是深度学习的初学者，所以请对我宽容一点。我知道任何问题对你们大多数人来说都可能很天真。
谢谢
仅加载T5编码器检查点：
from transformers import T5EncoderModel
T5EncoderModel._keys_to_ignore_on_load_unexpected = ["decoder.*"]
auto_model = T5EncoderModel.from_pretrained("t5-base")
请注意，T5没有CLS令牌，因此您应该为您的分类任务使用另一种策略(平均池等(