是否有'untrained' gpt 模型文件夹？

Question

也许是个疯狂的问题：但我想下载gpt-2模型框架，但我想随机初始化权重。因此，就好像模型仍然需要对reddit内容(包括json、vocab、meta&index文件等(进行微调一样。这可能吗？

谨致问候！

Answer 1

是的，可以随机初始化并从头开始训练。例如，对于T5，您可以执行：

from transformers import GPT2Model, GPT2Config
config = GPT2Config.from_pretrained() # config as in the paper
model = GPT2Model(config)