我正在寻找一种使用BERT运行简单示例的方法。如何使用谷歌BERT分析上下文?https://github.com/google-research/bert例如,我有一段维基百科文本,以及来自谷歌的预训练BERT模型。如何将段落传递给BERT并获得主上下文的文本表示?谢谢
EDTED:
示例:我们有段
"我正在寻找一种使用BERT运行简单示例的方法。如何使用谷歌BERT分析上下文?"?https://github.com/google-research/bert例如,我有一段维基百科文本,以及来自谷歌的预训练BERT模型。如何将段落传递给BERT并获得主上下文的文本表示?谢谢">
上下文应该是"如何使用谷歌BERT分析上下文?"或"如何分析">
对我来说,问题是弄清楚如何教模型从其他模型中提取主句^上面的例子。
另一个问题是:如何处理大于512个令牌的文档?
谢谢!
他们已经在SQuAD数据集上为问答任务训练了它,这是一个与您类似的序列到序列的任务。因此,您可以使用适当的数据集(也许是文本摘要)对其进行微调。