我试图在干草堆FARMReader
中加载'bert-base-multilingual-uncased'
,并得到错误:
(huyenv(PS D:\study\DUANCNTT2\HAYSTACK\haystak_demo>amp;d:/study/DUANCNTT2/HYSTACK/haystak_demo/huyennv/Scripts/python.exed:/研究/DUAANCNTT2/HYSTACK/HAYSTACK_demo/main.py 2021年5月21日00:12:58
- 信息-faiss.loader-正在加载faiss。2021年5月21日00:12:58-信息-faiss.loader-正在加载faiss。2021年5月21日00:12:59-信息-farm.modeling.prediction_head-使用顶点安装自https://www.github.com/nvidia/apex。2021年5月21日00:13:00-信息-faiss.loader-正在加载faiss。2021年5月21日00:13:00
- 信息-faiss.loader-正在加载faiss。2021年5月21日00:13:01-信息-弹性搜索-头部http://localhost:9200/[状态:200请求:0.018s]2021年5月21日00:13:01-信息-弹性搜索-头部http://localhost:9200/cv[状态:200请求:0.005s]2021年5月21日00:13:01-信息-弹性搜索-获取http://localhost:9200/cv[状态:200请求:0.009s]2021年5月21日00:13:01-信息-弹性搜索
- 看跌http://localhost:9200/cv/_mapping[状态:200请求:0.041s]2021年5月21日00:13:01-信息-弹性搜索-HEADhttp://localhost:9200/label【状态:200请求:0.008s】2021年5月21日00:13:01-信息-farm.utils-使用设备:CPU 2021年5月21日00:13:01
- INFO-farm.utils-GPU数量:0 05/21/2021 00:13:01-INFO-farm.tils-分布式训练:错误05/21/202100:13:01–INFO
- farm.utils-自动混合精度:无当初始化BertForQuestionAnswering:[预测.偏差','cls.predictions.transform.sdense.weight','cls.predictions.transform.sdense.bias','cls.predictions.doder.weight','cls.seq_relationship.weight','cls.seq_relationship.bias','cls.predictions.transform.LayerNorm.weight','cls.predictions.transform.LayerNorm.bias']
- 如果您正在从针对另一项任务或与另一项一起训练的模型的检查点初始化BertForQuestionAnswering,则会出现这种情况体系结构(例如初始化BertForSequenceClassification模型来自BertForPreTraining模型(
- 如果您正在从模型的检查点初始化BertForQuestionAnswering期望完全相同(初始化BertForSequenceClassification模型BertForSequenceClassification模型(。的一些权重BertForQuestionAnswering未从模型初始化伯特基地的检查点多语言无上限,是新的initialized:['qa_outputs.weight','qa_ooutputs.bias']您应该可能在下游任务中训练这个模型,以便能够使用它用于预测和推断。2021年5月21日00:13:21-警告-farm.utils-ML日志记录已关闭。没有参数、指标或工件将记录到MLFlow。2021年5月21日00:13:21-信息-farm.utils-使用设备:CPU 2021年5月21日00:13:21-信息-farm.utils-GPU数量:2021年5月21日00:13:21-信息-farm.utils-分布式培训:错误2021年5月21日00:13:21-信息
- farm.utils-自动混合精度:无2021年5月21日00:13:21-信息-farm.infer-让你3个并行工作者进行推理。。。2021年5月21日00:13:21-信息-farm.infer-0 0 0 2021年1月21日00:13:21-信息-farm.infer-/w \/w \2021年5月21日00:13:21-信息-farm.infer-/'\/\/'\05/21/2021 00:13:21-信息-farm.infer-在中忽略异常:<函数池del在0x000001BBA1DC9C10>Traceback(最近一次通话(:文件"C: \Users\Admin\AppData\Local\Programs\Python38\lib\multiprocessing\pool.py";,del文件中的第268行"C: \Users\Admin\AppData\Local\Programs\Python38\lib\multiprocessing\queues.py";,第362行,输入AttributeError:"NoneType"对象没有属性"dumps">
这是我的主.py文件:
from haystack.reader.farm import FARMReader
from haystack.document_store.elasticsearch import ElasticsearchDocumentStore
from haystack.retriever.sparse import ElasticsearchRetriever
document_store = ElasticsearchDocumentStore(
host="localhost",
username="",
password="",
index="cv",
embedding_dim=768,
embedding_field="embedding")
retriever = ElasticsearchRetriever(document_store=document_store)
reader = FARMReader(model_name_or_path='bert-base-multilingual-uncased')
注意:我的弹性搜索服务器已成功启动!
似乎是Windows上多处理的问题。您可以禁用FARMReader
的多处理,如下所示:
...
reader = FARMReader(model_name_or_path='bert-base-multilingual-uncased', num_processes=0)
有关更多详细信息,请参阅文档。