如何使用spacy的nlp.pipe功能跟踪进度

Question

我使用Python和Spacy进行编码。我想跟踪nlp.pipe(sentences)的执行进度，因为它持续了很多时间。如何做到这一点？

nlp = spacy.load('en_core_web_sm')
sentences = [...]
docs = nlp.pipe(sentences, n_process=8)

Answer 1

使用tqdm。

from tqdm import tqdm
nlp = spacy.load('en_core_web_sm')
sentences = [...]
for doc in tqdm(nlp.pipe(sentences, n_process=8)):
... do stuff ...