r语言 - 如何将令牌对象转换为语料库对象

Question

我有一个语料库对象，我将其转换为一个令牌对象。然后，我过滤了这个对象，删除单词并统一它们的拼写。对于我进一步的工作流，我再次需要一个语料库对象。我如何从令牌对象构造这个?

Answer 1

您可以将这些标记粘贴在一起以返回一个新的语料库。(尽管如果您的目标是回到语料库以便您可以使用corpus_reshape()，则这可能不是最好的方法。)

library("quanteda")
## Package version: 3.1.0
## Unicode version: 13.0
## ICU version: 69.1
## Parallel computing: 12 of 12 threads used.
## See https://quanteda.io for tutorials and examples.
txt <- c(
"This is an example.",
"This, a second example."
)
corp <- corpus(txt)
toks <- tokens(corp) %>%
tokens_remove(stopwords("en"))
toks
## Tokens consisting of 2 documents.
## text1 :
## [1] "example" "."      
## 
## text2 :
## [1] ","       "second"  "example" "."
vapply(toks, paste, FUN.VALUE = character(1), collapse = " ") %>%
corpus()
## Corpus consisting of 2 documents.
## text1 :
## "example ."
## 
## text2 :
## ", second example ."