将新文档添加到R语料库中以查找独特的单词

Question

我有演讲语料，我想在一种演讲中识别独特的单词。

这是我所做的，我从较大的语料库中提取了两个语料库。在脚本中，eup_control_corpus和imf_control_corpus。我将IMF_CONTROL_CORPUS制作到一个文本文件中，我想与EUP_CONTROL_CORPUS结合，然后使用tf.idf，我想找出与EUP演讲有关的IMF演讲唯一的术语。

但是，我陷入了添加到(结合(语料库的部分。对我来说，这似乎应该很简单，所以我不明白为什么我在上面找不到任何东西。没有人问这个问题是如此简单吗？

我尝试将两者都变成DFM，然后加入它们，或者将文本文件转换为copus加入，但是在这两种情况下，单个文本文件都再次具有大量文档。

  #Create date format
base_corpus$documents$int_date <- 
  as.Date( base_corpus$documents$date,  format = "%d-%m-%Y")
head(as.Date( base_corpus$documents$date,  format = "%d-%m-%Y"))

#Select pre-crisis EUP speeches for control group
EUP_control_corpus<- 
  corpus_subset(base_corpus, country == "European Parliament" & int_date < as.Date( '31-12-2012', format = "%d-%m-%Y"))
head(docnames(EUP_control_corpus), 50)
ndoc(EUP_control_corpus)

#Create dfm out of EUP corpus
EUP_control_dfm <- 
  dfm(EUP_control_corpus, tolower = TRUE, stem = FALSE)
ndoc(EUP_control_dfm)

#Select pre-crisis IMF speeches for control group
IMF_control_corpus<- 
  corpus_subset(base_corpus, country == "International Monetary Fund" & int_date < as.Date( '31-12-2012', format = "%d-%m-%Y"))
head(docnames(IMF_control_corpus), 50)
ndoc(IMF_control_corpus)

#Combine IMF_control_corpus into one text
IMF_control_text<-
  texts(corpus(texts(IMF_control_corpus, groups = "texts")))
IMF_control_dfm<-
  dfm(IMF_control_text)
ndoc(IMF_control_dfm)

#Add IMF_control_text to EUP_control_dfm
plus_dfm<-
  dfm(rbind(EUP_control_dfm, IMF_control_dfm))
ndoc((plus_dfm))

#Add IMF_control_text to EUP_control_corpus/ doesn't work, make text into single text corpus and then add?
total_control_corpus<-
  corpus(EUP_control_corpus, IMF_control_text)
ndoc(total_control_corpus)

我有这样的想法，即以另一种方式进行Quanteda中的组功能可能很有用，但是我决定首先发布该问题，就像已经在搜索几天的时间里一样。

感谢您阅读此问题。

Answer 1

这不是可再现示例的问题，因此很难提供正确的答案。这是一些建议：

1. 创建一个称为control的新文档变量，该变量接收两个值之一IMF或EU。使用以前与corpus_subset()命令一起使用的条件使用此条件。由此，您可以轻松创建将继续包含此DOCVAR的DFM，也可以使用groups = "control"参数到dfm()来折叠该变量的值。

2. 使用docvars(thecorpus, "thevariable") <- newvalue，而不是解决语料库对象的内部内容。该方法不稳定，因为我们可以随时更改语料库的内部内容。

Answer 2

我找到了一个解决方案。它可能不是最漂亮的一个，但它起作用。

#Loop through the corpus and paste all documents into one document
temp <- IMF_control_corpus$documents$texts[1]
for(i in 2:337){
  temp <- paste(temp,IMF_control_corpus$documents$texts[i])
}
#Create corpus out of text and add docvars, make sure it looks the same as EUP_control_corpus
single_IMF_corpus <- corpus(temp)
single_IMF_corpus$documents$title      <- "IMF Text"
single_IMF_corpus$documents$date       <- "" 
single_IMF_corpus$documents$country    <- "International Monetary Fund"
single_IMF_corpus$documents$speaker    <- "IMF"
single_IMF_corpus$documents$length     <- ""
single_IMF_corpus$documents$language   <- "en"
single_IMF_corpus$documents$language2  <- "english"
single_IMF_corpus$documents$int_date   <- as.Date("", format = "%d-%m-%Y")

#Combine single_IMF_corpus and EUP_control_corpus
total_control_corpus<-
 c(EUP_control_corpus, single_IMF_corpus)
ndoc(total_control_corpus)
ndoc(EUP_control_corpus)