r语言 - 根据推文中存在的关键字分配 ID

Question

我通过输入 44 个不同的关键字提取了推文，输出在一个总共包含 400k 条推文的文件中。输出文件包含包含相关关键字的推文。如何创建一个单独的 ID 列，其中包含该推文中存在的关键字？

例如：推文是：

安得拉邦是对妇女犯罪最多的州

这里的关键词是"对妇女的犯罪"

我想创建一个专栏，为推文分配关键字"针对女性的罪行"，准确地说是一种 ID 列。

#input column 1
Tweet<-("Andhra Pradesh is the highest state with crimes against women")
#expected output column 2 beside the Tweet column
Keyword<-("crimes against women")

编辑：我不想提取推文的任何部分，我只是希望能够在新列中为推文分配它包含的关键字，以便它帮助我根据此关键字隔离推文。

Answer 1

您可以使用

stringr包执行此分析，但是，我认为您不需要使用sapply。

考虑以下关键字列表和带有推文的表格：

keyword_list <- c("crimes against women", "downloading tweets", "r analysis")
tweets <- data.frame(
  tweet = c("Andhra Pradesh is the highest state with crimes against women",
            "I am downloading tweets",
            "I love r analysis",
            "downloading tweets helps with my r analysis")
)

首先，您希望将关键字组合到一个搜索任何字符串的正则表达式中。

keyword_pattern <- paste0(
  "(",
  paste0(keyword_list, collapse = "|"),
  ")"
)
keyword_pattern
#> [1] "(crimes against women|downloading tweets|r analysis)"

最后，我们可以向数据框添加一列，用于从推文中提取关键字。

tweets$keyword <- str_extract(tweets$tweet, keyword_pattern)
> tweets
#>                                                           tweet              keyword
#> 1 Andhra Pradesh is the highest state with crimes against women crimes against women
#> 2                                       I am downloading tweets   downloading tweets
#> 3                                             I love r analysis           r analysis
#> 4                   downloading tweets helps with my r analysis   downloading tweets

如最后一个例子所示，你需要考虑当一条推文包含多个关键字时你想做什么。在这种情况下，返回的关键字只是在推文中找到的第一个关键字。但是，你也可以使用 str_extract_all 返回在推文中找到的所有关键字。

Answer 2

我们可以使用stringr这对于字符串操作非常方便，只需使用 str_extract ，即

str_extract(Tweet, Keyword)
#[1] "crimes against women"

对于您需要应用的多个关键字和多个字符串，即

Keyword <- c("crimes against women", "something")
Tweet <- c("Andhra Pradesh is the highest state with crimes against women", 
           "another string with something else")
sapply(Tweet, function(i)str_extract(i, paste(Keyword, collapse = '|')))
#    Andhra Pradesh is the highest state with crimes against women                            another string with something else 
#                                           "crimes against women"                                                   "something"