Python查找集合中的单词在数据帧上具有单词对

Question

我有一组单词

{'DNA',
'pada',
'yang',...}

我正试图找出集合中的单词是否在下面的二元数据帧上有单词对

bigramf    freq
0           (DNA, yang)      15
1          (DNA, dalam)       6
2            (DNA, ini)       5
3       (DNA, memiliki)       4
4         (DNA, unting)       4
5           (pada, DNA)       4
6        (pada, urutan)       3
7     (yang, diperoleh)       3
8         (yang, lebih)       3
9      (pada, sejumlah)       2
10          (pada, RNA)       2
11          (pada, satu)      2
12       (yang, berbeda)      2     
13          (yang, sama)      2
14       (yang, tumpang)      2

如果是这样，那么预期的输出将是这样的：

yang [('lebih', 3), ('diperoleh', 3), ('berbeda', 2), ('tumpang', 2), ('sama', 2)]
DNA [('yang', 15), ('dalam', 6), ('ini', 5), ('memiliki', 4), ('unting', 4)]
pada [('DNA', 4), ('urutan', 3), ('sejumlah', 2), ('RNA', 2), ('satu', 2)]

我该怎么找？。有人能帮忙吗？谢谢非常感谢您的帮助。

Answer 1

首先将包含元组的列转换为新的2列(不要使用apply(pd.Series)，因为slow(，然后在boolean indexing中通过Series.isin过滤匹配值，并在GroupBy.apply中将值转换为元组列表：

s = {'DNA',
'pada',
'yang'}
df[['s', 'v']] = pd.DataFrame(df['bigramf'].tolist(), index=df.index)
s = df[df['s'].isin(s)].groupby('s')['v','freq'].apply(lambda x: list(map(tuple, x.values)))
print (s)
s
DNA     [(yang, 15), (dalam, 6), (ini, 5), (memiliki, ...
pada    [(DNA, 4), (urutan, 3), (sejumlah, 2), (RNA, 2...
yang    [(diperoleh, 3), (lebih, 3), (berbeda, 2), (sa...
dtype: object

如果需要字典，请添加Series.to_dict:

d = s.to_dict()
print (d)
{'DNA': [('yang', 15), ('dalam', 6), ('ini', 5), ('memiliki', 4), ('unting', 4)], 
'pada': [('DNA', 4), ('urutan', 3), ('sejumlah', 2), ('RNA', 2), ('satu', 2)], 
'yang': [('diperoleh', 3), ('lebih', 3), ('berbeda', 2), ('sama', 2), ('tumpang', 2)]}

collections.defaultdict的另一个解决方案：

from collections import defaultdict
d = defaultdict(list)
for (s1, v1), f1 in df.to_numpy():
if s1 in s:
d[s1].append((v1, f1))
d = dict(d)
print (d)
{'DNA': [('yang', 15), ('dalam', 6), ('ini', 5), ('memiliki', 4), ('unting', 4)], 
'pada': [('DNA', 4), ('urutan', 3), ('sejumlah', 2), ('RNA', 2), ('satu', 2)], 
'yang': [('diperoleh', 3), ('lebih', 3), ('berbeda', 2), ('sama', 2), ('tumpang', 2)]}

Answer 2

我所做的是匹配单词

我循环浏览数据帧，获取每个元素并将其传递给像这样的def

def match_words(actual_word, word):
return set(actual_word.split()).intersection(word.split())