在Pandas中对包含Python"range"或类似列表的列执行合并

Question

我的问题是几年前提出的这个问题的扩展。

我正在尝试左联接，但要联接的列之一需要是范围值。它需要是一个范围，因为扩展它将意味着数百万新的(和不必要的(行。直观地说，使用Python的in运算符似乎是可能的(因为x in range(y, z)非常常见(，但会涉及到一个讨厌的for循环和if/else块。必须有更好的方法。

这是我的数据的一个简单版本：

# These are in any order
sample = pd.DataFrame({
    'col1': ['1b', '1a', '1a', '1b'],
    'col2': ['2b', '2b', '2a', '2a'],
    'col3': [42, 3, 21, 7]
})
# The 'look-up' table
look_up = pd.DataFrame({
    'col1': ['1a', '1a', '1a', '1a', '1b', '1b', '1b', '1b'],
    'col2': ['2a', '2a', '2b', '2b', '2a', '2a', '2b', '2b'],
    'col3': [range(0,10), range(10,101), range(0,10), range(10,101), range(0,10), range(10,101), range(0,10), range(10,101)],
    'col4': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']
})

我最初尝试了合并，看看熊猫是否能理解，但出现了类型不匹配的错误。

sample.merge(
    look_up,
    how='left',
    left_on=['col1', 'col2', 'col3'],
    right_on=['col1', 'col2', 'col3']
)
# ValueError: You are trying to merge on int64 and object columns. If you wish to proceed you should use pd.concat

查看pd.concat的文档似乎也不会给我想要的结果。与其追加，我仍在尝试获得类似merge的结果。我试着按照我一开始联系的问题的答案，但也没用。这完全是可能我误解了如何使用np.where，但我也希望有一个不那么麻烦的解决方案。

以下是我使用np.where:的尝试

s1 = sample['col1'].values
s2 = sample['col2'].values
s3 = sample['col3'].values
l1 = look_up['col1'].values
l2 = look_up['col2'].values
l3 = look_up['col3'].values
i, j = np.where((s3[:, None] in l3) & (s2[:, None] == l2) & (s1[:, None] == l1))
result = pd.DataFrame(
    np.column_stack([sample.values[i], look_up.values[j]]), 
    columns=sample.columns.append(look_up.columns)
)
len(result)  # returns 0

我想要的结果应该是这样的：

col1  col2 col3 col4
'1b'  '2b'   42  'h'
'1a'  '2b'    3  'c'
'1a'  '2a'   21  'b'
'1b'  '2a'    7  'e'

Answer 1

由于范围看起来相当大，并且您使用的是整数值，因此您只需计算最小值、最大值：

columns = look_up.columns
look_up['minval'] = look_up['col3'].apply(min)
look_up['maxval'] = look_up['col3'].apply(max)
    
(sample.merge(look_up, on=['col1','col2'], how='left',
              suffixes=['','_'])
       .query('minval <= col3 <= maxval')
       [columns]
)

输出：

  col1 col2  col3 col4
1   1b   2b    42    h
2   1a   2b     3    c
5   1a   2a    21    b
6   1b   2a     7    e