在批量加载程序中合并多个列

Question

我正在使用应用程序引擎的bulkloader将CSV文件导入我的数据存储。我有许多列要合并为一个，例如它们都是URL，但并非所有列都已提供，并且有一个取代顺序，例如：

url_main
url_temp
url_test

我想说："好的，如果url_main存在，请使用它，否则用户url_test然后使用url_temp"

因此，是否可以创建一个引用列并根据条件将它们合并为一个的自定义导入转换？

Answer 1

好的，所以在阅读 https://developers.google.com/appengine/docs/python/tools/uploadingdata#Configuring_the_Bulk_Loader 之后，我了解了import_transform，并且这可以使用自定义函数。

考虑到这一点，这为我指明了正确的方向：

。关键字参数bulkload_state的双参数函数， 返回时包含有关实体的有用信息： bulkload_state.current_entity，这是当前实体 处理;bulkload_state.current_dictionary，当前导出 字典。。。

因此，我创建了一个处理两个变量的函数，一个是当前实体的value，第二个是允许我获取当前行的bulkload_state，如下所示：

def check_url(value, bulkload_state):
    row = bulkload_state.current_dictionary
    fields = [ 'Final URL', 'URL', 'Temporary URL' ]
    for field in fields:
        if field in row:
            return row[ field ]

    return None

所做的只是获取当前行（bulkload_state.current_dictionary），然后检查存在哪些URL字段，否则它只会返回None。

在我的bulkloader.yaml中，我只需通过设置来调用此函数：

- property: business_url
  external_name: URL
  import_transform: bulkloader_helper.check_url

注意：external_name无关紧要，只要它存在，因为我实际上没有使用它，我正在使用多个列。

简单！