将数据从gzipped CSV文件上载到数据存储

Question

我有一个非常大的gzip csv文件（大约500GB），需要使用大容量加载工具将其导入到数据存储中。有没有可能不用先拉开它的拉链？如果是，我必须如何配置我的bulkload.yaml文件？

transformers:
- kind: Client
    connector: csv
    connector_options:
      encoding: zip?

Answer 1

使用命名管道怎么样。

mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe

然后在另一个终端中，或者如果您使用&

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND 

示例取自http://en.wikipedia.org/wiki/Named_pipe