这是一个python应用程序引擎问题,mapreduce库1.9.21。
我有代码将行写入本地 blob 存储中的 blob,然后使用 mapreduce BlobstoreLineInputReader 进行处理。
鉴于文件 api 即将消失,我想我会将所有处理重新定位到云存储。
我希望找到一个名为GoogleCloudStorageLineInputReader的类,但没有类似的东西。它躲在某个地方吗?
有什么方法可以使用GoogleCloudStorageInputReader来读取行吗?
另一种可能性是使用GoogleCloudStorageRecordInputReader,但是为此,我的输入文件需要采用LevelDB格式,除了使用GoogleCloudStorageConsistentRecordOutputWriter之外,我不知道如何创建它。我该怎么做?
还是我做错了这一切,我错过了其他可能性吗?
起初,我尝试了thinkjson的CloudStorageLineInputReader,但没有成功。
然后我发现了这个拉取请求...这让我想到了鲁布鲁耶尔的叉子。尽管存在一些 linting 问题(例如 GoolgeCloudStorageLineInputReader
上的拼写),但是在拉取请求的底部提到它工作正常,并询问是否需要接管该项目。
希望对您有所帮助!