数据存储连接器最新.jar的来源在哪里?我可以将其添加为maven依赖项吗?



我从 https://cloud.google.com/hadoop/datastore-connector 那里得到了连接器但是我正在尝试将datastore-connector(以及bigquery-connector)添加为pom中的依赖项...我不知道这是否可能。我找不到正确的工件和组 ID。

是否有一些包含datastore-connector的 maven 存储库?

此外,我正在寻找datastore-connector的来源,但我没有找到。从CHANGES.txt中的注释来看,它似乎来自:

https://github.com/GoogleCloudPlatform/bigdata-interop

源代码应该在包com.google.cloud.hadoop.io.datastoresrc/main/***/com/google/cloud/hadoop/io/datastore/)中,但它不存在。

事实上,bigquery-connector的来源似乎和它的pom一起在GitHub上,但datastore-connector的来源可用吗?

大卫在另一个答案中说的是正确的。为了详细说明,后台的连接器使用协议缓冲区 SDK,并使用例如 QuerySplitter 来定义拆分。在不久的将来,我们将在gcp-hadoop-announce 上发布更多信息,并提供有关Hadoop数据存储连接器未来的进一步指导。

您可能希望熟悉可能更适合您目的的其他数据存储功能,包括数据存储到 GCS 的备份,以及此 Codelab 演练从数据存储中提取数据并将其加载到 BigQuery 进行分析的 AppEngine 友好方法。您可能会注意到,在该页面的顶部,有可信测试人员的公告,可用于将数据存储备份直接后端加载到 BigQuery 中。

数据存储

连接器源不可用,也没有包含项目的 maven 存储库。 最好的选择是在源代码树中创建本地 raven 存储库,如这篇有用的文章中所述。

最新更新