GCP数据融合在执行管道时太慢



我知道数据融合是CDAP上的托管服务,但与CDAP OSS(位于谷歌市场(相比,当前的6.1.1企业版太慢了。配置dataproc节点大约需要3分钟(无论计算配置文件是什么(,启动和运行模式大约需要1.5分钟,然后数据将开始在节点中流动。有什么方法可以优化并提高速度吗?

谷歌市场中的CDAP OSS正在内存中运行,建议仅用于开发,因为执行引擎无法扩展。

如果您想优化Dataproc集群的配置,您可以自己预配置Dataproc群集,并使用Remote Hadoop Provisioner计算配置文件来提交作业。

相关内容

  • 没有找到相关文章

最新更新