有没有办法继续提高NebulaGraph Exchange的导入速度?

Question

在使用NebulaGraph Exchange时，我想提高导入性能，调整参数批处理，但导入速度仍然不够快。有没有办法继续提高进口速度?

tags: [
{
name: player
type: {
source: json
sink: client
}
path: "hdfs://192.168.*.*:9000/data/vertex_player.json"
fields: [age,name]
nebula.fields: [age, name]
vertex: {
field:id
}
batch: 256
partition: 32
}

Answer 1

您可以尝试使用以下参数:

• batch:发送到星云图服务的每条nGQL语句中包含的数据数。
• partition: Spark数据分区的个数，表示同时导入数据的个数。
• 星云。rate:在向NebulaGraph发送请求之前，从令牌桶中获取令牌。
  • limit:表示令牌桶的大小
  • timeout:获取令牌的超时时间

可根据机器性能适当调整这四个参数的值。如果在导入过程中存储服务的leader发生变化，您可以通过调整这四个参数的值来降低导入速度。