Neo4j数据加载性能:驱动程序与自定义程序

Question

我正在从Neo4j Java自定义过程切换到基于Neo4j Java驱动程序的方法。我想用某种微服务来运行我的图算法，而不是通过Cypher调用自定义过程。我使用一堆标准的HashMaps实现了遍历：一旦数据从Neo4j加载到这些HashMaps，图形遍历就比我最初的自定义过程快得多，所以这很有希望。

现在我的问题是：在自定义过程中，我能够将图(40 mio边，10 mio节点(加载到Hashmaps，如下所示：

@Context
public GraphDatabaseService db;
...
HashMap<Long, Long> mapNodeIdProperty = new HashMap<>();
db.beginTx().getAllNodes().stream().forEach((org.neo4j.graphdb.Node n) 
-> mapNodeIdProperty.put(n.getId(),
(Long) n.getProperty("combProp")));

这大约需要一分钟，作为服务的启动时间，我认为这是可以接受的。

现在，我能找到的使用驱动程序的最佳解决方案是这样的：

driver = GraphDatabase.driver( uri, AuthTokens.basic( user, password ) );
...
try ( Session session = driver.session() )
{
String status = session.writeTransaction( new TransactionWork<String>()
{
@Override
public String execute( Transaction tx )
{
Stream<Record> resultStream = (Stream<Record>) tx.run(
"MATCH (n) RETURN n").stream();
resultStream.forEach((Record n) -> listNodes.add(((Record) n).get("n").asNode()));
return "ok; length=" + listNodes.size();
}
});
System.out.println( status);
}

这花费了太多时间，即使我使用密码查询将返回的节点数量限制在几千个。我从未等待加载完整的图形。

与存储过程相比，使用驱动程序(或其他方法(获得相同速度的最佳选择是什么？有没有根本的限制会阻碍这一点？

Answer 1

请记住，过程代码在服务器本身上执行，它与Neo4j有效地嵌入在一起。

将其与通过网络传输所有节点及其属性的需要进行比较。这是过程中不需要的大量额外I/O。

Answer 2

正如InverseFalcon所指出的，通过螺栓协议的传输有速度限制，而程序中没有。我想要的是这里描述的嵌入式DBMS。我现在这样使用：

public class GraphAccess implements AutoCloseable
{
...
private final DatabaseManagementService managementService =
new DatabaseManagementServiceBuilder(NEO4J_DATA_PATH)
.setConfig( GraphDatabaseSettings.read_only, true )
.setConfig(GraphDatabaseSettings.logs_directory,
NEO4J_LOGS_DIRECTORY).build();
public final GraphDatabaseService db = managementService.database( NEO4J_DATABASE_NAME );
public final HashMap<Integer, String> mapNodeProp = new HashMap<>();
...
private void getNodeData() {
try ( Transaction tx = db.beginTx() ) {
tx.getAllNodes().forEach((Node n) -> {

final Integer nodeId = (int) n.getId();
mapNodeProp.put(nodeId, (String) n.getProperty("name"));

}
}
}
}

这具有高吞吐量的优势(因为它不使用驱动程序，而是直接访问neo4j数据库数据(，并且可以在Spring应用程序的上下文中使用它(因为它不是作为自定义过程实现的(。