如何使用Antlr解析Python代码中的符号?

Question

我从下面的位置使用 Python3 语法，

https://github.com/antlr/grammars-v4/blob/master/python3/Python3.g4

我有下面的代码要解析，

ANTLRInputStream input = new ANTLRInputStream(new FileInputStream("Functions.py"));
Python3Lexer lexer = new Python3Lexer(input);
CommonTokenStream tokens = new CommonTokenStream(lexer);
Python3Parser parser = new Python3Parser(tokens);
ParseTree tree = parser.funcdef(); //Not sure what to do here
ParseTreeWalker walker = new ParseTreeWalker();
walker.walk(new Listener(), tree);

侦听器.java

public class Listener extends Python3BaseListener{
@Override
public void enterImport_name(Python3Parser.Import_nameContext ctx) { 
System.out.println(ctx.getText());
}
@Override 
public void enterFuncdef(Python3Parser.FuncdefContext ctx) { 
System.out.println(ctx.getText()); //returns the whole code as string
}   
}

我正在尝试从python文件中读取所有导入，变量和方法名称以及参数。

我该怎么做？

Answer 1

这不是一个微不足道的问题。作为编写侦听器的通用方法，我建议您获取代码来打印解析树，将其添加到程序中，并尝试几个不同的源文件。然后，您可以决定如何编写侦听器以及为哪些节点编写侦听器。

例如，https://github.com/antlr/grammars-v4/blob/master/python3/examples/base_events.py， 第一个导入子树如下所示：

( stmt
( simple_stmt
( small_stmt
( import_stmt
( import_name
( TOKEN i=2 t=import
) 
( dotted_as_names
( dotted_as_name
( dotted_name
( HIDDEN text= 
) 
( TOKEN i=4 t=collections
) ) ) ) ) ) ) 
( TOKEN i=5 t=rn
) ) ) 

您需要查看语法并验证您的示例是否确实涵盖了语法。对于base_events.py，不执行import_from (https://www.geeksforgeeks.org/import-module-python/(，因此您必须编写一些使用该语法的示例。根据你所说的和我所看到的，我会为dotted_as_name上下文创建一个侦听器，验证它的父级是import_stmt，然后只获取第一个孩子的文本。enterImport_name(( 是一个不错的选择，如果你不关心 "import"、"as" 和逗号也出现在从 getText(( 返回的字符串中。

但是，我认为你有照片。