在 ANTLR 语法中使用不同的大小写关键字

Question

我的语法中的某些关键字(字符串常量(包含大写字母例如

PREV_VALUE : 'PreviousValue';

这会导致奇怪的解析行为：包含相同大写字母("P"、"V"(的其他标记被错误地解析。

下面是词法分析器语法的简化版本：

lexer grammar ExpressionLexer;
COMMA : ',';
LPAREN : '(';
RPAREN : ')';
LBRACK : '[';
RBRACK : ']';
PLUS : '+';
MINUS : '-';
MULT : '*';
DIV : '/';
PREV_VALUE : 'PreviousValue';
fragment DIGIT : ('0'..'9');
fragment LETTER : ('a'..'z'|'A'..'Z'|'_');
fragment TAB : ('t') ;
fragment NEWLINE : ('r'|'n') ;
fragment SPACE : (' ') ;

当我尝试解析这样的表达式时：

var expression = "P"; //Capital 'P' which included to the keyword 'PreviousValue'
var stringReader = new StringReader(expression);
var input = new ANTLRReaderStream(stringReader);
var expressionLexer = new ExpressionLexer(input);
var tokens = new CommonTokenStream(expressionLexer);

tokens._tokens集合包含一个值

[0] = {[@0,1:1='<EOF>',<-1>,1:1]}

这是不正确的。

如果我expression更改为"p"(小写字母( tokens._tokens集合包含两个值

[0] = {[@0,0:0='p',<0>,1:0]}
[1] = {[@1,1:1='<EOF>',<-1>,1:1]}

没错。

从语法中删除字符串PREV_VALUE : 'PreviousValue';时，将正确分析这两个表达式。

是否可以在关键字中使用不同的大小写？有没有在ANTLR语法中使用此类关键字的例子？

Answer 1

我发现很难相信p令牌是根据您发布的语法创建的。前面有fragment的词法分析规则不会生成标记：这些规则仅由其他词法分析器规则使用。

一个简单的演示显示了这一点：

lexer grammar ExpressionLexer;
@lexer::members {
  public static void main(String[] args) throws Exception {
    ExpressionLexer lexer = new ExpressionLexer(new ANTLRStringStream(args[0]));
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    tokens.fill(); // remove this line when using ANTLR 3.2 or an older version
    System.out.println(tokens);
  }
}
COMMA : ',';
LPAREN : '(';
RPAREN : ')';
LBRACK : '[';
RBRACK : ']';
PLUS : '+';
MINUS : '-';
MULT : '*';
DIV : '/';
PREV_VALUE : 'PreviousValue';
fragment DIGIT : ('0'..'9');
fragment LETTER : ('a'..'z'|'A'..'Z'|'_');
fragment TAB : ('t') ;
fragment NEWLINE : ('r'|'n') ;
fragment SPACE : (' ') ;

现在生成词法分析器并编译.java源文件：

java -cp antlr-3.3.jar org.antlr.Tool ExpressionLexer.gjavac -cp antlr-3.3.jar *.java

并运行一些测试：

java -cp .：antlr-3.3.jar ExpressionLexer p第 1：0 行 字符"P"处没有可行的替代项

这是正确的，因为没有以"p"开头或匹配的(非片段(规则。

java -cp .：antlr-3.3.jar ExpressionLexer P第 1：1 行不匹配的字符"期望"R">

这是正确的，因为唯一以"P"开头的(非片段(规则期望"r"是下一个字符(不存在(。