使用相同符号的不同词法分析器规则

Question

我有以下语法:

grammar Test2;
my_rule: 'start' L_PAREN dummy R_PAREN DOT;
dummy: upper_word|lower_word|single_quoted|distinct_object|dollar_word|dollar_dollar_word;
single_quoted               : SINGLE_QUOTE single_quoted_entry SINGLE_QUOTE;
single_quoted_entry         : SQ_CHAR+;
distinct_object             : DOUBLE_QUOTE distinct_object_entry DOUBLE_QUOTE ;
distinct_object_entry       : DO_CHAR+;
dollar_dollar_word          : DOLLAR DOLLAR lower_word; // make lower word token for the word
dollar_word                 : DOLLAR lower_word; // make lower word token for the word
upper_word                  : UPPER_WORD; // necessary since it should be one token
UPPER_WORD                  : UPPER_ALPHA ALPHA_NUMERIC*;
lower_word                  : LOWER_WORD; // necessary since it should be one token
LOWER_WORD                  : LOWER_ALPHA ALPHA_NUMERIC*;
DOLLAR                      : '$';
L_PAREN                     : '(';
R_PAREN                     : ')';
L_SQUARE_BRACKET            : '[';
R_SQUARE_BRACKET            : ']';
COMMA                       : ',';
VLINE                       : '|';
STAR                        : '*';
PLUS                        : '+';
ARROW                       : '>';
LESS_SIGN                   : '<';
DOT                         : '.';
UNDERSCORE                  : '_';
NUMERIC                     : [0-9];
LOWER_ALPHA                 : [a-z];
UPPER_ALPHA                 : [A-Z];
ALPHA_NUMERIC               : LOWER_ALPHA
                            | UPPER_ALPHA
                            | NUMERIC
                            | UNDERSCORE;
DOUBLE_QUOTE                : '"';
DO_CHAR                     : [u0028-u0029u002B-u0085u0087-u00B0]; // for double_quoted
SINGLE_QUOTE                : ''' ;
SQ_CHAR                     : [u0028-u002Eu0032-u0085u0087-u00B0]; // for single_quoted
NEWLINE                     : 'r'? 'n' -> skip;
WS                          : [ t]+ -> skip;

从my_rule开始，虚拟规则可以输入upper_word、lower_word、dollar_word、dollar_dollar_word。然而，single_quotes和distinct_object不能工作，因为它们需要SQ_CHAR+或DO_CHAR+，这也涵盖了已经定义的令牌，如UPPER_ALPHA等。

一个解决方案是用管道将所有定义的令牌添加到使用SQ_CHAR/DO_CHAR的位置。这可能看起来类似于这个，但有更多的管道:

single_quoted               : SINGLE_QUOTE single_quoted_entry SINGLE_QUOTE;
single_quoted_entry         : (SQ_CHAR|UPPER_ALPHA|...way more tokens here...)+;

对于double_quotes也是一样。由于检查所有已经定义为标记的ascii码是一项繁琐的任务，并且在更改语法时容易出错，因此一些更简单的解决方案将是有利的。

有没有简单的解决方法?

Answer 1

我找到了另一个适用的解决方案，因为我没有在语法的其他地方使用单引号和双引号。

创建包含引号的词法分析器令牌:

grammar Test2;
my_rule: 'start' L_PAREN dummy R_PAREN DOT;
dummy: upper_word|lower_word|single_quoted|distinct_object|dollar_word|dollar_dollar_word;
single_quoted               : SINGLE_QUOTED;
SINGLE_QUOTED               : SINGLE_QUOTE SQ_CHAR+ SINGLE_QUOTE;
distinct_object             : DISTINCT_OBJECT;
DISTINCT_OBJECT             : DOUBLE_QUOTE DO_CHAR+ DOUBLE_QUOTE;
dollar_dollar_word          : DOLLAR DOLLAR lower_word; // make lower word token for the word
dollar_word                 : DOLLAR lower_word; // make lower word token for the word
upper_word                  : UPPER_WORD; // necessary since it should be one token
UPPER_WORD                  : UPPER_ALPHA ALPHA_NUMERIC*;
lower_word                  : LOWER_WORD; // necessary since it should be one token
LOWER_WORD                  : LOWER_ALPHA ALPHA_NUMERIC*;
DOLLAR                      : '$';
L_PAREN                     : '(';
R_PAREN                     : ')';
L_SQUARE_BRACKET            : '[';
R_SQUARE_BRACKET            : ']';
COMMA                       : ',';
VLINE                       : '|';
STAR                        : '*';
PLUS                        : '+';
ARROW                       : '>';
LESS_SIGN                   : '<';
DOT                         : '.';
UNDERSCORE                  : '_';
NUMERIC                     : [0-9];
LOWER_ALPHA                 : [a-z];
UPPER_ALPHA                 : [A-Z];
ALPHA_NUMERIC               : LOWER_ALPHA
                            | UPPER_ALPHA
                            | NUMERIC
                            | UNDERSCORE;
DOUBLE_QUOTE                : '"';
DO_CHAR                     : [u0028-u0029u002B-u0085u0087-u00B0]; // for double_quoted
SINGLE_QUOTE                : ''' ;
SQ_CHAR                     : [u0028-u002Eu0032-u0085u0087-u00B0]; // for single_quoted
NEWLINE                     : 'r'? 'n' -> skip;
WS                          : [ t]+ -> skip;

single_quotes、DISTINCT_OBJECT、UPPER_WORD和LOWER_WORD的位置是无关的(已测试)。

请注意，此解决方案不会为引号创建额外的页。