Java System.in、换行符和解析命令行

Question

我正在尝试使用JFlex和Jacc在Java中创建一个简单的解析器。为了进行测试，我编写了一个简单的词法分析器组合来识别字符串和数字。我设法连接了词法分析和解析器，但无法处理从 System.io 发送的新行字符(ASCII 10)。

这里是词法分析器.flex

import java.io.*;
%%
%class Lexer
%implements ParserTokens
%function yylex
%int
%{
private int token;
private String semantic;
public int getToken()
{
return token;
}
public String getSemantic()
{
return semantic;
}
public int nextToken()
{
try
{
token = yylex();
}
catch (java.io.IOException e)
{
System.out.println("IO exception occured:n" + e);
}
return token;
}
%}

ID = [a-zA-Z_][a-zA-Z_0-9]*
NUMBER = [0-9]+
SPACE = [ t]
NL = [n] | [r] | [nr]

%%
{ID}        { semantic = yytext(); return ID; }
{NUMBER}    { semantic = yytext(); return NUM; }
{SPACE}     {  }
{NL}        { System.out.println("Kill the bugger!"); }
<<EOF>>     {  }

Parser.jacc：

%{
import java.io.*;
%}
%class Parser
%interface ParserTokens
%semantic String
%token <String> ID
%token <String> NUM
%token <String> SPACE
%type <String> inp

%%
inp : inp sim { System.out.println($2); }
| sim { System.out.println($1); }
;
sim : ID
| NUM
;

%%
private Lexer lexer;
public Parser(Reader reader)
{
lexer = new Lexer(reader);
}

public void yyerror(String error)
{
System.err.println("Error: " + error);
}
public static void main(String args[]) throws IOException
{
Parser parser = new Parser(
new InputStreamReader(System.in));
parser.lexer.nextToken();
parser.parse();
}

终端会话示例：

[johnny@test jacc]$ java Parser
a b c
a
b
Kill the bugger!
1 2 3 4
c
1
2
3
Kill the bugger!

因此，当我输入"a b c"时，解析器会打印"a"，"b"，然后是可怜的ASCII 10。接下来我输入"1 2 3 4"，然后解析器才会打印"c"等。我使用的是Linux/Java 9。

Answer 1

因此，当我输入"a b c"时，解析器会打印"a"，"b"，然后 可怜的ASCII 10。接下来我输入"1 2 3 4"，然后才输入解析器 打印"C"等。我使用的是Linux/Java 9。

这是意料之中的。 解析器仅打印语义值sim符号，并且仅当它们减少到或减少到inp时。 如果没有前瞻令牌，它不会执行这样的缩减，尽管事实上在您的特定解析器中，当队列末尾的符号是sim时，选择始终是减少。 但是，在获取此类前瞻标记的过程中，一旦扫描换行符，在导致打印前面语义值的缩减之前，词法分析器就会打印换行符消息。

如果换行符对语法很重要，则词法分析器应为它们发出标记，而不是直接对它们进行操作，并且语法应考虑这些标记。 例如：

inp : line         { System.out.print($1); }
| inp NL line  { System.out.println("NEWLINE WAS HERE"); System.out.print($3); }
;
line : /* empty */ { $$ = new StringBuilder(); }
| line sim     { $$ = $1.append($2).append('n'); }
;
sim : ID
| NUM
;

假设词法分析器发出NL标记，而不是打印消息。 请注意，该示例中的所有打印都在同一级别进行。 如果打印是您真正想要做的，那么在一个级别上完成所有操作可以更轻松地控制和预测打印的顺序。

注意：该解析器有点快速和肮脏，包含移位/减少冲突。 那里的默认移位分辨率是正确的。 事实证明，除非您导致词法分析器在输入末尾插入合成 NL 标记，否则很难正确解决冲突。 此外，您当然需要为line符号设置正确的令牌类型。

另一方面，如果换行符对语法不重要，那么您应该完全忽略它们。 在这种情况下，您的问题根本不会出现。