我正在尝试构建一个基于LanguageKit的Smalltalk REPL版本，它使用柠檬语法。目前，解析器仅支持解析完整的类定义，不支持解析方法语法之外的语句。
例如，这会被解析：
methodName [
NSObject description.
NSObject debugDescription.
]
但是如果我尝试仅解析语句，它将失败：
NSObject description.
NSObject debugDescription.
以下内容不接受多个语句(例如Transcript show: 'hello'. Transcript show: 'world'.)：
file ::= statement_list(M).
{
[p setAST:M];
}
这是最小的语法：
%include {
#include <assert.h>
#import <Foundation/Foundation.h>
#import <LanguageKit/LanguageKit.h>
#import <LanguageKit/LKToken.h>
#import "SmalltalkParser.h"
}
%name SmalltalkParse
%token_prefix TOKEN_
%token_type {id}
%extra_argument {SmalltalkParser *p}
%left PLUS MINUS STAR SLASH EQ LT GT COMMA.
%left WORD.
file ::= method(M).
{
[p setAST:M];
}
file ::= statement_list(M).
{
[p setAST:M];
}
file ::= statement(M).
{
[p setAST:M];
}
file ::= .
method(M) ::= signature(S) LSQBRACK statement_list(E) RSQBRACK.
{
M = [LKInstanceMethod methodWithSignature:S locals:nil statements:E];
}
signature(S) ::= WORD(M).
{
S = [LKMessageSend messageWithSelectorName:M];
}
signature(S) ::= keyword_signature(M).
{
S = M;
}
statement_list(L) ::= statements(T).
{
L = T;
}
statement_list(L) ::= statements(T) statement(S).
{
[T addObject:S];
L = T;
}
statements(L) ::= statements(T) statement(S) STOP.
{
[T addObject:S];
L = T;
}
statements(L) ::= .
{
L = [NSMutableArray array];
}
statement(S) ::= expression(E).
{
S = E;
}
%syntax_error
{
[NSException raise:@"ParserError" format:@"Parsing failed"];
}
message(M) ::= simple_message(S).
{
M = S;
}
simple_message(M) ::= WORD(S).
{
M = [LKMessageSend messageWithSelectorName:S];
}
expression(E) ::= simple_expression(S).
{
E = S;
}
simple_expression(E) ::= WORD(T) simple_message(M).
{
[M setTarget:T];
E = M;
}
完整的语法可以在这里找到：smalltalk.y。我一直在阅读其他语法并搜索 stackoverflow，但看不到例如此语法的区别，也不明白为什么这不起作用。
您的语法存在解析冲突。如果您希望使语法正常工作，则必须解决这些问题。
(语法还有一个未定义的非终端、keyword_signature和一个未使用的非终端message。为了让它在没有警告的情况下编译，我只是删除了它们。我认为这对下面的分析没有任何影响。
冲突的一部分非常简单：你不能同时拥有两者
file ::= statement_list .
和
file ::= statement .
事实上，我不清楚你为什么要这样做？statement不是statement_list的例子吗？
您不能同时拥有两者的原因是您拥有：
statement_list ::= statements statement .
和
statements ::= .
综上所述，这意味着从statement_list开始，您可以识别单个statement。所以你的语法是模棱两可的;如果输入是单个语句，则可以将其直接解析为file，也可以解析为file⇒statement_list⇒statements statement⇒statement，具有一组不同的操作。
你可能不在乎;事实上，你可能认为行动的顺序是相同的。你甚至可能是对的。但是解析器无法知道这一点，也不会相信。它认为这两个解析必然是不同的。所以它会报告冲突。
简而言之，摆脱file ::= statement ..然后，您可以开始处理其他解析冲突。
更根本的问题也是基于statements可以导出空序列的事实。
让我们看一下语法(通过删除所有语义来简化)：
statement_list ::= statements .
statement_list ::= statements statement .
statements ::= statements statement STOP .
statements ::= .
如果statement_list不为空，则无论它匹配什么，都必须以空statements开头，后跟一个statement。 反过来，statement必须以WORD开头，所以statement_list必须匹配以WORD开头的输入。但是在它可以移动WORD以继续解析之前，它需要先插入空statements。因此，它需要使用上面引用的最后一个规则进行缩减，然后才能处理WORD。(如果这一段不完全清楚，请尝试重读，如果您还有疑问，请询问。了解这部分很重要。
如果不是因为file也可能是一个method，method也从一个WORD开始，这一切都不是问题。但是，与statement_list不同的是，它实际上是从WORD开始的。它不以空statements开头，所以如果解析器创建一个空statements并且输入实际上是一个method，那么解析将失败。
碰巧的是，如果您有file ::= statement而不是file ::= statement_list，则不会发生此特定冲突，因为statement也不会以空statements开头。这意味着当解析器在输入开始时看到WORD时，它还不必决定它是要看到statement还是method。在这两种情况下，解析操作都是移动WORD并查看接下来会发生什么。
为了解决这个问题，我们可以观察到statement_list必须至少包含一个statement，并且statement_list内的所有statement(可能最后一个除外)都必须以STOP(即.)终止。如果我们从这个想法开始，很容易产生一个不需要在开始时空列表的替代语法：
statement_list ::= statements .
statement_list ::= statements STOP .
statements ::= statement .
statements ::= statements STOP statement .
这与您的语法不同，因为它认为statement_list是点分隔statement的非空列表，可以选择以点结尾，而您的语法认为statement_list是点终止的statement的可能空列表，后跟单个statement。
由于我现在已经测试了语法，因此我添加了完整的可测试代码，以说明当我们要求最小完全可验证示例时我们所要求的内容。(我使用了C和flex而不是Objective C，但我认为这没有任何区别。
文件解析器.y：
%include { #include <assert.h> }
file ::= method.
file ::= statement_list.
file ::= .
method ::= signature OBRAC statement_list CBRAC .
signature ::= WORD .
statement_list ::= statements STOP .
statement_list ::= statements .
statements ::= statements STOP statement .
statements ::= statement .
statement ::= expression .
expression ::= simple_expression .
simple_expression ::= WORD simple_message .
simple_message ::= WORD .
%extra_argument { int* status }
%syntax_error { *status = 1; }
%parse_failure { fprintf(stderr, "Parse failed.n"); }
%parse_accept { fprintf(stderr, "Parse succeeded.n"); }
文件 main.l：
%{
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include "parser.h"
void* ParseAlloc(void* (*allocProc)(size_t));
void* Parse(void*, int, int, int*);
void* ParseFree(void*, void(*freeProc)(void*));
void synerr(const char* token) {
fprintf(stderr, "Syntax error handling '%s'n", token);
}
%}
%option noinput nounput noyywrap nodefault
%x FLUSH
%%
void* parser = ParseAlloc(malloc);
int status = 0;
#define SEND(typ, val) do {
if (Parse(parser, typ, val, &status), status) {
synerr(yytext); BEGIN(FLUSH);
}
} while(0)
[[:space:]]+ ;
[[:alnum:]]+ { SEND(WORD, 0); }
"[" { SEND(OBRAC, 0); }
"]" { SEND(CBRAC, 0); }
"." { SEND(STOP, 0); }
. { synerr(yytext); BEGIN(FLUSH); }
<FLUSH>.+ ;
<FLUSH>n { status = 0; BEGIN(INITIAL); }
<<EOF>> { if (status == 0) {
Parse(parser, 0, 0, &status);
if (status) synerr("EOF");
}
ParseFree(parser, free );
return 0;
}
%%
int main(int argc, char** argv) {
return yylex();
}
构建过程：
$ lemon parser.y
$ flex -o main.c main.l
$ gcc -std=c11 -Wall -Wno-unused-variable -o catlan -D_XOPEN_SOURCE=800 main.c parser.c
测试：
$ ./catlan <<< 'NSObject'
Parse failed.
Syntax error handling 'EOF'
$ ./catlan <<< 'NSObject description'
Parse succeeded.
$ ./catlan <<< 'NSObject description.'
Parse succeeded.
$ ./catlan <<< 'NSObject description. OtherObject'
Parse failed.
Syntax error handling 'EOF'
$ ./catlan <<< 'NSObject description. OtherObject otherDesc'
Parse succeeded.
$ ./catlan <<< 'NSObject description. OtherObject otherDesc.'
Parse succeeded.
$ ./catlan <<< 'NSObject description. OtherObject otherDesc extra words'
Syntax error handling 'extra'
Parse succeeded.
$ ./catlan <<< 'method [ NSObject desc]'
Parse succeeded.
$ ./catlan <<< 'method [ NSObject desc.]'
Parse succeeded.
$ ./catlan <<< 'method [ NSObject desc extra words]'
Syntax error handling 'extra'
Parse failed.
$ ./catlan <<< 'method [ NSObject desc. Second]'
Syntax error handling ']'
Parse failed.
$ ./catlan <<< 'method [ NSObject desc. Second desc]'
Parse succeeded.