我正在寻求有关自定义构建Lexer类的帮助，并使用它来通过输入进行解析。我们的教授为我们提供了一些项目的骨架代码，我们必须使用它。我的问题是，我们需要能够一次调用多个功能来对表和合并/排序单独表的列进行整理。例如，我们的输入将是：
display＆lt;'file_name> sortedby＆lt;'column2>
其中"显示"one_answers"排序"是一种关键字，列2将以数字或字母顺序排序 - 取决于内容。
我们赋予了用于分类的算法，我的当前问题不是实现，而是能够让我们的lexer/parser读取多个输入。目前，我只能让"显示"位工作。更多的只是吐回错误消息。
我已经浏览了代码，尝试更改一些逻辑 - 切换语句从真实转换为false，交换＆amp;''s and ||，甚至尝试了一些没有运气的if -else语句。
我真的可以使用一些建议！我们提供的一些代码，以原始格式：
lexer.h：
#ifndef _LEXER_H
#define _LEXER_H
#include <string>
enum token_types_t {
IDENT, // a sequence of alphanumeric characters and _, starting with alpha
TAG, // sequence of characters between < >, no escape
ENDTOK, // end of string/file, no more token
ERRTOK // unrecognized token
};
struct Token {
token_types_t type;
std::string value;
// constructor for Token
Token(token_types_t tt=ENDTOK, std::string val="") : type(tt), value(val) {}
};
class Lexer {
public:
// constructor
Lexer(std::string str="") : input_str(str), cur_pos(0), in_err(false),
separators(" tnr") { }
//modifiers
void set_input(std::string); // set a new input,
void restart(); // move cursor to the beginning, restart
Token next_token(); // returns the next token
bool has_more_token(); // are there more token(s)?
private:
std::string input_str; // the input string to be scanned
size_t cur_pos; // current position in the input string
bool in_err; // are we in the error state?
std::string separators; // set of separators; *not* the best option!
};
#endif
lexer.cpp：
#include "Lexer.h"
#include <iostream>
using namespace std;
Token Lexer::next_token() {
Token ret;
size_t last;
if (in_err) {
ret.type = ERRTOK;
ret.value = "";
return ret;
}
// if not in error state, the default token is the ENDTOK
ret.type = ENDTOK;
ret.value = "";
if (has_more_token()) {
last = cur_pos; // input_str[last] is a non-space char
if (input_str[cur_pos] == '<') {
cur_pos++;
while (cur_pos < input_str.length() && input_str[cur_pos] != '>')
cur_pos++;
if (cur_pos < input_str.length()) {
ret.type = TAG;
ret.value = input_str.substr(last+1, cur_pos-last-1);
cur_pos++; // move past the closing "
} else {
in_err = true;
ret.type = ERRTOK;
ret.value = "";
}
} else {
while (cur_pos < input_str.length() &&
separators.find(input_str[cur_pos]) == string::npos &&
input_str[cur_pos] != '<') {
cur_pos++;
}
ret.type = IDENT;
ret.value = input_str.substr(last, cur_pos-last);
}
}
return ret;
}
void Lexer::set_input(string str) {
input_str = str;
restart();
}
bool Lexer::has_more_token() {
while (cur_pos < input_str.length() &&
separators.find(input_str[cur_pos]) != string::npos) {
cur_pos++;
}
return (cur_pos < input_str.length());
}
void Lexer::restart() {
cur_pos = 0;
in_err = false;
}
我们的解析器（较大的.cpp文件的一部分）：
bool parse_input(Lexer lexer, string& file_name) {
Token file_name_tok;
if (!lexer.has_more_token() ||
(file_name_tok = lexer.next_token()).type != TAG)
return false;
if (lexer.has_more_token())
return false;
file_name = file_name_tok.value;
return true;
}
显示功能（与解析器相同的.cpp文件的一部分）：
void display(Lexer cmd_lexer) {
string file_name, line;
if (!parse_input(cmd_lexer, file_name)) {
error_return("Syntax error: display <filename>");
return;
}
ifstream ifs(file_name.c_str());
string error_msg;
if (ifs) {
if (!is_well_formed(ifs, error_msg)) {
error_return(error_msg);
} else {
ifs.clear();
ifs.seekg(0, ios::beg);
print_well_formed_file(ifs);
}
while (ifs.good()) {
getline (ifs, line);
cout << line << endl;
}
} else {
error_return("Can't open " + file_name + " for reading");
}
ifs.close();
}
根据我的评论的答案，这些是我解决问题的方式：
-
如果
display命令应读取源文件并解析它，则可以通过堆栈实现它。每当找到和解析display指令时，都可以在堆栈上推出一个新的Lexer实例。将堆栈的顶部用于"电流" lexer。 -
如果
display命令应在与实际解析的文件无关的文件上读取并执行某些操作，请考虑以固定形式的中间形式存储指令，并且完成解析时，请"执行"此中间格式。这是几乎所有现代脚本语言都可以做到的方式。
似乎很容易。要读取多个输入，您需要多个Lexer/Parser。只需为每个输入创建一个您必须阅读的输入即可。