如何仅使用 ANTLR3 词法分析器，而不使用解析器

Question

我只需要在ANTLR3中使用词法分析器，我不需要解析器。我该怎么做？我使用以下代码（在main.c中），这是我在互联网上找到的。

    #include <CLexer.h>
#include <CParser.h>
int ANTLR3_CDECL
main    (int argc, char *argv[])
{
    pANTLR3_UINT8               fileName;
    pANTLR3_INPUT_STREAM        inputStream;
    pCLexer                     cLexer;
    pANTLR3_COMMON_TOKEN_STREAM tokenStream;
    pCParser                    cParser;
    // Имя входного файла по умолчанию - "input", но
    // его можно задать аргументом программы
    //
    if (argc < 2 || argv[1] == NULL)
    {
        fileName = (pANTLR3_UINT8) "./input";
    }
    else
    {
        fileName = (pANTLR3_UINT8) argv[1];
    }
    // Открываем входной поток, связанный с этим файлом
    //
    inputStream = antlr3AsciiFileStreamNew(fileName);
    if ( inputStream == NULL)
    {
        // Аварийный выход (файл не открывается)
        //
        fprintf(stderr, "Failed to open file %sn", (char *) fileName);
        exit(1);
    }
    // Создаём лексер, связанный с открытым потоком
    //
    cLexer = CLexerNew(inputStream);
    if ( cLexer == NULL )
    {
        // Аварийный выход (закончилась память, лол)
        //
        fprintf(stderr, "Unable to create the lexer due to malloc() failure1n");
        exit(1);
    }
    // Получаем поток токенов из входных данных
    //
    tokenStream = antlr3CommonTokenStreamSourceNew(ANTLR3_SIZE_HINT, 
                                                   TOKENSOURCE(cLexer));
    if (tokenStream == NULL)
    {
        // Аварийный выход (закончилась память)
        //
        fprintf(stderr, "Out of memory trying to allocate token streamn");
        exit(1);
    }
    // Создаём парсер, связанный с потоком токенов
    //
    cParser = CParserNew(tokenStream);
    if (cParser == NULL)
    {
        // Аварийный выход (закончилась память, хотя, мне кажется,
        // что здесь более вероятны другие причины ошибки)
        //
        fprintf(stderr, "Out of memory trying to allocate parsern");
        exit(ANTLR3_ERR_NOMEM);
    }
    // Не знаю
    //
    cParser->translation_unit(cParser);
    // Уничтожаем созданные "объекты" в том порядке, в котором их создавали
    //
    cParser ->free(cParser);
    cParser = NULL;
    tokenStream ->free(tokenStream);
    tokenStream = NULL;
    cLexer ->free (cLexer);
    cLexer = NULL;
    inputStream ->close (inputStream);
    inputStream = NULL;
    return 0;
}

但看起来它也使用解析器，因为当我尝试使用它时，我在控制台中遇到了大量解析错误。

Answer 1

在 tokenStream 'object' 上使用 getTokens（） 来获取令牌的 ANTLR 向量。然后打印矢量的内容。

//This runs fillBuffer() which is the function that runs the lexer to completion
pANTLR3_VECTOR tList = tokenStream->getTokens(tokenStream);
pANTLR3_COMMON_TOKEN token = tList->get(tList,0);