Aho Sethi和Ullman的《编译器原理、技术和工具》有一章是关于词法分析器的。它包含了许多关于正则表达式和有限自动机的理论，它们是这个问题领域的核心。
我正在尝试使用java创建一个词法分析器程序。程序必须有标记化的概念。我有编译器编程的初级知识。我知道互联网上有很多词汇生成器。我可以用它们来测试我自己的词法分析器。但我需要自己做词法分析器。谁能给我一些最好的参考资料、文章或想法来开始我的写作吗？
我会尝试查看一些更好的源代码。我过去用过Sablecc。如果你转到这个页面描述如何设置你的环境，那里有一个链接到它的源代码。Antlr也是一个非常常用的链接。这是它的源代码。
此外，《龙书》真的很好。
根据SK逻辑的建议，我将添加现代编译器实现作为另一个选项。