如何从 StringTokenizer 获取分隔符

Question

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'");

有没有办法也检索分隔符，在这种情况下是所有标点符号？

例如，"这是一个测试，这也是一个测试吗？

我希望标记化的结果还包括两个标记，和 ？

这可能吗？

Answer 1

StringTokenizer有一个重载的构造函数，它接受第三个boolean参数。将其设置为 true 将使 tokenzier 也返回分隔符：

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'", true);
// Here ---------------------------------------------------------^