Boost.Tokenizer如何不从令牌中删除分隔符

Question

是否可以不删除字符，这些字符是字符分隔符<>用于boost:：tokenizer<>？

如果是，怎么做？

我想将字符串"[a]str1[/a][b]str2[/b]"标记为：

[a] ，str1，[/a]，[b]，str2，[/b]

我的分隔符是字符："<"one_answers">"，默认情况下boost会删除它们。

Answer 1

根据文档，char_separator的构造函数有3个参数：const Char* dropped_delims、const Char* kept_delims、empty_token_policy empty_tokens。

只需将分隔符传递到kept_delims而不是dropped_delims（即作为第二个参数）。届时，它们将作为单独的代币返回。