按字符拆分Erlang UTF8二进制文件

Question

如何将二进制Erlang字符串的数据视为UTF8字符进行拆分？

假设我们有一个二进制文件，它应该分为两部分，第一部分应该包含前两个UTF8字符。以下是几个例子：
<<"ąčęė">>应成为[<<"ąč">>, <<"ęė">>]

<<"あぁぅうぁ">>应变为[<<"あぁ">>, <<"ぅうぁ">>]

Answer 1

要将utf-8编码的二进制字符串分为两部分，第一部分包含前两个字符，第二部分包含其余字符，可以使用以下函数：

split_2(<<One/utf8,Two/utf8,Rest/binary>>) ->
    %% One and Two are now the unicode codepoints of the first 2 characters.
    [<<One/utf8,Two/utf8>>,Rest].

将二进制与utf8进行匹配将提取第一个utf8编码的字符，并将unicode代码点作为整数返回，这就是为什么我们必须构建前两个字符的二进制结果。如果二进制文件中没有2个utf-8编码字符，此函数将失败。

比特串和二进制之间的区别在于，二进制的大小必须是8比特的倍数，而比特串可以是任何大小。

Answer 2

尽管我不清楚，但我认为这会成功：

Eshell V6.2  (abort with ^G)          
1> Input = <<"ąčęė">>.                
<<"ąčęė">>                            
2> L = [X || <<X:2/binary>> <= Input].
[<<"ąč">>,<<"ęė">>]                   
3>

更新：此更新将其拆分为S, TheRest:

%% S is the number of characters you want
split_it(S, Bin) when S > 0 ->
  case Bin of
    <<P:S/binary, R/binary>> -> [P | split_it(infinity, R)];
    <<>> -> [];
    _ -> [Bin]
  end.           

Answer 3

恰好需要这样的函数。这就是我最终得到的：

trunc_utf8(Utf8s, Count) ->
    trunc_utf8(Utf8s, Count, <<>>).
trunc_utf8(<<>>, _Count, Acc) -> Acc;
trunc_utf8(_Utf8s, 0, Acc) -> Acc;
trunc_utf8(<<H/utf8, T/binary>> = _Utf8s, Count, Acc) ->
    trunc_utf8(T, Count - 1, <<Acc/binary, H/utf8>>).