Unicode标量字符串的子字符串函数

Question

之前，我在grapheme集群上编写了unicode字符串的子字符串函数，如下所示。传递给函数的位置是基于Unicode标量的，例如，rn被计数为2，但Grapheme集群将rn计数为1。所以这个函数在某些情况下不能很好地工作:

let uni_sub (s: string) (pos: int) (len: int) = 
let (_, r) = 
Uuseg_string.fold_utf_8 
`Grapheme_cluster
(fun (p, acc) ch -> if (p >= pos) && (p <= pos+len-1) then (p+1, acc ^ ch) else (p+1, acc))
(0, "")
s 
in 
r

我建议写一个unicode字符串的子字符串函数在他们的标量，通过使用Uutf.String.fold_utf_8和Buffer.add_utf_8_uchar。然而，由于没有很好地理解系统是如何工作的，我只能粗略地编写以下代码，并希望首先使类型工作。

let uni_sub_scalars (s: string) (pos: int) (len: int) = 
let b: Buffer.t = Buffer.create 42 in
let rec add (acc: string list) (v: [ `Uchar of Stdlib.Uchar.t | `Await | `End ]) : Uuseg.ret =
match v with
| `Uchar u -> 
Buffer.add_utf_8_uchar b u; 
add acc `Await
| `Await | `End -> failwith "don't know what to do"
in
let (_, r) = 
Uuseg_string.fold_utf_8 
(`Custom (Uuseg.custom ~add:add))
(fun (p, acc) ch -> if (p >= pos) && (p <= pos+len-1) then (p+1, acc ^ ch) else (p+1, acc))
(0, "")
s 
in 
r

和编译返回一个错误，我不知道如何修复:

File "lib/utility.ml", line 45, characters 6-39:
45 |       (`Custom (Uuseg.custom ~add:add))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Error: This expression has type
[> `Custom of
?mandatory:(string list -> bool) ->
name:string ->
create:(unit -> string list) ->
copy:(string list -> string list) -> unit -> Uuseg.custom ]
but an expression was expected of type [< Uuseg.boundary ]
Types for tag `Custom are incompatible
make: *** [lib/utility.cmo] Error 2

谁能帮我写这个子字符串函数的Unicode字符串的标量?

Answer 1

编译返回一个错误，我不知道如何修复:

Uuseg.custom函数创建一个自定义分段并接受几个参数(您只传递了一个)，

val custom :
?mandatory:('a -> bool) ->
name:string ->
create:(unit -> 'a) ->
copy:('a -> 'a) ->
add: ('a -> [ `Uchar of Uchar.t | `Await | `End ] -> ret) -> unit -> custom

所以你需要传递name,create,copy参数以及位置()参数。但我不认为这是你应该使用的函数。

谁能帮我写Unicode字符串标量的子字符串函数?

是的，如果我们遵循建议并通过使用Uutf.String.fold_utf_8和Buffer.add_utf_8_uchar来实现它，这是非常容易的。(注意，我们被建议使用Uutf.String.fold_utf_8而不是Uuseg_string.fold_utf_8)。

一个简单的实现(不做很多错误检查)，看起来像这样，

let substring s pos len =
let buf = Buffer.create len in
let _ : int = Uutf.String.fold_utf_8 (fun off _ elt ->
match elt with
| `Uchar x when off >= pos && off < pos + len ->
Buffer.add_utf_8_uchar buf x;
off + 1
| _ -> off + 1) 0 s in
Buffer.contents buf

下面是它的工作原理(以我的名字为例)，

# substring "ИванnrГотовчиц" 0 5;;
- : string = "Иванn"
# substring "ИванnrГотовчиц" 11 3;;
- : string = "чиц"

对于从右到左的脚本也可以，

# let shalom = substring "שָׁלוֹ";;
val shalom : int -> int -> string = <fun>
# shalom 0 1;;
- : string = "ש"
# shalom 0 2;;
- : string = "שָ"
# shalom 2 2;;
- : string = "ׁל"
# shalom 2 1;;
- : string = "ׁ"