块中的php拆分字符串ngrams unicode char问题



我尝试从php中的字符串生成n克,因为我从以下方法中使用此功能:

function Bigrams($word){
    $ngrams = array();
    $len = strlen($word);
    for($i=0;$i+1<$len;$i++){
        $ngrams[$i]=$word[$i].$word[$i+1];
    }
    return $ngrams;
}
$word = "abcdefg";
print_r(Bigrams($word));

确定返回按预期返回:

[0] => ab
[1] => bc
[2] => cd
[3] => de
[4] => ef
[5] => fg

但对于某些Unicode字符,未按预期返回:

ex:for $ word ="lòriria"返回:

[0] => L�
[1] => ò
[2] => �r
[3] => ri

或$ word ="返回:

[0] => п
[1] => ��
[2] => о
[3] => ��
[4] => ж
[5] => ��
[6] => а
[7] => ��
[8] => л

任何想法如何解决?

使用Unicode方向的字符串函数

function Bigrams($word){
    $ngrams = array();
    $len = mb_strlen($word);
    for($i=0;$i+1<$len;$i++){
        $ngrams[$i]=mb_substr($word, $i, 2);
    }
    return $ngrams;
}
$word = "пожалуйста";
print_r(Bigrams($word));

结果

Array
(
    [0] => по
    [1] => ож
    [2] => жа
    [3] => ал
    [4] => лу
    [5] => уй
    [6] => йс
    [7] => ст
    [8] => та
)

最新更新