相似算法建议，使用二维关联数组

Question

该算法的主要目标是找到来自不同网络来源的新闻文章的相似标题并将其分组，假设相似度在55.55%以上。

我目前的算法方法包括以下步骤:

• 将MYSQL数据库中的数据输入到二维数组中，例如$arrayOne.
• 将该数组复制到ex. $arrayTwo.
• 创建一个干净的数组，只包含类似的标题和其他内容，例如$array_smlr.
• 循环，foreach $arrayOnearticle_title检查与$arrayTwoarticle_title
• 如果两个标题之间的相似性高于55%，如果文章不是来自相同的新闻来源(这样我就不会检查来自相同来源的相同文章)，将其添加到$array_smlr
• 排序$array_smlr基于相似性的百分比，这样我最终分组标题是相似的。

下面是我对上述任务的代码。

$result = mysqli_query($conn,"SELECT id_articles,article_img,article_title,LEFT(article_content , 200),psource, date_fetched FROM project.articles WHERE " . rtrim($values,' or') . " ORDER BY date_fetched DESC LIMIT 70");
$arrayOne=array();
$arrayTwo=array();
while($row = mysqli_fetch_assoc($result)){
    $arrayOne[] = $row;
}
$arrayTwo = $arrayOne;
$array_smlr=array();
foreach ($arrayOne as $rowOne) {
    foreach($arrayTwo as $rowTwo){
        $compare = similar_text($rowOne['article_title'], $rowTwo['article_title'], $p);
        if ( round($p,2) >= 55.50 and $rowOne['psource'] != $rowTwo['psource'] ){
            $data =  array('percentage' => round($p,2), 'article_title' => $rowTwo['article_title'], 'psource' => $rowTwo['psource'], 'id_articles' => $rowTwo['id_articles'], 'date_fetched' =>$rowTwo['date_fetched']);
            $array_smlr[]=$data; 
        }
    }
}
array_multisort($array_smlr);
foreach($array_smlr as $row3){
    echo $row3['percentage'] . $row3['article_title'] . $row3['psource'] . $row3['id_articles'] . $row3['date_fetched'] . "<br><br>";
}

只有当我有两个类似的标题时，这将在有限的功能下工作，但假设我有3个类似的标题，它将包括$array_smlr中的重复数据行。

如果你对优化这个算法有任何建议，我将不胜感激，以提高性能。

谢谢,

Answer 1

你真的不需要两个数组来代替没有$key通配符的foreach循环，你可以将它与$key一起使用，当$key相同时跳过求解器。那么你也可以避免受骗。

foreach ($arrayOne as $key => $rowOne) {
   foreach($arrayOne as $ikey => $rowTwo){
      if ($ikey != $key) {
        $compare = similar_text($rowOne['article_title'],$rowTwo['article_title'], $p);
        if ( round($p,2) >= 55.50 and $rowOne['psource'] != $rowTwo['psource'] ){
            $data =  array('percentage' => round($p,2), 'article_title' => $rowTwo['article_title'], 'psource' => $rowTwo['psource'], 'id_articles' => $rowTwo['id_articles'], 'date_fetched' =>$rowTwo['date_fetched']);
            $array_smlr[$rowTwo['id_articles']]=$data; 
        }
    }
}