为数千个项目优化foreach

Question

我在一组25,000结果上运行下面的代码。我需要优化它，因为我达到内存限制。

$oldproducts = Oldproduct::model()->findAll(); /*(here i have 25,000 results)*/
foreach($oldproducts as $oldproduct) :
    $criteria = new CDbCriteria;
    $criteria->compare('`someid`', $oldproduct->someid);
    $finds = Newproduct::model()->findAll($criteria);
    if (empty($finds)) {
        $new = new Newproduct;
        $new->someid = $oldproduct->someid;
        $new->save();
    } else {
        foreach($finds as $find) :
            if ($find->price != $oldproduct->price) {
                $find->attributes=array('price' => $oldproduct->price);
                $find->save();
            }
        endforeach;
    }
endforeach;

代码通过someid比较两个表的行。如果发现符合，则更新price列，否则创建新记录。

Answer 1

使用CDataProviderIterator

…

允许在大数据集上迭代，而无需将整个数据集保存在内存中。

您首先必须传递一个CDataProvider实例给它:

$dataProvider = new CActiveDataProvider("Oldproduct");
$iterator = new CDataProviderIterator($dataProvider);
foreach($iterator as $item) {
    // do stuff
}

Answer 2

您可以以~5000为块处理行，而不是一次处理所有行!

$cnt = 5000;
$offset = 0;
do {
    $oldproducts = Oldproduct::model()->limit($cnt)->offset($offset)->findAll(); /*(here i have 25,000 results)*/
    foreach($oldproducts as $oldproduct) {
        // your code
    }
    $offset += $cnt;
} while($oldproducts >= $cnt);