Foreach() 和 each() 内存不足，分块不起作用

Question

我正在编写一个工匠控制台命令，该命令循环遍历表中的所有记录并重新生成该表上的字段。

该字段是一个hash，并作为特定字符串的md5()生成。

最初我的代码看起来像这样：

// Get all recipes
$recipes = Recipe::all();
$hashProgress = $this->output->createProgressBar(count($recipes));
// Loop over each recipe and generate a new hash for it
foreach ($recipes as $recipe)
{
$hashString = '';
$hashString .= $recipe->field1;
$hashString .= $recipe->field2;
$hashString .= $recipe->field3;
$hashString .= $recipe->field4;
$hashString .= $recipe->field5;
$hashString .= $recipe->field6;
$hashString .= $recipe->field7;
$extras1Total = $recipe->extras1->sum('amount');
$hashString .= $recipe->extras1->reduce(function ($str, $item) use ($extras1Total) {
return $str . $item->name . ($extras1Total == 0 ? $item->amount : ($item->amount / $extras1Total * 100));
}, '');
$extras2Total = $recipe->extras2->sum('amount');
$hashString .= $recipe->extras2->reduce(function ($str, $item) use ($extras2Total) {
return $str . $item->name . ($extras2Total == 0 ? $item->amount : ($item->amount / $extras2Total * 100));
}, '');
$extras3Total = $recipe->extras3->sum('amount');
$hashString .= $recipe->extras3->reduce(function ($str, $item) use ($extras3Total) {
return $str . $item->name . ($extras3Total == 0 ? $item->amount : ($item->amount / $extras3Total * 100));
}, '');
$extras4Total = $recipe->extras4->sum('amount');
$hashString .= $recipe->extras4->reduce(function ($str, $item) use ($extras4Total) {
return $str . $item->name . ($extras4Total == 0 ? $item->amount : ($item->amount / $extras4Total * 100));
}, '');
$recipe->update([
'hash' => md5($hashString),
]);
$hashProgress->advance();
}
$hashProgress->finish();
$this->info(' Recipe hashes regenerated.');

在获得 28,000 条记录中的大约 10,000 条后，它将因内存耗尽错误而死亡：

PHP 致命错误：允许的内存大小 268435456 字节已耗尽(尝试分配 4096 字节)

我认为chunk这可能会有所帮助：

// Get all recipes
$recipes = Recipe::all();
$hashProgress = $this->output->createProgressBar(count($recipes));
// Loop over each recipe and generate a new hash for it
foreach ($recipes->chunk(1000) as $chunk)
{
foreach ($chunk as $recipe)
{
$hashString = '';
$hashString .= $recipe->field1;
$hashString .= $recipe->field2;
$hashString .= $recipe->field3;
$hashString .= $recipe->field4;
$hashString .= $recipe->field5;
$hashString .= $recipe->field6;
$hashString .= $recipe->field7;
$extras1Total = $recipe->extras1->sum('amount');
$hashString .= $recipe->extras1->reduce(function ($str, $item) use ($extras1Total) {
return $str . $item->name . ($extras1Total == 0 ? $item->amount : ($item->amount / $extras1Total * 100));
}, '');
$extras2Total = $recipe->extras2->sum('amount');
$hashString .= $recipe->extras2->reduce(function ($str, $item) use ($extras2Total) {
return $str . $item->name . ($extras2Total == 0 ? $item->amount : ($item->amount / $extras2Total * 100));
}, '');
$extras3Total = $recipe->extras3->sum('amount');
$hashString .= $recipe->extras3->reduce(function ($str, $item) use ($extras3Total) {
return $str . $item->name . ($extras3Total == 0 ? $item->amount : ($item->amount / $extras3Total * 100));
}, '');
$extras4Total = $recipe->extras4->sum('amount');
$hashString .= $recipe->extras4->reduce(function ($str, $item) use ($extras4Total) {
return $str . $item->name . ($extras4Total == 0 ? $item->amount : ($item->amount / $extras4Total * 100));
}, '');
$recipe->update([
'hash' => md5($hashString),
]);
$hashProgress->advance();
}
}
$hashProgress->finish();
$this->info(' Recipe hashes regenerated.');

但是我仍然遇到内存耗尽错误。

如何在不增加内存限制的情况下循环遍历所有这些记录并实现我所追求的目标？

Answer 1

你"分块"的方式实际上比初始代码消耗更多的内存。

您正在做的是一次获取所有记录，将它们存储在$recipes中，然后通过调用结果集合上的chunk()对结果进行分块。

相反，您需要在基础Recipe模型的查询生成器上调用具有相同名称的方法chunk()，并逐块生成哈希：

Recipe::chunk(1000, function ($recipies) {
// Hash generation logic here
});

这样，您可以消除一个巨大的$recipes变量，我确信这是这里的瓶颈。根据可用内存，您可能需要稍微调整块大小以避免内存耗尽。

此外，我会尝试在生成哈希时使用更少的变量，而不是留下$extras1Total、extras2Total、...变量。所有这些都可以替换为将一遍又一遍重写的$total。不过，这是微优化。

附言如果数据库写入压力很大(总共 28k 很少见)，您可能需要考虑在一次(或几次)中执行最终更新，而不是按记录进行。