PhalconPHP中的大型流程

Question

我有一个webapp，它是日志应用程序，我需要那里的备份/恢复/导入/导出功能。我在拉拉威尔身上成功地做到了这一点，但在法尔康身上有一些并发症。我在phalcon中没有看到本地函数会在大型php脚本的块执行上分裂。

问题是，日志将由用户以ADIF格式(ADIF.org)备份、恢复和导入。我有该格式的解析器，它将文件转换为数组数组，然后每条记录都应该搜索另一个表，其中包含2000个正则表达式，并在那里找到3-10个匹配项，并将一个表中导入的记录连接到另一个表(模型关系hasMany)。这意味着每个导入的记录都应该有相当长的处理时间。laravel以某种方式导入了3500条记录，我不知道它将如何处理更多的记录。平均导入将包含10000条记录，并且每个记录都需要使用2000个正则表达式进行验证。

主要的问题是如何将这个巨大的处理装载拆分成更小的块，这样我就不会超时？

Answer 1

以下是一个函数，它可以完美地完成在一个表中添加3862条记录的工作，并且作为处理每个记录的结果，在另一个表添加8119条记录：

public function restoreAction()
{
$this->view->disable();
$user = Users::findFirst($this->session->auth['id']);
if ($this->request->isPost()) {
if ($this->request->isAjax()) {
$frontCache = new CacheData(array(
"lifetime" => 21600
));
$cache = new CacheFile($frontCache, array(
"cacheDir" => "../plc/app/cache/"
));
$cacheKey = $this->request->getPost('fileName').'.cache';
$records = $cache->get($cacheKey);
if ($records === null) {
$rowsPerChunk = 50;
$adifSource = AdifHelper::parseFile(BASE_URL.'/uploads/'.$user->getUsername().'/'.$this->request->getPost('fileName'));
$records = array_chunk($adifSource, $rowsPerChunk);
$key = array_keys($records); 
$size = count($key); 
}
for ($i = 0; $i < $size; $i++) {
if (!isset($records[$i])) {
break;
}
set_time_limit(50);
for ($j=0; $j < $rowsPerChunk; $j++) { 
$result = $records[$i][$j];
if (!isset($result)) {
break;
}
if(isset($result['call'])) {
$p = new PrefixHelper($result['call']);
}
$bandId = (isset($result['band']) && (strlen($result['band']) > 2)) ? Bands::findFirstByName($result['band'])->getId() : null;
$infos = (isset($p)) ? $p->prefixInfo() : null;
if (is_array($infos)) {
if (isset($result['qsl_sent']) && ($result['qsl_sent'] == 'q')) {
$qsl_rcvd = 'R';
} else if (isset($result['eqsl_qsl_sent']) && ($result['eqsl_qsl_sent'] == 'c')) {
$qsl_rcvd = 'y';
} else if (isset($result['qsl_rcvd'])) {
$qsl_rcvd = $result['qsl_rcvd'];
} else {
$qsl_rcvd ='i';
}
$logRow = new Logs();
$logRow->setCall($result['call']);
$logRow->setDatetime(date('Y-m-d H:i:s',strtotime($result['qso_date'].' '.$result['time_on'])));
$logRow->setFreq(isset($result['freq']) ? $result['freq'] : 0);
$logRow->setRst($result['rst_sent']);
$logRow->setQslnote(isset($result['qslmsg']) ? $result['qslmsg'] : '');
$logRow->setComment(isset($result['comment']) ? $result['comment'] : '');
$logRow->setQslRcvd($qsl_rcvd);
$logRow->setQslVia(isset($result['qsl_sent_via']) ? $result['qsl_sent_via'] : 'e');
$logRow->band_id = $bandId;
$logRow->user_id = $this->session->auth['id'];
$success = $logRow->save();
if ($success) {
foreach ($infos as $info) {
if (is_object($info)) {
$inf = new Infos();
$inf->setLat($info->lat);
$inf->setLon($info->lon);
$inf->setCq($info->cq);
$inf->setItu($info->itu);
if (isset($result['iota'])) {
$inf->setIota($result['iota']);
}
if (isset($result['pfx'])) {
$inf->setPfx($result['pfx']);
}
if (isset($result['gridsquare'])) {
$inf->setGrid($result['gridsquare']);
} else if (isset($result['grid'])) {
$inf->setGrid($result['grid']);
}
$inf->qso_id = $logRow->getId();
$inf->prefix_id = $info->id;
$infSuccess[] = $inf->save();
}
}
}
}
}
sleep(1);
}
}       
}
}

我知道，剧本需要很多改进，但现在的任务只是让它发挥作用。

Answer 2

我认为php中大型处理任务的最佳实践是控制台应用程序，它在执行时间上没有限制，并且可以设置更多的执行内存。

至于phalcon，它有运行和处理cli任务的内置机制-命令行应用程序(此链接将始终指向phalcon最新版本的文档)