从 CSV 使用 PHP 更新 MySQL 时超时

我需要想出一种方法来更快地完成大型任务以击败超时。

由于托管公司的限制，我对服务器的访问权限非常有限。

我有一个系统设置，cron 访问一个 PHP 文件，该文件获取包含某些产品数据的 csv。 csv 不包含产品将具有的所有字段。只是少数几个必不可少的。

我已经阅读了相当多的关于超时和处理 csv 的文章，目前（为了节省时间）我制作了一个表格（我们称之为 csv_data）来保存 csv 数据。我有一个脚本截断csv_data表，然后插入来自 csv 的数据，因此每天晚上来自 csv 的最新记录集都在该表中（csv 文件每晚更新）。到目前为止，没有超时问题。该任务只需要大约 4-5 秒。

当我必须筛选数据以更新产品表时，会发生超时。它现在运行的步骤是这样的

1. Get the sku from csv_data table (that holds thousands of records)
2. Select * from Products where products.sku = csv.sku (products table also holds thousands of records to loop through)
3. Get numrows.   
    If numrows<0{no record in products, so skip}. 
    If numrows>1{duplicate entries, don't change anything, but later on report the sku}
    If numrows==1{Update selected fields in the products table with csv data}
4. Go to the next record in csv_data all over again

（我认为概述该过程比删除代码更短，更容易。我研究了 MySQl 视图和存储过程，但我没有足够的技能来知道它是否会处理"if"语句部分。

我能做些什么来加快速度以避免超时？

编辑：

我应该提到set_time_limit(0);没有这样做。如果有帮助，服务器将使用IIS7和fastcgi感谢您的帮助。

使用Jakob和Shawn的建议后更新：

我做错了什么。速度肯定更快，csv SKU 正在增加，

但是当我尝试实现 Shawn 的解决方案时;查询给了我一个 PHP 警告：mysql_result（）期望参数 1 是资源，布尔错误。

你能帮我发现我做错了什么吗？

下面是代码部分：

$csvdata="SELECT * FROM csv_update";
    $csvdata_result=mysql_query($csvdata); 
    mysql_query($csvdata);
    $csvdata_num = mysql_num_rows($csvdata_result);
    $i=0;       
while($i<$csvdata_num){
$csv_code=@mysql_result($csvdata_result,$i,"skucode");
$datacheck=NULL;    
$datacheck=substr($csv_code,0,1);
if($datacheck>='0' && $datacheck<='9'){
$csv_price=@mysql_result($csvdata_result,$i,"price");
$csv_retail=@mysql_result($csvdata_result,$i,"retail");
$csv_stock=@mysql_result($csvdata_result,$i,"stock");
$csv_weight=@mysql_result($csvdata_result,$i,"weight");
$csv_manufacturer=@mysql_result($csvdata_result,$i,"manufacturer");
$csv_misc1=@mysql_result($csvdata_result,$i,"misc1");
$csv_misc2=@mysql_result($csvdata_result,$i,"misc2");
$csv_selectlist=@mysql_result($csvdata_result,$i,"selectlist");
$csv_level5=@mysql_result($csvdata_result,$i,"level5");
$csv_frontpage=@mysql_result($csvdata_result,$i,"frontpage");
$csv_level3=@mysql_result($csvdata_result,$i,"level3");
$csv_minquantity=@mysql_result($csvdata_result,$i,"minquantity");
$csv_quantity1=@mysql_result($csvdata_result,$i,"quantity1");
$csv_discount1=@mysql_result($csvdata_result,$i,"discount1");
$csv_quantity2=@mysql_result($csvdata_result,$i,"quantity2");
$csv_discount2=@mysql_result($csvdata_result,$i,"discount2");
$csv_quantity3=@mysql_result($csvdata_result,$i,"quantity3");
$csv_discount3=@mysql_result($csvdata_result,$i,"discount3");
    $count_check="SELECT COUNT(*) AS totalCount FROM products WHERE skucode = '$csv_code'";
    $count_result=mysql_query($count_check); 
    mysql_query($count_check);
    $totalCount=@mysql_result($count_result,0,'totalCount');
    $loopCount = ceil($totalCount / 25);
    for($j = 0; $j < $loopCount; $j++){
    $prod_check="SELECT skucode FROM products WHERE skucode = '$csv_code' LIMIT ($loopCount*25), 25;";
    $prodresult=mysql_query($prod_check); 
    mysql_query($prod_check);
    $prodnum =@mysql_num_rows($prodresult);
    $prod_id=@mysql_result($prodresult,0,"catalogid");

    if($prodnum<1){ 
    echo "NOT FOUND:$csv_code<br>";
    $count_sku_not_found=$count_sku_not_found+1;
    $list_sku_not_found=$list_sku_not_found." $csv_code";}
    if($prodnum>1){ 
    echo "DUPLICATE:$csv_ccode<br>";    
    $count_duplicate_skus=$count_duplicate_skus+1;
    $list_duplicate_skus=$list_duplicate_skus." $csv_code";}

if ($prodnum==1){
///This prevents an overwrite from happening if the csv file doesn't produce properly
    if ($csv_price!="" OR $csv_price!=NULL)
    {$sql_price='price="'.$csv_price.'"';}
    if ($csv_retail!="" OR $csv_retail!=NULL)
    {$sql_retail=',retail="'.$csv_retail.'"';}
    if ($csv_stock!="" OR $csv_stock!=NULL)
    {$sql_stock=',stock="'.$csv_stock.'"';}
    if ($csv_weight!="" OR $csv_weight!=NULL)
    {$sql_weight=',weight="'.$csv_weight.'"';}
    if ($csv_manufacturer!="" OR $csv_manufacturer!=NULL)
    {$sql_manufacturer=',manufacturer="'.$csv_manufacturer.'"';}
    if ($csv_misc1!="" OR $csv_misc1!=NULL)
    {$sql_misc1=',misc1="'.$csv_misc1.'"';}
    if ($csv_misc2!="" OR $csv_misc2!=NULL)
    {$sql_pother2=',pother2="'.$csv_misc2.'"';}
    if ($csv_selectlist!="" OR $csv_selectlist!=NULL)
    {$sql_selectlist=',selectlist="'.$csv_selectlist.'"';}
    if ($csv_level5!="" OR $csv_level5!=NULL)
    {$sql_level5=',level5="'.$csv_level5.'"';}
    if ($csv_frontpage!="" OR $csv_frontpage!=NULL)
    {$sql_frontpage=',frontpage="'.$csv_frontpage.'"';}

$import="UPDATE products SET $sql_price $sql_retail $sql_stock $sql_weight $sql_manufacturer $sql_misc1 $sql_misc2 $sql_selectlist $sql_level5 $sql_frontpage    $sql_in_stock WHERE skucode='$csv_code'";
 mysql_query($import) or die(mysql_error("error updating in products table"));

echo "Update ".$csv_code." successful ($i)<br>";
$count_success_update_skus=$count_success_update_skus+1;
$list_success_update_skus=$list_success_update_skus." $csv_code";

//empty out variables 
$sql_price='';
$sql_retail='';
$sql_stock='';
$sql_weight='';
$sql_manufacturer='';
$sql_misc1='';
$sql_misc2='';
$sql_selectlist='';
$sql_level5='';
$sql_frontpage='';
$sql_in_stock='';
$prodnum=0;
}
}
$i++;
}

它是在返回第一行之前超时，还是在读取期间的行之间超时？一个好的做法是分块处理查询;首先进行计数以查看您正在处理 SKU 的记录数，循环遍历较小的区块（这些区块的大小取决于您必须对每行执行多少操作）。更新后的工作流将如下所示：

从 CSV 获取下一个 SKU
获取总数：SELECT COUNT(*) AS totalCount FROM products WHERE products.sku = csv.sku
确定区块大小（本演示使用 25）
loopCount = ceil(totalCount / 25)
使用如下所示的循环遍历所有结果：for($i = 0; $i < loopCount; $i++)
在你的循环中，你应该运行一个这样的查询：SELECT * FROM products WHERE products.sku = csv.sku LIMIT (loopCount*25), 25

您需要对 SELECT 块使用常量顺序;您的唯一 ID 可能是最好的。

我认为你可以用cron解决这个问题。 http://en.wikipedia.org/wiki/Cron.它从未超时。

编辑：

相关内容

最新更新

热门标签：