在抓取工具维基上保存和恢复 - CPU 时间

Question

这是我第一次这样做，所以我最好提前为我的菜鸟错误道歉。我正在尝试通过搜索州内的名字和姓氏来抓取第一页结果 legacy.com。我是编程新手，并且正在使用 scraperwiki 来做代码。它奏效了，但是在 10,000 个查询有时间处理之前很久，我的 CPU 时间就用完了。现在我正在尝试保存进度，在时间不足时捕获，然后从中断的地方继续。

我无法让保存工作，其他部分的任何帮助也将不胜感激。到目前为止，我只是抓取链接，但如果有一种方法可以保存链接页面的主要内容，那也将非常有帮助。

这是我的代码：

import scraperwiki
from urllib import urlopen
from BeautifulSoup import BeautifulSoup
f = open('/tmp/workfile', 'w')
#read database, find last, start from there
def searchname(fname, lname, id, stateid):
    url = 'http://www.legacy.com/ns/obitfinder/obituary-search.aspx?daterange=Last1Yrs&firstname= %s &lastname= %s &countryid=1&stateid=%s&affiliateid=all' % (fname, lname, stateid)
    obits=urlopen(url)
    soup=BeautifulSoup(obits)
    obits_links=soup.findAll("div", {"class":"obitName"})
    print obits_links
    s = str(obits_links)
    id2 = int(id)
    f.write(s)
    #save the database here
    scraperwiki.sqlite.save(unique_keys=['id2'], data=['id2', 'fname', 'lname', 'state_id', 's'])

# Import Data from CSV
import scraperwiki
data = scraperwiki.scrape("https://dl.dropbox.com/u/14390755/legacy.csv")
import csv
reader = csv.DictReader(data.splitlines())
for row in reader:
    #scraperwiki.sqlite.save(unique_keys=['id'], 'fname', 'lname', 'state_id', data=row)
    FNAME = str(row['fname'])
    LNAME = str(row['lname'])
    ID = str(row['id'])
    STATE = str(row['state_id'])
    print "Person: %s %s" % (FNAME,LNAME)
    searchname(FNAME, LNAME, ID, STATE)

f.close()
f = open('/tmp/workfile', 'r')
data = f.read()
print data

Answer 1

在 CSV 循环的底部，用 save_var 编写每个 fname+lname+state 组合。然后，在该循环之前，添加另一个循环，该循环遍历行而不处理它们，直到它传递保存的值。

您应该能够将整个网页写入数据存储，但我还没有测试过。