如何从世界银行数据集下载CSV文件

Question

我想自动从世界银行的数据集中下载CSV文件。

我的问题是，与特定数据集相对应的URL不会直接指向所需的CSV文件，而是对世界银行API的查询。例如，这是获取人均GDP数据的URL：http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv.

如果您在浏览器中粘贴此URL，它将自动启动相应文件的下载。因此，我通常用来在Python中收集和保存CSV文件的代码在当前情况下不起作用：

baseUrl = "http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv"
remoteCSV = urllib2.urlopen("%s" %(baseUrl))
myData = csv.reader(remoteCSV)

我应该如何修改我的代码，以便将来自查询的文件下载到API？

Answer 1

这将下载zip，打开它，并获得一个csv对象，其中包含您想要的任何文件。

import urllib2
import StringIO
from zipfile import ZipFile
import csv
baseUrl = "http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv"
remoteCSV = urllib2.urlopen(baseUrl)
sio = StringIO.StringIO()
sio.write(remoteCSV.read())
    # We create a StringIO object so that we can work on the results of the request (a string) as though it is a file.
z = ZipFile(sio, 'r')
    # We now create a ZipFile object pointed to by 'z' and we can do a few things here:
print z.namelist()
    # A list with the names of all the files in the zip you just downloaded
    # We can use z.namelist()[1] to refer to 'ny.gdp.pcap.cd_Indicator_en_csv_v2.csv'
with z.open(z.namelist()[1]) as f:
# Opens the 2nd file in the zip
    csvr = csv.reader(f)
    for row in csvr:
        print row

有关更多信息，请参阅ZipFile文档和StringIO文档

Answer 2

import os
import urllib
import zipfile
from StringIO import StringIO
package = StringIO(urllib.urlopen("http://api.worldbank.org/v2/en/indicator/ny.gdp.pcap.cd?downloadformat=csv").read())
zip = zipfile.ZipFile(package, 'r')
pwd = os.path.abspath(os.curdir)
for filename in zip.namelist():
    csv = os.path.join(pwd, filename)
    with open(csv, 'w') as fp:
        fp.write(zip.read(filename))
    print filename, 'downloaded successfully'

从这里，您可以使用您的方法来处理CSV文件。

Answer 3

我们有一个脚本可以自动访问和提取世界银行世界发展指标的数据，如：https://data.worldbank.org/indicator/GC.DOD.TOTL.GD.ZS

脚本执行以下操作：

1. 下载元数据数据
2. 提取元数据和数据
3. 转换为数据包

该脚本基于python，使用python 3.0。它在标准库之外没有依赖项。试试看：

python scripts/get.py
python scripts/get.py https://data.worldbank.org/indicator/GC.DOD.TOTL.GD.ZS

您也可以阅读我们对世界银行数据的分析：

https://datahub.io/awesome/world-bank

Answer 4

这只是一个建议，而不是一个解决方案。您可以使用pd.read_csv直接从URL读取任何csv文件。

import pandas as pd
data = pd.read_csv('http://url_to_the_csv_file')