从FTP python读取缓冲区中的文件

Question

我正在尝试从FTP服务器读取文件。该文件是一个.gz文件。我想知道在套接字打开时是否可以对此文件执行操作。我试图遵循两个 StackOverflow 问题中提到的内容，即在不写入磁盘的情况下读取文件和从 FTP 读取文件而不下载，但没有成功。

我

知道如何提取数据/处理下载的文件，但我不确定我是否可以即时完成。有没有办法连接到站点，在缓冲区中获取数据，可能执行一些数据提取和退出？

尝试StringIO时，我收到错误：

>>> from ftplib import FTP
>>> from StringIO import StringIO
>>> ftp = FTP('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz')
Traceback (most recent call last):
File "<pyshell#2>", line 1, in <module>
ftp = FTP('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz')
File "C:Python27libftplib.py", line 117, in __init__
self.connect(host)
File "C:Python27libftplib.py", line 132, in connect
self.sock = socket.create_connection((self.host, self.port), self.timeout)
File "C:Python27libsocket.py", line 553, in create_connection
for res in getaddrinfo(host, port, 0, SOCK_STREAM):
gaierror: [Errno 11004] getaddrinfo failed

我只需要知道如何将数据放入某个变量并循环，直到从 FTP 读取文件。

感谢您的时间和帮助。谢谢！

Answer 1

确保先登录到 ftp 服务器。在此之后，使用 retrbinary 以二进制模式拉取文件。它对文件的每个区块使用回调。您可以使用它将其加载到字符串中。

from ftplib import FTP
ftp = FTP('ftp.ncbi.nlm.nih.gov')
ftp.login() # Username: anonymous password: anonymous@
# Setup a cheap way to catch the data (could use StringIO too)
data = []
def handle_binary(more_data):
    data.append(more_data)
resp = ftp.retrbinary("RETR pub/pmc/PMC-ids.csv.gz", callback=handle_binary)
data = "".join(data)

奖励积分：我们在做的时候解压缩字符串怎么样？

简易模式，使用上面的数据字符串

import gzip
import StringIO
zippy = gzip.GzipFile(fileobj=StringIO.StringIO(data))
uncompressed_data = zippy.read()

好一点，完整的解决方案：

from ftplib import FTP
import gzip
import StringIO
ftp = FTP('ftp.ncbi.nlm.nih.gov')
ftp.login() # Username: anonymous password: anonymous@
sio = StringIO.StringIO()
def handle_binary(more_data):
    sio.write(more_data)
resp = ftp.retrbinary("RETR pub/pmc/PMC-ids.csv.gz", callback=handle_binary)
sio.seek(0) # Go back to the start
zippy = gzip.GzipFile(fileobj=sio)
uncompressed = zippy.read()

实际上，即时解压缩会好得多，但我看不到使用内置库的方法（至少不容易）。

Answer 2

我能想到两种简单的方法来使用 FTP 下载文件并将其存储在本地：

1. 使用ftplib：

   from ftplib import FTP
   ftp = FTP('ftp.ncbi.nlm.nih.gov')
   ftp.login()
   ftp.cwd('pub/pmc')
   ftp.retrbinary('RETR PMC-ids.csv.gz', open('PMC-ids.csv.gz', 'wb').write)
   ftp.quit()
   

2. 使用urllib

   from urllib import urlretrieve
   urlretrieve("ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz", "PMC-ids.csv.gz")
   

如果您不想下载并存储到文件中，但想逐步处理它，我建议使用 urllib2 ：

from urllib2 import urlopen
u = urlopen("ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/readme.txt")
for line in u:
   print line

逐行打印您的文件。

Answer 3

这是不可能的。要处理服务器上的数据，您需要具有某种执行权限，无论是要发送的 shell 脚本还是 SQL 访问。

FTP是纯文件传输，不允许执行。您将需要启用SSH访问，将数据加载到数据库中并通过查询访问该数据库，或者使用urllib下载文件，然后在本地处理它，如下所示：

import urllib
handle = urllib.urlopen('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz')
# Use data, maybe: buffer = handle.read()

特别是，我认为第三个是唯一的零努力解决方案。