HTTPS POST request Python



我想向一个https站点发出post请求,该站点应该以.csv文件响应。我有这个Python代码:

url = 'https://www.site.com/servlet/datadownload'
values = {
  'val1' : '123',
  'val2' : 'abc',
  'val3' : '1b3',
}
data = urllib.urlencode(values)
req = urllib2.Request(url,data)
response = urllib2.urlopen(req)
myfile = open('file.csv', 'wb')
shutil.copyfileobj(response.fp, myfile)
myfile.close()

但是我得到错误:

BadStatusLine: ''    (in httplib.py)

我已经尝试了post请求与Chrome扩展:高级REST客户端(截图),这工作得很好。

可能是什么问题,我该如何解决它?(是因为HTTPS吗?)


编辑,重构代码:
try:
    #conn = httplib.HTTPSConnection(host="www.site.com", port=443)

=>给出一个BadStatusLine: ''错误

    conn = httplib.HTTPConnection("www.site.com");
    params  = urllib.urlencode({'val1':'123','val2':'abc','val3':'1b3'})
    conn.request("POST", "/nps/servlet/exportdatadownload", params)
    content = conn.getresponse()
    print content.reason, content.status
    print content.read()
    conn.close()
except:
    import sys
    print sys.exc_info()[:2]
输出:

Found 302
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>302 Found</TITLE>
</HEAD><BODY>
<H1>Found</H1>
The document has moved <A HREF="https://www.site.com/nps/servlet/exportdatadownload">here</A>.<P>
<HR>
<ADDRESS>Oracle-Application-Server-10g/10.1.3.5.0 Oracle-HTTP-Server Server at mp-www1.mrco.be Port 7778</ADDRESS>
</BODY></HTML>

我做错了什么?

您使用urllib的原因是什么?请求更简单,在几乎所有方面都更好,并且抽象了一些使urllib难以使用的繁琐工作。

作为一个例子,我将把你的例子重写为:

import requests
resp = requests.post(url, data=values, allow_redirects=True)
此时,来自服务器的响应在resp.text中是可用的,您可以对它做您想做的事情。如果请求不能正确POST(例如,因为您需要自定义SSL证书),它应该给您一个很好的错误消息,告诉您原因。

即使不能在生产环境中这样做,也可以在本地shell中这样做,以查看从requests获得的错误消息,并使用它来调试urllib

BadStatusLine: '' (in httplib.py)泄露了这里可能发生了其他事情。这可能发生在服务器根本没有回复,只是关闭连接时。

正如您所提到的,您正在使用SSL连接,这对于调试来说可能特别有趣(如果您愿意,可以使用curl -v URL)。如果您发现curl -2 URL(强制使用SSLv2)似乎可以工作,而curl -3 URL (SSLv3)则不能,那么您可能需要查看python错误跟踪器上的问题#13636和#11220。取决于你的Python版本&一个可能配置错误的web服务器,这可能会导致一个问题:SSL默认值在v2.7.3中发生了变化。

   conn = httplib.HTTPSConnection(host='www.site.com', port=443, cert_file=_certfile)
   params  = urllib.urlencode({'cmd': 'token', 'device_id_st': 'AAAA-BBBB-CCCC',
                                'token_id_st':'DDDD-EEEE_FFFF', 'product_id':'Unit Test',
                                'product_ver':"1.6.3"})
    conn.request("POST", "servlet/datadownload", params)
    content = conn.getresponse().read()
    #print response.status, response.reason
    conn.close()

服务器可能不喜欢丢失的标头,特别是user-agent和content-type。Chrome图像显示了用于这些的内容。也许可以尝试添加标题:

import httplib, urllib
host = 'www.site.com'
url = '/servlet/datadownload'
values = {
  'val1' : '123',
  'val2' : 'abc',
  'val3' : '1b3',
}
headers = {
    'User-Agent': 'python',
    'Content-Type': 'application/x-www-form-urlencoded',
}
values = urllib.urlencode(values)
conn = httplib.HTTPSConnection(host)
conn.request("POST", url, values, headers)
response = conn.getresponse()
data = response.read()
print 'Response: ', response.status, response.reason
print 'Data:'
print data

这是未经测试的代码,您可能想通过添加其他头值来匹配您的屏幕截图来进行实验。

最新更新