对于Mechanize cumber()方法，Urllib代码等效的是什么

Question

我不确定标题足够清晰，所以这是什么：

大约3周前，我已经开始学习Python，最近我给了自己一项任务 - 登录到网站，然后阅读特定页面，然后在同一页面中发布评论，所有这些都使用Python Scrypt。我在文档中进行了搜索，发现Urllib，Urllib2和Cookielib模块是我想要的。所以我想出了这个代码：

import urllib, urllib2, cookielib
import re
url_page = 'http://www.example.net/page/'
url_login = 'http://www.example.net/login.php'
url_post = 'http://www.example.net/post.php'
def main():
    #login data
    username = 'user1'
    password = 'user1'
    cj = cookielib.CookieJar()
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    login_data = urllib.urlencode({'j_user' : username, 'j_pass' : password})
    opener.open(url_login, login_data)
    opener.open(url_page)    
    #comment is in string
    s = "abcd"
    #post data
    post_data = urllib.urlencode({'com' : s})
    opener.open(url_post, post_data)
if __name__=='__main__':
    main()

第一部分（登录）工作正常，我被登录到网站，我可以获取页面。但是什么都没有发生 - 它无法发表评论。然后，我在此站点上发现mechanize模块是Web浏览的最佳解决方案。因此，我找到了这个脚本并为我的目的进行了调整：

import mechanize
import cookielib
import urllib
import re
#required addresses
url_page = 'http://www.example.net/page/'
def main():
    br = mechanize.Browser() 
    cj = cookielib.LWPCookieJar()
    br.set_cookiejar(cj)
    br.set_handle_equiv(True)
    br.set_handle_gzip(True)
    br.set_handle_redirect(True)
    br.set_handle_referer(True)
    br.set_handle_robots(False)
    br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
    r = br.open(url_page)
    #selecting form
    br.select_form(nr=2)
    #setting inputs 
    br.form['j_user'] = 'user1'
    br.form['j_pass'] = 'user1'
    #login
    r = br.submit()
    r = br.open(url_page)
    s = "abcd"
    #posting
    br.select_form(nr=4)
    br.form['com'] = s
    br.submit()

if __name__ == '__main__':
    main()

脚本运行完美 - 它发表评论。

所以我的问题是 - 第一个脚本的问题在哪里？为什么第一个脚本中的发表评论没有给出结果？缺少什么吗？

感谢您的时间和帮助！

Answer 1

快速浏览机械化源向我展示了最终机械化使用urllib2.request实例，并调用其add_data成员。文档说请求设置用户代理。您的Web服务器是否有可能拒绝帖子缺乏或无效的用户代理？

有一个很好的教程，可以在旧的Pymotw帖子中做您想做的事情。http://www.doughellmann.com/pymotw/urllib2/它链接到有价值的资源，例如Michael Foord的失踪手册。http://www.voidspace.org.uk/python/articles/urllib2.shtml

看起来httphandler添加了内容类型的标题：Application/X-WWW-Form-urlCorm-urlenCoded在请求中。您可以在第一种情况下尝试添加它。它还设置了内容长度的标题。

http://hg.python.org/cpython/file/457c0c9c7893/lib/urllib/urllib2.py#l1112

post_data = urllib.urlencode({'com' : s})
post_headers_and_data = "Content-Type: application/x-www-form-urlencodednContent-Length: {0}nn{1}".format(len(post_data), post_data)
opener.open(url_post, post_headers_and_data)