显然,sun.net.www.protocol.http.HttpURLConnection将始终追加"Java/version"到UserAgent。因此,JSoup连接。userAgent不能将userAgent设置为您想要的;"Java/version"之类的东西还是会被附加进去的。
参见在https连接头
中设置user-agent属性一些网站拒绝任何包含"Java"的请求用户代理,给出各种4xx和5xx HTTP错误。
上面引用的StackOverflow帖子建议使用Apache而不是Sun的HTTP连接类,但如果我想使用JSoup,这不是一个选择。
我想知道JSoup团队对此有何看法。我的描述对吗?这是一个bug还是一个特性?是否有任何计划来修复它,也就是说,使它能够设置userAgent的人想要的,没有额外的附件?
谢谢JWG
您可以使用Jsoup.parse(html),其中html字符串可以使用Apache HTTP或您选择的任何其他库来获取。问候,Allahbaksh