获取网页内容-浏览器不支持框架



我有这样一段代码:

webUrl = new URL(url);
reader = new BufferedReader(new InputStreamReader(webUrl.openStream()));

当我尝试获取某些页面的html内容时,我得到的响应是我的浏览器不支持框架。所以我没有得到真正的html页面。有解决办法吗?也许是告诉程序注册为某个浏览器?

对我来说,关键是只得到html,然后我想解析它。

编辑:无法从浏览器的html中获取框架的src。它隐藏在js中

"您不支持框架,我们没有在这里放置合理的替代内容"消息将在<noframes>元素中。您需要访问适当的<frame>元素,访问其src属性,解析其中的URI,然后从那里获取数据。

您必须在HTTP请求中设置用户代理字符串,以便服务器认为您支持帧。我建议使用HtmlClient或HttpClient

最新更新