使用 Jsoup 抓取亚马逊中的搜索结果页面

Question

我正在使用Jsoup抓取两个网址：

http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=pendrives&rh=i%3Aaps%2Ck%3Apendrives

http://www.amazon.in/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords=FDW+CLEAR+SPRINGS+125+GMS

在

第一个 url 中，我正在搜索笔式驱动器，我得到的结果嵌套在"atfresults"标签下，我已经能够抓取。

而对于第二个URL，我正在搜索FDW CLEAR SPRINGS 125 GMS，我

得到"您的搜索FDW CLEAR SPRINGS 125 GMS与任何产品都不匹配"，但它确实在"searchTemplate"中返回了三个产品，我无法使用Jsoup遍历这些产品。我需要帮助查找这 3 种产品的描述

Answer 1

您可以使用以下方法找到它们：

Document doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36")
                .maxBodySize(0)
                .get();
Elements products = doc.select(".s-result-list-parent-container > ul > li");

或者您可以使用以下方法直接找到描述：

Elements products = doc.select(".s-result-list-parent-container > ul > li .s-access-title");