Jsoup解析多个网站上今天发布的链接

Question

我目前正在使用jsoup(下面(从一个网站输出一个.csv链接，其中包括url中的字符串日期格式。

import java.io.IOException;
import java.util.HashSet;
import java.util.Set;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
import java.io.FileOutputStream;
import java.io.PrintStream;
import org.jsoup.nodes.Element;
public class readAllLinks {
public static Set<String> uniqueURL = new HashSet<String>();
public static String my_site;
public static String published = ("20180731");
public static void main(String[] args) {
readAllLinks obj = new readAllLinks();
my_site = ("news24.com/SouthAfrica/News");
obj.get_links("https://www.news24.com/SouthAfrica/News/");
}
private void get_links(String url) {
try {
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a");
FileOutputStream fout=new FileOutputStream("links.csv");  
PrintStream csv=new PrintStream(fout);  
links.stream().map((link) -> link.attr("abs:href")).forEachOrdered((this_url) -> {
boolean add = uniqueURL.add(this_url);
if (add && this_url.contains(my_site) && this_url.contains(published)) {
System.out.println(this_url);
get_links(this_url);
}
if (this_url.contains(published))
csv.println(this_url);
} );    
} catch (IOException ex) {
}
}
}

相反，我想制作一个csv的链接今天发布(即使用今天的日期(从多个网站。

如何为新发布的链接指定.select以获取跨度中包含的日期？

如何从列表中解析多个网站？

非常感谢你的帮助。

Answer 1

这将选择包含变量'published'值的所有链接。

Elements links = doc.select("a[href*="+published+"]");