我有域名列表:
domains_1 = ['google.com', 'payments-amazon.com']
domains_2 = ['https://static-eu.payments-amazon.com/OffAmazonPayments/de/lpa/js/Widgets.js']
在此例中,payments-amazon.com
为公共域。考虑到域名可以很长且唯一,我该如何找到这个呢?
我试过这个,但这只适用于如果域是准确的。我需要他们匹配,如果他们包括在列表/字符串域的一部分:
matches = (set(domains_1).intersection(domains_2))
print(matches)
您可以使用tlextract这样的包——除了在AWS lambda设置中,它工作得很好。或者你可以使用类似这样的东西从你的URL获取域名。
def extract_domain(url):
from urllib.parse import urlparse
parsed_domain = urlparse(url)
domain = parsed_domain.netloc or parsed_domain.path # Just in case, for urls without scheme
domain_parts = domain.split('.')
if len(domain_parts) > 2:
return '.'.join(domain_parts[-(2 if domain_parts[-1] in {
'com', 'net', 'org', 'io', 'ly', 'me', 'sh', 'fm', 'us'} else 3):])
return domain
for x in domains_2:
dom = extract_domain(x)
if dom in domains_1:
do your thing