Web抓取实时更改数据

Question

我对网络抓取很陌生。静态内容很容易，但我想知道是否有办法，刮一个这样的网站：https://threatmap.checkpoint.com/

我需要从那个网站上删除所有的实时攻击。但我甚至不知道该怎么开始。

Answer 1

有时根本不需要刮
但要深入研究机制。

此网站使用内置的浏览器获取API。

您只需要从以下来源解码：
https://threatmap-api.checkpoint.com/ThreatMap/api/feed

下面是一个示例提取调用：

fetch("https://threatmap-api.checkpoint.com/ThreatMap/api/feed", {
"headers": {
"accept": "text/event-stream",
"accept-language": "en-US,pt;q=0.9,en-US;q=0.8,en;q=0.7",
"cache-control": "no-cache",
"sec-ch-ua": ""Google Chrome";v="89", "Chromium";v="89", ";Not A Brand";v="99"",
"sec-ch-ua-mobile": "?0",
"sec-fetch-dest": "empty",
"sec-fetch-mode": "cors",
"sec-fetch-site": "same-site"
},
"referrer": "https://threatmap.checkpoint.com/",
"referrerPolicy": "strict-origin-when-cross-origin",
"body": null,
"method": "GET",
"mode": "cors",
"credentials": "omit"
});

这是一个示例事件：
{"a_c":1,"a_n":"DNS Enforcement Violation","a_t":"exploit","d_co":"SE","d_la":63.8284,"d_lo":20.2597,"d_s":"AC","s_co":"US","s_lo":-73.9712,"s_la":40.7428,"s_s":"NY","t":null}

这在视觉上似乎意味着：

• 描述：DNS强制冲突
• 种类：漏洞
• 目标国家/地区：SE/AC-纬度/经度：63.828420.2597
• 来源国家/地区：美国/纽约-纬度/经度：40.7428，-73.9712