用cheerio提取文本

我想写一个脚本，从这个网站提取电子邮件id和名称。我尝试了下面的代码片段，但它不起作用。

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<title>foo</title>
<meta name="description" content="">
<meta name="viewport" content="width=device-width, initial-scale=1">
<link rel="stylesheet" href="">
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
</head>
<body>
<div>
<strong style="color: darkgreen;">Can read this tag</strong>
<object id="external_page" type="text/html" data="https://aleenarais.com/buddy/" width="800px" height="600px"
style="overflow:auto;border:5px ridge blue">
<!-- I want to read tag values from this object -->
</object>
</div>
<script>
window.addEventListener('load', function () {
const item = [];
$('strong[style="color: darkgreen;"]').each(function () {
item.push($(this).text())
})
console.log(item)
})

</script>
</body>
</html>

有更好的方法吗?或者是否可以将整个页面转换为字符串并使用RegEx提取电子邮件?

网页中的电子邮件和名称被呈现在iframe中。iframe的源是一个外部源。为了让您提取信息，您需要使用无头浏览器来完成此操作。

我建议使用Node.JS &操纵(https://www.npmjs.com/package/puppeteer)

const puppeteer = require("puppeteer");
(async() => {
const url = "https://aleenarais.com/buddy/";
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(url, {
waitUntil: "networkidle0"
});
var frames = await page.frames();
var myframe = frames.find(
(f) => f.url().indexOf("https://feedium.app/fetchh.php") > -1
);
const textFeed = await myframe.$$eval("strong", (sElements) =>
sElements.map((el) => el.textContent)
);
console.log(textFeed.splice(1)); //Array contains both name and email
await browser.close();
})();

Puppeteer加载页面的方式与用户加载页面的方式相似。它等待，直到所有的网络调用完成(参见网络idle0)，然后它尝试找到具有url的iframe (fetch .php)。如果你观察一下，名字和电子邮件都出现在强标签中，它们是唯一可用的强标签。因此，我们提取了强标记，去掉了计数，只剩下了名字和电子邮件。

输出:['JJ'， 'J]*j@gmail.com']//我刚刚屏蔽了这些值，但是程序给出了实际值

运行脚本的步骤:

Install Node.Js (https://nodejs.org/en/download/)
复制脚本并将其放入file (demo.js)
在终端中，导航到demo.js所在的目录node demo.js

您应该看到输出。

试试这个:

window.addEventListener('load', function () {
let item = [];
$('strong[style*="color: darkgreen;"]').each(function (index, item) {
item.push($(this).text())
})
console.log(item)
}

相关内容

最新更新

热门标签：