简单的交易网络爬虫/抓取器

Question

为了好玩，也许为了盈利，我想实现以下内容：

1. 计划或手动触发的进程，登录到我的所有银行帐户
2. 流程了解银行网站结构，并浏览"返现/合作伙伴交易"页面
3. 所有交易信息都以一种格式收集在一个地方
4. 当我要买东西的时候，我可以很快地看到我的卡片上是否有那个地方的特价。这样我就可以用最优惠的卡付款了。理想情况下，这应该发生在我的android手机上。但这并不意味着一个独立的应用程序，例如，你可以在电子邮件或谷歌文档或任何东西中搜索

关于实施有什么想法吗？不要限制自己。建议疯狂的事情，只要它们有效。

附言：我确实在寻找一个提供类似服务的现有网站，但他们似乎都专注于卡片本身，而不是商店的特定交易。

Answer 1

根据银行网站的不同，您的代码可能需要能够执行JavaScript才能与之交互。请查看CasperJS中的web抓取部分。