产品API -如何访问产品大数据库-最佳方法?

Question

我正在考虑一个需要访问大量产品数据的项目-即当您输入产品名称时，它将返回一个包含产品图像，名称，品牌等的页面。

我不会出售这些物品，只是显示元数据并直接给卖家。

我的问题是如何做到这一点:

1. 从亚马逊产品API和谷歌商业中心、沃尔玛、百思买、Argos等地方采购数据是可能的，还是他们自己保留所有的产品数据?

2. 如果商家想要将他们的产品数据库与我的数据库同步(但他们不在亚马逊这样的地方销售)，那么播种我的数据库将是多么复杂。

3. 是否允许抓取网站的产品信息，还是取决于网站的使用条款。

我对可能的方法有点困惑。

感谢

Answer 1

我完全赞成头脑风暴，但在提出这个问题之前，你可以做大量的研究。在没有做任何研究的情况下提出这些问题，并不能说明一个人能够完成这个项目。

1. Amazon确实有一个称为产品广告API的API，但它需要一个Amazon关联帐户，这需要您推动产品的销售，因为它是一个联盟营销计划。根据您的关联帐户性能，产品广告API在请求中也受到限制。沃尔玛有一个公共API。百思买有一个API。Target有一种不为人知的api点，但很少有文档。

2. 这个问题太模糊了。你认为什么是复杂的?什么样的db?什么类型的环境，也就是你的数据库是如何构建的?

3. 在美国，数据抓取被认为是合法的。在很长一段时间里，这是一个灰色地带。像亚马逊这样的网站仍然会屏蔽你。有一些方法可以绕过刮板阻塞，但它可能会花费你的钱。您可以使用代理或从已经获得这些数据的公司购买数据。

顺便说一下，已经有服务这样做了。氦10是亚马逊的一个例子。